如何使用 EC.presence_of_element_located((By.ID, "myDynamicElement")) 除了指定类而不是 ID

2024-12-04 08:56:00
admin
原创
167
摘要:问题描述:我正在尝试使用 Python 来抓取一个网站,该网站通过使用嵌入的 JavaScript 文件动态加载其 HTML,这些文件将数据作为响应呈现到 HTML 中。因此,如果我单独使用 BeautifulSoup,我将无法检索所需的数据,因为我的程序会在 JavaScript 加载数据之前抓取它。因此,...

问题描述:

我正在尝试使用 Python 来抓取一个网站,该网站通过使用嵌入的 JavaScript 文件动态加载其 HTML,这些文件将数据作为响应呈现到 HTML 中。因此,如果我单独使用 BeautifulSoup,我将无法检索所需的数据,因为我的程序会在 JavaScript 加载数据之前抓取它。因此,我将 selenium 库集成到我的代码中,以使我的程序等到找到某个元素后再抓取网站。

我原本是这样做的:

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.ID, "tabla_evolucion")))

但是我想通过执行以下操作来指定一个类:

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.class, "ng-binding ng-scope")))  

以下是我的其余代码:

driver_path = 'C:/webDrivers/chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.header_overrides = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
url = "myurlthatIamscraping.com" 
response = driver.get(url)
html = driver.page_source
characters = len(html)
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.class, "ng-binding ng-scope")))

print(html)
print(characters)
time.sleep(10)
driver.quit()

它对我来说不起作用,而且我在任何地方都找不到正确的语法。


解决方案 1:

相关的 HTML 可以帮助我们构建更规范的答案。但是从第一行代码开始:

element = WebDriverWait(driver,100).until(EC.presence_of_element_located(
  (By.ID, "tabla_evolucion")))

是相当合法的,而第二行代码是:

element = WebDriverWait(driver,100).until(EC.presence_of_element_located(
  (By.class, "ng-binding ng-scope")))

将引发错误,如下所示:

消息:无效的选择器:不允许使用复合类名

因为您不能传递多个类By.class

您可以在无效选择器:不允许使用 find_element_by_class_name 与 Webdriver 和 Python 的复合类名中找到详细讨论


解决方案

您需要注意以下几点:

  • 在不了解用例的情况下,功能上诱导WebDriverWaitEC as关联presence_of_element_located()仅确认元素在DOM 树中的存在。假设您继续前进,要么需要获取属性value,例如innerText,等,要么您将与元素交互。因此,presence_of_element_located()您需要使用visibility_of_element_located()element_to_be_clickable()

您可以在WebDriverWait 未按预期工作中找到详细讨论

  • 为了获得最佳效果,您可以将IDCLASS 属性组合起来,并且可以使用以下任一定位器策略:

  • 使用CSS_SELECTOR

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.CSS_SELECTOR, ".ng-binding.ng-scope#tabla_evolucion")))
  • 使用XPATH

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.XPATH, "//*[@class='ng-binding ng-scope' and @id='tabla_evolucion']")))

解决方案 2:

它在文档中。

支持的定位器策略集。CLASS_NAME

= '类名'

CSS_SELECTOR = 'css 选择器'

ID = 'id'

LINK_TEXT = '链接文本'

NAME = '名称'

PARTIAL_LINK_TEXT = '部分链接文本'

TAG_NAME = '标签名称'

XPATH = 'xpath'

注意:代码中有一个类,而不是一个类。如果使用,则不会起作用,By.CLASS_NAME()因为它只需要一个类。您需要的是一个 CSS 选择器

EC.presence_of_element_located((By.CSS_SELECTOR, ".ng-binding.ng-scope")))

在 CSS 选择器语法中,a.表示一个类。有关 CSS 选择器语法的更多信息,请参阅W3C 文档。

解决方案 3:

我有一个解决方案尝试这个 - 将您的课程class改为CLASS_NAME

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME , "ng-binding ng-scope")))

解决方案 4:

尝试以下方法:

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME, "ng-binding")))

或者

element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME, "ng-scope")))

有一点需要提一下,您正在尝试传递两个类名,即 ng-binding 是一个类,而 ng-scope 是另一个类。

解决方案 5:

您需要注意以下几点:

在您的用例没有任何可见性的情况下,功能上诱导 WebDriverWait 与 EC 关联,因为 presence_of_element_located() 仅确认元素在 DOM 树中的存在。假设您继续前进,要么需要获取属性(例如值、innerText 等),要么需要与元素交互。因此,您需要使用visibility_of_element_located() 或 element_to_be_clickable(),而不是 presence_of_element_located()。您可以在 WebDriverWait 未按预期工作中找到详细讨论

为了获得最佳结果,您可以将 ID 和 CLASS 属性合并起来,并且可以使用以下任一定位器策略:

使用CSS_SELECTOR:

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.CSS_SELECTOR, ".ng-binding.ng-scope#tabla_evolucion")))
Using XPATH:
  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
    (By.XPATH, "//*[@class='ng-binding ng-scope' and @id='tabla_evolucion']")))

谢谢,它对我有很大帮助....

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1565  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1354  
  信创国产芯片作为信息技术创新的核心领域,对于推动国家自主可控生态建设具有至关重要的意义。在全球科技竞争日益激烈的背景下,实现信息技术的自主可控,摆脱对国外技术的依赖,已成为保障国家信息安全和产业可持续发展的关键。国产芯片作为信创产业的基石,其发展水平直接影响着整个信创生态的构建与完善。通过不断提升国产芯片的技术实力、产...
国产信创系统   21  
  信创生态建设旨在实现信息技术领域的自主创新和安全可控,涵盖了从硬件到软件的全产业链。随着数字化转型的加速,信创生态建设的重要性日益凸显,它不仅关乎国家的信息安全,更是推动产业升级和经济高质量发展的关键力量。然而,在推进信创生态建设的过程中,面临着诸多复杂且严峻的挑战,需要深入剖析并寻找切实可行的解决方案。技术创新难题技...
信创操作系统   27  
  信创产业作为国家信息技术创新发展的重要领域,对于保障国家信息安全、推动产业升级具有关键意义。而国产芯片作为信创产业的核心基石,其研发进展备受关注。在信创国产芯片的研发征程中,面临着诸多复杂且艰巨的难点,这些难点犹如一道道关卡,阻碍着国产芯片的快速发展。然而,科研人员和相关企业并未退缩,积极探索并提出了一系列切实可行的解...
国产化替代产品目录   28  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用