如何使用 EC.presence_of_element_located((By.ID, "myDynamicElement")) 除了指定类而不是 ID
- 2024-12-04 08:56:00
- admin 原创
- 167
问题描述:
我正在尝试使用 Python 来抓取一个网站,该网站通过使用嵌入的 JavaScript 文件动态加载其 HTML,这些文件将数据作为响应呈现到 HTML 中。因此,如果我单独使用 BeautifulSoup,我将无法检索所需的数据,因为我的程序会在 JavaScript 加载数据之前抓取它。因此,我将 selenium 库集成到我的代码中,以使我的程序等到找到某个元素后再抓取网站。
我原本是这样做的:
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.ID, "tabla_evolucion")))
但是我想通过执行以下操作来指定一个类:
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.class, "ng-binding ng-scope")))
以下是我的其余代码:
driver_path = 'C:/webDrivers/chromedriver.exe'
driver = webdriver.Chrome(executable_path=driver_path)
driver.header_overrides = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
url = "myurlthatIamscraping.com"
response = driver.get(url)
html = driver.page_source
characters = len(html)
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.class, "ng-binding ng-scope")))
print(html)
print(characters)
time.sleep(10)
driver.quit()
它对我来说不起作用,而且我在任何地方都找不到正确的语法。
解决方案 1:
相关的 HTML 可以帮助我们构建更规范的答案。但是从第一行代码开始:
element = WebDriverWait(driver,100).until(EC.presence_of_element_located(
(By.ID, "tabla_evolucion")))
是相当合法的,而第二行代码是:
element = WebDriverWait(driver,100).until(EC.presence_of_element_located(
(By.class, "ng-binding ng-scope")))
将引发错误,如下所示:
消息:无效的选择器:不允许使用复合类名
因为您不能传递多个类By.class
。
您可以在无效选择器:不允许使用 find_element_by_class_name 与 Webdriver 和 Python 的复合类名中找到详细讨论
解决方案
您需要注意以下几点:
在不了解用例的情况下,功能上诱导WebDriverWait与EC as关联
presence_of_element_located()
仅确认元素在DOM 树中的存在。假设您继续前进,要么需要获取属性value
,例如innerText
,等,要么您将与元素交互。因此,presence_of_element_located()
您需要使用visibility_of_element_located()
或element_to_be_clickable()
您可以在WebDriverWait 未按预期工作中找到详细讨论
为了获得最佳效果,您可以将
ID
和CLASS
属性组合起来,并且可以使用以下任一定位器策略:使用
CSS_SELECTOR
:
element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
(By.CSS_SELECTOR, ".ng-binding.ng-scope#tabla_evolucion")))
使用
XPATH
:
element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
(By.XPATH, "//*[@class='ng-binding ng-scope' and @id='tabla_evolucion']")))
解决方案 2:
它在文档中。
支持的定位器策略集。CLASS_NAME
= '类名'
CSS_SELECTOR = 'css 选择器'
ID = 'id'
LINK_TEXT = '链接文本'
NAME = '名称'
PARTIAL_LINK_TEXT = '部分链接文本'
TAG_NAME = '标签名称'
XPATH = 'xpath'
注意:代码中有一个类,而不是一个类。如果使用,则不会起作用,By.CLASS_NAME()
因为它只需要一个类。您需要的是一个 CSS 选择器
EC.presence_of_element_located((By.CSS_SELECTOR, ".ng-binding.ng-scope")))
在 CSS 选择器语法中,a.
表示一个类。有关 CSS 选择器语法的更多信息,请参阅W3C 文档。
解决方案 3:
我有一个解决方案尝试这个 - 将您的课程class
改为CLASS_NAME
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME , "ng-binding ng-scope")))
解决方案 4:
尝试以下方法:
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME, "ng-binding")))
或者
element = WebDriverWait(driver,100).until(EC.presence_of_element_located((By.CLASS_NAME, "ng-scope")))
有一点需要提一下,您正在尝试传递两个类名,即 ng-binding 是一个类,而 ng-scope 是另一个类。
解决方案 5:
您需要注意以下几点:
在您的用例没有任何可见性的情况下,功能上诱导 WebDriverWait 与 EC 关联,因为 presence_of_element_located() 仅确认元素在 DOM 树中的存在。假设您继续前进,要么需要获取属性(例如值、innerText 等),要么需要与元素交互。因此,您需要使用visibility_of_element_located() 或 element_to_be_clickable(),而不是 presence_of_element_located()。您可以在 WebDriverWait 未按预期工作中找到详细讨论
为了获得最佳结果,您可以将 ID 和 CLASS 属性合并起来,并且可以使用以下任一定位器策略:
使用CSS_SELECTOR:
element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
(By.CSS_SELECTOR, ".ng-binding.ng-scope#tabla_evolucion")))
Using XPATH:
element = WebDriverWait(driver, 20).until(EC.visibility_of_element_located(
(By.XPATH, "//*[@class='ng-binding ng-scope' and @id='tabla_evolucion']")))
谢谢,它对我有很大帮助....