如何让 Selenium 不等到整个页面加载(脚本很慢)?

2024-12-25 08:51:00
admin
原创
141
摘要:问题描述:Seleniumdriver.get (url)等待整个页面加载。但是抓取页面尝试加载一些无效的 JS 脚本。所以我的 Python 脚本等待它并且几分钟不工作。这个问题可能出现在网站的每个页面上。from selenium import webdriver driver = webdriver....

问题描述:

Seleniumdriver.get (url)等待整个页面加载。但是抓取页面尝试加载一些无效的 JS 脚本。所以我的 Python 脚本等待它并且几分钟不工作。这个问题可能出现在网站的每个页面上。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.cortinadecor.com/productos/17/estores-enrollables-screen/estores-screen-corti-3000')
# It try load: https://www.cetelem.es/eCommerceCalculadora/resources/js/eCalculadoraCetelemCombo.js 
driver.find_element_by_name('ANCHO').send_keys("100")

如何限制等待时间、阻止文件的 AJAX 加载,或者有其他方法吗?

此外,我还在 中测试了我的脚本webdriver.Chrome(),但将使用 PhantomJS(),或者可能是 Firefox()。因此,如果某种方法使用了浏览器设置的更改,那么它必须是通用的。


解决方案 1:

当 Selenium 默认加载页面/url 时,它会遵循pageLoadStrategy设置为 的默认配置normal。为了让 Selenium 不等待完整的页面加载,我们可以配置pageLoadStrategypageLoadStrategy支持以下 3 个不同的值:

  1. normal(完整页面加载)

  2. eager(交互的)

  3. none

以下是配置的代码块pageLoadStrategy

  • 火狐浏览器

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities().FIREFOX
caps["pageLoadStrategy"] = "normal"  #  complete
#caps["pageLoadStrategy"] = "eager"  #  interactive
#caps["pageLoadStrategy"] = "none"
driver = webdriver.Firefox(desired_capabilities=caps, executable_path=r'C:path    ogeckodriver.exe')
driver.get("http://google.com")
  • 铬合金

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities().CHROME
caps["pageLoadStrategy"] = "normal"  #  complete
#caps["pageLoadStrategy"] = "eager"  #  interactive
#caps["pageLoadStrategy"] = "none"
driver = webdriver.Chrome(desired_capabilities=caps, executable_path=r'C:path    ochromedriver.exe')
driver.get("http://google.com")

注意pageLoadStrategynormaleagerWebDriver W3C 编辑草案的none要求,但值仍然是ChromeDriver实现中的WIP(正在进行的工作) 。您可以在 Python 中 Chromedriver Selenium 的“急切”页面加载策略解决方法中找到详细讨论pageLoadStrategyeager

解决方案 2:

根据 selenium文档 V4.0,现在看起来是这样的:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.page_load_strategy = 'none'
driver = webdriver.Chrome(options=options)
driver.get("http://www.google.com")
driver.quit()

解决方案 3:

@undetected Selenium 答案很好用,但对于 chrome,部分不起作用,请使用下面的 chrome 答案

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
capa = DesiredCapabilities.CHROME
capa["pageLoadStrategy"] = "none"
browser= webdriver.Chrome(desired_capabilities=capa,executable_path='PATH',options=options)

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1579  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1355  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   8  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   9  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用