如何让 Selenium 不等到整个页面加载(脚本很慢)?

2024-12-25 08:51:00
admin
原创
140
摘要:问题描述:Seleniumdriver.get (url)等待整个页面加载。但是抓取页面尝试加载一些无效的 JS 脚本。所以我的 Python 脚本等待它并且几分钟不工作。这个问题可能出现在网站的每个页面上。from selenium import webdriver driver = webdriver....

问题描述:

Seleniumdriver.get (url)等待整个页面加载。但是抓取页面尝试加载一些无效的 JS 脚本。所以我的 Python 脚本等待它并且几分钟不工作。这个问题可能出现在网站的每个页面上。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.cortinadecor.com/productos/17/estores-enrollables-screen/estores-screen-corti-3000')
# It try load: https://www.cetelem.es/eCommerceCalculadora/resources/js/eCalculadoraCetelemCombo.js 
driver.find_element_by_name('ANCHO').send_keys("100")

如何限制等待时间、阻止文件的 AJAX 加载,或者有其他方法吗?

此外,我还在 中测试了我的脚本webdriver.Chrome(),但将使用 PhantomJS(),或者可能是 Firefox()。因此,如果某种方法使用了浏览器设置的更改,那么它必须是通用的。


解决方案 1:

当 Selenium 默认加载页面/url 时,它会遵循pageLoadStrategy设置为 的默认配置normal。为了让 Selenium 不等待完整的页面加载,我们可以配置pageLoadStrategypageLoadStrategy支持以下 3 个不同的值:

  1. normal(完整页面加载)

  2. eager(交互的)

  3. none

以下是配置的代码块pageLoadStrategy

  • 火狐浏览器

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities().FIREFOX
caps["pageLoadStrategy"] = "normal"  #  complete
#caps["pageLoadStrategy"] = "eager"  #  interactive
#caps["pageLoadStrategy"] = "none"
driver = webdriver.Firefox(desired_capabilities=caps, executable_path=r'C:path    ogeckodriver.exe')
driver.get("http://google.com")
  • 铬合金

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities().CHROME
caps["pageLoadStrategy"] = "normal"  #  complete
#caps["pageLoadStrategy"] = "eager"  #  interactive
#caps["pageLoadStrategy"] = "none"
driver = webdriver.Chrome(desired_capabilities=caps, executable_path=r'C:path    ochromedriver.exe')
driver.get("http://google.com")

注意pageLoadStrategynormaleagerWebDriver W3C 编辑草案的none要求,但值仍然是ChromeDriver实现中的WIP(正在进行的工作) 。您可以在 Python 中 Chromedriver Selenium 的“急切”页面加载策略解决方法中找到详细讨论pageLoadStrategyeager

解决方案 2:

根据 selenium文档 V4.0,现在看起来是这样的:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.page_load_strategy = 'none'
driver = webdriver.Chrome(options=options)
driver.get("http://www.google.com")
driver.quit()

解决方案 3:

@undetected Selenium 答案很好用,但对于 chrome,部分不起作用,请使用下面的 chrome 答案

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
capa = DesiredCapabilities.CHROME
capa["pageLoadStrategy"] = "none"
browser= webdriver.Chrome(desired_capabilities=capa,executable_path='PATH',options=options)

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1565  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1354  
  信创国产芯片作为信息技术创新的核心领域,对于推动国家自主可控生态建设具有至关重要的意义。在全球科技竞争日益激烈的背景下,实现信息技术的自主可控,摆脱对国外技术的依赖,已成为保障国家信息安全和产业可持续发展的关键。国产芯片作为信创产业的基石,其发展水平直接影响着整个信创生态的构建与完善。通过不断提升国产芯片的技术实力、产...
国产信创系统   21  
  信创生态建设旨在实现信息技术领域的自主创新和安全可控,涵盖了从硬件到软件的全产业链。随着数字化转型的加速,信创生态建设的重要性日益凸显,它不仅关乎国家的信息安全,更是推动产业升级和经济高质量发展的关键力量。然而,在推进信创生态建设的过程中,面临着诸多复杂且严峻的挑战,需要深入剖析并寻找切实可行的解决方案。技术创新难题技...
信创操作系统   27  
  信创产业作为国家信息技术创新发展的重要领域,对于保障国家信息安全、推动产业升级具有关键意义。而国产芯片作为信创产业的核心基石,其研发进展备受关注。在信创国产芯片的研发征程中,面临着诸多复杂且艰巨的难点,这些难点犹如一道道关卡,阻碍着国产芯片的快速发展。然而,科研人员和相关企业并未退缩,积极探索并提出了一系列切实可行的解...
国产化替代产品目录   28  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用