selenium 与 scrapy 实现动态页面
- 2024-12-24 08:56:00
- admin 原创
- 155
问题描述：
我正在尝试使用 scrapy 从网页上抓取产品信息。我要抓取的网页如下所示：
从包含 10 种产品的 product_list 页面开始
单击“下一步”按钮将加载接下来的 10 个产品（两个页面之间的 URL 不会改变）
我使用 LinkExtractor 跟踪每个产品链接进入产品页面，并获取我需要的所有信息
我尝试复制 next-button-ajax-call，但无法正常工作，所以我尝试使用 selenium。我可以在单独的脚本中运行 selenium 的 webdriver，但我不知道如何与 scrapy 集成。我应该将 selenium 部分放在 scrapy spider 的哪里？
我的蜘蛛很标准，如下所示：
class ProductSpider(CrawlSpider):
name = "product_spider"
allowed_domains = ['example.com']
start_urls = ['http://example.com/shanghai']
rules = [
Rule(SgmlLinkExtractor(restrict_xpaths='//div[@id="productList"]//dl[@class="t2"]//dt'), callback='parse_product'),
]
def parse_product(self, response):
self.log("parsing product %s" %response.url, level=INFO)
hxs = HtmlXPathSelector(response)
# actual data follows
任何想法都值得赞赏。谢谢！
解决方案 1：
这实际上取决于您需要如何抓取网站以及您想要获取什么数据。
Scrapy下面是一个使用+跟踪 eBay 分页的示例Selenium：
import scrapy
from selenium import webdriver
class ProductSpider(scrapy.Spider):
name = "product_spider"
allowed_domains = ['ebay.com']
start_urls = ['http://www.ebay.com/sch/i.html?_odkw=books&_osacat=0&_trksid=p2045573.m570.l1313.TR0.TRC0.Xpython&_nkw=python&_sacat=0&_from=R40']
def __init__(self):
self.driver = webdriver.Firefox()
def parse(self, response):
self.driver.get(response.url)
while True:
next = self.driver.find_element_by_xpath('//td[@class="pagn-next"]/a')
try:
next.click()
# get the data and write it to scrapy items
except:
break
self.driver.close()
以下是一些“硒蜘蛛”的例子：
在 python 中使用 scrapy 执行 Javascript 提交表单函数
除了使用Seleniumwith之外，还有另一种选择Scrapy。在某些情况下，使用ScrapyJS中间件就足以处理页面的动态部分。实际使用示例：
使用 python-Scrapy 抓取动态内容
解决方案 2：
如果 (两个页面之间的 url 没有变化)，那么您应该在 scrapy.Request() 中添加dont_filter=True，否则 scrapy 在处理第一页后会发现该 url 是重复的。
如果你需要使用 javascript 呈现页面，你应该使用scrapy-splash，你也可以检查这个scrapy 中间件，它可以使用 selenium 处理 javascript 页面，或者你可以通过启动任何无头浏览器来做到这一点
但更有效、更快捷的解决方案是检查您的浏览器，查看在提交表单或触发某个事件时发出了哪些请求。尝试模拟浏览器发送的相同请求。如果您可以正确复制请求，您将获得所需的数据。
以下是一个例子：
class ScrollScraper(Spider):
name = "scrollingscraper"
quote_url = "http://quotes.toscrape.com/api/quotes?page="
start_urls = [quote_url + "1"]
def parse(self, response):
quote_item = QuoteItem()
print response.body
data = json.loads(response.body)
for item in data.get('quotes', []):
quote_item["author"] = item.get('author', {}).get('name')
quote_item['quote'] = item.get('text')
quote_item['tags'] = item.get('tags')
yield quote_item
if data['has_next']:
next_page = data['page'] + 1
yield Request(self.quote_url + str(next_page))
当每个页面的分页 URL 相同且使用 POST 请求时，您可以使用scrapy.FormRequest()而不是scrapy.Request()，两者相同，但 FormRequest向构造函数添加了一个新参数（ formdata= ）。
以下是该帖子中的另一个蜘蛛示例：
class SpiderClass(scrapy.Spider):
# spider name and all
name = 'ajax'
page_incr = 1
start_urls = ['http://www.pcguia.pt/category/reviews/#paginated=1']
pagination_url = 'http://www.pcguia.pt/wp-content/themes/flavor/functions/ajax.php'
def parse(self, response):
sel = Selector(response)
if self.page_incr > 1:
json_data = json.loads(response.body)
sel = Selector(text=json_data.get('content', ''))
# your code here
# pagination code starts here
if sel.xpath('//div[@class="panel-wrapper"]'):
self.page_incr += 1
formdata = {
'sorter': 'recent',
'location': 'main loop',
'loop': 'main loop',
'action': 'sort',
'view': 'grid',
'columns': '3',
'paginated': str(self.page_incr),
'currentquery[category_name]': 'reviews'
}
yield FormRequest(url=self.pagination_url, formdata=formdata, callback=self.parse)
else:
return
