使用 Python 进行网页抓取 [关闭]-IT科技

摘要：问题描述：我想从网站上获取每日日出/日落时间。是否可以使用 Python 抓取网页内容？使用的模块有哪些？是否有可用的教程？解决方案 1：将 urllib2 与出色的BeautifulSoup库结合使用：import urllib2 from BeautifulSoup import BeautifulSou...

问题描述：

我想从网站上获取每日日出/日落时间。是否可以使用 Python 抓取网页内容？使用的模块有哪些？是否有可用的教程？

解决方案 1：

将 urllib2 与出色的BeautifulSoup库结合使用：

import urllib2
from BeautifulSoup import BeautifulSoup
# or if you're using BeautifulSoup4:
# from bs4 import BeautifulSoup

soup = BeautifulSoup(urllib2.urlopen('http://example.com').read())

for row in soup('table', {'class': 'spad'})[0].tbody('tr'):
    tds = row('td')
    print tds[0].string, tds[1].string
    # will print date and sunrise

解决方案 2：

我真的推荐 Scrapy。

引用已删除的答案：

Scrapy 爬行比 mechanize 更快，因为它使用异步操作（在 Twisted 之上）。
Scrapy 在 libxml2 之上对解析 (x)html 有更好、更快的支持。
Scrapy 是一个成熟的框架，具有完整的 unicode、处理重定向、gzip 响应、奇数编码、集成 http 缓存等。
一旦您使用 Scrapy，您可以在不到 5 分钟的时间内编写一个蜘蛛，下载图像、创建缩略图并将提取的数据直接导出为 csv 或 json。

解决方案 3：

我将我从网络抓取工作中获得的脚本收集到这个bit-bucket 库中。

您的案例的示例脚本：

from webscraping import download, xpath
D = download.Download()

html = D.get('http://example.com')
for row in xpath.search(html, '//table[@class="spad"]/tbody/tr'):
    cols = xpath.search(row, '/td')
    print 'Sunrise: %s, Sunset: %s' % (cols[1], cols[2])

输出：

Sunrise: 08:39, Sunset: 16:08
Sunrise: 08:39, Sunset: 16:09
Sunrise: 08:39, Sunset: 16:10
Sunrise: 08:40, Sunset: 16:10
Sunrise: 08:40, Sunset: 16:11
Sunrise: 08:40, Sunset: 16:12
Sunrise: 08:40, Sunset: 16:13

解决方案 4：

我强烈建议您查看pyquery。它使用类似 jquery（又称类似 css）的语法，这对于那些具有该背景的人来说非常容易。

对于你的情况，它应该是这样的：

from pyquery import *

html = PyQuery(url='http://www.example.com/')
trs = html('table.spad tbody tr')

for tr in trs:
  tds = tr.getchildren()
  print tds[1].text, tds[2].text

输出：

5:16 AM 9:28 PM
5:15 AM 9:30 PM
5:13 AM 9:31 PM
5:12 AM 9:33 PM
5:11 AM 9:34 PM
5:10 AM 9:35 PM
5:09 AM 9:37 PM

解决方案 5：

您可以使用urllib2发出 HTTP 请求，然后您将获得 Web 内容。

你可以这样获取它：

import urllib2
response = urllib2.urlopen('http://example.com')
html = response.read()

Beautiful Soup是一个 Python HTML 解析器，适用于屏幕抓取。

具体来说，这是他们关于解析 HTML 文档的教程。

祝你好运！

解决方案 6：

我使用了Scrapemark (查找网址 - py2) 和httlib2 (下载图片 - py2+3)的组合。scrapemark.py 有 500 行代码，但使用了正则表达式，因此可能不是那么快，没有测试。

抓取您的网站的示例：

import sys
from pprint import pprint
from scrapemark import scrape

pprint(scrape("""
    <table class="spad">
        <tbody>
            {*
                <tr>
                    <td>{{[].day}}</td>
                    <td>{{[].sunrise}}</td>
                    <td>{{[].sunset}}</td>
                    {# ... #}
                </tr>
            *}
        </tbody>
    </table>
""", url=sys.argv[1] ))

用法：

python2 sunscraper.py http://www.example.com/

结果：

[{'day': u'1. Dez 2012', 'sunrise': u'08:18', 'sunset': u'16:10'},
 {'day': u'2. Dez 2012', 'sunrise': u'08:19', 'sunset': u'16:10'},
 {'day': u'3. Dez 2012', 'sunrise': u'08:21', 'sunset': u'16:09'},
 {'day': u'4. Dez 2012', 'sunrise': u'08:22', 'sunset': u'16:09'},
 {'day': u'5. Dez 2012', 'sunrise': u'08:23', 'sunset': u'16:08'},
 {'day': u'6. Dez 2012', 'sunrise': u'08:25', 'sunset': u'16:08'},
 {'day': u'7. Dez 2012', 'sunrise': u'08:26', 'sunset': u'16:07'}]

解决方案 7：

使用让您的生活更轻松CSS Selectors

我知道我来晚了，但我有一个很好的建议给你。

BeautifulSoup已经有人建议使用，我更喜欢使用CSS Selectors来抓取 HTML 中的数据

import urllib2
from bs4 import BeautifulSoup

main_url = "http://www.example.com"

main_page_html  = tryAgain(main_url)
main_page_soup = BeautifulSoup(main_page_html)

# Scrape all TDs from TRs inside Table
for tr in main_page_soup.select("table.class_of_table"):
   for td in tr.select("td#id"):
       print(td.text)
       # For acnhors inside TD
       print(td.select("a")[0].text)
       # Value of Href attribute
       print(td.select("a")[0]["href"])

# This is method that scrape URL and if it doesnt get scraped, waits for 20 seconds and then tries again. (I use it because my internet connection sometimes get disconnects)
def tryAgain(passed_url):
    try:
        page  = requests.get(passed_url,headers = random.choice(header), timeout = timeout_time).text
        return page
    except Exception:
        while 1:
            print("Trying again the URL:")
            print(passed_url)
            try:
                page  = requests.get(passed_url,headers = random.choice(header), timeout = timeout_time).text
                print("-------------------------------------")
                print("---- URL was successfully scraped ---")
                print("-------------------------------------")
                return page
            except Exception:
                time.sleep(20)
                continue

解决方案 8：

如果我们想从任何特定类别中获取项目的名称，那么我们可以通过使用 css 选择器指定该类别的类名来实现：

import requests ; from bs4 import BeautifulSoup

soup = BeautifulSoup(requests.get('https://www.flipkart.com/').text, "lxml")
for link in soup.select('div._2kSfQ4'):
    print(link.text)

这是部分搜索结果：

Puma, USPA, Adidas & moreUp to 70% OffMen's Shoes
Shirts, T-Shirts...Under ₹599For Men
Nike, UCB, Adidas & moreUnder ₹999Men's Sandals, Slippers
Philips & moreStarting ₹99LED Bulbs & Emergency Lights

解决方案 9：

这是一个简单的网络爬虫，我使用了 BeautifulSoup，我们将搜索所有类名为 _3NFO0d 的链接（锚点）。我使用了 Flipkar.com，这是一家在线零售商店。

import requests
from bs4 import BeautifulSoup
def crawl_flipkart():
    url = 'https://www.flipkart.com/'
    source_code = requests.get(url)
    plain_text = source_code.text
    soup = BeautifulSoup(plain_text, "lxml")
    for link in soup.findAll('a', {'class': '_3NFO0d'}):
        href = link.get('href')
        print(href)

crawl_flipkart()

解决方案 10：

Python 有很多不错的选项来抓取网页数据。带有框架的最佳选项是scrapy。对于初学者来说，这可能有点棘手，所以这里有一点帮助。1

. 安装 3.5 以上的 Python（2.7 之前的版本也可以）。2

. 在 conda 中创建环境（我就是这样做的）。3

. 在一个位置安装 scrapy 并从那里运行。4

.Scrapy shell将为您提供一个交互式界面来测试您的代码。5

.Scrapy startproject projectname将创建一个框架。6

.Scrapy genspider spidername将创建一个蜘蛛。您可以根据需要创建任意数量的蜘蛛。执行此操作时，请确保您在项目目录中。

更简单的方法是使用请求和beautiful soup。开始之前，花一个小时的时间阅读文档，它将解决您的大部分疑问。BS4 提供您可以选择的各种解析器。使用user-agent和sleep使抓取更容易。BS4 返回一个 bs.tag，因此使用variable[0]。如果有 js 正在运行，您将无法直接使用请求和 bs4 进行抓取。您可以获取 api 链接，然后解析 JSON 以获取所需信息或尝试selenium。