TypeError：无法在 re.findall() 中的类似字节的对象上使用字符串模式

问题描述：

我正在尝试学习如何自动从页面获取 URL。在下面的代码中，我尝试获取网页的标题：

import urllib.request
import re

url = "http://www.google.com"
regex = r'<title>(,+?)</title>'
pattern  = re.compile(regex)

with urllib.request.urlopen(url) as response:
   html = response.read()

title = re.findall(pattern, html)
print(title)

我收到了这个意外的错误：

Traceback (most recent call last):
  File "path    oileCrawler.py", line 11, in <module>
    title = re.findall(pattern, html)
  File "C:Python33lib
e.py", line 201, in findall
    return _compile(pattern, flags).findall(string)
TypeError: can't use a string pattern on a bytes-like object

我做错什么了？

解决方案 1：

您想使用 将 html （类似字节的对象）转换为字符串.decode，例如 html = response.read().decode('utf-8')。

请参阅将字节转换为 Python 字符串

解决方案 2：

问题是你的正则表达式是一个字符串，但是html是字节：

>>> type(html)
<class 'bytes'>

由于 python 不知道这些字节是如何编码的，因此当您尝试对它们使用字符串正则表达式时，它会引发异常。

您可以将decode字节转换为字符串：

html = html.decode('ISO-8859-1')  # encoding may vary!
title = re.findall(pattern, html)  # no more error

或者使用字节正则表达式：

regex = rb'<title>(,+?)</title>'
#        ^

在这个特定的上下文中，您可以从响应标头中获取编码：

with urllib.request.urlopen(url) as response:
    encoding = response.info().get_param('charset', 'utf8')
    html = response.read().decode(encoding)

请参阅urlopen文档以了解更多详细信息。

解决方案 3：

基于上一个，当 pdf 读取完成时，这很容易做到。

text = text.decode('ISO-8859-1') 

谢谢@Aran-fey