如何查看我的 Python 应用程序发送的整个 HTTP 请求？

问题描述：

就我而言，我使用该requests库通过 HTTPS 调用 PayPal 的 API。不幸的是，我收到了来自 PayPal 的错误，PayPal 支持无法确定错误是什么或导致错误的原因。他们希望我“请提供整个请求，包括标头”。

我怎样才能做到这一点？

解决方案 1：

一种简单的方法：在较新版本的 Requests（1.x 及更高版本）中启用日志记录。

Requests 使用http.client和logging模块配置来控制日志详细程度，如此处所述。

示范

从链接文档中摘录的代码：

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

示例输出

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1
Host: httpbin.org
Accept-Encoding: gzip, deflate, compress
Accept: */*
User-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic

'
reply: 'HTTP/1.1 200 OK
'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226

解决方案 2：

r = requests.get('https://api.github.com', auth=('user', 'pass'))

r是一个响应。它有一个请求属性，其中包含您需要的信息。

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers给出标题：

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

然后r.request.data将主体作为映射。urllib.urlencode如果他们愿意，你可以使用以下命令进行转换：

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

根据响应的类型，-attribute.data可能会丢失，但.body会以 -attribute 代替。

解决方案 3：

您可以使用HTTP Toolkit来执行此操作。

如果您需要快速完成此操作且无需更改代码，它特别有用：您可以从 HTTP Toolkit 打开终端，从那里正常运行任何 Python 代码，您将能够立即看到每个 HTTP/HTTPS 请求的完整内容。

有一个免费版本可以满足您的所有需求，并且它是 100% 开源的。

我是 HTTP Toolkit 的创建者；实际上，不久前我自己构建了它来解决同样的问题！我也曾尝试调试支付集成，但他们的 SDK 不起作用，我不知道原因，我需要知道到底发生了什么才能正确修复它。这非常令人沮丧，但能够看到原始流量确实很有帮助。

解决方案 4：

调试 HTTP 本地请求的一个更简单的方法是使用 netcat。如果你运行

nc -l 1234

您将开始监听端口上的1234HTTP 连接。您可以通过 访问它http://localhost:1234/foo/foo/...。

在终端上，您将看到发送到端点的所有原始数据。例如：

POST /foo/foo HTTP/1.1
Accept: application/json
Connection: keep-alive
Host: example.com
Accept-Language: en-en
Authorization: Bearer ay...
Content-Length: 15
Content-Type: application/json

{"test": false}

解决方案 5：

没有完全起作用的日志系统（无论如何，截至请求 2.26，非常旧的版本可能有另一种行为）

好的解决方案是使用“钩子”并在发生时打印详细信息。

这里对此进行了很好的解释： https: //findwork.dev/blog/advanced-usage-python-requests-timeouts-retries-hooks/

在“打印所有内容”下，

但万一链接失效了，这里是重要的部分

import requests
from requests_toolbelt.utils import dump

def logging_hook(response, *args, **kwargs):
    data = dump.dump_all(response)
    print(data.decode('utf-8'))

http = requests.Session()
http.hooks["response"] = [logging_hook]

http.get("https://api.openaq.org/v1/cities", params={"country": "BA"})

这次的结果将是发送的查询和接收的响应的完整跟踪。

我已经成功尝试使用 POST 和大量标头：它有效。别忘了 pip install request_toolbelt。

# Output
< GET /v1/cities?country=BA HTTP/1.1
< Host: api.openaq.org

> HTTP/1.1 200 OK
> Content-Type: application/json; charset=utf-8
> Transfer-Encoding: chunked
> Connection: keep-alive
>
{
   "meta":{
      "name":"openaq-api",
      "license":"CC BY 4.0",
      "website":"https://docs.openaq.org/",
      "page":1,
      "limit":100,
      "found":1
   },
   "results":[
      {
         "country":"BA",
         "name":"Goražde",
         "city":"Goražde",
         "count":70797,
         "locations":1
      }
   ]
}

解决方案 6：

先前的答案似乎被否决了，因为它以“没有什么完全起作用”开头，然后提供了这个完美的解决方案：

1. 使用 安装requests_toolbelt实用程序集合pip install requests-toolbelt。

2. 使用方式如下：

import requests
from requests_toolbelt.utils import dump

response = requests.get("https://v2.jokeapi.dev/joke/Any?safe-mode")
print(dump.dump_all(response).decode("utf-8"))

解决方案 7：

如果您使用的是 Python 2.x，请尝试安装urllib2打开器。它应该会打印出您的标头，尽管您可能必须将其与您使用的其他打开器结合使用才能达到 HTTPS。

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)

解决方案 8：

配置选项可能会让你看到你想要的东西。文档中verbose有一个例子。

注意：阅读以下评论：详细配置选项似乎不再可用。

解决方案 9：

正如其他人所指出的，有一个不错的requests-toolbelt模块，它具有方便的功能，可以使用请求钩子转储请求和响应内容。不幸的是（截至目前），只有一个钩子可以在请求成功完成时调用。情况并非总是如此。即请求可能会以ConnectionError异常结束Timeout。

该requests-toolbelt模块本身还提供了仅转储已完成请求的公共函数。但是，使用一些非公共 API 和 Session 子类化，可以实现发送前记录请求和接收后记录响应。

注意：代码依赖于模块的实现细节/非公开 API requests-toolbelt，因此将来可能会出现意外中断：

import requests

from requests_toolbelt.utils import dump

class MySession(requests.Session):
    def send(self, req, *args, **kwargs):
        prefixes = dump.PrefixSettings(b'< ', b'> ')

        data = bytearray()

        try:
            dump._dump_request_data(req, prefixes, data)
            resp = super().send(req, *args, **kwargs)
            dump._dump_response_data(resp, prefixes, data)
        finally:
            print(data.decode('utf-8'))

        return resp

下面是一个使用示例：

>>> MySession().get('https://httpbin.org/headers')
< GET /headers HTTP/1.1
< Host: httpbin.org
< User-Agent: python-requests/2.25.1
< Accept-Encoding: gzip, deflate
< Accept: */*
< Connection: keep-alive
< 

> HTTP/1.1 200 OK
> Date: Fri, 19 Aug 2022 10:43:51 GMT
> Content-Type: application/json
> Content-Length: 225
> Connection: keep-alive
> Server: gunicorn/19.9.0
> Access-Control-Allow-Origin: *
> Access-Control-Allow-Credentials: true
> 
{
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.25.1"
  }
}

>>> MySession().get('https://non.existent')
< GET / HTTP/1.1
< Host: non.existent
< User-Agent: python-requests/2.25.1
< Accept-Encoding: gzip, deflate
< Accept: */*
< Connection: keep-alive
< 


Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/urllib3/connection.py", line 169, in _new_conn
    conn = connection.create_connection(
  File "/usr/lib/python3/dist-packages/urllib3/util/connection.py", line 73, in create_connection
    for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
  File "/usr/lib/python3.10/socket.py", line 955, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno -2] Name or service not known
...

解决方案 10：

import requests    
import logging
import http.client

http.client.HTTPConnection.debuglevel=1
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
req_log = logging.getLogger('requests.packages.urllib3')
req_log.setLevel(logging.DEBUG)
req_log.propagate = True

解决方案 11：

如果你已经安装了nodejs：

npx dummy-http-server

对于命令行选项：

npx dummy-http-server --help

解决方案 12：

您可以使用Webhook之类的免费服务来检查您的传出请求及其标头。