推荐使用哪个 Python 内存分析器？[关闭]-IT科技

推荐使用哪个 Python 内存分析器？[关闭]

2024-12-02 08:41:00

admin

原创

136

摘要：问题描述：我想知道我的 Python 应用程序的内存使用情况，特别是想知道哪些代码块/部分或对象消耗的内存最多。Google 搜索显示一个商业产品是Python Memory Validator（仅限 Windows）。其中开源的有PySizer和Heapy。我还没有尝试过任何人，所以我想知道哪一个是最好的：...

问题描述：

我想知道我的 Python 应用程序的内存使用情况，特别是想知道哪些代码块/部分或对象消耗的内存最多。Google 搜索显示一个商业产品是Python Memory Validator（仅限 Windows）。

其中开源的有PySizer和Heapy。

我还没有尝试过任何人，所以我想知道哪一个是最好的：

提供大部分细节。
我只需对我的代码做最少的更改或者不做任何更改。

解决方案 1：

我的模块memory_profiler能够打印逐行内存使用情况报告，适用于 Unix 和 Windows（最后一个需要 psutil）。输出不是很详细，但目的是让您了解代码消耗更多内存的位置，而不是对分配的对象进行详尽分析。

用标志修饰你的函数@profile并运行你的代码后-m memory_profiler，它将逐行打印如下报告：

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

解决方案 2：

guppy3使用起来非常简单。在代码的某个时刻，你必须编写以下内容：

from guppy import hpy
h = hpy()
print(h.heap())

这将为您提供如下输出：

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以找出对象的引用位置并获取有关该对象的统计信息，但不知何故，有关该对象的文档有点稀疏。

还有一个用 Tk 编写的图形浏览器。

对于 Python 2.x，使用Heapy。

解决方案 3：

我推荐Dowser。它的设置非常简单，而且你不需要对代码进行任何更改。你可以查看每种类型的对象随时间的变化情况、查看活动对象的列表、查看对活动对象的引用，所有这些都可以通过简单的 Web 界面完成。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

你导入 memdebug，然后调用 memdebug.start。就这样。

我还没有尝试过 PySizer 或 Heapy。我很希望听到其他人的评论。

更新

上面的代码适用于CherryPy 2.X，CherryPy 3.X该server.quickstart方法已被删除并且engine.start不接受blocking标志。因此，如果您正在使用CherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()