Python 内存泄漏[关闭]-IT科技

Python 内存泄漏[关闭]

2025-02-12 10:03:00

admin

原创

摘要：问题描述：我有一个长时间运行的脚本，如果运行时间足够长，将会消耗系统上的所有内存。我不详细讨论脚本，我有两个问题：是否有任何“最佳实践”可供遵循，以帮助防止发生泄漏？有哪些技术可以调试 Python 中的内存泄漏？解决方案 1：看看这篇文章：跟踪 Python 内存泄漏另外，请注意，垃圾收集模块实际上可以设置...

问题描述：

我有一个长时间运行的脚本，如果运行时间足够长，将会消耗系统上的所有内存。

我不详细讨论脚本，我有两个问题：

是否有任何“最佳实践”可供遵循，以帮助防止发生泄漏？
有哪些技术可以调试 Python 中的内存泄漏？

解决方案 1：

看看这篇文章：跟踪 Python 内存泄漏

另外，请注意，垃圾收集模块实际上可以设置调试标志。查看该set_debug函数。此外，查看Gnibbler 编写的这段代码，以确定调用后创建的对象类型。

解决方案 2：

我尝试了前面提到的大多数选项，但发现这个小巧直观的包是最好的：pympler

跟踪未被垃圾收集的对象非常简单，请查看这个小例子：

通过安装包pip install pympler

from pympler.tracker import SummaryTracker
tracker = SummaryTracker()

# ... some code you want to investigate ...

tracker.print_diff()

输出显示所有已添加的对象以及它们消耗的内存。

示例输出：

                                 types |   # objects |   total size
====================================== | =========== | ============
                                  list |        1095 |    160.78 KB
                                   str |        1093 |     66.33 KB
                                   int |         120 |      2.81 KB
                                  dict |           3 |       840 B
      frame (codename: create_summary) |           1 |       560 B
          frame (codename: print_diff) |           1 |       480 B

此软件包提供了许多其他功能。请查看pympler 的文档，特别是识别内存泄漏部分。

解决方案 3：

让我推荐一下我创建的mem_top工具

它帮助我解决了类似的问题

它只是立即显示 Python 程序中内存泄漏的主要嫌疑人

解决方案 4：

Tracemalloc 模块从 Python 3.4 开始作为内置模块集成，并且显然，它也可以作为第三方库用于以前版本的 Python （虽然还没有测试过）。

该模块能够输出分配最多内存的精确文件和行。恕我直言，这些信息比每种类型的分配实例数量（99% 的时间最终会变成很多元组，这是一个线索，但在大多数情况下几乎没有帮助）更有价值。

我建议你将 tracemalloc 与pyrasite结合使用。十有八九，在pyrasite-shell中运行前10 个代码片段将为你提供足够的信息和提示，让你在 10 分钟内修复泄漏。但是，如果你仍然无法找到泄漏原因，pyrasite-shell 与本线程中提到的其他工具结合使用可能也会给你更多提示。你还应该查看 pyrasite 提供的所有额外帮助程序（例如内存查看器）。

解决方案 5：

您应该特别关注您的全局或静态数据（长寿命数据）。

当这些数据无限制地增长时，你也会在 Python 中遇到麻烦。

垃圾收集器只能收集不再引用的数据。但您的静态数据可以连接应释放的数据元素。

另一个问题可能是内存循环，但至少从理论上讲，垃圾收集器应该找到并消除循环 - 至少只要它们不依赖于某些长期存在的数据。

哪些类型的长期数据特别麻烦？仔细查看所有列表和字典——它们可以无限制地增长。在字典中，您甚至可能看不到麻烦，因为当您访问字典时，字典中的键数对您来说可能不太明显……

解决方案 6：

要检测和定位长时间运行进程的内存泄漏（例如在生产环境中），您现在可以使用stackimpact。它在下面使用tracemalloc 。更多信息请参阅这篇文章。

在此处输入图片描述

解决方案 7：

就最佳实践而言，请留意递归函数。就我而言，我遇到了递归问题（本来不需要）。下面是我所做事情的一个简化示例：

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    if my_flag:  # restart the function if a certain flag is true
        my_function()

def main():
    my_function()

这种递归操作不会触发垃圾收集并清除函数的残余，因此每次执行时内存使用量都会越来越大。

我的解决方案是将递归调用从 my_function() 中拉出来，并让 main() 处理何时再次调用它。这样，函数就会自然结束并自行清理。

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    .....
    return my_flag

def main():
    result = my_function()
    if result:
        my_function()