Python 内存泄漏[关闭]

2025-02-12 10:03:00
admin
原创
60
摘要:问题描述:我有一个长时间运行的脚本,如果运行时间足够长,将会消耗系统上的所有内存。我不详细讨论脚本,我有两个问题:是否有任何“最佳实践”可供遵循,以帮助防止发生泄漏?有哪些技术可以调试 Python 中的内存泄漏?解决方案 1:看看这篇文章:跟踪 Python 内存泄漏另外,请注意,垃圾收集模块实际上可以设置...

问题描述:

我有一个长时间运行的脚本,如果运行时间足够长,将会消耗系统上的所有内存。

我不详细讨论脚本,我有两个问题:

  1. 是否有任何“最佳实践”可供遵循,以帮助防止发生泄漏?

  2. 有哪些技术可以调试 Python 中的内存泄漏?


解决方案 1:

看看这篇文章:跟踪 Python 内存泄漏

另外,请注意,垃圾收集模块实际上可以设置调试标志。查看该set_debug函数。此外,查看Gnibbler 编写的这段代码,以确定调用后创建的对象类型。

解决方案 2:

我尝试了前面提到的大多数选项,但发现这个小巧直观的包是最好的:pympler

跟踪未被垃圾收集的对象非常简单,请查看这个小例子:

通过安装包pip install pympler

from pympler.tracker import SummaryTracker
tracker = SummaryTracker()

# ... some code you want to investigate ...

tracker.print_diff()

输出显示所有已添加的对象以及它们消耗的内存。

示例输出:

                                 types |   # objects |   total size
====================================== | =========== | ============
                                  list |        1095 |    160.78 KB
                                   str |        1093 |     66.33 KB
                                   int |         120 |      2.81 KB
                                  dict |           3 |       840 B
      frame (codename: create_summary) |           1 |       560 B
          frame (codename: print_diff) |           1 |       480 B

此软件包提供了许多其他功能。请查看pympler 的文档,特别是识别内存泄漏部分。

解决方案 3:

让我推荐一下我创建的mem_top工具

它帮助我解决了类似的问题

它只是立即显示 Python 程序中内存泄漏的主要嫌疑人

解决方案 4:

Tracemalloc 模块从 Python 3.4 开始作为内置模块集成,并且显然,它也可以作为第三方库用于以前版本的 Python (虽然还没有测试过)。

该模块能够输出分配最多内存的精确文件和行。恕我直言,这些信息比每种类型的分配实例数量(99% 的时间最终会变成很多元组,这是一个线索,但在大多数情况下几乎没有帮助)更有价值。

我建议你将 tracemalloc 与pyrasite结合使用。十有八九,在pyrasite-shell中运行前10 个代码片段将为你提供足够的信息和提示,让你在 10 分钟内修复泄漏。但是,如果你仍然无法找到泄漏原因,pyrasite-shell 与本线程中提到的其他工具结合使用可能也会给你更多提示。你还应该查看 pyrasite 提供的所有额外帮助程序(例如内存查看器)。

解决方案 5:

您应该特别关注您的全局或静态数据(长寿命数据)。

当这些数据无限制地增长时,你也会在 Python 中遇到麻烦。

垃圾收集器只能收集不再引用的数据。但您的静态数据可以连接应释放的数据元素。

另一个问题可能是内存循环,但至少从理论上讲,垃圾收集器应该找到并消除循环 - 至少只要它们不依赖于某些长期存在的数据。

哪些类型的长期数据特别麻烦?仔细查看所有列表和字典——它们可以无限制地增长。在字典中,您甚至可能看不到麻烦,因为当您访问字典时,字典中的键数对您来说可能不太明显……

解决方案 6:

要检测和定位长时间运行进程的内存泄漏(例如在生产环境中),您现在可以使用stackimpact。它在下面使用tracemalloc 。更多信息请参阅这篇文章。

在此处输入图片描述

解决方案 7:

就最佳实践而言,请留意递归函数。就我而言,我遇到了递归问题(本来不需要)。下面是我所做事情的一个简化示例:

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    if my_flag:  # restart the function if a certain flag is true
        my_function()

def main():
    my_function()

这种递归操作不会触发垃圾收集并清除函数的残余,因此每次执行时内存使用量都会越来越大。

我的解决方案是将递归调用从 my_function() 中拉出来,并让 main() 处理何时再次调用它。这样,函数就会自然结束并自行清理。

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    .....
    return my_flag

def main():
    result = my_function()
    if result:
        my_function()

解决方案 8:

不确定 Python 中内存泄漏的“最佳实践”,但 Python 应该通过其垃圾收集器清除其自己的内存。因此,我主要会从检查一些短循环列表开始,因为它们不会被垃圾收集器拾取。

解决方案 9:

这绝不是详尽的建议。但在编写代码时,为了避免将来出现内存泄漏(循环),要记住的首要事情是确保任何接受回调引用的东西都应将该回调存储为弱引用。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1590  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1361  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   18  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   18  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   19  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用