Python 内存泄漏[关闭]

2025-02-12 10:03:00
admin
原创
64
摘要:问题描述:我有一个长时间运行的脚本,如果运行时间足够长,将会消耗系统上的所有内存。我不详细讨论脚本,我有两个问题:是否有任何“最佳实践”可供遵循,以帮助防止发生泄漏?有哪些技术可以调试 Python 中的内存泄漏?解决方案 1:看看这篇文章:跟踪 Python 内存泄漏另外,请注意,垃圾收集模块实际上可以设置...

问题描述:

我有一个长时间运行的脚本,如果运行时间足够长,将会消耗系统上的所有内存。

我不详细讨论脚本,我有两个问题:

  1. 是否有任何“最佳实践”可供遵循,以帮助防止发生泄漏?

  2. 有哪些技术可以调试 Python 中的内存泄漏?


解决方案 1:

看看这篇文章:跟踪 Python 内存泄漏

另外,请注意,垃圾收集模块实际上可以设置调试标志。查看该set_debug函数。此外,查看Gnibbler 编写的这段代码,以确定调用后创建的对象类型。

解决方案 2:

我尝试了前面提到的大多数选项,但发现这个小巧直观的包是最好的:pympler

跟踪未被垃圾收集的对象非常简单,请查看这个小例子:

通过安装包pip install pympler

from pympler.tracker import SummaryTracker
tracker = SummaryTracker()

# ... some code you want to investigate ...

tracker.print_diff()

输出显示所有已添加的对象以及它们消耗的内存。

示例输出:

                                 types |   # objects |   total size
====================================== | =========== | ============
                                  list |        1095 |    160.78 KB
                                   str |        1093 |     66.33 KB
                                   int |         120 |      2.81 KB
                                  dict |           3 |       840 B
      frame (codename: create_summary) |           1 |       560 B
          frame (codename: print_diff) |           1 |       480 B

此软件包提供了许多其他功能。请查看pympler 的文档,特别是识别内存泄漏部分。

解决方案 3:

让我推荐一下我创建的mem_top工具

它帮助我解决了类似的问题

它只是立即显示 Python 程序中内存泄漏的主要嫌疑人

解决方案 4:

Tracemalloc 模块从 Python 3.4 开始作为内置模块集成,并且显然,它也可以作为第三方库用于以前版本的 Python (虽然还没有测试过)。

该模块能够输出分配最多内存的精确文件和行。恕我直言,这些信息比每种类型的分配实例数量(99% 的时间最终会变成很多元组,这是一个线索,但在大多数情况下几乎没有帮助)更有价值。

我建议你将 tracemalloc 与pyrasite结合使用。十有八九,在pyrasite-shell中运行前10 个代码片段将为你提供足够的信息和提示,让你在 10 分钟内修复泄漏。但是,如果你仍然无法找到泄漏原因,pyrasite-shell 与本线程中提到的其他工具结合使用可能也会给你更多提示。你还应该查看 pyrasite 提供的所有额外帮助程序(例如内存查看器)。

解决方案 5:

您应该特别关注您的全局或静态数据(长寿命数据)。

当这些数据无限制地增长时,你也会在 Python 中遇到麻烦。

垃圾收集器只能收集不再引用的数据。但您的静态数据可以连接应释放的数据元素。

另一个问题可能是内存循环,但至少从理论上讲,垃圾收集器应该找到并消除循环 - 至少只要它们不依赖于某些长期存在的数据。

哪些类型的长期数据特别麻烦?仔细查看所有列表和字典——它们可以无限制地增长。在字典中,您甚至可能看不到麻烦,因为当您访问字典时,字典中的键数对您来说可能不太明显……

解决方案 6:

要检测和定位长时间运行进程的内存泄漏(例如在生产环境中),您现在可以使用stackimpact。它在下面使用tracemalloc 。更多信息请参阅这篇文章。

在此处输入图片描述

解决方案 7:

就最佳实践而言,请留意递归函数。就我而言,我遇到了递归问题(本来不需要)。下面是我所做事情的一个简化示例:

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    if my_flag:  # restart the function if a certain flag is true
        my_function()

def main():
    my_function()

这种递归操作不会触发垃圾收集并清除函数的残余,因此每次执行时内存使用量都会越来越大。

我的解决方案是将递归调用从 my_function() 中拉出来,并让 main() 处理何时再次调用它。这样,函数就会自然结束并自行清理。

def my_function():
    # lots of memory intensive operations
    # like operating on images or huge dictionaries and lists
    .....
    my_flag = True
    .....
    return my_flag

def main():
    result = my_function()
    if result:
        my_function()

解决方案 8:

不确定 Python 中内存泄漏的“最佳实践”,但 Python 应该通过其垃圾收集器清除其自己的内存。因此,我主要会从检查一些短循环列表开始,因为它们不会被垃圾收集器拾取。

解决方案 9:

这绝不是详尽的建议。但在编写代码时,为了避免将来出现内存泄漏(循环),要记住的首要事情是确保任何接受回调引用的东西都应将该回调存储为弱引用。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1642  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1373  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,推动我国数字经济的高质量发展。在金融行业,信创的应用具有极其重要的意义。金融作为国家经济的核心领域,其安全稳定运行关乎国计民生。随着国际形势的变化和信息技术的飞速发展,金融行业对自主创新、安全可靠的信息技术需求愈发迫切。国货国用信创在金融行业的应用,不仅能够...
信创产品有哪些   0  
  信创技术,即信息技术应用创新产业技术,涵盖了从芯片、服务器、操作系统到数据库、中间件等一系列基础软硬件领域。近年来,信创技术发展迅猛,正以前所未有的态势渗透到传统制造业的各个环节,深刻改变着传统制造业的格局。传统制造业长期以来依赖于传统的生产模式、管理方式以及技术架构,在全球经济环境变化、市场竞争加剧的背景下,面临着转...
信创软件有哪些   0  
  信创产业作为近年来备受瞩目的领域,正深刻影响着全球科技格局与经济发展走向。它不仅仅是信息技术的创新应用,更是国家战略安全、产业转型升级的关键支撑。在数字化浪潮席卷而来的当下,信创产业的发展态势成为各界关注焦点。对其未来5年发展趋势进行预测,有助于我们提前布局、把握机遇,在这场科技变革中占据有利位置。技术创新引领产业升级...
国产化信创什么意思   0  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用