在熊猫中,inplace = True 是否有害?

2024-12-25 08:51:00
admin
原创
142
摘要:问题描述:这个问题之前已经讨论过,但答案相互矛盾:就地就好!就地不好!我想知道的是:为什么是inplace = False默认行为?什么时候更改它比较好?(好吧,我被允许更改它,所以我想这是有原因的)。这是一个安全问题吗?也就是说,操作是否会因……而失败/出现错误inplace = True?我能否提前知道某...

问题描述:

这个问题之前已经讨论过,但答案相互矛盾:

  • 就地就好!

  • 就地不好!

我想知道的是:

  • 为什么是inplace = False默认行为?

  • 什么时候更改它比较好?(好吧,我被允许更改它,所以我想这是有原因的)。

  • 这是一个安全问题吗?也就是说,操作是否会因……而失败/出现错误inplace = True

  • 我能否提前知道某项inplace = True操作是否“真正”会现场执行?


我目前的看法是:

  • 许多 Pandas 操作都有一个inplace参数,始终默认为False,这意味着原始 DataFrame 不受影响,并且该操作返回一个新的 DF。

  • 设置时inplace = True,操作可能在原始 DF 上起作用,但它可能仍在后台的副本上起作用,并且在完成后只需重新分配引用。

优点inplace = True

  • 可以更快,更少占用内存(第一个链接显示reset_index()运行速度快两倍,但使用峰值内存只有一半!)。

优点inplace = False

  • 允许链式/功能性语法:df.dropna().rename().sum()...这很好,并且提供了惰性求值或更有效的重新排序的机会(尽管我不认为 Pandas 正在这样做)。

  • inplace = True当在可能为底层 DF 的切片/视图的对象上使用时,Pandas 必须进行SettingWithCopy检查,这是很昂贵的。inplace = False避免这种情况。

  • 幕后一致且可预测的行为。

因此,抛开复制与查看问题不谈,inplace = True除非专门编写链式语句,否则始终使用 似乎性能更高。但这不是 Pandas 的默认选择,那么我遗漏了什么?


解决方案 1:

在熊猫中,inplace = True 是否有害?

是的,它确实有害。它不只是有害。它非常有害。这个 GitHub 问题建议inplace在不久的将来在 API 范围内弃用该参数。简而言之,该inplace参数的所有错误如下:

  • inplace与名称所暗示的相反,通常不会阻止创建副本,并且(几乎)不会带来任何性能优势

  • inplace不适用于方法链

  • inplace在调用 DataFrame 列时可能会导致可怕的结果SettingWithCopyWarning,有时可能无法就地更新列

上面的痛点都是初学者常见的陷阱,因此删除此选项将大大简化 API。


我们将更深入地探讨上述观点。

性能

一个常见的误解是使用inplace=True会导致更高效或优化的代码。通常,使用不会带来任何性能优势inplace=True(但也有少数例外,这主要是库中的实现细节的结果,不应被用作支持论点的借口)。方法的大多数就地和非就地版本无论如何都会创建数据的副本,而就地版本会自动将副本分配回去。无法避免复制。

方法链式调用

inplace=True也会阻碍方法链式调用。对比

result = df.some_function1().reset_index().some_function2()

相反

temp = df.some_function1()
temp.reset_index(inplace=True)
result = temp.some_function2()

意想不到的陷阱

最后一个需要记住的警告是,呼叫inplace=True 可能会触发SettingWithCopyWarning

df = pd.DataFrame({'a': [3, 2, 1], 'b': ['x', 'y', 'z']})

df2 = df[df['a'] > 1]
df2['b'].replace({'x': 'abc'}, inplace=True)
# SettingWithCopyWarning: 
# A value is trying to be set on a copy of a slice from a DataFrame

这可能会导致意外行为。

解决方案 2:

如果inplace是默认值,那么 DataFrame 将会根据当前引用它的所有名称发生变异。

一个简单的例子,假设我有一个df

df = pd.DataFrame({'a': [3, 2, 1], 'b': ['x', 'y', 'z']})

现在,DataFrame 保留行顺序非常重要 - 假设它来自插入顺序是关键的数据源。

但是,我现在需要执行一些需要不同排序顺序的操作:

def f(frame):
    df = frame.sort_values('a')
    # if we did frame.sort_values('a', inplace=True) here without
    # making it explicit - our caller is going to wonder what happened
    # do something
    return df

没问题 - 我的原始值df保持不变。但是,如果inplace=True是默认设置,那么我的原始值df现在将被排序为副作用,f()其中我必须相信调用者会记住不要在我不期望的位置执行某些操作,而不是故意在位置执行某些操作...因此,最好是任何可以就地改变对象的东西都明确地这样做,至少可以更清楚地了解发生了什么以及为什么发生。

即使使用基本的 Python 内置可变变量,你也可以观察到这一点:

data = [3, 2, 1]

def f(lst):
    lst.sort()
    # I meant lst = sorted(lst)
    for item in lst:
        print(item)

f(data)

for item in data:
    print(item)

# huh!? What happened to my data - why's it not 3, 2, 1?     
相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1565  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1354  
  信创国产芯片作为信息技术创新的核心领域,对于推动国家自主可控生态建设具有至关重要的意义。在全球科技竞争日益激烈的背景下,实现信息技术的自主可控,摆脱对国外技术的依赖,已成为保障国家信息安全和产业可持续发展的关键。国产芯片作为信创产业的基石,其发展水平直接影响着整个信创生态的构建与完善。通过不断提升国产芯片的技术实力、产...
国产信创系统   21  
  信创生态建设旨在实现信息技术领域的自主创新和安全可控,涵盖了从硬件到软件的全产业链。随着数字化转型的加速,信创生态建设的重要性日益凸显,它不仅关乎国家的信息安全,更是推动产业升级和经济高质量发展的关键力量。然而,在推进信创生态建设的过程中,面临着诸多复杂且严峻的挑战,需要深入剖析并寻找切实可行的解决方案。技术创新难题技...
信创操作系统   27  
  信创产业作为国家信息技术创新发展的重要领域,对于保障国家信息安全、推动产业升级具有关键意义。而国产芯片作为信创产业的核心基石,其研发进展备受关注。在信创国产芯片的研发征程中,面临着诸多复杂且艰巨的难点,这些难点犹如一道道关卡,阻碍着国产芯片的快速发展。然而,科研人员和相关企业并未退缩,积极探索并提出了一系列切实可行的解...
国产化替代产品目录   28  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用