Pandas - 将大数据框切成块

2025-01-17 09:23:00
admin
原创
89
摘要:问题描述:我有一个大数据框(>3MM 行),我正尝试将其通过一个函数(下面的函数很大程度上被简化了),但我不断收到一条Memory Error消息。我认为我向函数传递了太大的数据框,因此我尝试:1)将数据帧切成更小的块(最好按AcctName)2)将数据框传入函数3)将数据框重新连接成一个大数据框def...

问题描述:

我有一个大数据框(>3MM 行),我正尝试将其通过一个函数(下面的函数很大程度上被简化了),但我不断收到一条Memory Error消息。

我认为我向函数传递了太大的数据框,因此我尝试:

1)将数据帧切成更小的块(最好按AcctName

2)将数据框传入函数

3)将数据框重新连接成一个大数据框

def trans_times_2(df):
    df['Double_Transaction'] = df['Transaction'] * 2

large_df 
AcctName   Timestamp    Transaction
ABC        12/1         12.12
ABC        12/2         20.89
ABC        12/3         51.93    
DEF        12/2         13.12
DEF        12/8          9.93
DEF        12/9         92.09
GHI        12/1         14.33
GHI        12/6         21.99
GHI        12/12        98.81

我知道我的函数可以正常工作,因为它可以在较小的数据框(例如 40,000 行)上工作。我尝试了以下操作,但未能将小数据框重新连接成一个大数据框。

def split_df(df):
    new_df = []
    AcctNames = df.AcctName.unique()
    DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
    key_list = [k for k in DataFrameDict.keys()]
    new_df = []
    for key in DataFrameDict.keys():
        DataFrameDict[key] = df[:][df.AcctNames == key]
        trans_times_2(DataFrameDict[key])
    rejoined_df = pd.concat(new_df)

我设想如何分割数据框:

df1
AcctName   Timestamp    Transaction  Double_Transaction
ABC        12/1         12.12        24.24
ABC        12/2         20.89        41.78
ABC        12/3         51.93        103.86

df2
AcctName   Timestamp    Transaction  Double_Transaction
DEF        12/2         13.12        26.24
DEF        12/8          9.93        19.86
DEF        12/9         92.09        184.18

df3
AcctName   Timestamp    Transaction  Double_Transaction
GHI        12/1         14.33        28.66
GHI        12/6         21.99        43.98
GHI        12/12        98.81        197.62

解决方案 1:

您可以使用列表理解将数据框拆分为列表中包含的较小数据框。

n = 200000  #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]

或者使用array_splitnumpy

list_df = np.array_split(df, math.ceil(len(df)/n))

您可以使用以下方式访问块:

list_df[0]
list_df[1]
etc...

然后您可以使用 pd.concat 将其重新组装成一个数据框。

按帐户名称

list_df = []

for n,g in df.groupby('AcctName'):
    list_df.append(g)

解决方案 2:

我建议使用依赖项more_itertools。它处理所有边缘情况,例如数据框的不均匀分区,并返回一个迭代器,这将使事情稍微更有效率。

(使用来自@Acumenus 的代码更新)

from more_itertools import sliced
CHUNK_SIZE = 5

index_slices = sliced(range(len(df)), CHUNK_SIZE)

for index_slice in index_slices:
  chunk = df.iloc[index_slice] # your dataframe chunk ready for use

解决方案 3:

我喜欢 @ScottBoston 的回答,尽管我还没有记住咒语。这是一个更详细的函数,可以执行相同的操作:

def chunkify(df: pd.DataFrame, chunk_size: int):
    start = 0
    length = df.shape[0]

    # If DF is smaller than the chunk, return the DF
    if length <= chunk_size:
        yield df[:]
        return

    # Yield individual chunks
    while start + chunk_size <= length:
        yield df[start:chunk_size + start]
        start = start + chunk_size

    # Yield the remainder chunk, if needed
    if start < length:
        yield df[start:]

要重建数据框,请将每个块累积到一个列表中,然后pd.concat(chunks, axis=1)

解决方案 4:

感谢您的解决方案。

我尝试了两种建议的方法:

方法一:

measure = time.time()
n = 10**6
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]
list_df[0]
print(time.time()-measure) # 0.00800180435180664 seconds

这更快。

方法 2:

import math

measure = time.time()
n = 10**6
list_df = np.array_split(df, math.ceil(len(df)/n))
list_df[0]
print(time.time()-measure) # 56.50256133079529 seconds

这比较慢。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1579  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1355  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   8  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   9  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用