Pandas - 将大数据框切成块
- 2025-01-17 09:23:00
- admin 原创
- 88
问题描述:
我有一个大数据框(>3MM 行),我正尝试将其通过一个函数(下面的函数很大程度上被简化了),但我不断收到一条Memory Error
消息。
我认为我向函数传递了太大的数据框,因此我尝试:
1)将数据帧切成更小的块(最好按AcctName
)
2)将数据框传入函数
3)将数据框重新连接成一个大数据框
def trans_times_2(df):
df['Double_Transaction'] = df['Transaction'] * 2
large_df
AcctName Timestamp Transaction
ABC 12/1 12.12
ABC 12/2 20.89
ABC 12/3 51.93
DEF 12/2 13.12
DEF 12/8 9.93
DEF 12/9 92.09
GHI 12/1 14.33
GHI 12/6 21.99
GHI 12/12 98.81
我知道我的函数可以正常工作,因为它可以在较小的数据框(例如 40,000 行)上工作。我尝试了以下操作,但未能将小数据框重新连接成一个大数据框。
def split_df(df):
new_df = []
AcctNames = df.AcctName.unique()
DataFrameDict = {elem: pd.DataFrame for elem in AcctNames}
key_list = [k for k in DataFrameDict.keys()]
new_df = []
for key in DataFrameDict.keys():
DataFrameDict[key] = df[:][df.AcctNames == key]
trans_times_2(DataFrameDict[key])
rejoined_df = pd.concat(new_df)
我设想如何分割数据框:
df1
AcctName Timestamp Transaction Double_Transaction
ABC 12/1 12.12 24.24
ABC 12/2 20.89 41.78
ABC 12/3 51.93 103.86
df2
AcctName Timestamp Transaction Double_Transaction
DEF 12/2 13.12 26.24
DEF 12/8 9.93 19.86
DEF 12/9 92.09 184.18
df3
AcctName Timestamp Transaction Double_Transaction
GHI 12/1 14.33 28.66
GHI 12/6 21.99 43.98
GHI 12/12 98.81 197.62
解决方案 1:
您可以使用列表理解将数据框拆分为列表中包含的较小数据框。
n = 200000 #chunk row size
list_df = [df[i:i+n] for i in range(0,df.shape[0],n)]
或者使用array_split
numpy
list_df = np.array_split(df, math.ceil(len(df)/n))
您可以使用以下方式访问块:
list_df[0]
list_df[1]
etc...
然后您可以使用 pd.concat 将其重新组装成一个数据框。
按帐户名称
list_df = []
for n,g in df.groupby('AcctName'):
list_df.append(g)
解决方案 2:
我建议使用依赖项more_itertools
。它处理所有边缘情况,例如数据框的不均匀分区,并返回一个迭代器,这将使事情稍微更有效率。
(使用来自@Acumenus 的代码更新)
from more_itertools import sliced
CHUNK_SIZE = 5
index_slices = sliced(range(len(df)), CHUNK_SIZE)
for index_slice in index_slices:
chunk = df.iloc[index_slice] # your dataframe chunk ready for use
解决方案 3:
我喜欢 @ScottBoston 的回答,尽管我还没有记住咒语。这是一个更详细的函数,可以执行相同的操作:
def chunkify(df: pd.DataFrame, chunk_size: int):
start = 0
length = df.shape[0]
# If DF is smaller than the chunk, return the DF
if length <= chunk_size:
yield df[:]
return
# Yield individual chunks
while start + chunk_size <= length:
yield df[start:chunk_size + start]
start = start + chunk_size
# Yield the remainder chunk, if needed
if start < length:
yield df[start:]
要重建数据框,请将每个块累积到一个列表中,然后pd.concat(chunks, axis=1)
解决方案 4:
感谢您的解决方案。
我尝试了两种建议的方法:
方法一:
measure = time.time()
n = 10**6
list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]
list_df[0]
print(time.time()-measure) # 0.00800180435180664 seconds
这更快。
方法 2:
import math
measure = time.time()
n = 10**6
list_df = np.array_split(df, math.ceil(len(df)/n))
list_df[0]
print(time.time()-measure) # 56.50256133079529 seconds
这比较慢。
相关推荐
热门文章
项目管理软件有哪些?
热门标签
云禅道AD