如何合并多个数据框
- 2024-12-26 08:43:00
- admin 原创
- 117
问题描述：
我有不同的数据框，需要根据日期列将它们合并在一起。如果我只有两个数据框，我可以使用df1.merge(df2, on='date')，对于三个数据框，我使用df1.merge(df2.merge(df3, on='date'), on='date')，但是对于多个数据框来说，这样做会变得非常复杂且难以理解。
所有数据框都有一个共同的列 - date，但它们的行数和列数并不相同，而且我只需要每个日期对每个数据框来说都是共同的行。
因此，我尝试编写一个递归函数，返回包含所有数据的数据框，但没有成功。那么我应该如何合并多个数据框呢？
我尝试了不同的方法，但得到了诸如out of range、keyerror 0/1/2/3和这样的错误can not merge DataFrame with instance of type <class 'NoneType'>。
这是我写的脚本：
dfs = [df1, df2, df3] # list of dataframes
def mergefiles(dfs, countfiles, i=0):
if i == (countfiles - 2): # it gets to the second to last and merges it with the last
return
dfm = dfs[i].merge(mergefiles(dfs[i+1], countfiles, i=i+1), on='date')
return dfm
print(mergefiles(dfs, len(dfs)))
一个例子：df_1：
May 19, 2017;1,200.00;0.1%
May 18, 2017;1,100.00;0.1%
May 17, 2017;1,000.00;0.1%
May 15, 2017;1,901.00;0.1%
df_2：
May 20, 2017;2,200.00;1000000;0.2%
May 18, 2017;2,100.00;1590000;0.2%
May 16, 2017;2,000.00;1230000;0.2%
May 15, 2017;2,902.00;1000000;0.2%
df_3：
May 21, 2017;3,200.00;2000000;0.3%
May 17, 2017;3,100.00;2590000;0.3%
May 16, 2017;3,000.00;2230000;0.3%
May 15, 2017;3,903.00;2000000;0.3%
预期合并结果：
May 15, 2017; 1,901.00;0.1%; 2,902.00;1000000;0.2%; 3,903.00;2000000;0.3%
解决方案 1：
简短回答
df_merged = reduce(lambda left,right: pd.merge(left,right,on=['DATE'],
how='outer'), data_frames)
长答案
下面是如果不涉及复杂查询的话合并多个数据框的最干净、最易理解的方法。
只需简单地以DATE作为索引并使用OUTER方法合并（以获取所有数据）。
import pandas as pd
from functools import reduce
df1 = pd.read_table('file1.csv', sep=',')
df2 = pd.read_table('file2.csv', sep=',')
df3 = pd.read_table('file3.csv', sep=',')
现在，基本上将所有文件作为数据框加载到列表中。然后使用merge或reduce函数合并文件。
# compile the list of dataframes you want to merge
data_frames = [df1, df2, df3]
注意：您可以在上面的列表中添加任意数量的数据框。这是此方法的优点。不涉及复杂的查询。
为了保留属于同一日期的值，您需要将其合并到DATE
df_merged = reduce(lambda left,right: pd.merge(left,right,on=['DATE'],
how='outer'), data_frames)
# if you want to fill the values that don't exist in the lines of merged dataframe simply fill with required strings as
df_merged = reduce(lambda left,right: pd.merge(left,right,on=['DATE'],
how='outer'), data_frames).fillna('void')
现在，输出将在同一行上显示同一日期的值。
您可以使用 fillna() 为不同的列填充来自不同框架的不存在的数据。
然后如果需要，将合并的数据写入 csv 文件。
pd.DataFrame.to_csv(df_merged, 'merged.txt', sep=',', na_rep='.', index=False)
这应该给你
DATE VALUE1 VALUE2 VALUE3 ....
解决方案 2：
看起来数据具有相同的列，因此您可以：
df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
merged_df = pd.concat([df1, df2])
解决方案 3：
functools.reduce和pd.concat都是很好的解决方案，但就执行时间而言，pd.concat 是最好的。
from functools import reduce
import pandas as pd
dfs = [df1, df2, df3, ...]
nan_value = 0
# solution 1 (fast)
result_1 = pd.concat(dfs, join='outer', axis=1).fillna(nan_value)
# solution 2
result_2 = reduce(lambda df_left,df_right: pd.merge(df_left, df_right,
left_index=True, right_index=True,
how='outer'),
dfs).fillna(nan_value)
解决方案 4：
对此有两种解决方案，但它分别返回所有列：
import functools
dfs = [df1, df2, df3]
df_final = functools.reduce(lambda left,right: pd.merge(left,right,on='date'), dfs)
print (df_final)
date a_x b_x a_y b_y c_x a b c_y
0 May 15,2017 900.00 0.2% 1,900.00 1000000 0.2% 2,900.00 2000000 0.2%
k = np.arange(len(dfs)).astype(str)
df = pd.concat([x.set_index('date') for x in dfs], axis=1, join='inner', keys=k)
df.columns = df.columns.map('_'.join)
print (df)
0_a 0_b 1_a 1_b 1_c 2_a 2_b 2_c
date
May 15,2017 900.00 0.2% 1,900.00 1000000 0.2% 2,900.00 2000000 0.2%
解决方案 5：
另一种组合方式：functools.reduce
来自文档：
例如，
reduce(lambda x, y: x+y, [1, 2, 3, 4, 5])计算 ((((1+2)+3)+4)+5)。左边参数 x 是累积值，右边参数 y 是来自可迭代对象的更新值。
所以：
from functools import reduce
dfs = [df1, df2, df3, df4, df5, df6]
df_final = reduce(lambda left,right: pd.merge(left,right,on='some_common_column_name'), dfs)
解决方案 6：
您也可以像这样使用dataframe.merge
df = df1.merge(df2).merge(df3)
更新
将此方法的性能与当前接受的答案进行比较
import timeit
setup = '''import pandas as pd
from functools import reduce
df_1 = pd.DataFrame({'date': {0: 'May 19, 2017', 1: 'May 18, 2017', 2: 'May 17, 2017', 3: 'May 15, 2017'}, 'a': {0: '1,200.00', 1: '1,100.00', 2: '1,000.00', 3: '1,901.00'}, 'b': {0: '0.1%', 1: '0.1%', 2: '0.1%', 3: '0.1%'}})
df_2 = pd.DataFrame({'date': {0: 'May 20, 2017', 1: 'May 18, 2017', 2: 'May 16, 2017', 3: 'May 15, 2017'}, 'a': {0: '2,200.00', 1: '2,100.00', 2: '2,000.00', 3: '2,902.00'}, 'b': {0: 1000000, 1: 1590000, 2: 1230000, 3: 1000000}, 'c': {0: '0.2%', 1: '0.2%', 2: '0.2%', 3: '0.2%'}})
df_3 = pd.DataFrame({'date': {0: 'May 21, 2017', 1: 'May 17, 2017', 2: 'May 16, 2017', 3: 'May 15, 2017'}, 'a': {0: '3,200.00', 1: '3,100.00', 2: '3,000.00', 3: '3,903.00'}, 'b': {0: 2000000, 1: 2590000, 2: 2230000, 3: 2000000}, 'c': {0: '0.3%', 1: '0.3%', 2: '0.3%', 3: '0.3%'}})
dfs = [df_1, df_2, df_3]'''
#methods from currently accepted answer
>>> timeit.timeit(setup=setup, stmt="reduce(lambda left,right: pd.merge(left,right,on=['date'], how='outer'), dfs)", number=1000)
3.3471919000148773
>>> timeit.timeit(setup=setup, stmt="df_merged = reduce(lambda left,right: pd.merge(left,right,on=['date'], how='outer'), dfs).fillna('void')", number=1000)
4.079146400094032
#method demonstrated in this answer
>>> timeit.timeit(setup=setup, stmt="df = df_1.merge(df_2, on='date').merge(df_3, on='date')", number=1000)
2.7787032001651824
解决方案 7：
@dannyeuu 的回答是正确的。如果将 axis 选项设置为 1，pd.concat 自然会对索引列进行连接。默认是外连接，但您也可以指定内连接。以下是示例：
x = pd.DataFrame({'a': [2,4,3,4,5,2,3,4,2,5], 'b':[2,3,4,1,6,6,5,2,4,2], 'val': [1,4,4,3,6,4,3,6,5,7], 'val2': [2,4,1,6,4,2,8,6,3,9]})
x.set_index(['a','b'], inplace=True)
x.sort_index(inplace=True)
y = x.__deepcopy__()
y.loc[(14,14),:] = [3,1]
y['other']=range(0,11)
y.sort_values('val', inplace=True)
z = x.__deepcopy__()
z.loc[(15,15),:] = [3,4]
z['another']=range(0,22,2)
z.sort_values('val2',inplace=True)
pd.concat([x,y,z],axis=1)
解决方案 8：
看看这个熊猫在列上三向连接多个数据框
filenames = ['fn1', 'fn2', 'fn3', 'fn4',....]
dfs = [pd.read_csv(filename, index_col=index_col) for filename in filenames)]
dfs[0].join(dfs[1:])
解决方案 9：
感谢@jezrael、@zipa和@everestial007的帮助，这两个答案都是我需要的。如果我想进行递归，这也会按预期工作：
def mergefiles(dfs=[], on=''):
"""Merge a list of files based on one column"""
if len(dfs) == 1:
return "List only have one element."
elif len(dfs) == 2:
df1 = dfs[0]
df2 = dfs[1]
df = df1.merge(df2, on=on)
return df
# Merge the first and second datafranes into new dataframe
df1 = dfs[0]
df2 = dfs[1]
df = dfs[0].merge(dfs[1], on=on)
# Create new list with merged dataframe
dfl = []
dfl.append(df)
# Join lists
dfl = dfl + dfs[2:]
dfm = mergefiles(dfl, on)
return dfm
解决方案 10：
@everestial007 的解决方案对我有用。这是我针对自己的用例改进它的方法，即让每个不同 df 的列具有不同的后缀，这样我就可以更轻松地区分最终合并的数据框中的 df。
from functools import reduce
import pandas as pd
dfs = [df1, df2, df3, df4]
suffixes = [f"_{i}" for i in range(len(dfs))]
# add suffixes to each df
dfs = [dfs[i].add_suffix(suffixes[i]) for i in range(len(dfs))]
# remove suffix from the merging column
dfs = [dfs[i].rename(columns={f"date{suffixes[i]}":"date"}) for i in range(len(dfs))]
# merge
dfs = reduce(lambda left,right: pd.merge(left,right,how='outer', on='date'), dfs)
解决方案 11：
我有一个类似的用例，并按照下面的方法解决了这个问题。基本上捕获列表中的第一个 df，然后循环遍历剩余部分并合并它们，合并的结果将替换前一个。
编辑：我正在处理非常小的数据框 - 不确定这种方法如何扩展到更大的数据集。#caveatemptor
import pandas as pd
df_list = [df1,df2,df3, ...dfn]
# grab first dataframe
all_merged = df_list[0]
# loop through all but first data frame
for to_merge in df_list[1:]:
# result of merge replaces first or previously
# merged data frame w/ all previous fields
all_merged = pd.merge(
left=all_merged
,right=to_merge
,how='inner'
,on=['some_fld_across_all']
)
# can easily have this logic live in a function
def merge_mult_dfs(df_list):
all_merged = df_list[0]
for to_merge in df_list[1:]:
all_merged = pd.merge(
left=all_merged
,right=to_merge
,how='inner'
,on=['some_fld_across_all']
)
return all_merged
解决方案 12：
如果您按常见日期进行过滤，则会返回以下内容：
dfs = [df1, df2, df3]
checker = dfs[-1]
check = set(checker.loc[:, 0])
for df in dfs[:-1]:
check = check.intersection(set(df.loc[:, 0]))
print(checker[checker.loc[:, 0].isin(check)])
解决方案 13：
对于我来说，如果没有明确指示，索引将被忽略。例如：
> x = pandas.DataFrame({'a': [1,2,2], 'b':[4,5,5]})
> x
a b
0 1 4
1 2 5
2 2 5
> x.drop_duplicates()
a b
0 1 4
1 2 5
（尽管索引不同，但重复的行仍被删除）
相关推荐
热门文章
项目管理软件有哪些？
热门标签
云禅道AD
