如何将 Pandas 数据添加到现有的 csv 文件中？

问题描述：

我想知道是否可以使用 pandasto_csv()函数将数据框添加到现有的 csv 文件中。csv 文件具有与加载的数据相同的结构。

解决方案 1：

您可以在 pandas 函数中指定 python 写入模式to_csv。对于附加，它是“a”。

就你的情况而言：

df.to_csv('my_csv.csv', mode='a', header=False)

默认模式为“w”。

如果文件最初可能丢失，则可以使用此变体确保在第一次写入时打印标题：

output_path='my_csv.csv'
df.to_csv(output_path, mode='a', header=not os.path.exists(output_path))

解决方案 2：

您可以通过以附加模式打开文件来附加到 csv ：

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

如果这是你的 csv foo.csv，：

,A,B,C
0,1,2,3
1,4,5,6

如果你读完该内容然后附加，例如df + 6：

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv变成：

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

解决方案 3：

with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

• 如果文件不存在则创建文件，否则附加

• 如果正在创建文件，则添加标题，否则跳过它

解决方案 4：

我使用一个小辅助函数和一些标头检查保护措施来处理所有问题：

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)

解决方案 5：

最初从 pyspark 数据框开始 - 考虑到我的 pyspark 数据框中的架构/列类型，我得到了类型转换错误（转换为 pandas df 然后附加到 csv 时）

通过强制每个 df 中的所有列为字符串类型，然后将其附加到 csv 来解决问题，如下所示：

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

解决方案 6：

2021 年我就是这样做的

假设我有一个 csv sales.csv，其中包含以下数据：

销售.csv：

Order Name,Price,Qty
oil,200,2
butter,180,10

为了添加更多行，我可以将它们加载到数据框中并将其附加到 csv，如下所示：

import pandas

data = [
    ['matchstick', '60', '11'],
    ['cookies', '10', '120']
]
dataframe = pandas.DataFrame(data)
dataframe.to_csv("sales.csv", index=False, mode='a', header=False)

输出结果为：

Order Name,Price,Qty
oil,200,2
butter,180,10
matchstick,60,11
cookies,10,120

解决方案 7：

有点晚了，但是如果您多次打开和关闭文件，或者记录数据，统计数据等，您也可以使用上下文管理器。

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`