python-使用具有大型 csv 的 pandas 结构（迭代和块大小）

问题描述：

我有一个很大的 csv 文件，大约 600mb，有 1100 万行，我想创建统计数据，如数据透视表、直方图、图表等。显然只是想正常读取它：

df = pd.read_csv('Check400_900.csv', sep='    ')

不起作用所以我在类似的帖子中找到了 iterate 和 chunksize 所以我使用：

df = pd.read_csv('Check1_900.csv', sep='    ', iterator=True, chunksize=1000)

一切都很好，例如，我可以print df.get_chunk(5) 仅使用以下命令搜索整个文件：

for chunk in df:
    print chunk

我的问题是我不知道如何将下面这些东西用于整个 df，而不是仅仅用于一个块。

plt.plot()
print df.head()
print df.describe()
print df.dtypes
customer_group3 = df.groupby('UserID')
y3 = customer_group.size()

我怎样才能使用 df 而不必一次性将其全部加载到内存中？

解决方案 1：

解决方案，如果需要，创建一个大的，DataFrame如果需要一次处理所有数据（这是可能的，但不推荐）：

然后对所有块使用concat到 df，因为函数的输出类型：

df = pd.read_csv('Check1_900.csv', sep='    ', iterator=True, chunksize=1000)

不是数据框，而是pandas.io.parsers.TextFileReader——源。

tp = pd.read_csv('Check1_900.csv', sep='    ', iterator=True, chunksize=1000)
print tp
#<pandas.io.parsers.TextFileReader object at 0x00000000150E0048>
df = pd.concat(tp, ignore_index=True)

我认为有必要在函数中添加参数忽略索引concat，因为可以避免索引重复。

编辑：

但是如果要处理诸如聚合之类的大数据，最好使用dask，因为它提供了高级并行性。

解决方案 2：

这里不需要。这就像写而不是。和所做的唯一事情是给你一个迭代 1000 行 DataFrames的读取器对象，而不是读取整个内容。如果你想一次得到整个内容，就不要使用这些参数。concat`sum(map(list, grouper(tup, 1000)))list(tup)iterator`chunksize=1000

但是，如果一次将整个文件读入内存的代价太高（例如，占用太多内存以至于导致MemoryError系统运行缓慢，或者将系统置于交换地狱中），那么这正是它chunksize的目的。

问题在于，你将生成的迭代器命名为df，然后尝试将其用作 DataFrame 。它不是 DataFrame ；它是一个迭代器，可以逐个提供 1000 行 DataFrame 。

当你这么说的时候：

我的问题是我不知道如何将下面这些东西用于整个 df，而不仅仅是一个块

答案是不能。如果你不能将整个内容加载到一个巨大的 DataFrame 中，你就不能使用一个巨大的 DataFrame。你必须围绕块重写代码。

而不是这样：

df = pd.read_csv('Check1_900.csv', sep='    ', iterator=True, chunksize=1000)
print df.dtypes
customer_group3 = df.groupby('UserID')

…你必须做这样的事：

for df in pd.read_csv('Check1_900.csv', sep='    ', iterator=True, chunksize=1000):
    print df.dtypes
    customer_group3 = df.groupby('UserID')

通常，您需要做的是汇总一些数据 - 将每个块缩小到更小的块，仅包含您需要的部分。例如，如果您想按组对整个文件求和，您可以groupby对每个块求和，然后按组对块求和，并存储每个组的运行总数的系列/数组/列表/字典。

当然，这比一次性将一个巨大的系列相加要稍微复杂一些，但没有办法解决这个问题。（除非购买更多 RAM 和/或切换到 64 位。）这就是解决问题的方法iterator：chunksize允许您在需要时进行这种权衡。

解决方案 3：

您需要连接这些卡盘。例如：

df2 = pd.concat([chunk for chunk in df])

然后运行你的命令df2

解决方案 4：

这可能不会直接回答问题，但当您必须加载大型数据集时，在读取数据集时隐藏列的 dtype 是一种很好的做法。此外，如果您知道需要哪些列，请使用usecols参数仅加载这些列。

df = pd.read_csv("data.csv", 
            usecols=['A', 'B', 'C', 'Date'],
            dtype={'A':'uint32',
                    'B':'uint8',
                    'C':'uint8'
                    },
            parse_dates=['Date'],  # convert to datetime64          
            sep='    '
           )