从压缩文本文件中读取行

问题描述：

能否使用 Python 从 gzip 压缩的文本文件中读取一行，而无需完全提取文件？我有一个text.gz大约 200 MB 的文件。提取后，它变成了 7.4 GB。而且这还不是我唯一需要读取的文件。整个过程我需要读取 10 个文件。虽然这将是一项连续的工作，但我认为在不提取全部信息的情况下执行此操作是明智之举。如何使用 Python 做到这一点？我需要逐行读取文本文件。

解决方案 1：

使用gzip.GzipFile：

import gzip

with gzip.open('input.gz','rt') as f:
    for line in f:
        print('got line', line)

注意：gzip.open(filename, mode)是 的别名gzip.GzipFile(filename, mode)。我更喜欢前者，因为它看起来类似于with open(...) as f:用于打开未压缩文件的。

解决方案 2：

你可以使用 Python 中的标准 gzip 模块。只需使用：

gzip.open('myfile.gz')

像打开其他文件一样打开该文件并读取其中的行。

更多信息请参见：Python gzip 模块

解决方案 3：

你试过使用gzip.GzipFile吗？参数类似于open。

解决方案 4：

gzip 库（显然）使用了gzip，这可能会有点慢。您可以通过系统调用pigz（ 的并行版本）来加快速度gzip。缺点是您必须安装它，pigz并且在运行过程中会占用更多核心，但它速度更快，并且不会占用更多内存。对文件的调用将变为 ，os.popen('pigz -dc ' + filename)而不是gzip.open(filename,'rt')。pigz 标志用于-d解压缩和-cstdout 输出，然后可以通过 抓取os.popen。

以下代码接收一个文件和一个数字（1 或 2），并计算文件中不同调用的行数，同时测量代码执行的时间。在 中定义以下代码unzip-file.py：

#!/usr/bin/python
import os
import sys
import time
import gzip

def local_unzip(obj):
    t0 = time.time()
    count = 0
    with obj as f:
        for line in f:
            count += 1
    print(time.time() - t0, count)

r = sys.argv[1]
if sys.argv[2] == "1":
    local_unzip(gzip.open(r,'rt'))
else:
    local_unzip(os.popen('pigz -dc ' + r))

调用这些函数来/usr/bin/time -f %M测量进程在 28G 文件上的最大内存使用情况，我们得到：

$ /usr/bin/time -f %M ./unzip-file.py $file 1
(3037.2604110240936, 1223422024)
5116

$ /usr/bin/time -f %M ./unzip-file.py $file 2
(598.771901845932, 1223422024)
4996

结果表明，在最大内存基本相同的情况下，系统调用速度大约提高了五倍（10 分钟 vs. 50 分钟）。另外值得注意的是，根据你执行的操作，读取文件每行的速度可能不是限制因素，在这种情况下，你选择哪种方式并不重要。