在 Linux C++ 应用程序中查找和读取大文件

问题描述：

我在使用 G++ 中的标准ftell和fseek选项时遇到了整数溢出，但我想我搞错了，因为ftell64和fseek64似乎不可用。我一直在搜索，许多网站似乎都提到使用lseek和off64_t数据类型，但我没有找到任何引用等同于fseek 的示例。现在，我正在读取的文件是 16GB+ CSV 文件，预计至少是这个数字的两倍。

如果没有任何外部库，那么实现与fseek/ftell对类似的结构的最直接方法是什么？我的应用程序现在使用 4.x 的标准 GCC/G++ 库运行。

解决方案 1：

fseek64 是一个 C 函数。要使其可用，您必须在包含系统头文件之前定义 _FILE_OFFSET_BITS=64，这将或多或少将 fseek 定义为实际的 fseek64。或者在编译器参数中执行此操作，例如 gcc -D_FILE_OFFSET_BITS=64 ....

http://www.suse.de/~aj/linux_lfs.html对 Linux 上的大文件支持进行了详细的概述：

• 使用“gcc -D_FILE_OFFSET_BITS=64”编译程序。这会强制所有文件访问调用使用 64 位变体。几种类型也会发生变化，例如 off_t 变为 off64_t。因此，务必始终使用正确的类型，不要使用 int 代替 off_t。为了与其他平台兼容，您应该使用 getconf LFS_CFLAGS，它将在 Linux 平台上返回 -D_FILE_OFFSET_BITS=64，但在 Solaris 等平台上可能会返回其他内容。对于链接，您应该使用通过 getconf LFS_LDFLAGS 报告的链接标志。在 Linux 系统上，您不需要特殊的链接标志。

• 定义 _LARGEFILE_SOURCE 和 _LARGEFILE64_SOURCE。通过这些定义，您可以直接使用 LFS 函数，例如 open64。

• 使用 O_LARGEFILE 标志打开来操作大文件。

解决方案 2：

如果您想坚持使用 ISO C 标准接口，请使用fgetpos()和fsetpos()。但是，这些函数仅用于保存文件位置并稍后返回到同一位置。它们使用 类型表示位置fpos_t，该类型不需要是整数数据类型。例如，在基于记录的系统上，它可以是包含记录编号和记录内偏移量的结构。这可能太局限了。

POSIX 定义了函数ftello()和fseeko()，它们使用类型表示位置off_t。这必须是整数类型，并且值是相对于文件开头的字节偏移量。您可以对其执行算术运算，并可以使用fseeko()执行相对查找。这将在 Linux 和其他 POSIX 系统上运行。

此外，使用-D_FILE_OFFSET_BITS=64(Linux/Solaris) 进行编译。这将定义off_t为 64 位类型（即off64_t）而不是long，并将使用文件偏移量的函数重新定义为采用 64 位偏移量的版本。这是为 64 位编译时的默认设置，因此在这种情况下不需要。

解决方案 3：

fseek64()不是标准的，编译器文档应该告诉您在哪里可以找到它。

您尝试过fgetpos吗fsetpos？它们是为大文件设计的，并且实现通常使用 64 位类型作为 fpos_t 的基础。

解决方案 4：

您是否尝试过将_FILE_OFFSET_BITS预处理器符号设置为64的 fseeko()？

这将为您提供一个类似于fseek()的接口，但偏移参数的类型为off_t而不是long。设置_FILE_OFFSET_BITS=64将使off_t成为64 位类型。

对于ftello()来说也是如此。

解决方案 5：

使用fsetpos(3)和fgetpos(3)。它们使用fpos_t数据类型，我相信它保证至少能够容纳 64 位。