Linux 是否保证在 close() 之后将文件内容刷新到磁盘?

2024-10-24 08:51:00
admin
原创
192
摘要:问题描述:close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?系统调用fsync()确实提供了这个保证。关闭文件也足够吗?目前我找不到任何可以证明这一点或那一点的证据...

问题描述:

close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?

我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?

系统调用fsync()确实提供了这个保证。关闭文件也足够吗?

目前我找不到任何可以证明这一点或那一点的证据。


问题 2:

如果close()隐式地执行了fsync(),有没有办法告诉它不要这样做?


解决方案 1:

从 ” man 2 close”:

由于内核推迟了写入,成功关闭并不能保证数据已成功保存到磁盘。

手册页说如果您想确保数据在磁盘上,您必须自己使用 fsync()。

解决方案 2:

不,close不会执行fsync(2),如果执行 fsync(2),许多机器会崩溃。许多中间文件由创建者打开和关闭,然后由消费者打开和关闭,然后删除,如果close(2)执行自动fsync(2) ,则这种非常常见的序列需要接触磁盘。相反,通常不会接触磁盘,磁盘永远不知道文件在那里。

解决方案 3:

还需要注意的是,fsync 并不保证文件在磁盘上;它只是保证操作系统已要求文件系统将更改刷新到磁盘。文件系统不必将任何内容写入磁盘

来自man 3 fsync

如果_POSIX_SYNCHRONIZED_IO没有定义,措辞在很大程度上依赖于一致性文档来告诉用户系统可以期待什么。明确地,允许使用空实现。

幸运的是,Linux 的所有常见文件系统确实会将更改写入磁盘;不幸的是,这仍然不能保证文件在磁盘上。许多硬盘驱动器都启用了写入缓冲(因此有自己的缓冲区,fsync 不会刷新)。有些驱动器/raid 控制器甚至会欺骗您,说它们已经刷新了缓冲区。

解决方案 4:

不。fclose() 并不意味着 fsync()。许多 Linux 文件系统会延迟写入并进行批处理,这可以提高整体性能,大概可以减少磁盘驱动器的磨损,并延长笔记本电脑的电池寿命。如果操作系统必须在文件关闭时写入磁盘,那么许多这些好处就会消失。

Paul Tomblin 在他的回答中提到了一个争议,而解释我看到的争议并不适合在评论中。以下是我听到的:

最近的争议是关于 ext4 的顺序(ext4 是流行的 ext3 Linux 文件系统的拟议继任者)。在 Linux 和 Unix 系统中,通常通过读取旧文件、用不同名称写出新文件并将新文件重命名为旧文件来更改重要文件。这样做的目的是确保即使系统在某个时候出现故障,新文件或旧文件都会存在。不幸的是,ext4 似乎很乐意读取旧文件、将新文件重命名为旧文件并写入新文件,如果系统在步骤 2 和步骤 3 之间出现故障,这可能会成为一个真正的问题。

处理这个问题的标准方法当然是 fsync(),但这会降低性能。真正的解决方案是修改 ext4 以保持 ext3 的顺序,即在完成写入之前不会重命名文件。显然标准没有涵盖这一点,所以这是一个实施质量问题,而 ext4 的 QoI 在这里确实很糟糕,没有办法可靠地编写新版本的配置文件,除非不断调用 fsync(),否则将导致所有问题,或者冒着丢失两个版本的风险。

解决方案 5:

不,这不能保证。操作系统有自己的缓存。close 真正保证的是程序缓冲区被刷新到操作系统,但操作系统可能仍保留着它。我相信在 Linux 内核世界中存在一些争议,因为即使 fsync 也不能保证它被刷新到磁盘,至少在 ext3 中是这样。

解决方案 6:

open的手册页上写道:

为了保证同步 I/O,除了O_DIRECT之外,还必须使用O_SYNC

而且

一般来说,这(O_DIRECT)会降低性能。

可以使用带有F_SETFL 的fcntl来切换此标志,以尽量减少此后每次读写的 I/O 缓存效应。

解决方案 7:

您可能还对来自 firebird sql 数据库的有关 fcntl( O_SYNC ) 在 linux 上不起作用的错误报告感兴趣。

此外,您提出的问题暗示了一个潜在的问题。写入磁盘是什么意思?这有什么关系?您是否担心电源断电导致驱动器中的文件丢失?为什么不在系统或 SAN 上使用 UPS?

在这种情况下,您需要一个日志文件系统 - 不仅仅是一个元数据日志文件系统,而是一个包含所有数据的完整日志。

即使在这种情况下,您也必须了解,除了操作系统的参与之外,大多数硬盘都会对您撒谎说会执行 fsync。- fsync 只是将数据发送到驱动器,而由各个操作系统来了解如何等待驱动器刷新其自己的缓存。

--杰夫克++

解决方案 8:

我不认为 Linux 可以保证这一点,因为驱动器本身也可以缓存数据。

解决方案 9:

如果计算机/操作系统具有容错文件系统,可以保证写入至少我们施加此限制的文件,这些文件在电源循环后仍能继续存在,我们就不必关心这一点。如果有一些非易失性 RAM 或等效物,它不一定是磁盘。我依稀记得,一些过去时代的大型机确实有这样的机制,据说也做出了这样的保证。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1565  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1354  
  信创国产芯片作为信息技术创新的核心领域,对于推动国家自主可控生态建设具有至关重要的意义。在全球科技竞争日益激烈的背景下,实现信息技术的自主可控,摆脱对国外技术的依赖,已成为保障国家信息安全和产业可持续发展的关键。国产芯片作为信创产业的基石,其发展水平直接影响着整个信创生态的构建与完善。通过不断提升国产芯片的技术实力、产...
国产信创系统   21  
  信创生态建设旨在实现信息技术领域的自主创新和安全可控,涵盖了从硬件到软件的全产业链。随着数字化转型的加速,信创生态建设的重要性日益凸显,它不仅关乎国家的信息安全,更是推动产业升级和经济高质量发展的关键力量。然而,在推进信创生态建设的过程中,面临着诸多复杂且严峻的挑战,需要深入剖析并寻找切实可行的解决方案。技术创新难题技...
信创操作系统   27  
  信创产业作为国家信息技术创新发展的重要领域,对于保障国家信息安全、推动产业升级具有关键意义。而国产芯片作为信创产业的核心基石,其研发进展备受关注。在信创国产芯片的研发征程中,面临着诸多复杂且艰巨的难点,这些难点犹如一道道关卡,阻碍着国产芯片的快速发展。然而,科研人员和相关企业并未退缩,积极探索并提出了一系列切实可行的解...
国产化替代产品目录   28  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用