Linux 是否保证在 close() 之后将文件内容刷新到磁盘?

2024-10-24 08:51:00
admin
原创
58
摘要:问题描述:close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?系统调用fsync()确实提供了这个保证。关闭文件也足够吗?目前我找不到任何可以证明这一点或那一点的证据...

问题描述:

close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?

我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?

系统调用fsync()确实提供了这个保证。关闭文件也足够吗?

目前我找不到任何可以证明这一点或那一点的证据。


问题 2:

如果close()隐式地执行了fsync(),有没有办法告诉它不要这样做?


解决方案 1:

从 ” man 2 close”:

由于内核推迟了写入,成功关闭并不能保证数据已成功保存到磁盘。

手册页说如果您想确保数据在磁盘上,您必须自己使用 fsync()。

解决方案 2:

不,close不会执行fsync(2),如果执行 fsync(2),许多机器会崩溃。许多中间文件由创建者打开和关闭,然后由消费者打开和关闭,然后删除,如果close(2)执行自动fsync(2) ,则这种非常常见的序列需要接触磁盘。相反,通常不会接触磁盘,磁盘永远不知道文件在那里。

解决方案 3:

还需要注意的是,fsync 并不保证文件在磁盘上;它只是保证操作系统已要求文件系统将更改刷新到磁盘。文件系统不必将任何内容写入磁盘

来自man 3 fsync

如果_POSIX_SYNCHRONIZED_IO没有定义,措辞在很大程度上依赖于一致性文档来告诉用户系统可以期待什么。明确地,允许使用空实现。

幸运的是,Linux 的所有常见文件系统确实会将更改写入磁盘;不幸的是,这仍然不能保证文件在磁盘上。许多硬盘驱动器都启用了写入缓冲(因此有自己的缓冲区,fsync 不会刷新)。有些驱动器/raid 控制器甚至会欺骗您,说它们已经刷新了缓冲区。

解决方案 4:

不。fclose() 并不意味着 fsync()。许多 Linux 文件系统会延迟写入并进行批处理,这可以提高整体性能,大概可以减少磁盘驱动器的磨损,并延长笔记本电脑的电池寿命。如果操作系统必须在文件关闭时写入磁盘,那么许多这些好处就会消失。

Paul Tomblin 在他的回答中提到了一个争议,而解释我看到的争议并不适合在评论中。以下是我听到的:

最近的争议是关于 ext4 的顺序(ext4 是流行的 ext3 Linux 文件系统的拟议继任者)。在 Linux 和 Unix 系统中,通常通过读取旧文件、用不同名称写出新文件并将新文件重命名为旧文件来更改重要文件。这样做的目的是确保即使系统在某个时候出现故障,新文件或旧文件都会存在。不幸的是,ext4 似乎很乐意读取旧文件、将新文件重命名为旧文件并写入新文件,如果系统在步骤 2 和步骤 3 之间出现故障,这可能会成为一个真正的问题。

处理这个问题的标准方法当然是 fsync(),但这会降低性能。真正的解决方案是修改 ext4 以保持 ext3 的顺序,即在完成写入之前不会重命名文件。显然标准没有涵盖这一点,所以这是一个实施质量问题,而 ext4 的 QoI 在这里确实很糟糕,没有办法可靠地编写新版本的配置文件,除非不断调用 fsync(),否则将导致所有问题,或者冒着丢失两个版本的风险。

解决方案 5:

不,这不能保证。操作系统有自己的缓存。close 真正保证的是程序缓冲区被刷新到操作系统,但操作系统可能仍保留着它。我相信在 Linux 内核世界中存在一些争议,因为即使 fsync 也不能保证它被刷新到磁盘,至少在 ext3 中是这样。

解决方案 6:

open的手册页上写道:

为了保证同步 I/O,除了O_DIRECT之外,还必须使用O_SYNC

而且

一般来说,这(O_DIRECT)会降低性能。

可以使用带有F_SETFL 的fcntl来切换此标志,以尽量减少此后每次读写的 I/O 缓存效应。

解决方案 7:

您可能还对来自 firebird sql 数据库的有关 fcntl( O_SYNC ) 在 linux 上不起作用的错误报告感兴趣。

此外,您提出的问题暗示了一个潜在的问题。写入磁盘是什么意思?这有什么关系?您是否担心电源断电导致驱动器中的文件丢失?为什么不在系统或 SAN 上使用 UPS?

在这种情况下,您需要一个日志文件系统 - 不仅仅是一个元数据日志文件系统,而是一个包含所有数据的完整日志。

即使在这种情况下,您也必须了解,除了操作系统的参与之外,大多数硬盘都会对您撒谎说会执行 fsync。- fsync 只是将数据发送到驱动器,而由各个操作系统来了解如何等待驱动器刷新其自己的缓存。

--杰夫克++

解决方案 8:

我不认为 Linux 可以保证这一点,因为驱动器本身也可以缓存数据。

解决方案 9:

如果计算机/操作系统具有容错文件系统,可以保证写入至少我们施加此限制的文件,这些文件在电源循环后仍能继续存在,我们就不必关心这一点。如果有一些非易失性 RAM 或等效物,它不一定是磁盘。我依稀记得,一些过去时代的大型机确实有这样的机制,据说也做出了这样的保证。

相关推荐
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   609  
  在现代项目管理中,资源的有效利用是确保项目成功的关键因素之一。随着技术的不断进步,越来越多的工具和软件被开发出来,以帮助项目经理和团队更高效地管理资源。本文将介绍10款工具,这些工具可以帮助项目团队提升资源利用效率,从而实现项目目标。禅道项目管理软件禅道项目管理软件是一款开源的项目管理工具,广泛应用于软件开发和其他行业...
项目管理系统   3  
  在项目管理领域,软件工具的不断升级和创新是推动效率和协作的关键。2024年,众多项目管理软件将迎来一系列令人期待的升级功能,这些新特性不仅将提升团队的工作效率,还将增强用户体验和数据分析能力。本文将详细介绍10款项目管理软件的最新升级功能,帮助项目经理和团队成员更好地规划和执行项目。禅道项目管理软件禅道项目管理软件一直...
开源项目管理工具   2  
  信创国产系统的10个关键厂商及其技术生态随着全球信息技术格局的不断演变,信创(信息技术应用创新)产业作为国产化替代的重要阶段,正逐步成为推动我国信息技术自主可控、安全可靠的核心力量。信创产业不仅关乎国家信息安全,也是数字经济高质量发展的关键支撑。本文将深入探讨信创国产系统中的10个关键厂商及其技术生态,分析它们在信创浪...
项目管理流程   0  
  在探讨项目管理的广阔领域中,成功并非偶然,而是精心策划、高效执行与持续优化的结果。项目管理的成功之道,可以从明确的目标设定与规划、高效的团队协作与沟通、以及灵活的风险管理与适应变化这三个核心方面进行深入解析。每个方面都是项目成功的基石,它们相互交织,共同支撑起项目的顺利推进与最终成就。明确的目标设定与规划项目管理的首要...
建筑工程项目管理规范   0  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用