Linux 是否保证在 close() 之后将文件内容刷新到磁盘?

2024-10-24 08:51:00
admin
原创
54
摘要:问题描述:close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?系统调用fsync()确实提供了这个保证。关闭文件也足够吗?目前我找不到任何可以证明这一点或那一点的证据...

问题描述:

close()当使用或(例如)关闭文件时fclose(),Linux 是否保证将文件写回到(持久)磁盘?

我的意思是,如果close()返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?

系统调用fsync()确实提供了这个保证。关闭文件也足够吗?

目前我找不到任何可以证明这一点或那一点的证据。


问题 2:

如果close()隐式地执行了fsync(),有没有办法告诉它不要这样做?


解决方案 1:

从 ” man 2 close”:

由于内核推迟了写入,成功关闭并不能保证数据已成功保存到磁盘。

手册页说如果您想确保数据在磁盘上,您必须自己使用 fsync()。

解决方案 2:

不,close不会执行fsync(2),如果执行 fsync(2),许多机器会崩溃。许多中间文件由创建者打开和关闭,然后由消费者打开和关闭,然后删除,如果close(2)执行自动fsync(2) ,则这种非常常见的序列需要接触磁盘。相反,通常不会接触磁盘,磁盘永远不知道文件在那里。

解决方案 3:

还需要注意的是,fsync 并不保证文件在磁盘上;它只是保证操作系统已要求文件系统将更改刷新到磁盘。文件系统不必将任何内容写入磁盘

来自man 3 fsync

如果_POSIX_SYNCHRONIZED_IO没有定义,措辞在很大程度上依赖于一致性文档来告诉用户系统可以期待什么。明确地,允许使用空实现。

幸运的是,Linux 的所有常见文件系统确实会将更改写入磁盘;不幸的是,这仍然不能保证文件在磁盘上。许多硬盘驱动器都启用了写入缓冲(因此有自己的缓冲区,fsync 不会刷新)。有些驱动器/raid 控制器甚至会欺骗您,说它们已经刷新了缓冲区。

解决方案 4:

不。fclose() 并不意味着 fsync()。许多 Linux 文件系统会延迟写入并进行批处理,这可以提高整体性能,大概可以减少磁盘驱动器的磨损,并延长笔记本电脑的电池寿命。如果操作系统必须在文件关闭时写入磁盘,那么许多这些好处就会消失。

Paul Tomblin 在他的回答中提到了一个争议,而解释我看到的争议并不适合在评论中。以下是我听到的:

最近的争议是关于 ext4 的顺序(ext4 是流行的 ext3 Linux 文件系统的拟议继任者)。在 Linux 和 Unix 系统中,通常通过读取旧文件、用不同名称写出新文件并将新文件重命名为旧文件来更改重要文件。这样做的目的是确保即使系统在某个时候出现故障,新文件或旧文件都会存在。不幸的是,ext4 似乎很乐意读取旧文件、将新文件重命名为旧文件并写入新文件,如果系统在步骤 2 和步骤 3 之间出现故障,这可能会成为一个真正的问题。

处理这个问题的标准方法当然是 fsync(),但这会降低性能。真正的解决方案是修改 ext4 以保持 ext3 的顺序,即在完成写入之前不会重命名文件。显然标准没有涵盖这一点,所以这是一个实施质量问题,而 ext4 的 QoI 在这里确实很糟糕,没有办法可靠地编写新版本的配置文件,除非不断调用 fsync(),否则将导致所有问题,或者冒着丢失两个版本的风险。

解决方案 5:

不,这不能保证。操作系统有自己的缓存。close 真正保证的是程序缓冲区被刷新到操作系统,但操作系统可能仍保留着它。我相信在 Linux 内核世界中存在一些争议,因为即使 fsync 也不能保证它被刷新到磁盘,至少在 ext3 中是这样。

解决方案 6:

open的手册页上写道:

为了保证同步 I/O,除了O_DIRECT之外,还必须使用O_SYNC

而且

一般来说,这(O_DIRECT)会降低性能。

可以使用带有F_SETFL 的fcntl来切换此标志,以尽量减少此后每次读写的 I/O 缓存效应。

解决方案 7:

您可能还对来自 firebird sql 数据库的有关 fcntl( O_SYNC ) 在 linux 上不起作用的错误报告感兴趣。

此外,您提出的问题暗示了一个潜在的问题。写入磁盘是什么意思?这有什么关系?您是否担心电源断电导致驱动器中的文件丢失?为什么不在系统或 SAN 上使用 UPS?

在这种情况下,您需要一个日志文件系统 - 不仅仅是一个元数据日志文件系统,而是一个包含所有数据的完整日志。

即使在这种情况下,您也必须了解,除了操作系统的参与之外,大多数硬盘都会对您撒谎说会执行 fsync。- fsync 只是将数据发送到驱动器,而由各个操作系统来了解如何等待驱动器刷新其自己的缓存。

--杰夫克++

解决方案 8:

我不认为 Linux 可以保证这一点,因为驱动器本身也可以缓存数据。

解决方案 9:

如果计算机/操作系统具有容错文件系统,可以保证写入至少我们施加此限制的文件,这些文件在电源循环后仍能继续存在,我们就不必关心这一点。如果有一些非易失性 RAM 或等效物,它不一定是磁盘。我依稀记得,一些过去时代的大型机确实有这样的机制,据说也做出了这样的保证。

相关推荐
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   601  
  华为IPD与传统研发模式的8大差异在快速变化的商业环境中,产品研发模式的选择直接决定了企业的市场响应速度和竞争力。华为作为全球领先的通信技术解决方案供应商,其成功在很大程度上得益于对产品研发模式的持续创新。华为引入并深度定制的集成产品开发(IPD)体系,相较于传统的研发模式,展现出了显著的差异和优势。本文将详细探讨华为...
IPD流程是谁发明的   7  
  如何通过IPD流程缩短产品上市时间?在快速变化的市场环境中,产品上市时间成为企业竞争力的关键因素之一。集成产品开发(IPD, Integrated Product Development)作为一种先进的产品研发管理方法,通过其结构化的流程设计和跨部门协作机制,显著缩短了产品上市时间,提高了市场响应速度。本文将深入探讨如...
华为IPD流程   9  
  在项目管理领域,IPD(Integrated Product Development,集成产品开发)流程图是连接创意、设计与市场成功的桥梁。它不仅是一个视觉工具,更是一种战略思维方式的体现,帮助团队高效协同,确保产品按时、按质、按量推向市场。尽管IPD流程图可能初看之下显得错综复杂,但只需掌握几个关键点,你便能轻松驾驭...
IPD开发流程管理   8  
  在项目管理领域,集成产品开发(IPD)流程被视为提升产品上市速度、增强团队协作与创新能力的重要工具。然而,尽管IPD流程拥有诸多优势,其实施过程中仍可能遭遇多种挑战,导致项目失败。本文旨在深入探讨八个常见的IPD流程失败原因,并提出相应的解决方法,以帮助项目管理者规避风险,确保项目成功。缺乏明确的项目目标与战略对齐IP...
IPD流程图   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用