Linux 是否保证在 close() 之后将文件内容刷新到磁盘?
- 2024-10-24 08:51:00
- admin 原创
- 58
问题描述:
close()
当使用或(例如)关闭文件时fclose()
,Linux 是否保证将文件写回到(持久)磁盘?
我的意思是,如果close()
返回 0,然后电源立即断电,那么之前写入的数据是否能保证持久?
系统调用fsync()
确实提供了这个保证。关闭文件也足够吗?
目前我找不到任何可以证明这一点或那一点的证据。
问题 2:
如果close()
隐式地执行了fsync()
,有没有办法告诉它不要这样做?
解决方案 1:
从 ” man 2 close
”:
由于内核推迟了写入,成功关闭并不能保证数据已成功保存到磁盘。
手册页说如果您想确保数据在磁盘上,您必须自己使用 fsync()。
解决方案 2:
不,close不会执行fsync(2),如果执行 fsync(2),许多机器会崩溃。许多中间文件由创建者打开和关闭,然后由消费者打开和关闭,然后删除,如果close(2)执行自动fsync(2) ,则这种非常常见的序列需要接触磁盘。相反,通常不会接触磁盘,磁盘永远不知道文件在那里。
解决方案 3:
还需要注意的是,fsync 并不保证文件在磁盘上;它只是保证操作系统已要求文件系统将更改刷新到磁盘。文件系统不必将任何内容写入磁盘
来自man 3 fsync
如果
_POSIX_SYNCHRONIZED_IO
没有定义,措辞在很大程度上依赖于一致性文档来告诉用户系统可以期待什么。明确地,允许使用空实现。
幸运的是,Linux 的所有常见文件系统确实会将更改写入磁盘;不幸的是,这仍然不能保证文件在磁盘上。许多硬盘驱动器都启用了写入缓冲(因此有自己的缓冲区,fsync 不会刷新)。有些驱动器/raid 控制器甚至会欺骗您,说它们已经刷新了缓冲区。
解决方案 4:
不。fclose() 并不意味着 fsync()。许多 Linux 文件系统会延迟写入并进行批处理,这可以提高整体性能,大概可以减少磁盘驱动器的磨损,并延长笔记本电脑的电池寿命。如果操作系统必须在文件关闭时写入磁盘,那么许多这些好处就会消失。
Paul Tomblin 在他的回答中提到了一个争议,而解释我看到的争议并不适合在评论中。以下是我听到的:
最近的争议是关于 ext4 的顺序(ext4 是流行的 ext3 Linux 文件系统的拟议继任者)。在 Linux 和 Unix 系统中,通常通过读取旧文件、用不同名称写出新文件并将新文件重命名为旧文件来更改重要文件。这样做的目的是确保即使系统在某个时候出现故障,新文件或旧文件都会存在。不幸的是,ext4 似乎很乐意读取旧文件、将新文件重命名为旧文件并写入新文件,如果系统在步骤 2 和步骤 3 之间出现故障,这可能会成为一个真正的问题。
处理这个问题的标准方法当然是 fsync(),但这会降低性能。真正的解决方案是修改 ext4 以保持 ext3 的顺序,即在完成写入之前不会重命名文件。显然标准没有涵盖这一点,所以这是一个实施质量问题,而 ext4 的 QoI 在这里确实很糟糕,没有办法可靠地编写新版本的配置文件,除非不断调用 fsync(),否则将导致所有问题,或者冒着丢失两个版本的风险。
解决方案 5:
不,这不能保证。操作系统有自己的缓存。close 真正保证的是程序缓冲区被刷新到操作系统,但操作系统可能仍保留着它。我相信在 Linux 内核世界中存在一些争议,因为即使 fsync 也不能保证它被刷新到磁盘,至少在 ext3 中是这样。
解决方案 6:
open的手册页上写道:
为了保证同步 I/O,除了O_DIRECT之外,还必须使用O_SYNC。
而且
一般来说,这(O_DIRECT)会降低性能。
可以使用带有F_SETFL 的fcntl来切换此标志,以尽量减少此后每次读写的 I/O 缓存效应。
解决方案 7:
您可能还对来自 firebird sql 数据库的有关 fcntl( O_SYNC ) 在 linux 上不起作用的错误报告感兴趣。
此外,您提出的问题暗示了一个潜在的问题。写入磁盘是什么意思?这有什么关系?您是否担心电源断电导致驱动器中的文件丢失?为什么不在系统或 SAN 上使用 UPS?
在这种情况下,您需要一个日志文件系统 - 不仅仅是一个元数据日志文件系统,而是一个包含所有数据的完整日志。
即使在这种情况下,您也必须了解,除了操作系统的参与之外,大多数硬盘都会对您撒谎说会执行 fsync。- fsync 只是将数据发送到驱动器,而由各个操作系统来了解如何等待驱动器刷新其自己的缓存。
--杰夫克++
解决方案 8:
我不认为 Linux 可以保证这一点,因为驱动器本身也可以缓存数据。
解决方案 9:
如果计算机/操作系统具有容错文件系统,可以保证写入至少我们施加此限制的文件,这些文件在电源循环后仍能继续存在,我们就不必关心这一点。如果有一些非易失性 RAM 或等效物,它不一定是磁盘。我依稀记得,一些过去时代的大型机确实有这样的机制,据说也做出了这样的保证。
- 2024年20款好用的项目管理软件推荐,项目管理提效的20个工具和技巧
- 2024年开源项目管理软件有哪些?推荐5款好用的项目管理工具
- 项目管理软件有哪些?推荐7款超好用的项目管理工具
- 项目管理软件哪个最好用?盘点推荐5款好用的项目管理工具
- 项目管理软件有哪些最好用?推荐6款好用的项目管理工具
- 项目管理软件有哪些,盘点推荐国内外超好用的7款项目管理工具
- 2024项目管理软件排行榜(10类常用的项目管理工具全推荐)
- 项目管理软件排行榜:2024年项目经理必备5款开源项目管理软件汇总
- 2024年常用的项目管理软件有哪些?推荐这10款国内外好用的项目管理工具
- 项目管理必备:盘点2024年13款好用的项目管理软件