如何监视 Linux 中完整目录树的变化？

问题描述：

如何监视Linux（ ext3文件系统）中整个目录树的变化？

目前，该目录包含大约3,000 个子目录中的约50 万个文件，分为三个目录级别。

这些文件大多是小文件（< 1kb，少数可达 100 kb）。这是一种队列，我需要在文件创建、删除或修改内容后 5-10 秒内知道这些情况发生的时间。

我知道有inotify和 sorts，但据我所知，它们只监控单个目录，这意味着在我的情况下我需要 3,000 个 inotify 句柄 - 比单个进程通常允许的 1024 个句柄还要多。还是我错了？

如果 Linux 系统不能告诉我我需要什么：也许有一个FUSE项目可以模拟文件系统（复制真实文件系统上的所有文件访问）并单独记录所有修改（无法找到）？

解决方案 1：

我使用该inotifywait工具做过类似的事情：

#!/bin/bash
while true; do

inotifywait -e modify,create,delete -r /path/to/your/dir && \n<some command to execute when a file event is recorded>

done

这将设置整个目录树的递归目录监视，并允许您在发生更改时执行命令。如果您只想查看更改，可以添加标志-m以将其置于监视模式。

解决方案 2：

$ inotifywait -m -r /path/to/your/directory

此命令足以递归监视目录中的所有事件，例如访问、打开、创建、删除......

解决方案 3：

inotify据我所知，除了递归地对每个目录设置监视之外，没有其他方法。

也就是说，您不会用尽文件描述符，因为inotify不必保留 fd 来监视文件或目录（其前身dnotify确实受到此限制）。inotify而是使用“监视描述符”。

根据inotifywatch的文档，默认限制是 8192 个监视描述符，您可以通过将新值写入来增加它/proc/sys/fs/inotify/max_user_watches。

解决方案 4：

当您有许多子目录时，inotify 是最佳选择，但如果没有，我习惯使用下面的命令：

watch -d find <<path>>

解决方案 5：

使用 inotify-tools 中的 inotifywait：

sudo apt install inotify-tools

myscript.sh现在创建一个包含隐藏文件和文件夹的脚本：

#!/bin/bash
while true; do

inotifywait -e modify,create,delete,move -r $1

done

使用以下命令使脚本可执行chmod +x myscript.sh

运行它./myscript.sh /folder/to/monitor

如果您不提供参数，它将默认使用工作目录。

另外，您可以运行多个命令，并&& 在上一个命令末尾添加下一个命令：

#!/bin/bash
while true; do

inotifywait -e modify,create,delete,move -r $1 && \necho "event" && \necho "event 2"

done

如果不想对事件执行任何命令，只需直接使用-m修饰符运行命令即可，这样就不会关闭：

inotifywait -e modify,create,delete,move -m -r /path/to/your/dir

解决方案 6：

我有一个不同的建议，仅针对文件的变化，并记录历史变化

使用 git

cd /folder_to_monitor
git init
git add *
git commit -m "first snapshot"

所以在你做出改变之后

git diff

解决方案 7：

fanotify 不是应该最终提供这种功能吗？引用LWN 的话：

“ fanotify 有两种基本‘模式’：定向和全局。 [...] fanotify global 则表示它想要系统上的所有内容，然后单独标记它不关心的 inode。 ”

但我记不清它的最新状态是什么了。

解决方案 8：

尤其是对于大型或复杂的监控任务，您希望根据所看到的内容触发事件，请查看Watchman 文件监视服务。这是一个简单示例，每当 CSS 文件发生更改时，都会运行名为 minify-css 的工具：

$ watchman watch ~/src
$ watchman -- trigger ~/src buildme '*.css' -- minify-css

它具有全面的日志记录功能，可以高效处理目录结构中重叠的多个监视，可以通过命令行或 json 进行管理，等等。另请参阅

• Watchman – 文件和目录变化监视工具

它可通过 Debian Sid 和 Ubuntu 20.04 获得，并且据我所知，它几乎两次进入 Fedora（1450590和1564720）。

解决方案 9：

我遇到了同样的问题，有一个程序正在创建一些文件（以点开头），我想手动检查其内容，但它在创建后不久又自动删除了它们。

在没有监视选项的循环中使用 inotify 对我来说不起作用，因为它太慢并且错过事件，所以我想出了这个脚本：

target="$1"

cd "$target"
mkdir backup/

inotifywait -e modify,create,delete --monitor -r --include "..*" "$target" | \nwhile read line
do
  echo "$line"
  if [[ "$line" == "$target CREATE "* ]] || [[ "$line" == "$target MODIFY "* ]]
  then
    filename=${line#"$target CREATE "}
    filename=${filename#"$target MODIFY "}
    cp --verbose "$filename" backup/
  fi
done

解决方案 10：

使用 watch 命令，它使用起来很简单，而且是一个原生的 Linux 命令（几乎安装在每个 Linux 发行版上）

watch -n <interval> <command> <path>

例如

这将显示每 200 毫秒的 /tmp/test 目录变化

watch -n 0.2 ls -la /tmp/test

对于递归使用，你可以使用如下所示的watch

 watch -n 0.2 find <path>

解决方案 11：

inotifywait --format "[%T] %w%f %e" --timefmt "%Y/%m/%d, %H:%M:%S" -m -e modify,create,delete,move -r "/monitored/directory" --outfile /path/to/logdir/file-changes.log

示例输出：

...
[2024/05/22, 19:28:14] /monitored/directory/somepath/file1.txt MODIFY
[2024/05/22, 19:28:15] /monitored/directory/otherpath/file2.txt CREATE
[2024/05/22, 19:28:17] /monitored/directory/somepath/file1.txt DELETE
...

此外，您还可以使用：

• -d在后台运行

• --no-dereference知道文件是从哪个符号链接被更改的。

• --exclude '.sw.$'排除 vim 创建的临时文件（例如 .swp、.swx 等）

解决方案 12：

我使用它来快速概览当前目录：

watch 'find . -printf "%T@ %Tc %p
" | sort -nr | head '