如何监视 Linux 中完整目录树的变化？
- 2024-11-05 08:37:00
- admin 原创
- 166
问题描述：
如何监视Linux（ ext3文件系统）中整个目录树的变化？
目前，该目录包含大约3,000 个子目录中的约50 万个文件，分为三个目录级别。
这些文件大多是小文件（< 1kb，少数可达 100 kb）。这是一种队列，我需要在文件创建、删除或修改内容后 5-10 秒内知道这些情况发生的时间。
我知道有inotify和 sorts，但据我所知，它们只监控单个目录，这意味着在我的情况下我需要 3,000 个 inotify 句柄 - 比单个进程通常允许的 1024 个句柄还要多。还是我错了？
如果 Linux 系统不能告诉我我需要什么：也许有一个FUSE项目可以模拟文件系统（复制真实文件系统上的所有文件访问）并单独记录所有修改（无法找到）？
解决方案 1：
我使用该inotifywait工具做过类似的事情：
#!/bin/bash
while true; do
inotifywait -e modify,create,delete -r /path/to/your/dir && \n<some command to execute when a file event is recorded>
done
这将设置整个目录树的递归目录监视，并允许您在发生更改时执行命令。如果您只想查看更改，可以添加标志-m以将其置于监视模式。
解决方案 2：
$ inotifywait -m -r /path/to/your/directory
此命令足以递归监视目录中的所有事件，例如访问、打开、创建、删除......
解决方案 3：
inotify据我所知，除了递归地对每个目录设置监视之外，没有其他方法。
也就是说，您不会用尽文件描述符，因为inotify不必保留 fd 来监视文件或目录（其前身dnotify确实受到此限制）。inotify而是使用“监视描述符”。
根据inotifywatch的文档，默认限制是 8192 个监视描述符，您可以通过将新值写入来增加它/proc/sys/fs/inotify/max_user_watches。
解决方案 4：
当您有许多子目录时，inotify 是最佳选择，但如果没有，我习惯使用下面的命令：
watch -d find <<path>>
解决方案 5：
使用 inotify-tools 中的 inotifywait：
sudo apt install inotify-tools
myscript.sh现在创建一个包含隐藏文件和文件夹的脚本：
#!/bin/bash
while true; do
inotifywait -e modify,create,delete,move -r $1
done
使用以下命令使脚本可执行chmod +x myscript.sh
运行它./myscript.sh /folder/to/monitor
如果您不提供参数，它将默认使用工作目录。
另外，您可以运行多个命令，并&& 在上一个命令末尾添加下一个命令：
#!/bin/bash
while true; do
inotifywait -e modify,create,delete,move -r $1 && \necho "event" && \necho "event 2"
done
如果不想对事件执行任何命令，只需直接使用-m修饰符运行命令即可，这样就不会关闭：
inotifywait -e modify,create,delete,move -m -r /path/to/your/dir
解决方案 6：
我有一个不同的建议，仅针对文件的变化，并记录历史变化
使用 git
cd /folder_to_monitor
git init
git add *
git commit -m "first snapshot"
所以在你做出改变之后
git diff
解决方案 7：
fanotify 不是应该最终提供这种功能吗？引用LWN 的话：
“ fanotify 有两种基本‘模式’：定向和全局。 [...] fanotify global 则表示它想要系统上的所有内容，然后单独标记它不关心的 inode。 ”
但我记不清它的最新状态是什么了。
解决方案 8：
尤其是对于大型或复杂的监控任务，您希望根据所看到的内容触发事件，请查看Watchman 文件监视服务。这是一个简单示例，每当 CSS 文件发生更改时，都会运行名为 minify-css 的工具：
$ watchman watch ~/src
$ watchman -- trigger ~/src buildme '*.css' -- minify-css
它具有全面的日志记录功能，可以高效处理目录结构中重叠的多个监视，可以通过命令行或 json 进行管理，等等。另请参阅
Watchman – 文件和目录变化监视工具
它可通过 Debian Sid 和 Ubuntu 20.04 获得，并且据我所知，它几乎两次进入 Fedora（1450590和1564720）。
解决方案 9：
我遇到了同样的问题，有一个程序正在创建一些文件（以点开头），我想手动检查其内容，但它在创建后不久又自动删除了它们。
在没有监视选项的循环中使用 inotify 对我来说不起作用，因为它太慢并且错过事件，所以我想出了这个脚本：
target="$1"
cd "$target"
mkdir backup/
inotifywait -e modify,create,delete --monitor -r --include "..*" "$target" | \nwhile read line
do
echo "$line"
if [[ "$line" == "$target CREATE "* ]] || [[ "$line" == "$target MODIFY "* ]]
then
filename=${line#"$target CREATE "}
filename=${filename#"$target MODIFY "}
cp --verbose "$filename" backup/
fi
done
解决方案 10：
使用 watch 命令，它使用起来很简单，而且是一个原生的 Linux 命令（几乎安装在每个 Linux 发行版上）
watch -n <interval> <command> <path>
例如
这将显示每 200 毫秒的 /tmp/test 目录变化
watch -n 0.2 ls -la /tmp/test
对于递归使用，你可以使用如下所示的watch
watch -n 0.2 find <path>
解决方案 11：
inotifywait --format "[%T] %w%f %e" --timefmt "%Y/%m/%d, %H:%M:%S" -m -e modify,create,delete,move -r "/monitored/directory" --outfile /path/to/logdir/file-changes.log
示例输出：
...
[2024/05/22, 19:28:14] /monitored/directory/somepath/file1.txt MODIFY
[2024/05/22, 19:28:15] /monitored/directory/otherpath/file2.txt CREATE
[2024/05/22, 19:28:17] /monitored/directory/somepath/file1.txt DELETE
...
此外，您还可以使用：
-d在后台运行--no-dereference知道文件是从哪个符号链接被更改的。--exclude '.sw.$'排除 vim 创建的临时文件（例如 .swp、.swx 等）
解决方案 12：
我使用它来快速概览当前目录：
watch 'find . -printf "%T@ %Tc %p
" | sort -nr | head '
