使用 Python 强制另一个程序的标准输出不缓冲

问题描述：

一个 python 脚本正在控制 Linux 上的外部应用程序，通过管道将输入传递到外部应用程序的 stdin，并通过管道从外部应用程序的 stdout 读取输出。

问题在于管道的写入是按块缓冲的，而不是按行缓冲的，因此在控制脚本接收到外部应用程序中的 printf 等数据输出之前会出现延迟。

不能改变外部应用程序来添加明确的 fflush(0) 调用。

如何将python标准库的pty模块与subprocess模块​​一起使用来实现这一点？

解决方案 1：

您可以使用 PTY 来解决这个问题：

• 创建 pty 主/从对；

• 将子进程的 stdin、stdout 和 stderr 连接到 pty 从属设备；

• 读取和写入父级中的 pty master。

解决方案 2：

这样做是可能的，但我能想到的唯一解决方案相当复杂、不可移植，并且可能充满了问题细节。您可以使用 LD_PRELOAD 使外部应用程序加载一个动态库，该动态库包含一个调用 setvbuf 来取消缓冲 stdout 的构造函数。您可能还希望将 setvbuf 包装在库中，以防止应用程序显式缓冲其自己的 stdout。并且您需要包装 fwrite 和 printf，以便它们在每次调用时刷新。编写要预加载的 .so 将带您脱离 python。

解决方案 3：

我认为这是不可能的。如果源应用程序不刷新其传出缓冲区，则数据将无法到达该进程之外，直到缓冲区溢出并强制刷新。

请注意，像file这样的常用命令有一个选项 (-n)，可使其明确刷新输出。当使用 file 时，它​​从管道读取输入文件名并打印检测到的类型，这是必需的。因为在此模式下，file 程序在完成后不会退出，否则输出将不会出现。

从较低层次考虑这一点：输出缓冲只是意味着对write()缓冲流执行的操作将数据复制到内存缓冲区中，直到缓冲区填满或（通常）直到找到换行符。然后，将缓冲区中溢出或换行符之前的那部分写入write()底层系统级文件描述符（可以是文件、管道、套接字等）。

我不明白你将如何从外部说服该程序刷新其缓冲区。

解决方案 4：

值得注意的是，有些程序只有在认为输出不会发送给“真实用户”（即 tty）时才会缓冲输出。当它们检测到其输出正在被另一个程序读取时，它们才会缓冲。

tty 的模拟是Expect在自动化其他进程中所做的事情之一。

有一个纯 Python 的 Expect 实现，但我不知道它处理 tty 模拟的效果如何。

解决方案 5：

这个问题的答案可能会有所帮助：

Python 运行守护进程并读取标准输出

似乎是在解决同一个问题。

解决方案 6：

这个问题有点老了，但我认为你的问题现在可以通过使用子进程来调用stdbuf并执行你想要执行的命令来解决。

解决方案 7：

尝试使用 -u 参数运行 Python 解释器：

python -u myscript.py

这会强制 Python 使用无缓冲的 stdin/stdout，这可能会对您有所帮助。