单独重定向和重新组合 stderr/stdout,而不会丢失顺序

2024-10-17 08:46:00
admin
原创
62
摘要:问题描述:我想要执行一个命令并希望重定向 stderr 和 stdout,如下所示:stderr 和 stdout -> 应仅写入 logs.log 文件,同时保持顺序stderr -> 应该打印到 SCREEN 并写入 errors.log到目前为止,我可以将它们重定向到屏幕和文件 log.tx...

问题描述:

我想要执行一个命令并希望重定向 stderr 和 stdout,如下所示:

stderr 和 stdout -> 应仅写入 logs.log 文件,同时保持顺序

stderr -> 应该打印到 SCREEN 并写入 errors.log

到目前为止,我可以将它们重定向到屏幕和文件 log.txt,如下所示:

command 2>&1 | tee logs.log

但以上并不是我需要的。

再次更清楚地说明需要什么结果。

执行命令后,我需要在屏幕上仅看到 stderr 的结果,我需要有一个名为 errors.log 的文件,其中包含 stderr,并且我需要有另一个名为 logs.log 的文件,其中包含 stdout 和 stderr 的结果,按照它们创建的原始顺序。


解决方案 1:

在没有一些丑陋的黑客手段的情况下,在执行单独的重定向时保持完美的顺序甚至在理论上都是不可能的。只有在直接写入同一文件(在 O_APPEND 模式下)时,顺序才会保留;只要您将类似的东西放在tee一个进程中,而不放在另一个进程中,顺序保证就会消失,如果不保留有关以何种顺序调用哪些系统调用的信息,就无法检索到顺序保证。

那么,这种黑客行为会是什么样子的呢?它可能看起来像这样:

# eat our initialization time *before* we start the background process
sudo sysdig-probe-loader

# now, start monitoring syscalls made by children of this shell that write to fd 1 or 2
# ...funnel content into our logs.log file
sudo sysdig -s 32768 -b -p '%evt.buffer' \n  "proc.apid=$$ and evt.type=write and (fd.num=1 or fd.num=2)" \n  > >(base64 -i -d >logs.log) \n  & sysdig_pid=$!

# Run your-program, with stderr going both to console and to errors.log
./your-program >/dev/null 2> >(tee errors.log)

话虽如此,这仍然是丑陋的黑客行为:它只捕获直接写入 FD 1 和 2 的写入,并且不跟踪可能发生的任何进一步重定向。(这可以通过执行对 FIFO 的写入并使用 sysdig 跟踪对这些 FIFO 的写入来改进;这样fdup(),类似的操作就会按预期工作;但以上内容足以证明这一概念)。


明确分开处理

在这里我们演示了如何使用它来仅为 stderr 着色,并且保持 stdout 不变 - 通过告诉sysdig生成 JSON 流作为输出,然后对其进行迭代:

exec {colorizer_fd}> >(
  jq --unbuffered --arg startColor "$(tput setaf 1)" --arg endColor "$(tput sgr0)" -r '
    if .["fd.filename"] == "stdout" then
      ("STDOUT: " + .["evt.buffer"])
    else
      ("STDERR: " + $startColor + .["evt.buffer"] + $endColor)
    end
  '
)

sudo sysdig -s 32768 -j -p '%fd.filename %evt.buffer' \n  "proc.apid=$$ and evt.type=write and proc.name != jq and (fd.num=1 or fd.num=2)" \n  >&$colorizer_fd \n  & sysdig_pid=$!

# Run your-program, with stdout and stderr going to two separately-named destinations
./your-program >stdout 2>stderr

因为我们正在关闭输出文件名(stdoutstderr),所以这些名称需要保持不变才能使上述代码正常工作——可以使用任何所需的临时目录。


显然,您实际上不应该做任何这些。更新您的程序以支持其原生语言中可用的任何日志记录基础结构(Java 中的 Log4j、Python 日志记录模块等),以便明确配置其日志记录。

解决方案 2:

这将帮助你达到大部分目标:

your_command 2> >(tee -a logs.log errors.log) 1>>logs.log

但我不认为您能够准确地保留 logs.log 文件中输出的顺序。

相关推荐
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   601  
  华为IPD与传统研发模式的8大差异在快速变化的商业环境中,产品研发模式的选择直接决定了企业的市场响应速度和竞争力。华为作为全球领先的通信技术解决方案供应商,其成功在很大程度上得益于对产品研发模式的持续创新。华为引入并深度定制的集成产品开发(IPD)体系,相较于传统的研发模式,展现出了显著的差异和优势。本文将详细探讨华为...
IPD流程是谁发明的   7  
  如何通过IPD流程缩短产品上市时间?在快速变化的市场环境中,产品上市时间成为企业竞争力的关键因素之一。集成产品开发(IPD, Integrated Product Development)作为一种先进的产品研发管理方法,通过其结构化的流程设计和跨部门协作机制,显著缩短了产品上市时间,提高了市场响应速度。本文将深入探讨如...
华为IPD流程   9  
  在项目管理领域,IPD(Integrated Product Development,集成产品开发)流程图是连接创意、设计与市场成功的桥梁。它不仅是一个视觉工具,更是一种战略思维方式的体现,帮助团队高效协同,确保产品按时、按质、按量推向市场。尽管IPD流程图可能初看之下显得错综复杂,但只需掌握几个关键点,你便能轻松驾驭...
IPD开发流程管理   8  
  在项目管理领域,集成产品开发(IPD)流程被视为提升产品上市速度、增强团队协作与创新能力的重要工具。然而,尽管IPD流程拥有诸多优势,其实施过程中仍可能遭遇多种挑战,导致项目失败。本文旨在深入探讨八个常见的IPD流程失败原因,并提出相应的解决方法,以帮助项目管理者规避风险,确保项目成功。缺乏明确的项目目标与战略对齐IP...
IPD流程图   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用