单独重定向和重新组合 stderr/stdout,而不会丢失顺序

2024-10-17 08:46:00
admin
原创
249
摘要:问题描述:我想要执行一个命令并希望重定向 stderr 和 stdout,如下所示:stderr 和 stdout -> 应仅写入 logs.log 文件,同时保持顺序stderr -> 应该打印到 SCREEN 并写入 errors.log到目前为止,我可以将它们重定向到屏幕和文件 log.tx...

问题描述:

我想要执行一个命令并希望重定向 stderr 和 stdout,如下所示:

stderr 和 stdout -> 应仅写入 logs.log 文件,同时保持顺序

stderr -> 应该打印到 SCREEN 并写入 errors.log

到目前为止,我可以将它们重定向到屏幕和文件 log.txt,如下所示:

command 2>&1 | tee logs.log

但以上并不是我需要的。

再次更清楚地说明需要什么结果。

执行命令后,我需要在屏幕上仅看到 stderr 的结果,我需要有一个名为 errors.log 的文件,其中包含 stderr,并且我需要有另一个名为 logs.log 的文件,其中包含 stdout 和 stderr 的结果,按照它们创建的原始顺序。


解决方案 1:

在没有一些丑陋的黑客手段的情况下,在执行单独的重定向时保持完美的顺序甚至在理论上都是不可能的。只有在直接写入同一文件(在 O_APPEND 模式下)时,顺序才会保留;只要您将类似的东西放在tee一个进程中,而不放在另一个进程中,顺序保证就会消失,如果不保留有关以何种顺序调用哪些系统调用的信息,就无法检索到顺序保证。

那么,这种黑客行为会是什么样子的呢?它可能看起来像这样:

# eat our initialization time *before* we start the background process
sudo sysdig-probe-loader

# now, start monitoring syscalls made by children of this shell that write to fd 1 or 2
# ...funnel content into our logs.log file
sudo sysdig -s 32768 -b -p '%evt.buffer' \n  "proc.apid=$$ and evt.type=write and (fd.num=1 or fd.num=2)" \n  > >(base64 -i -d >logs.log) \n  & sysdig_pid=$!

# Run your-program, with stderr going both to console and to errors.log
./your-program >/dev/null 2> >(tee errors.log)

话虽如此,这仍然是丑陋的黑客行为:它只捕获直接写入 FD 1 和 2 的写入,并且不跟踪可能发生的任何进一步重定向。(这可以通过执行对 FIFO 的写入并使用 sysdig 跟踪对这些 FIFO 的写入来改进;这样fdup(),类似的操作就会按预期工作;但以上内容足以证明这一概念)。


明确分开处理

在这里我们演示了如何使用它来仅为 stderr 着色,并且保持 stdout 不变 - 通过告诉sysdig生成 JSON 流作为输出,然后对其进行迭代:

exec {colorizer_fd}> >(
  jq --unbuffered --arg startColor "$(tput setaf 1)" --arg endColor "$(tput sgr0)" -r '
    if .["fd.filename"] == "stdout" then
      ("STDOUT: " + .["evt.buffer"])
    else
      ("STDERR: " + $startColor + .["evt.buffer"] + $endColor)
    end
  '
)

sudo sysdig -s 32768 -j -p '%fd.filename %evt.buffer' \n  "proc.apid=$$ and evt.type=write and proc.name != jq and (fd.num=1 or fd.num=2)" \n  >&$colorizer_fd \n  & sysdig_pid=$!

# Run your-program, with stdout and stderr going to two separately-named destinations
./your-program >stdout 2>stderr

因为我们正在关闭输出文件名(stdoutstderr),所以这些名称需要保持不变才能使上述代码正常工作——可以使用任何所需的临时目录。


显然,您实际上不应该做任何这些。更新您的程序以支持其原生语言中可用的任何日志记录基础结构(Java 中的 Log4j、Python 日志记录模块等),以便明确配置其日志记录。

解决方案 2:

这将帮助你达到大部分目标:

your_command 2> >(tee -a logs.log errors.log) 1>>logs.log

但我不认为您能够准确地保留 logs.log 文件中输出的顺序。

相关推荐
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1124  
  IPD(Integrated Product Development,集成产品开发)流程是一种广泛应用于高科技和制造业的产品开发方法论。它通过跨职能团队的紧密协作,将产品开发周期缩短,同时提高产品质量和市场成功率。在IPD流程中,CDCP(Concept Decision Checkpoint,概念决策检查点)是一个关...
IPD培训课程   79  
  研发IPD(集成产品开发)流程作为一种系统化的产品开发方法,已经在许多行业中得到广泛应用。它不仅能够提升产品开发的效率和质量,还能够通过优化流程和资源分配,显著提高客户满意度。客户满意度是企业长期成功的关键因素之一,而IPD流程通过其独特的结构和机制,能够确保产品从概念到市场交付的每个环节都围绕客户需求展开。本文将深入...
IPD流程   70  
  IPD(Integrated Product Development,集成产品开发)流程是一种以跨职能团队协作为核心的产品开发方法,旨在通过优化资源分配、提高沟通效率以及减少返工,从而缩短项目周期并提升产品质量。随着企业对产品上市速度的要求越来越高,IPD流程的应用价值愈发凸显。通过整合产品开发过程中的各个环节,IPD...
IPD项目管理咨询   82  
  跨部门沟通是企业运营中不可或缺的一环,尤其在复杂的产品开发过程中,不同部门之间的协作效率直接影响项目的成败。集成产品开发(IPD)作为一种系统化的项目管理方法,旨在通过优化流程和增强团队协作来提升产品开发的效率和质量。然而,跨部门沟通的复杂性往往成为IPD实施中的一大挑战。部门之间的目标差异、信息不对称以及沟通渠道不畅...
IPD是什么意思   74  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用