UNIX 的 `time` 命令对于基准测试来说是否足够准确？[关闭]

问题描述：

假设我想对两个程序进行基准测试：foo.py 和 bar.py。

几千次运行以及time python foo.py和的各自平均值time python bar.py是否足以分析和比较它们的速度？

编辑：此外，如果每个程序的执行时间都在亚秒级（假设不是上述情况），是否time仍然可以使用？

解决方案 1：

time为运行一秒以上的基准测试提供足够好的时间，否则，执行exec()一个过程所花费的时间与其运行时间相比可能会很长。

但是，在进行基准测试时，您应该注意上下文切换。也就是说，另一个进程可能正在使用 CPU，从而与您的基准测试争用 CPU，并增加其运行时间。为了避免与其他进程争用，您应该像这样运行基准测试：

sudo chrt -f 99 /usr/bin/time --verbose <benchmark>

或者

sudo chrt -f 99 perf stat -ddd <benchmark>

sudo chrt -f 99在优先级为 99 的 FIFO 实时类中运行基准测试，这会使您的进程成为最高优先级进程并避免上下文切换（您可以更改您的进程，/etc/security/limits.conf以使其不需要特权进程来使用实时优先级）。

它还会time报告所有可用的统计数据，包括基准测试产生的上下文切换次数，该次数通常应为 0，否则您可能希望重新运行基准测试。

perf stat -ddd甚至比 更具信息量/usr/bin/time，并显示诸如每周期指令数、分支和缓存未命中等信息。

最好禁用 CPU 频率缩放和提升，以便 CPU 频率在基准测试期间保持恒定以获得一致的结果。

解决方案 2：

如今，在我看来，没有理由将其time用于基准测试目的。perf stat而是使用。它可以为您提供更多有用的信息，并且可以重复基准测试过程任意次数并对结果进行统计，即计算方差和平均值。这更可靠，使用起来也一样简单time：

perf stat -r 10 -d <your app and arguments>

将-r 10运行您的应用程序 10 次并对其进行统计。-d输出更多数据，例如缓存未命中。

因此，虽然time对于长期运行的应用程序来说可能足够可靠，但它肯定不如那么可靠perf stat。请使用它。

附录：如果您确实想继续使用time，至少不要使用 bash-builtin 命令，而是使用详细模式下的真实命令：

/usr/bin/time -v <some command with arguments>

输出如下：

    Command being timed: "ls"
    User time (seconds): 0.00
    System time (seconds): 0.00
    Percent of CPU this job got: 0%
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.00
    Average shared text size (kbytes): 0
    Average unshared data size (kbytes): 0
    Average stack size (kbytes): 0
    Average total size (kbytes): 0
    Maximum resident set size (kbytes): 1968
    Average resident set size (kbytes): 0
    Major (requiring I/O) page faults: 0
    Minor (reclaiming a frame) page faults: 93
    Voluntary context switches: 1
    Involuntary context switches: 2
    Swaps: 0
    File system inputs: 8
    File system outputs: 0
    Socket messages sent: 0
    Socket messages received: 0
    Signals delivered: 0
    Page size (bytes): 4096
    Exit status: 0

特别要注意的是，它能够测量峰值 RSS，如果你想比较补丁对峰值内存消耗的影响，这通常就足够了。即使用该值比较前后情况，如果 RSS 峰值明显下降，那么你做对了。

解决方案 3：

是的，time足够准确。而且您只需运行程序十几次（前提是运行时间超过一秒，或一秒的很短时间 - 即至少超过 200 毫秒）。当然，对于大多数运行（第一次运行除外），文件系统会很热（即小文件已经缓存在 RAM 中），因此请考虑到这一点。

您希望time-d 运行至少持续十分之几秒的原因是时间测量的准确性和粒度。不要期望精度低于百分之一秒。（您需要一些特殊的内核选项才能将其设置为一毫秒）

在应用程序内部，您可以使用clock，clock_gettime，gettimeofday，
getrusage，times（它们肯定有一个Python等效项）。

不要忘记阅读 time (7)手册页。

解决方案 4：

是的。time 命令会给出已用时间和消耗的 CPU。除非你正在执行大量 I/O，否则后者可能是你应该关注的重点。如果已用时间很重要，请确保在运行测试时系统没有其他重要活动。