为什么导入 numpy 后多处理只使用一个核心？-IT科技

为什么导入 numpy 后多处理只使用一个核心？

2025-01-10 08:47:00

admin

原创

摘要：问题描述：我不确定这是否更像是一个操作系统问题，但我想在这里问一下，以防有人从 Python 的角度了解事情的来龙去脉。我一直在尝试使用来并行化一个 CPU 密集型for循环joblib，但我发现不是将每个工作进程分配给不同的核心，而是最终将它们全部分配给同一个核心，并且没有任何性能提升。这是一个非常简单的例...

问题描述：

我不确定这是否更像是一个操作系统问题，但我想在这里问一下，以防有人从 Python 的角度了解事情的来龙去脉。

我一直在尝试使用来并行化一个 CPU 密集型for循环joblib，但我发现不是将每个工作进程分配给不同的核心，而是最终将它们全部分配给同一个核心，并且没有任何性能提升。

这是一个非常简单的例子...

from joblib import Parallel,delayed
import numpy as np

def testfunc(data):
    # some very boneheaded CPU work
    for nn in xrange(1000):
        for ii in data[0,:]:
            for jj in data[1,:]:
                ii*jj

def run(niter=10):
    data = (np.random.randn(2,100) for ii in xrange(niter))
    pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
    results = pool(delayed(testfunc)(dd) for dd in data)

if __name__ == '__main__':
    run()

...这是我htop在脚本运行时看到的内容：

我在一台 4 核笔记本电脑上运行 Ubuntu 12.10 (3.5.0-26)。显然joblib.Parallel会为不同的工作器生成单独的进程，但是有什么方法可以让这些进程在不同的核心上执行吗？

解决方案 1：

经过进一步的谷歌搜索后，我在这里找到了答案。

事实证明，某些 Python 模块（numpy、、、、scipy... tables）在导入pandas时skimage会干扰核心亲和性。据我所知，这个问题似乎是由它们链接到多线程 OpenBLAS 库引起的。

解决方法是使用以下方法重置任务亲和性：

os.system("taskset -p 0xff %d" % os.getpid())

在模块导入后粘贴此行，我的示例现在可以在所有核心上运行：

htop_workaround

到目前为止，我的经验是，这似乎不会对numpy的性能产生任何负面影响，尽管这可能特定于机器和任务。

更新：

还有两种方法可以禁用 OpenBLAS 本身的 CPU 亲和性重置行为。在运行时，您可以使用环境变量OPENBLAS_MAIN_FREE（或GOTOBLAS_MAIN_FREE），例如

OPENBLAS_MAIN_FREE=1 python myscript.py

或者，如果你从源代码编译 OpenBLAS，则可以在构建时通过编辑Makefile.rule包含以下行来永久禁用它

NO_AFFINITY=1

解决方案 2：

Python 3 现在公开了直接设置亲和力的方法

>>> import os
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}
>>> os.sched_setaffinity(0, {1, 3})
>>> os.sched_getaffinity(0)
{1, 3}
>>> x = {i for i in range(10)}
>>> x
{0, 1, 2, 3, 4, 5, 6, 7, 8, 9}
>>> os.sched_setaffinity(0, x)
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}