multiprocessing.Pool:何时使用apply、apply_async 还是 map?
- 2025-01-08 08:50:00
- admin 原创
- 19
问题描述:
我还没有看到Pool.apply、Pool.apply_async和Pool.map用例的清晰示例。我主要使用Pool.map
;其他的优点是什么?
解决方案 1:
在 Python 的早期,要调用带有任意参数的函数,你可以使用apply
:
apply(f,args,kwargs)
apply
Python2.7 中仍然存在,但在 Python3 中不存在,并且通常不再使用。如今,
f(*args,**kwargs)
是首选。multiprocessing.Pool
模块尝试提供类似的接口。
Pool.apply
与 Python 类似apply
,只是函数调用是在单独的进程中执行的。Pool.apply
阻塞直到函数完成。
Pool.apply_async
也类似于 Python 的内置apply
,不同之处在于调用会立即返回,而不是等待结果。AsyncResult
返回一个对象。您可以调用其get()
方法来检索函数调用的结果。该get()
方法会阻塞,直到函数完成。因此,pool.apply(func, args, kwargs)
相当于pool.apply_async(func, args, kwargs).get()
。
与 相比Pool.apply
,该Pool.apply_async
方法还具有回调功能(如果提供),该回调功能将在函数完成时调用。这可以用来代替调用get()
。
例如:
import multiprocessing as mp
import time
def foo_pool(x):
time.sleep(2)
return x*x
result_list = []
def log_result(result):
# This is called whenever foo_pool(i) returns a result.
# result_list is modified only by the main process, not the pool workers.
result_list.append(result)
def apply_async_with_callback():
pool = mp.Pool()
for i in range(10):
pool.apply_async(foo_pool, args = (i, ), callback = log_result)
pool.close()
pool.join()
print(result_list)
if __name__ == '__main__':
apply_async_with_callback()
可能会产生如下结果
[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]
请注意,与不同pool.map
,结果的顺序可能与调用的顺序不一致pool.apply_async
。
因此,如果您需要在单独的进程中运行一个函数,但希望当前进程阻塞直到该函数返回,请使用Pool.apply
。与 一样Pool.apply
,Pool.map
阻塞直到返回完整的结果。
如果希望工作进程池异步执行许多函数调用,请使用Pool.apply_async
。结果的顺序不保证与调用的顺序相同Pool.apply_async
。
还要注意,您可以调用多个不同的函数Pool.apply_async
(并非所有调用都需要使用相同的函数)。
相比之下,Pool.map
将同一函数应用于多个参数。但是,与不同的是Pool.apply_async
,结果将按照与参数顺序相对应的顺序返回。
解决方案 2:
以下是表格形式的概述,以显示Pool.apply
、和之间的区别。选择其中一个时,您必须考虑多参数、并发、阻塞和排序:Pool.apply_async
`Pool.map`Pool.map_async
| Multi-args Concurrence Blocking Ordered-results
---------------------------------------------------------------------
Pool.map | no yes yes yes
Pool.map_async | no yes no yes
Pool.apply | yes no yes no
Pool.apply_async | yes yes no no
Pool.starmap | yes yes yes yes
Pool.starmap_async| yes yes no no
笔记:
Pool.imap
和Pool.imap_async
– map 和 map_async 的更懒惰版本。Pool.starmap
方法,除了可以接受多个参数外,与 map 方法非常相似。Async
方法一次性提交所有流程,并在完成后检索结果。使用 get 方法获取结果。Pool.map
(或Pool.apply
)方法与Python内置的map(或apply)非常相似。它们会阻塞主进程,直到所有进程完成并返回结果。
例子:
地图
一次性调用作业列表
results = pool.map(func, [1, 2, 3])
申请
只能被叫去执行一项任务
for x, y in [[1, 1], [2, 2]]:
results.append(pool.apply(func, (x, y)))
def collect_result(result):
results.append(result)
map_async
一次性调用作业列表
pool.map_async(func, jobs, callback=collect_result)
apply_async
只能为一个作业调用,并在后台并行执行一个作业
for x, y in [[1, 1], [2, 2]]:
pool.apply_async(worker, (x, y), callback=collect_result)
星图
是pool.map
支持多个参数的变体
pool.starmap(func, [(1, 1), (2, 1), (3, 1)])
starmap_async
starmap() 和 map_async() 的组合,对可迭代对象中的可迭代对象进行迭代,并使用解包后的可迭代对象调用 func。返回结果对象。
pool.starmap_async(calculate_worker, [(1, 1), (2, 1), (3, 1)], callback=collect_result)
参考:
完整文档请见:https: //docs.python.org/3/library/multiprocessing.html
解决方案 3:
关于apply
vs map
:
pool.apply(f, args)
:f
仅在池中的一个工作进程中执行。因此,池中的一个进程将运行f(args)
。
pool.map(f, iterable)
:此方法将可迭代对象切分为多个块,并将其作为单独的任务提交给进程池。这样您就可以利用池中的所有进程。
- 2024年20款好用的项目管理软件推荐,项目管理提效的20个工具和技巧
- 2024年开源项目管理软件有哪些?推荐5款好用的项目管理工具
- 项目管理软件有哪些?推荐7款超好用的项目管理工具
- 2024年常用的项目管理软件有哪些?推荐这10款国内外好用的项目管理工具
- 项目管理软件有哪些最好用?推荐6款好用的项目管理工具
- 项目管理软件哪个最好用?盘点推荐5款好用的项目管理工具
- 项目管理软件有哪些,盘点推荐国内外超好用的7款项目管理工具
- 项目管理软件排行榜:2024年项目经理必备5款开源项目管理软件汇总
- 2024项目管理软件排行榜(10类常用的项目管理工具全推荐)
- 项目管理必备:盘点2024年13款好用的项目管理软件