python 是否支持多处理器/多核编程?
- 2025-03-12 08:52:00
- admin 原创
- 28
问题描述:
多处理器编程和多核编程有什么区别?
最好用 Python 举例说明如何为多处理器编程和多核编程编写一个小程序
解决方案 1:
不存在“多处理器”或“多核”编程之类的东西。“多处理器”和“多核”计算机之间的区别可能与应用程序程序员无关;它与内核如何共享内存访问的细微差别有关。
为了充分利用多核(或多处理器)计算机,您需要一个可以并行运行的程序,以及一个允许程序在多个内核(和操作系统,尽管任何可以在您的 PC 上运行的操作系统都可以)上并行执行的运行时。这实际上是并行编程,尽管并行编程有不同的方法。与 Python 相关的方法是多处理和多线程。
在 C、C++、Java 和 C# 等语言中,您可以通过执行多个线程来编写并行程序。CPython 和 PyPy 运行时中的全局解释器锁排除了此选项;但仅限于这些运行时。(我个人认为,多线程既危险又棘手,Python 鼓励您不要将其视为获得性能优势的一种方式,这通常是一件好事。)
如果您想用 Python 编写一个可以在多个核心上运行的并行程序,您有几种不同的选择:
使用该模块编写多线程程序
threading
并在 IronPython 或 Jython 运行时运行它。使用
processing
模块(现在包含在 Python 2.6 中multiprocessing
)可以同时在多个进程中运行您的代码。使用该
subprocess
模块运行多个python解释器并在它们之间进行通信。使用Twisted和Ampoule。这样做的好处不仅是让你的代码可以在不同的进程中运行,而且(如果你不共享文件等的访问权限)还可以在不同的计算机上运行。
无论您选择哪种选项,您都需要了解如何将程序正在执行的工作拆分成有意义的块。由于我不确定您要编写哪种程序,因此很难提供一个有用的例子。
解决方案 2:
正如另一篇文章中提到的,Python 2.6 具有多处理模块,该模块可以利用多个核心/处理器(它通过透明地启动多个进程来绕过 GIL)。它提供了一些类似于线程模块的原语。您可以在文档页面中找到一些(简单的)使用示例。
解决方案 3:
实际上,您可以编写使用多个处理器的程序。由于 GIL 锁,您无法使用线程执行此操作,但可以使用不同的进程执行此操作。以下任一方式:
使用子进程模块,并将代码划分为每个处理器执行一个进程
看看parallelpython模块
如果您使用 python > 2.6,请查看多进程模块。
解决方案 4:
如果我理解正确的话,Python 有一种称为 GIL(全局解释器锁)的东西,它实际上使得在 Python 中执行多个线程时无法利用多核。
例如,请参阅 Guido van Rossum关于该主题的博客文章。据我所知,在“主流”语言中,只有 C/C++ 和 Java 对多核有有效的支持。
解决方案 5:
您可以阅读有关 Python 中的多线程以及线程的一般信息
Python 中的多线程:
http://www.devshed.com/c/a/Python/Basic-Threading-in-Python/
解决方案 6:
主要的区别在于如何组织和分发数据。多核通常在 CPU 的不同核心之间具有更高的带宽,而多处理器需要更多地涉及 CPU 之间的总线。
Python 2.6 获得了多进程(进程,即程序运行的过程)以及用于多线程编程的更多同步和通信对象。
解决方案 7:
如果您没有 Python 2.6(例如,如果您使用的是 Ubuntu Edgy 或 Intrepid,则没有),则可以使用Google 代码反向移植的 multiprocessing 版本。它是 PyPI 的一部分,这意味着您可以使用 EasyInstall(它是 Ubuntu 中 python-setuptools 包的一部分)轻松安装它。