Python multiprocessing模块详解（小白也能轻松掌握多进程并行编程）

为什么需要 multiprocessing？

Python 由于全局解释器锁（GIL）的存在，在多线程环境下无法真正并行执行 CPU 密集型任务。而 multiprocessing 模块通过创建独立的进程（每个进程拥有自己的 Python 解释器和内存空间），绕过了 GIL 的限制，从而实现真正的并行处理。

基础用法：创建一个简单多进程程序

最常用的类是 Process，它代表一个独立的进程。下面是一个简单的例子：

import multiprocessingimport timedef worker(name):    print(f'进程 {name} 开始执行')    time.sleep(2)    print(f'进程 {name} 执行完毕')if __name__ == '__main__':    # 创建两个进程    p1 = multiprocessing.Process(target=worker, args=('Worker-1',))    p2 = multiprocessing.Process(target=worker, args=('Worker-2',))    # 启动进程    p1.start()    p2.start()    # 等待进程结束    p1.join()    p2.join()    print('所有进程已完成')

运行上述代码，你会看到两个进程几乎同时开始执行，而不是顺序执行，这体现了多进程编程的优势。

使用进程池（Pool）简化管理

当需要处理大量相似任务时，使用 Pool 类可以更高效地管理进程资源：

import multiprocessingdef square(x):    return x * xif __name__ == '__main__':    numbers = [1, 2, 3, 4, 5]    # 创建包含4个进程的进程池    with multiprocessing.Pool(processes=4) as pool:        results = pool.map(square, numbers)    print('结果:', results)  # 输出: [1, 4, 9, 16, 25]

进程间通信（IPC）

多个进程之间常常需要交换数据。multiprocessing 提供了多种进程间通信机制，如 Queue、Pipe 和共享内存（Value/Array）。

以下是一个使用 Queue 的例子：

import multiprocessingdef producer(queue):    for i in range(5):        queue.put(f'消息 {i}')    queue.put(None)  # 发送结束信号def consumer(queue):    while True:        item = queue.get()        if item is None:            break        print(f'收到: {item}')if __name__ == '__main__':    queue = multiprocessing.Queue()    p1 = multiprocessing.Process(target=producer, args=(queue,))    p2 = multiprocessing.Process(target=consumer, args=(queue,))    p1.start()    p2.start()    p1.join()    p2.join()

注意事项与最佳实践

• 始终将多进程代码放在 if __name__ == '__main__': 块中，避免在 Windows 上出现递归创建进程的问题。
• 注意进程创建的开销较大，不适合频繁创建/销毁短生命周期任务。
• 合理设置进程数量，通常为 CPU 核心数或略多一些。
• 避免在多进程中操作共享资源（如文件、数据库连接）时产生竞争条件，必要时使用锁（multiprocessing.Lock）。

总结

通过本文的学习，你应该已经掌握了 Python multiprocessing 模块的基本用法，包括创建进程、使用进程池、以及实现进程间通信。这些知识将帮助你在实际项目中有效利用多核 CPU，显著提升程序性能。记住，并行处理虽强大，但也需谨慎使用，合理设计才能发挥最大效益。

关键词回顾：Python multiprocessing、多进程编程、并行处理、进程间通信