Python协程并发控制（从零开始掌握asyncio并发与限流技巧）

使用 asyncio.Semaphore 实现并发控制

asyncio.Semaphore 是Python标准库提供的信号量工具，用于限制同时访问某段代码的协程数量。下面是一个完整示例：

import asyncioimport aiohttp# 并发限制：最多同时运行5个协程semaphore = asyncio.Semaphore(5)async def fetch_url(session, url):    async with semaphore:  # 获取信号量        print(f"正在请求: {url}")        try:            async with session.get(url) as response:                await response.text()                print(f"完成请求: {url}")        except Exception as e:            print(f"请求失败 {url}: {e}")async def main():    urls = [        "https://httpbin.org/delay/1",        "https://httpbin.org/delay/1",        "https://httpbin.org/delay/1",        "https://httpbin.org/delay/1",        "https://httpbin.org/delay/1",        "https://httpbin.org/delay/1",        "https://httpbin.org/delay/1",    ]    async with aiohttp.ClientSession() as session:        tasks = [fetch_url(session, url) for url in urls]        await asyncio.gather(*tasks)# 运行主协程asyncio.run(main())  

在这个例子中，我们创建了一个容量为5的信号量。每次调用 fetch_url 时，必须先获取信号量（async with semaphore），当并发数达到5时，后续协程会自动等待，直到有协程释放信号量。

使用 asyncio.as_completed 控制任务流

另一种方式是使用 asyncio.as_completed，它允许你逐个处理已完成的任务，从而自然限制并发：

async def controlled_fetch(urls, max_concurrent=5):    async with aiohttp.ClientSession() as session:        pending = set()        results = []        for url in urls:            if len(pending) >= max_concurrent:                # 等待任意一个任务完成                done, pending = await asyncio.wait(                    pending, return_when=asyncio.FIRST_COMPLETED                )                results.extend(done)            task = asyncio.create_task(fetch_url(session, url))            pending.add(task)        # 等待剩余任务        if pending:            done, _ = await asyncio.wait(pending)            results.extend(done)        return results  

总结：掌握异步编程入门的关键

通过本文，你已经学会了如何使用 asyncio.Semaphore 和任务调度来实现Python协程的并发控制。记住以下几点：

• 不要无限制地并发大量协程；
• 使用信号量是最简单有效的限流方式；
• 合理设置并发上限（如5~20），根据实际网络和系统资源调整；
• 结合 aiohttp、aiomysql 等异步库发挥最大效能。

现在，你已经具备了进行安全、高效asyncio并发控制的能力。快去优化你的爬虫、API客户端或数据处理脚本吧！