当前位置：首页 > Python > 正文

掌握Python生成器的高级用法（深入理解生成器、协程与内存高效编程）

主机测评网
Python
2025-12-10
259

在Python编程中，Python生成器是一种非常强大且高效的工具。它不仅可以节省内存，还能简化复杂流程的编写。本教程将带你从基础出发，逐步深入到生成器高级应用，包括协程、管道处理、以及实际项目中的使用技巧。无论你是初学者还是有一定经验的开发者，都能从中受益。

什么是生成器？

生成器（Generator）是Python中一种特殊的迭代器，它通过 yield 关键字来返回值，并在每次调用时记住上次执行的位置。与普通函数不同，生成器不会一次性返回所有结果，而是按需生成，这使得它非常适合处理大数据集或无限序列。

def simple_generator():    yield 1    yield 2    yield 3# 使用生成器gen = simple_generator()print(next(gen))  # 输出: 1print(next(gen))  # 输出: 2

生成器表达式 vs 列表推导式

你可能熟悉列表推导式，比如 [x**2 for x in range(10)]。但如果你只关心逐个处理数据而不需要全部存储在内存中，就可以使用生成器表达式：

# 列表推导式：立即创建整个列表，占用内存squares_list = [x**2 for x in range(1000000)]# 生成器表达式：按需生成，内存友好squares_gen = (x**2 for x in range(1000000))

这就是内存高效编程的核心思想之一：避免不必要的内存占用。

掌握Python生成器的高级用法（深入理解生成器、协程与内存高效编程） Python生成器生成器高级应用 Python协程内存高效编程第1张

生成器作为协程（Coroutine）

从Python 2.5开始，生成器可以接收外部传入的值，从而实现Python协程的功能。这使得生成器不仅能产出数据，还能处理输入，非常适合构建数据处理管道或状态机。

def coroutine_example():    print("协程启动...")    while True:        value = yield        print(f"接收到值: {value}")# 启动协程coro = coroutine_example()next(coro)  # 必须先调用一次 next() 来启动coro.send(10)  # 输出: 接收到值: 10coro.send(20)  # 输出: 接收到值: 20

注意：使用 send() 前必须先调用 next() 或 send(None) 来“预激”协程。

构建数据处理管道

利用多个生成器可以轻松构建高效的数据流管道。例如，读取文件、过滤、转换、聚合等操作可以串联起来，而无需中间存储大量数据。

def read_lines(filename):    with open(filename) as f:        for line in f:            yield line.strip()def filter_empty(lines):    for line in lines:        if line:            yield linedef uppercase(lines):    for line in lines:        yield line.upper()# 组合使用pipeline = uppercase(filter_empty(read_lines('data.txt')))for processed_line in pipeline:    print(processed_line)

这种模式不仅代码清晰，而且内存使用恒定——无论文件多大，都只处理一行数据。