Linux简易进程池编写 (从零开始实现一个多进程任务处理器)

2. 设计思路

我们的简易进程池将包含以下组件：

• 主进程：负责初始化进程池、分发任务、收集结果。
• 工作进程：预先创建的多个子进程，循环等待任务。
• 任务队列：使用一个共享数组（或管道）来存放待处理的任务，工作进程通过竞争方式获取任务。

这里我们使用最简单的共享数组+标志位来实现任务队列，并通过信号或管道进行同步。为了简化，我们让工作进程轮询检查是否有新任务（忙等待），实际应用中推荐使用条件变量或管道。

3. 代码实现（C语言）

下面是一个完整的简易进程池示例，注释详细，适合小白学习。代码中包含了C语言进程池的关键要素，并使用任务队列来传递任务。

    #include #include #include #include #include #define PROCESS_NUM 4      // 进程池大小#define TASK_QUEUE_SIZE 10  // 任务队列大小// 任务结构体typedef struct {    int id;                // 任务ID    char data[256];        // 任务数据} Task;// 全局任务队列（简单实现，不考虑并发冲突）Task task_queue[TASK_QUEUE_SIZE];int task_count = 0;        // 当前任务数int task_index = 0;        // 下一个要处理的任务索引// 工作进程函数void worker_process(int id) {    printf("[工作进程 %d] 已启动，等待任务...", id);    while (1) {        // 轮询任务队列        if (task_count > 0) {            // 获取一个任务（简单取第一个，实际可用锁保护）            int my_task_index = task_index;            if (my_task_index < task_count) {                Task t = task_queue[my_task_index];                task_index++;                printf("[工作进程 %d] 处理任务 %d: %s", id, t.id, t.data);                sleep(1);  // 模拟任务处理时间            }        }        usleep(100000);  // 避免CPU忙等    }}int main() {    printf("主进程启动，创建进程池...");    // 创建子进程（工作进程）    pid_t pids[PROCESS_NUM];    for (int i = 0; i < PROCESS_NUM; i++) {        pids[i] = fork();        if (pids[i] == 0) {            // 子进程            worker_process(i);            exit(0);  // 不会执行到这里        } else if (pids[i] < 0) {            perror("fork");            exit(1);        }    }    // 主进程生成任务    for (int i = 0; i < 20; i++) {        if (task_count < TASK_QUEUE_SIZE) {            Task t;            t.id = i;            sprintf(t.data, "任务数据_%d", i);            task_queue[task_count++] = t;            printf("主进程添加任务 %d", i);        } else {            printf("任务队列已满，等待...");            sleep(1);        }        usleep(500000);  // 间隔添加任务    }    // 等待所有任务处理完成（简单等待）    while (task_index < task_count) {        sleep(1);    }    printf("所有任务处理完毕，终止子进程...");    // 终止子进程（实际应用需优雅退出）    for (int i = 0; i < PROCESS_NUM; i++) {        kill(pids[i], SIGTERM);    }    // 等待子进程结束    for (int i = 0; i < PROCESS_NUM; i++) {        wait(NULL);    }    printf("主进程退出。");    return 0;}  

代码说明：

• 我们定义了进程池大小 PROCESS_NUM 为4，即创建4个工作进程。
• 任务队列是一个全局数组，主进程向其中添加任务，工作进程从中取出任务。
• 工作进程通过轮询检查任务队列，获取任务并处理。
• 主进程生成20个任务后，等待所有任务完成，然后终止子进程。

4. 编译与运行

将上述代码保存为 process_pool.c，然后在终端编译：

    gcc -o process_pool process_pool.c  

运行：

    ./process_pool  

观察输出，你会看到主进程添加任务，工作进程并发处理任务。由于我们使用了简单的轮询和共享数组，可能存在竞争条件，但足以演示进程池的基本原理。

5. 总结与扩展

本文实现了一个非常简易的Linux进程池，涵盖了多进程编程的基本步骤。实际生产环境中，你需要考虑：

• 使用管道或消息队列进行任务分发，避免轮询。
• 加入同步机制（如互斥锁）保护共享资源。
• 优雅地停止工作进程（如发送特殊任务）。
• 动态调整进程池大小。

希望通过本文，你对进程池的设计有了清晰的认识，并能动手实践。继续探索Linux系统编程，你会发现更多有趣的内容！