当前位置：首页 > 系统教程 > 正文

从0到1手搓日志系统（Linux实战：构建高性能日志库）

主机测评网
系统教程
2026-02-25
896

从0到1手搓日志系统（Linux实战：构建高性能日志库）

在Linux环境下开发后台服务或高并发程序时，一个稳定、高效的日志系统是必不可少的调试和监控工具。本文将从零开始，手把手带你实现一个可用的Linux日志库，支持多线程安全、日志分级、异步写入等特性，全程使用C语言实现，并融入多线程日志设计思想。即使你是Linux编程新手，也能通过本教程掌握日志系统的核心原理。

1. 为什么需要自己的日志系统？

现成的日志库（如log4c、syslog）虽然功能丰富，但往往过于臃肿或定制性差。手搓一个轻量级日志系统不仅能让你深入理解底层I/O、线程同步等知识，还能根据项目需求灵活裁剪。我们的目标是实现一个简单但完整的日志库，支持：

日志级别：DEBUG、INFO、WARN、ERROR
多线程安全：避免日志混乱
异步写日志：减少I/O阻塞
文件滚动：按大小或时间切割

2. 核心数据结构与接口设计

我们采用生产者-消费者模型：业务线程产生日志消息，放入缓冲区；后台线程负责将缓冲区数据写入磁盘。关键数据结构如下：

    typedef enum { LOG_DEBUG, LOG_INFO, LOG_WARN, LOG_ERROR } log_level_t;typedef struct log_msg {    log_level_t level;    char content[MAX_LOG_LEN];    struct timeval tv;} log_msg_t;typedef struct log_queue {    log_msg_t *buffer;    int size;    int in, out;    pthread_mutex_t mutex;    pthread_cond_t not_full, not_empty;    int stop;} log_queue_t;

接口设计尽量简洁：log_init()、log_write()、log_flush()、log_close()。

3. 多线程安全实现

使用pthread_mutex_t保护环形缓冲区的读写，用pthread_cond_t实现生产者和消费者的同步。当缓冲区满时，生产者等待；缓冲区空时，消费者等待。以下为写入日志的核心代码：

    void log_write(log_level_t level, const char *fmt, ...) {    if (queue.stop) return;    pthread_mutex_lock(&queue.mutex);    while ((queue.in + 1) % queue.size == queue.out) {        pthread_cond_wait(&queue.not_full, &queue.mutex);    }    log_msg_t *msg = &queue.buffer[queue.in];    msg->level = level;    gettimeofday(&msg->tv, NULL);    va_list args;    va_start(args, fmt);    vsnprintf(msg->content, MAX_LOG_LEN, fmt, args);    va_end(args);    queue.in = (queue.in + 1) % queue.size;    pthread_cond_signal(&queue.not_empty);    pthread_mutex_unlock(&queue.mutex);}

4. 异步写线程

后台线程不断从缓冲区取出消息，并写入文件。这里使用fwrite批量写入以提高性能，同时每秒或缓冲区满时主动刷新。

    void *log_worker(void *arg) {    FILE *fp = fopen(LOG_FILE, "a");    if (!fp) return NULL;    while (1) {        pthread_mutex_lock(&queue.mutex);        while (queue.in == queue.out && !queue.stop) {            pthread_cond_wait(&queue.not_empty, &queue.mutex);        }        if (queue.stop && queue.in == queue.out) {            pthread_mutex_unlock(&queue.mutex);            break;        }        log_msg_t *msg = &queue.buffer[queue.out];        queue.out = (queue.out + 1) % queue.size;        pthread_cond_signal(&queue.not_full);        pthread_mutex_unlock(&queue.mutex);        // 写入文件        fprintf(fp, "[%ld.%06ld] [%s] %s",                msg->tv.tv_sec, msg->tv.tv_usec,                level_str(msg->level), msg->content);        fflush(fp); // 可选，根据性能调整    }    fclose(fp);    return NULL;}

5. 完整代码与使用示例

将上述模块整合成logger.h和logger.c，并提供以下示例：

    #include "logger.h"int main() {    log_init(1024);  // 缓冲区大小    log_write(LOG_INFO, "Server started, pid=%d", getpid());    // 模拟多线程写日志    // ...    log_flush();    log_close();    return 0;}