高效处理海量数据（Go语言大文件分块读取实战指南）

为什么需要分块读取？

假设你有一个 10GB 的日志文件，而你的服务器只有 4GB 内存。如果你用 os.ReadFile 一次性读入，程序会直接崩溃。而通过Go高效文件处理中的分块读取技术，我们可以每次只读取一小部分（例如 64KB），处理完后再读下一块，从而将内存占用控制在极低水平。

基础实现：使用 bufio.Scanner

对于按行处理的文本文件（如日志），最简单的方式是使用 bufio.Scanner。它内部已经实现了缓冲读取，非常适合逐行处理大文件。

package mainimport (    "bufio"    "fmt"    "os")func main() {    file, err := os.Open("large.log")    if err != nil {        panic(err)    }    defer file.Close()    scanner := bufio.NewScanner(file)    lineNum := 0    for scanner.Scan() {        lineNum++        line := scanner.Text()        // 在这里处理每一行        fmt.Printf("第 %d 行: %s\n", lineNum, line[:min(50, len(line))])    }    if err := scanner.Err(); err != nil {        fmt.Printf("读取文件出错: %v\n", err)    }}func min(a, b int) int {    if a < b {        return a    }    return b}

注意：bufio.Scanner 默认最大行长度为 64KB。如果某一行超过这个限制，会报错。可以通过 scanner.Buffer() 调整缓冲区大小。

通用方案：手动分块读取

对于二进制文件或不按行分割的场景，我们需要更底层的控制。这时可以使用 os.File.Read() 配合固定大小的缓冲区。

package mainimport (    "fmt"    "os")const chunkSize = 64 * 1024 // 64KBfunc main() {    file, err := os.Open("hugefile.bin")    if err != nil {        panic(err)    }    defer file.Close()    buffer := make([]byte, chunkSize)    chunkNum := 0    for {        n, err := file.Read(buffer)        if n > 0 {            chunkNum++            // 处理当前块：buffer[:n]            fmt.Printf("正在处理第 %d 块，大小: %d 字节\n", chunkNum, n)            processChunk(buffer[:n])        }        if err != nil {            // 读到 EOF 或其他错误            break        }    }    fmt.Println("文件处理完成！")}func processChunk(chunk []byte) {    // 这里写你的业务逻辑，比如计算哈希、压缩、上传等    _ = chunk // 避免编译警告}

进阶技巧：带进度条的大文件处理

在处理超大文件时，用户往往希望看到进度。我们可以通过 file.Stat() 获取文件总大小，再结合已读字节数来计算进度。

// 在 main 函数中添加fileInfo, err := file.Stat()if err != nil {    panic(err)}totalSize := fileInfo.Size()bytesRead := int64(0)for {    n, err := file.Read(buffer)    bytesRead += int64(n)    if n > 0 {        processChunk(buffer[:n])        // 打印进度百分比        percent := float64(bytesRead) / float64(totalSize) * 100        fmt.Printf("\r处理进度: %.2f%%", percent)    }    if err != nil {        break    }}fmt.Println("\n完成！")

总结

通过本教程，你已经掌握了 Go语言文件操作教程中最核心的大文件处理技巧。记住以下要点：

• 小文本文件 → os.ReadFile
• 大文本文件（按行）→ bufio.Scanner
• 任意大文件 → 手动分块 + os.File.Read
• 始终记得关闭文件（使用 defer file.Close()）

掌握这些方法后，无论面对多大的文件，你都能从容应对。赶快动手试试吧！