Centos数据清洗实战指南（手把手教你用Linux命令高效处理数据）

准备工作：确保常用工具已安装

CentOS默认已预装大部分文本处理工具，如 grep、awk、sed、sort、uniq 等。但为保险起见，可运行以下命令更新系统并确认工具存在：

sudo yum update -ywhich awk sed grep sort uniq cut tr  

实战案例：清洗一份用户日志文件

假设我们有一个名为 user_log.txt 的文件，内容如下（每行包含：时间戳、用户名、操作类型、IP地址）：

2023-10-01T08:23:11Z alice login 192.168.1.102023-10-01T08:25:02Z bob logout 192.168.1.112023-10-01T08:23:11Z alice login 192.168.1.102023-10-01T09:01:45Z charlie error 10.0.0.52023-10-01T09:02:10Z invalid_user login 192.168.1.99  

我们的目标是：

• 去除重复行
• 只保留有效用户（排除 invalid_user）
• 提取用户名和IP地址两列
• 按用户名排序

步骤1：去重

使用 sort + uniq 组合：

sort user_log.txt | uniq > cleaned_step1.txt  

步骤2：过滤无效用户

使用 grep -v 排除包含 invalid_user 的行：

grep -v "invalid_user" cleaned_step1.txt > cleaned_step2.txt  

步骤3：提取所需字段

使用 awk 提取第2列（用户名）和第4列（IP）：

awk '{print $2, $4}' cleaned_step2.txt > cleaned_step3.txt  

步骤4：排序输出

按用户名排序：

sort cleaned_step3.txt > final_cleaned_data.txt  

最终结果 final_cleaned_data.txt 内容为：

alice 192.168.1.10bob 192.168.1.11charlie 10.0.0.5  

进阶技巧：一行命令完成清洗

熟练后，你可以将多个步骤合并为一条管道命令，提升效率：

sort user_log.txt | uniq \| grep -v "invalid_user" \| awk '{print $2, $4}' \| sort > final_output.txt  

总结

通过本教程，你已经掌握了在CentOS系统中进行基础Linux数据处理的核心方法。这些命令不仅适用于日志清洗，还可用于CSV、TSV等结构化文本的处理。坚持练习，你将能轻松应对各种Centos文本处理场景。

记住，数据清洗是数据分析的第一步，干净的数据才能带来可靠的洞察。希望这篇数据清洗教程能为你打下坚实基础！

提示：所有命令均在CentOS 7/8环境下测试通过。如遇权限问题，请在命令前加 sudo。