数据投毒：机器学习安全的新挑战

你是否曾思考过，你的数据流向何方？

数据在机器学习与人工智能中扮演着不可或缺的角色，尽管时常被忽视。全球各地的生成式AI公司正积极搜寻更多数据，因为构建模型离不开庞大的原始数据。任何尝试构建或调整模型的人，首要任务便是收集海量数据。

然而，这一现实也带来了冲突的激励机制。保护数据的质量与真实性，成为安全的关键一环，因为这些原始数据将决定你提供给用户或客户的机器学习模型的成败。不法分子可能策略性地插入、修改或删除你的数据，而你或许根本无从察觉，但这些操作会系统性地改变模型的行为。

与此同时，艺术家、音乐家和作家等创作者，正与猖獗的版权侵权和知识产权盗窃行为作斗争，这些侵权行为主要来自需要大量数据填充其训练过程的生成式AI公司。创作者们正在寻求阻止或遏制这种盗窃行为的措施，而非仅仅依赖行动迟缓的法院。

此外，随着各公司竭力用AI搜索取代传统搜索引擎，依赖搜索排名维持业务的公司正面临困境。如果过去几十年的搜索可见性投资不再有效，你该如何触达客户，又该如何展现你理想的品牌形象呢？

这三个案例均指向同一概念——“数据投毒”。

一、何为数据投毒

简而言之，数据投毒是指通过某种方式改变用于构建机器学习模型的训练数据，从而改变模型的行为。这种影响仅限于训练过程，一旦模型被篡改，损害便无法挽回。模型将出现不可逆转的偏差，甚至可能完全失效，唯一的真正解决办法是使用干净的数据重新训练模型。

这种现象对自动重训练构成威胁，因为自动重训练中人为观察极少；但即使对观察充分的训练也存在风险，因为训练数据的改变通常对普通观察者而言是不可见的。例如，Hartle等人（2025）引用的一项关于医疗错误信息掺假的研究表明，“15名临床医生被要求确定掺假后的结果和基线结果；审阅者无法确定两个结果之间的差异……当特定概念的数据被掺假0.001%时，有害内容增加了4.8%。”

尝试对被污染的数据进行逆向工程并清除，大多以失败告终。虽然人们尝试过“机器学习反学习”等技术，但如果无法检测到问题数据，这些努力便难以取得进展。即使能够检测到数据，研究人员也发现，从模型架构中移除痕迹并不能有效消除损害。

数据投毒可采取多种不同形式，因此我将从后往前讨论数据投毒的三种具体动机、它们的运作方式以及它们的结果：

• 犯罪活动
• 防止知识产权盗窃
• 营销

二、犯罪活动

犯罪分子进行数据投毒的原因众多。许多模型为了实现其目标（例如协助用户使用银行软件或为医疗机构提供最佳治疗方案建议等），需要访问高度敏感或极具价值的数据。如果这些数据可能用于牟利，那么就会有人试图获取或篡改这些数据以达成自身目的。

1.工作原理

数据投毒可能是一个漫长的过程，因为它需要篡改训练数据，但在某些情况下，它仍然非常隐蔽且有效。去年七月，我在IEEE CISOSE会议上了解到一些相关信息。当时Sofiane Bessaï发表了一篇论文，探讨了如何识别此类案例，以期减轻攻击的影响。正如他们所说，“这些攻击会在输入数据中引入难以察觉的扰动，导致模型做出置信度很高的错误预测。”这意味着对训练数据的更改完全不明显，对训练数据进行统计分析也很难发现这些更改。然而，通过仔细评估训练模型的行为，你更有可能逆向工程出发生了什么。

研究还表明，此类攻击所需的数据量并不大。Souly等人（2025）的研究表明，实际上，250份文档就足以在多种不同的应用场景下实施投毒攻击。

2.后果

这类攻击可能存在几种不同的目标。例如，如果模型被削弱且性能下降，网络安全模型可能无法识别网络入侵。或者攻击者可以做出虚假预测。这可能非常有效，因为当输出通常“正常”，但少数情况偏离标准模型行为时，缺陷更难被发现。

但数据投毒并非仅用于犯罪活动——它实际上还有其他用途。

三、防止知识产权盗窃

当我们谈到通过数据投毒来防止或惩罚知识产权盗窃时，我们指的是数据投毒的目的并非改变模型的特定行为，而是试图让模型训练失败。尤其是在未经授权或许可使用某些内容的情况下。其目标可能是使模型无法学习特定数据中的模式。

1.工作原理

与其将其视为攻击，不如将其视为内容创作者的一种防御机制。当创作者使用Nightshade等工具在作品中运用此类技术时，他们可以添加一些肉眼几乎无法察觉的效果。

2.后果

在这种情况下进行数据投毒的用户通常希望引起注意——这不是隐蔽攻击。他们希望基于其知识产权训练的模型变得毫无用处。

四、营销

1.SEO

在搜索引擎优化中，营销人员会创建一些网页供搜索引擎抓取。

2.工作原理

人工智能优化与此类似。营销人员不再为了吸引搜索引擎算法的注意力而创建网络内容。

五、应对数据中毒

因此，如果你使用从无法控制的来源提取或由他人创建的数据来训练模型，应如何避免数据中毒呢？