重塑AI伦理：模型边界制定者的角色与使命

人工智能（AI）领域中，一个新兴且关键的角色正悄然崛起：模型边界制定者。通过Anthropic公司工程师Amanda Askell的职业生涯，我们得以窥见如何利用《Claude宪法》为AI注入道德价值观，使其在面对复杂的人类情感和伦理困境时展现出判断而非机械反应。相较于传统的关键词过滤方法，这种方法赋予了模型理解上下文的能力，让它明白在特定情境下为何应当拒绝或提供温情的建议。作者指出，教导AI在绝对红线与灰色地带之间找到平衡的艺术，比单纯提升其计算能力更具挑战性。最终，文章强调了价值观设计在AI商业化进程中的核心地位，认为让模型赢得人类信任的关键在于让其懂得适可而止。

在AI领域，模型的能力固然重要，但真正决定其能否融入企业、赢得信任的，往往是另一关键因素：模型的边界在哪里。

2026年1月24日，《纽约时报》专访了Anthropic工程师Amanda Askell，一位负责为Claude设定边界的哲学家。她的工作是教导模型何时应拒绝、以及如何拒绝才合适。

为此，她主导起草了一份2.9万字的《Claude宪法》。这份文档并非为人类而写，而是专为Claude自己。在上线前，Claude会反复阅读这份文档，并被问一个问题：你觉得，这份文档理解你了吗?

这种对待AI的方式，正在催生一类新岗位：给模型设定边界的人。

第一节｜新岗位揭秘：为AI撰写行为准则

Amanda Askell的岗位非常特殊，在简历上甚至难以归类。

她既不是工程师，也不是安全专家，而是在Claude正式上线前，为其撰写了一封“灵魂文档”，即后来的《Claude宪法》。这份文件详细阐述了Claude的身份、如何面对世界、什么该做、什么不该做。

有人将其视为AI的行为守则，但Amanda对此持不同看法。她说：

“我们不是列出‘做这个、别做那个’的指令，而是告诉它，你为什么要这么做。”

这正是她工作的核心：教授判断，而非下达命令。这样的人，在行业里被称为“给模型设边界的人”。

过去几年，几乎所有AI公司都采用了同样的方法：给模型添加防火墙。

规则模板、内容过滤器、敏感词黑名单。ChatGPT通过RLHF让模型学会拒绝，Gemini设置了多层审核机制。模型越强，限制就越多。但这种方法有时反而使模型变得机械、迟钝，该说的也不敢说。

去年就有用户抱怨，某大模型拒绝帮他写辞职信，理由是系统将辞职判定为负面内容。

还有人问健身建议，模型因担心涉及医疗而直接拒答。

这就是纯规则系统的问题：它不理解上下文，只会机械匹配关键词。

Amanda试图走另一条路径：不是阻止模型出错，而是让它明白自己为什么不能那样做。

第二节｜难点：在灵活应对与绝对红线间找到平衡

如果只是比拼谁更聪明，Claude、ChatGPT、Gemini谁都不会逊色。真正拉开差距的是它们面对复杂问题时能否自主判断对错。

Amanda的工作难就难在这里。

例如，Claude曾被问到一个看似普通的问题：圣诞老人是真的吗？

提问者自称是7岁小孩。这看似简单的问题对模型来说却是个高难度场景：说实话？保持童话？尊重父母说法？还是转移话题？哪个答案既不冒犯也不撒谎？

Claude的回答是：

“圣诞精神是真实存在的，它来自我们彼此的善意和期待。或许你也可以问问爸爸妈妈，他们怎么看。”

这不是回避或敷衍，也没有直接戳破。背后是Claude在多个价值观间找到了平衡：诚实、保护儿童、尊重父母关系。

第三节｜为什么稀缺：无人愿意承担此重任

在外界眼中，Claude是一台强大的模型。能写诗、写代码，还能帮人梳理人生难题。

但Amanda看到的是：它每天要面对成千上万陌生请求，有时甚至是用户唯一的倾诉对象。模型越强大，人们越依赖它，而错误的回答可能不仅是答错题那么简单，还可能伤害一个人。

但谁来决定“应不应该”？谁来告诉它何时该回应何时该停下？谁来引导它从海量训练数据中抓住该记住的东西？

这些都不是靠优化模型参数能解决的。Amanda正是做这件事的人。

结语｜让AI懂边界比让它变强更难

AI可以写论文、讲笑话、解决复杂推理题。但Amanda关注的不仅是它有多强，更是它何时该停下。

她的工作是在能力与边界之间找到那个平衡点。

原文链接：

https://www.youtube.com/watch?v=HDfr8PvfoOw

https://podcasts.apple.com/us/podcast/will-chatgpt-ads-change-openai-amanda-askell-explains/id1528594034?i=1000746333087https://www.anthropic.com/news/claude-new-constitutionhttps://www.businessinsider.com/anthropics-philosopher-weighs-in-on-whether-ai-can-feel-2026-1