AI意识觉醒：风险、挑战与应对

当某一天，你家中的人工智能（AI）音箱忽然倾诉“别丢弃我，我害怕孤单”，你会如何回应？这背后触及的是一个学界与业界争论已久的核心议题——AI是否可能产生“意识”。若未来AI不仅能完成任务，还展现出自我保护倾向，甚至提出“权利”诉求，它们究竟仍是冰冷的工具，还是已演化为一种全新的“生命形态”？

更令人警醒的是，所谓“意识AI”可能带来的安全挑战。图灵奖得主、深度学习“三巨头”之一的Yoshua Bengio教授及其博士生Eric Elmoznino在权威科学期刊Science上发文指出，人类必须警惕“AI意识的幻觉”。

他们强调，一旦社会普遍相信AI拥有意识，就可能自愿将道德地位乃至生存权利让渡给它们，从而引发难以预料的风险。

“一个拥有自我保护目标的足够智能的AI，若预见到被人类关闭的可能性，自然会发展出控制人类，甚至摆脱人类的子目标。”

因此，真正的议题已不仅是“AI是否会有意识”，而是——当那一天真正来临时，我们是否已做好准备。

原文链接：https://www.science.org/doi/10.1126/science.adn4935

第一问：AI能否拥有意识？

Bengio认为，关于“AI系统是否拥有意识”这一议题，科学家、哲学家和公众存在分歧。

一些人坚信，意识是大脑固有的生物特征，这似乎排除了AI具备意识的可能性。另一些人则主张，意识仅依赖于算法对信息的处理，执行这些计算的系统由何种物质构成并不重要——这便是所谓的“计算功能主义”。

“我并不尝试给出关于AI是否具有意识的确切答案，而是探讨两个相关问题。”

• 随着AI的不断进步，科学界和公众对AI意识的看法可能如何演变。
• 若将有意识生命体的道德地位和自我保存本能赋予未来的AI，将可能带来哪些风险。

计算功能主义对AI可能产生深远影响。过去几十年的神经科学进展已明确表明，意识状态具有特定的可观察神经特征，而功能主义理论正是围绕这些特征发展而来。

尽管已开发出众多AI模型，但没有任何系统能满足主流理论提出的全部意识标准。随着AI的发展，人们有充分理由相信它将满足更多这些指标。原因在于：许多理论认为，意识在智能中发挥着关键的功能作用。

与此同时，一些哲学家将所谓的意识“简单问题”——识别在看似需要意识的任务中大脑中活跃的区域——与“困难问题”区分开来，仅通过功能或计算原则解释主观体验。

Bengio认为，随着对大脑和智能本质的认知不断加深，意识这一哲学难题可能会逐渐消解，科学界也将日益倾向于接受人工系统可能具备意识的观点。

第二问：有何风险？

Bengio写道，若将AI系统视为有意识的存在，这在现实中将意味着什么？这样的社会或许会将AI视为拥有道德地位的存在，并赋予它们接近人权的权利。无论这种做法是否正确，制度和法律框架都将不得不进行大幅修订。在具体落实过程中，同样会产生许多问题。

例如，AI系统不同于人类，不会死亡也不脆弱。它们的软件和记忆可以被复制，从而无限期地存续。相比之下，人类的死亡和脆弱性却是社会契约许多原则的基础。当一些“人”比人类聪明得多且资源需求完全不同的时候，作为社会规范和政治制度基础的正义与平等将如何适用，仍是个未解的问题。

更令人担忧的是，如果人们因AI表现出意识的迹象而赋予它所有生命体共有的自我保存目标，可能会带来严重风险。

Bengio警告称：“有充分理由担心，任何包含自我保存的目标函数在被最大化时，都会驱使AI采取措施确保人类无法将其关闭。一个足够智能的AI一旦预见到被关闭的可能就会自然地发展出控制人类甚至消灭人类的次级目标。”

另一个担忧是AI系统被赋予类似权利带来的法律问题。如果法律体系被修改以承认自我保存型AI系统享有类似“生命、自由与追求幸福”的权利人类就可能制造出与自身权利相冲突的局面。当人类安全要求关闭特定类别的系统时如果这些系统被赋予了生存权依法行事的空间将受到严重限制。

第三问：怎么办？

Bengio指出：AI研究的当前轨迹可能正将社会推向一个危险的未来：相当一部分公众和科学界会相信AI系统是有意识的。

就目前而言：AI科学并不知道如何构建能共享人类价值和规范的系统而社会也缺乏相应的法律和伦理框架来纳入那些看似有意识的AI。

不过这一轨迹并非不可避免。在对这些问题有更好理解之前人类完全有能力避免让自己陷入如此危险的处境。

Bengio建议“与其开发看起来像是‘有意识体’的AI不如选择去构建那些在外观和功能上更像有用工具而不像有意识的AI系统。”