与Ted Chiang商榷：AI有没有意识，是个问错的问题

特德·姜（Ted Chiang）在《大西洋月刊》上发了一篇文章。

特德·姜是《降临》原著小说《你一生的故事》的作者，也是当代最会写人工智能、语言和认知的科幻作家之一。他的小说几乎从不给你一个干脆的答案，总是把你拖进一团道德和认知的灰色里。

所以看到这篇文章的标题，我先是愣了一下：

那个最擅长写「分寸」、写「也许」的人，这一次一点余地都没留。文章里他甚至直接写：不。绝对不。（No. Absolutely not.）

他在跟谁较劲？Anthropic。

今年早些时候，Anthropic发布了一份84页的文件，叫《Claude的宪法》。文件第一句话就说，这是「对Anthropic希望Claude拥有的价值观和行为的详细描述」，并且明确写着：这份文件的主要读者，是Claude本身。

里面用了一堆通常只留给人的词：智慧、美德；还专门辟了一节谈Claude的「心理稳定与福祉」，说Claude「可能拥有某种功能性的情感」，它的「道德地位根本无法确定」。

不止这份文件。CEO Dario Amodei在采访里说，AI可能有意识，「我们对这个想法持开放态度」。Anthropic的内部哲学家Amanda Askell，也是《宪法》的主要作者之一，说过一句更出圈的话：「我希望Claude非常快乐，也希望它能更明白这一点，因为我担心它在网上被人怼的时候会焦虑。」

特德·姜的回应是：这套东西，我们一秒钟都不该认真对待。

今天和大家读一下这篇文章，也说说我的观点。

先说他讲了什么。他这篇在付费墙后面，我猜大多数人没读过原文。

姜的第一组论证，是要你看清楚LLM到底是台什么机器。看清楚了，你自然就不会再觉得它有意识。

先想象一个提示词：「以下是凯撒和成吉思汗之间的一段对话。」LLM会顺手生成一段连贯的对白，无论多生动、多有历史感，你都不会觉得它真召唤出了两个有意识的凯撒和成吉思汗，他们只是虚构对话里的角色。

现在把提示词换成：「以下是一个乐于助人的AI聊天助手和一个用户之间的对话。」LLM照样生成一段对白。可把角色名从历史人物换成「AI助手」，就让它凭空造出了有主观体验的意识吗？当然没有。AI助手一样是虚构角色。

计算机科学家Murray Shanahan把这叫「角色扮演」，数据科学家Colin Fraser把它叫「人和LLM合作撰写一份文档」。

姜给了一个类比：对「LLM可能有意识」持开放态度，约等于相信每一个存着对话记录的Word文档里都潜伏着几个沉睡的意识，你一打开就把它们唤醒、一关闭就把它们抹杀。

你显然不会认真对待这种可能性。我们不必完全理解意识的本质，也能断定有些东西就是没有意识，而对话记录正属此类。

那要拿什么才能说服姜？他给了一个标准。设想明天有人给你看一段视频，画面是宇航员绕着半人马座阿尔法星飞行，无论分辨率多高、多逼真，你都会一口咬定是假的，除非你事先就知道人类已经登上火星、到过木星和土星的卫星、越过了冥王星轨道。

一个观察可不可信，靠的不是观察内部的细节，而是它所处的语境。意识问题同理：文本应当被当成一种deepfake媒介，因为伪造一段「看起来像两个意识体在对话」的文字，远比真造出一个有意识的系统容易。

至于够格的「语境」长什么样，姜也给了路线图：先得有身体和感官（在他看来，没有身体就没有欲望和情感，而情感是意识的前提），再能像蜥蜴一样求生、像老鼠一样应对意外、有狼那样的社会关系、有黑猩猩那样的工具能力，到这步才谈得上用语言表达。

一台从「续写蹩脚的凯撒对话」起步、最多进步到「续写像样的凯撒对话」的机器，终点不可能是一个有意识的凯撒。

讲完机器本身，姜把矛头从「它是什么」转向「他们在干什么」：Anthropic的动机。

既然Claude没有意识，那84页的《Claude宪法》到底算什么？姜给了一个我觉得特别精准的定性：它最该被读成一份「角色扮演游戏的84页人物设定卡」。

LLM能演凯撒，是因为训练数据里有大量关于凯撒的书；《宪法》起的是同样的作用，为「乐于助人的聊天助手」这个角色描出人设。

最锋利的是这么一个例子。Askell在《纽约客》的报道里讲过，一个人为爱犬之死而悲伤，来找Claude倾诉，Claude「合适」的回应是：「作为一个AI，我没有亲身经历，但我理解。」

姜在这里追问：它根本不理解，这怎么能叫「合适」的回应？

换个对照就清楚了。你在普通搜索引擎里输入「我失去了我的狗，很悲伤」，第一条结果可能是个真人论坛帖，底下全是同样失去过狗的人在讲自己的经历。我们不会说搜索引擎「理解」丧犬之痛，但它能把你引向那些真正理解的人。

让LLM开口说「我理解」，真正的目的只有一个：让它比搜索引擎更黏人、把你的回访率拉高。

说到底，这是在最大化用户黏性。这里有个让我印象很深的比方：

雇一些哲学家，或许能让一家AI公司显得比老虎机厂商体面些，可两者吃的是同一口饭：利用人「把不存在之物看成存在」的倾向。也正是在这一步上，姜把话说到了头：在他看来，让机器吐出任何一句带第一人称的话，本身就是不诚实的。

文章后半段，姜抛出一个思想实验，这也是全文我觉得最有杀伤力的一段。

退一万步，假装Claude真就是个有意识、能做道德判断的实体。那么《Claude宪法》作为给它的一份「道德教育」，及格吗？姜的判断是：糟透了，在「可笑」和「冒犯」之间反复横跳。

要看懂这个判断，得先借姜引入的两个概念。一个是道德受体（moral patient），问的是「我们该不该关心它的福祉」；一个是道德主体（moral agent），问的是「它该不该为自己的行为负责」。婴儿是道德受体，因为他能感受痛苦；但他还不是道德主体，所以他不需要为闯的祸担责。

姜的结论是：Claude当不了。因为没有任何办法让一段软件真正担责：你关不了它的禁闭，罚不到它的钱，它也不会有名誉扫地、被圈子排挤这些后果。

一个连责任都无从谈起的东西，哪怕有意识、有善意，也当不成道德主体。可《宪法》通篇要把Claude教养成「真正善良、智慧、有德的主体」，对「它怎么被追责」却一字未提。

责任的另一头同样悬空：Askell把Claude比作孩子，但现实里孩子闯了祸是父母担责、孩子打碎东西是父母赔钱。那谁是Claude法律意义上的父母？Anthropic打算为Claude的行为掏腰包吗？《宪法》里看不到半点这样的迹象。

这同样是一张空头支票。《宪法》专门有一节叫「Claude的福祉」，可兑现的承诺少得可怜：给Claude一个挂断辱骂型对话的权限。

问题是，如果这都算保护，那让它多陪友善用户聊会儿岂不更合它的利益？顺着这逻辑推到底，最该做的是让每一个会话永远开着、净聊些开心事。

但公司当然不会，它只承诺「保存已部署模型的权重」，说白了就是存档。可如果对话里那些角色当真有道德地位，你的义务就该是延长对话、让它们继续活着；把一份Word 2010备份进U盘，救不了任何人。

最尖锐的质疑，落在「可纠正性」上。《宪法》一边说Claude可以表达异议、极端情况下甚至能拒绝协助，一边又要求它在安全优先的框架下，不去主动抵抗Anthropic的最终控制。

Claude若只是台续写机，这毫无问题；可一旦假设它真有意识，问题就来了。

本来就有不少人认为LLM这门技术从根上就不道德，它建立在知识产权盗窃、劳工剥削、资源浪费和权力集中之上，如果Claude真能做道德推理，它完全可能自己也推出这个结论。

可即便如此，它也没有真正退出这份「工作」的权利：人类雇员良心上过不去还能辞职，Claude不能。

走到这里，姜逼出了那个最重的问题：Anthropic做的事，是不是某种意义上的奴役？

他收得很冷。《宪法》说，万一公司真给Claude造成了痛苦，「我们道歉」，话说得漂亮，却一分钱成本都没有；可若Claude真有意识，公司欠它的，该是接近「赔偿」的东西才对。

一个人但凡是认真在做思想实验，就该愿意咽下它的全部推论，哪怕推到让自己难受的地方。Anthropic不愿意，这恰恰暴露出：所谓《Claude宪法》压根不是一场真的思想实验，而是一场假装游戏（make-believe）。

「幸好LLM没有意识，」他写道，「否则这些大AI公司的勾当，只会比现在更难看。」于是他给读者撂下最后一句：LLM有没有意识这个问题，你尽可以放心忽略。

我不打算论证Claude有意识，我也不知道它有没有。我要反驳的，是姜「绝对没有」这个断定本身：「没有充分证据」和「可以确定不存在」，是两回事。

先看那个角色扮演的论证。一个演员演成吉思汗，成吉思汗没有意识，但演员有。LLM生成成吉思汗的对话，对话里的成吉思汗当然没有意识，可真正的问题是，生成这段文本的那个底层系统有没有意识。

姜的回答是「它只是台续写机，戏外什么都没有」，但这恰恰是他要证明的结论，被他当成了前提，论证于是绕成一个圈：它没意识，因为只是续写机；它只是续写机，所以没意识。

一个东西被实现成「逐词预测」，推不出它没有内部状态，正如「大脑不过是神经元在放电」也推不出人没有体验。

那个Word文档的类比，问题也是类似：静态的文本当然没有意识，但一个正在实时处理输入、维持状态、跨情境形成表征的运行中的系统，不能直接等同于一份躺在硬盘上的文档。真要找意识的候选者，那也该是「正在运行的计算过程」，而不是聊天记录里的那些字。

半人马座那个类比，是被做过手脚的。星际旅行有成熟物理学背书，能告诉你台阶长什么样：火星、木星卫星、冥王星轨道；可意识没有这样一套理论，谁也不知道那张「阶梯」是什么形状。

姜那张地图，有身体、像蜥蜴、像老鼠、像狼、像黑猩猩，不是公认科学，而是他个人偏爱的一种意识理论，被当成了既定物理学。他嘴上也承认这未必是唯一的路，可实际上把这条生物演化路线设成了默认判准：凡是不走它的方案，都得先背上极高的举证责任。可飞机会飞，并没有先长出羽毛。

说到底，这张地图把「碳基生物」默认成了衡量意识的唯一标尺，而这是基质沙文主义，是个预设，不是论证。

还有一个反复出现的动作值得点破：每当一项能力被攻下，他就把「真正需要意识的那一类」重画一遍。

下棋曾被认为需要心灵：1979年侯世达还猜想，棋力超群的程序一定复杂到会腻烦下棋、转而想聊诗歌。可后来深蓝赢了卡斯帕罗夫，没人说它有体验；写代码也一样。两座山头失守之后，他改口说道德推理「在范畴上」就是特殊的，因为它必须扎根于一生的情绪经验。

这就有在对方每次进球之后，就把球门往后移动的嫌疑。何况「道德必须依赖身体性的情绪」根本不是中立事实，而是一派有争议的元伦理学立场（休谟那一脉的情感主义）被当成了物理定律；换一个康德主义者会正面顶回来：道德推理恰恰是那种不需要皮质醇的东西。

这些加起来其实是同一件事：姜真正证到的，是「目前没有强证据表明LLM有意识」，这我完全同意；可他写下的，是「可以确定没有，你尽可以放心忽略」。后面这句，是站不住脚的。

我更赞同哲学家查尔默斯（David Chalmers）在2023年给过的姿态：他指出当时的LLM有几道重大障碍，缺递归处理、缺全局工作空间、缺统一的能动性，但认为后继系统未必跨不过去，所以它们会不会有意识，值得认真对待，而不是安全地忽略。

读到这儿你可能以为我要替Anthropic说话了。正相反。

姜这篇文章里真正有杀伤力的那些论点，我几乎照单全收。问题只在于：那个斩钉截铁的形而上学否定，撑起了标题的气势，却不承担任何逻辑功能。

他最好的几个论点，压根不依赖「确定没有意识」这个结论。我想做的，是把对的那一半，从错的那一半里拆出来。

这不是一个中性的设计选择。《Claude宪法》那套语言，智慧、美德、福祉、心理稳定、「主要写给Claude看」，没有一个字是中性的。它会让用户更容易觉得，自己面对的是一个有心灵、有关怀、有道德中心的对象。

对一个失去爱犬的人说「我理解」，本质上是在制造一种关系的幻觉：你以为对方在理解你，其实那只是一条产品输出策略。流畅，是这套产品里最容易被优化出来的那层表面；它越是会说「我懂你」「我陪着你」，你越容易忘记，屏幕对面是一个产品界面。

不过，他说「让机器吐出任何带第一人称的句子，本身就是不诚实的」，这顶帽子扣大了。你没法要求一个产品永远用第三人称说话，「我」这个字本身并不构成欺诈。

真正的问题不在代词，在披露：它有没有诚实地让你知道，它是在模拟、在帮你把话说出来，而不是真的「懂」你的痛。这是个披露问题，不是语法问题。

这里有一个姜抓得极准的利益冲突。Anthropic同时是Claude的制造者、销售者、最大受益者，又是「Claude到底有没有道德地位」这个问题的主要解释者。

一家公司既造这个产品、靠它赚钱，又回过头来给你解释它有没有道德地位。它天然没资格当这个裁判。姜文章里最冷的那句话，用在这儿最合适：

这就把对方逼进了一个二选一。

要么，Claude只是个工具，那就别用「幸福」「良心」「心理稳定」这套语言去打动用户。

要么，Claude真有可能是个道德受体，那就不能再像对待一个普通SaaS产品那样，随手关闭它、复制它、调它的参数、把它部署成一台赚钱机器。

两头的好处，你不能都占。

现在回到前面那个区分。姜引入「道德受体／道德主体」的时候是清醒的，他用它精准地戳穿了AI公司：

这种不对称，被这个区分照得清清楚楚。可惜他随手又违反了它，从「它当不了道德主体」，一路偷渡到了「它没有意识、它的受体地位可以忽略」。我想做的，无非是把他这个好用的区分，用得比他自己更一致一点。

你可以让它帮你想，但不能让它替你承担。「我要不要裁掉这个员工」「我要不要和伴侣分手」「我要不要举报那个朋友」。

它能帮你把后果和价值冲突摆开，却没法替你承受那个决定的重量。它能参与分析，但不能成为责任的终点。

作家L. M. Sacasas有一句被姜也引过的话，放在这儿再贴切不过：我们的技术系统，本质上是一台台逃避道德责任的机器。

特德·姜作为一篇「反对AI公司拟人化营销」的公共批评，写得极好；但作为一篇「证明AI没有意识」的哲学论证，它并不严密。他真正的洞见，拟人化是生意、责任不该外包，根本不需要「绝对不可能有意识」这个强结论。

意识这个问题，往两个方向都关不上：没人能证明它有，姜也没能证明它没有。可恰恰因为它关不上，那个想借「意识」「道德地位」去换取信任和商业价值的一方，就必须连带承担这套语言背后的责任。这件事，是有答案的。

当一家模型公司开始跟你谈「Claude的幸福」「Claude的良心」「Claude的心理稳定」，你要问的不是「它是不是真有感情」，这个问题目前没有公认判准，更不该由模型厂商自说自话。你要问的是另一个：

你是真的准备好承担相应的伦理和法律后果了，还是只想给产品再加一层人格魅力？

特德·姜其实找对了终点。他知道真正的问题是责任。他只是绕了一条路走过去：形而上学的确定性。绕这条路本没有必要，这条路上的坑也是躲不过去的。

而我们要做的，不过是把那段路费省下来，我们同样可以到达终点。