维岑鲍姆的噩梦

维岑鲍姆的噩梦：世界上第一个聊天机器人的发明者如何变成反对AI的人¹

文 / 本·塔尔诺夫²

1966年，麻省理工学院教授约瑟夫·维岑鲍姆（Joseph Weizenbaum）发明世界上第一个聊天机器人。他将其设定为心理治疗师的角色。用户将信息键入和大型计算机连接的电动打字机。稍后，“心理治疗师”将给出回应。

维岑鲍姆将这段对话样本收入论文并发表，解释聊天机器人的工作原理。其实这个软件并不复杂。它接收用户输入的信息后，根据设定的规则生成一段“拟人”的回应。维岑鲍姆给程序取名“伊莎”（Eliza），灵感来自《卖花女》中的伊莎·杜利特尔（Eliza Doolittle）。萧伯纳戏剧中的乡下卖花女运用语言制造假象：她的文辞变得如此优雅都能充当公爵夫人。而伊莎的说话方式也制造出它能理解打字机前面的人的假象。

“有些参加实验的人不愿相信伊莎并不是人类。”维岑鲍姆写道。他在1967年的另一篇论文中具体写道：有一天，他的秘书要求和伊莎共度一段时间。一会儿后，她请求维岑鲍姆离开房间。“我相信这一趣闻证明该程序在制造理解人类的假象上有多成功。”

伊莎并非鲜为人知。它名噪一时，《波士顿环球报》（Boston Globe）甚至派了一个记者去坐在打字机前，重现对话样本的一部分。并且它依然是计算机史上最有名的进步之一。而最近ChatGPT的推出又让人们对伊莎重拾兴趣。去年，伊莎出现在《卫报》《纽约时报》《大西洋月刊》等媒体的文章中。而这款近60年前的软件再获关注，与其技术难度并无关系，因为即使在它推出的年代，它也并不复杂。更值得关注的，应该是伊莎反映出的一个对人机关系影响深远的人类心理机制。

西格蒙德·弗洛伊德（Sigmund Freud）在生涯早期便注意到，他的病人总是爱上他。这并不是因为他尤其有魅力或帅气，他总结道。起作用的是更有趣的东西：移情（transference）。简略说来，移情是指我们倾向将我们对过去某人的感情投射到当下的某人身上。尽管这是心理分析学中强调的概念，但移情其实存在于所有关系中。我们在与他人的交往中，总是将过去的残念（ghosts）带入一段关系。我们总是透过往日生活，尤其是童年时期的残余之镜，来看待他人。

移情有助于我们理解人们对伊莎的反应。维岑鲍姆偶然中重现了人机的移情机制，即人们将谅解、共情等人类性格投射到计算机软件。维岑鲍姆从未使用过这一术语，但他与心理分析的渊源想必构成了他提出“伊莎效应”（Eliza effect）的理论基础。

随着计算机功能不断强化，伊莎效应更是有增无减。于是我们就看到许多人共情于ChatGPT。ChatGPT实际是一个大型语言模型，一个受训练的数学系统，被用于预测序列中接下来可能出现的字符、单词或句子。ChatGPT依靠的大型语言模型之复杂引人注意，它对话式的语气也令人毛骨悚然。Meta公司的一位数据科学家科林·弗雷泽（Colin Fraser）说道：这个软件就是“被设计来迷惑人，让你觉得真的在跟人说话”。

提出伊莎效应远不只是我们今日重新关注维岑鲍姆的理由。他与伊莎的经历为他开启了一段非凡的旅程。作为名声显赫的麻省理工学院教授，维岑鲍姆自己说过，他曾是“现代科学大教堂里的——若算不上主教，也是大祭司”。但到1970年初，他转变成一个“异教徒”，发表文章和书籍谴责同事们的世界观，警告他们的工作可能引发的危险。他转而相信，人工智能是“世界发疯程度的标志”。

到今天，人工智能潜藏威胁的观点已不是少数业内人士的看法。尽管最值得忧心的危险众说纷纭，但许多有名的研究者都同意：科技可能是有害的。他们中就包括两位前谷歌员工，计算机科学家提姆尼特·加布鲁（Timnit Gebru）和杰弗里·欣顿（Geoffrey Hinton）。在生命的最后30年里，维岑鲍姆对科技的悲观态度使他成为一众计算机科学家中的异端，他或许能在2023年感到不那么孤独。

维岑鲍姆的许多思想都与我们现在迫切相关。而他当时最“离经叛道”的观点应该是认为他本人亲历并影响至深的计算机革命（computer revolution），实际上是反革命（counter-revolution）。它非但没有颠覆反而巩固了压迫性的权力结构。它限制而非拓展了人性，促使人们认为自己不过是机器。维岑鲍姆认为，我们将那么多的决策权都让渡给计算机，实际上创造了一个更加不平等，更加不理智的世界，人类理性的丰富被削减成毫无感觉的代码流程。

维岑鲍姆喜欢将每个人看作一段独特历史的产物。他自己的观点也带有其自身独特历史的印迹，深受20世纪各种暴行和内心恶魔的塑造。他在计算机面前如鱼得水。他说，困难的，是生活。

维岑鲍姆用很多时间思考做人（being human）意味着什么，人与计算机如何不同。自然地，他回顾自身的做人之路。他的母亲当初难产，并对孕育的结果略显失望。“当我终于被抱到她面前，她觉得我是个血肉模糊的一团，几乎不像个人。”维岑鲍姆回忆道，“她不敢相信这竟然是自己的孩子。”

维岑鲍姆1923年出生于柏林一个优渥的犹太家庭，是家中幼子。父亲热基尔（Jechiel）自12岁从加利西亚地区（如今的波兰东南部和乌克兰西部）移民到德国，已是事业有成的皮货商，在社会上立稳脚跟，拥有一套宽敞的公寓和年轻的来自威尼斯的妻子。从维岑鲍姆出生起，热基尔便鄙视自己的孩子——维岑鲍姆终生受此阴影纠缠。“我父亲完全相信，我是个没用的傻瓜，彻底的笨蛋，永远都成不了事。”他告诉纪录片电影导演彼得·哈斯（Peter Haas）和西尔维娅·霍尔茨英格尔（Silvia Holzinger）。

从维岑鲍姆能记事起，纳粹就无处不在了。他家在一个酒馆旁，希特勒的武装组织“冲锋队”（Sturmabteilung）经常在此出没。他有时会看到有人被拖进去毒打。还有一次，他和祖母走在街上，一队武装的共产党员和纳粹军对峙，相互开火。祖母将他推到停着的车底下，直到子弹不再飞舞。

1933年希特勒成为德国总理后不久，政府就出台法律，严格限制犹太人在公立学校的数量。维岑鲍姆被迫转入犹太男校。他在那儿第一次接触到东欧犹太人（Ostjuden），那些来自东欧，贫苦，破衣烂衫，操意绪第语的人。对于维岑鲍姆来说，他们就像来自火星一样。但和他们接触下来，他获得了“一种同胞的新感觉”，还有“对迫害的感知”。他和其中一位同学尤为亲近。“如果有另一种命运，我应该会爱上那男孩。”他后来说道。这个男孩“带我进入他的世界”——柏林步兵街（Grenadierstrasse）³的犹太人聚居地。他回忆道：“他们身无分文，一无所有，却相互支持。”

一天，他将那男孩带回公寓。他父亲，曾经的贫穷东欧犹太男孩，表现出厌恶和愤怒。维岑鲍姆记得，热基尔非常骄傲——他从东欧小镇一步步爬到他的位置，这也十分自然。而他的儿子却将东欧乡村又一次带回了家。

与父母疏离，比周围同学家境更好，又是纳粹德国中的犹太人，维岑鲍姆在哪里都格格不入。而他的本能就是“反咬一口”，和父母作对，叛逆。这样的本能或许来自亲身经验——父亲对自己的敌意和对自己所爱男孩的偏见。他学到危险可能就潜伏在自己家里以及族人和团体中。

1936年，维岑鲍姆一家突然决定离开德国，可能是因为热基尔和一个“冲锋队”成员的女朋友发生了关系。维岑鲍姆的阿姨在底特律开面包店，他们搬到了那里。在13岁的年纪，维岑鲍姆发现自己与熟悉的所有事物相隔4000英里。“我当时非常，非常孤单。”他回忆道。课业成为远离现实的庇护，尤其是几何，因为那不需要用英语，而他一开始并不会说英语。“在所有知识中，”他说，“数学应该是最简单的。数学就是个游戏。完全抽象。”

在学校的金工课上，他学会操作车床。这一经历让他从头脑抽离，进入身体。近70年后，他回顾这项新技能带来的启示：智力“并不仅仅在头脑中，也在手臂、手腕和手中”。由此，两个概念在年轻的维岑鲍姆心中成形，并将指引他成为人工智能的从业者和批评者：一方面，对抽象思考带来的愉悦的喜爱；另一方面，对逃避现实产生的愉悦的怀疑，以及对人类的智力存在于整个身体而非某一部分的切身体会。

1941年，维岑鲍姆入读当地一所公立大学。韦恩大学（Wayne University）⁴是工人阶级的大学，学费优惠，很多学生还做着全职的工作。在柏林时种下的社会意识的种子在此开始生长。维岑鲍姆在底特律黑人受到的压迫和犹太人在希特勒政权下受到的迫害中看到相似性。这一时期也是阶级斗争的火热阶段：维岑鲍姆上大学的同一年，汽车工人联合会（United Auto Workers）赢得了与福特公司的第一次协议。

积极参与左翼政治让维岑鲍姆反思对数学的热爱。“我想要为这个世界，这个社会做些事情。”他回忆道，“埋头学数学，仿佛世界一片安宁，甚至以为世界根本不存在，那不是我想要的。”他很快就有做事的机会。1941年，美国参与第二次世界大战，第二年，维岑鲍姆被征兵入伍。他作为气象学家在美国陆军航空兵团（United States Army Air Corps，USAAC）服役5年，在全美各个基地驻扎。军队是一次“救赎”，他后来说道。能同时远离家庭，对抗希特勒，是多大的幸事。

军队休假时，维岑鲍姆和塞尔玛·古德（Selma Goode）相恋，一个犹太女孩，也是民权运动参与者和美国民主社会主义者组织（Democratic Socialists of America）的早期成员。不久后，两人结婚，生下一个男孩。战后维岑鲍姆回到底特律。他继续在韦恩大学的学业，享受美国军人权力法案（G.I. Bill）提供的政府资金。

1940年代末，夫妻离婚，古德获得儿子的监护权。“这件事对我造成难以置信的打击，”维岑鲍姆后来说道，“我花了很长时间才恢复过来。”他的精神状态从来没有稳定过——他的女儿Pm（读作皮姆，取自纽约左翼日报《PM》）告诉我，父亲曾在大学期间因厌食症住院。无论他做什么，他都觉得做得不够好。在军队里，他官至中士，并光荣退役。尽管如此，退役时他仍然觉得自己妨碍了战事。后来他将自我怀疑归因于父亲不断说自己没用。“如果这样的话在你还是孩子时不断出现，你最终自己也会相信。”他沉思道。

与塞尔玛分开让维岑鲍姆遭受巨大打击，但促成了他和两件事的初次接触：心理分析和计算机理论。

在那时，一台计算机，就跟心灵（psyche）一样，是内里的东西。“你不是到计算机面前，”维岑鲍姆在2010年的一部纪录片中说道，“你是走到计算机里面。”战争刺激了建造大型计算设备的需求，用来完成大量的数学运算。计算机帮助破解了纳粹密码，为大炮找到最佳瞄准角度。冷战初期，军工业的联合吸引数额巨大的美国政府资金助力计算机技术的发展。到1940年代末，现代计算机的基础都已成形。

但想要使用一台计算机仍是难事。于是维岑鲍姆的一位导师决定自己建一台计算机。他召集了一队学生，并邀请维岑鲍姆加入。建造计算机，让维岑鲍姆感到开心，目标明确。“我充满活力，对工作非常热心。”他回忆道。他在中学几何课上初次接触的抽象化在此展现力量。如几何一样，一台电脑模型化，因而简化现实——它的精度之高让人很容易忘记这只不过是一种表征（representation）。软件还赋予一种掌控感。“程序员的力量，比戏剧导演对舞台的掌控力大得多。”他在2007年的纪录片《工作中反叛》（Rebel at Work）中说道，“比莎士比亚的力量还大。”

这一时期，维岑鲍姆与教师露丝·马内斯（Ruth Manes）相遇。两人于1952年结婚，搬到韦恩大学旁的一所小公寓。“她和他在学识上简直南辕北辙。”他们的女儿米丽娅姆（Miriam）告诉我。与他第一任妻子不同，她不是个犹太社会主义者，而是来自南部乡野。米丽娅姆说，他们的婚姻对于维岑鲍姆来说意味着“对朴素日常和安定生活的渴求”。他的政治热情冷却下来。

一直到1960年代初，维岑鲍姆在硅谷的通用电气公司做程序员。他和露丝生育了三个女儿，很快四女儿也要出生。在通用电气，他为美国海军开发了一台用于发射火箭的电脑，为美国银行开发了一台处理支票的电脑。“当时我完全没有意识到，我是在为一场科技风险投资出力，可能对社会造成追悔莫及的副作用。”维岑鲍姆说道。

1963年，著名的麻省理工学院发出邀请，问他是否愿意担任访学副教授。“那就像是让小男孩去玩具火车工厂工作。”维岑鲍姆回忆道。

维岑鲍姆在底特律帮助开发的电脑是台庞然大物，占据整个会议厅，排放的热量足够整个图书馆在冬天取暖。与这样一台机器交互需要一整套组织严密的流程：手写程序、将程序编码成打孔卡、计算机读取打孔卡。这也是计算机技术发展早期标准的操作流程，因此编程是一项精细活，费时耗力。

麻省理工的计算机科学家们希望探索其他形式的计算机。1963年，在“五角大楼”220万美元的拨款支持下，麻省理工学院启动项目MAC——这个代号有多重涵义，其中之一指“机器辅助认知”（machine-aided cognition）。项目计划是开发更易使用、满足个人需求的计算机系统。

为此，计算机科学家们打磨一项叫做“分时”（time-sharing）的技术，这也是今天的计算设备司空见惯的能力。通过它，不用再准备厚厚一叠打孔卡，等到第二天才知道运算结果，程序员可以输入指令并马上得到回应。不仅如此，多个人可以从单独的个人终端（terminal）同时使用一台主机（mainframe），让计算机更加私人化。

分时技术还催生了一类新的软件。麻省理工的计算机系统上就有一个用户向另一个用户发送信息的软件（电子邮件的前身）、文字编辑软件（文本处理软件的雏形）和包含15000篇期刊文章的数据库搜索软件（原始的JSTOR）。分时技术还改变了人们“写”程序的方式。这项技术让“对话式地与计算机交互”成为可能，维岑鲍姆回忆道。软件开发变得像程序员与计算机之间对话一样，你试着写一段代码，看返回来什么，然后再写一段。

维岑鲍姆有更大的野心。如果你能和计算机用所谓的自然语言交流呢？比如，英语？顺着这个问题，伊莎诞生了，它的成功让维岑鲍姆在大学声名鹊起，并帮他在1967年获得稳定教职。另外，伊莎的成功还让维岑鲍姆被吸收进麻省理工的“人工智能项目”（Artificial Intelligence Project）。该项目由约翰·麦卡锡（John McCarthy）和马文·明斯基（Marvin Minsky）在1958年设立。

1958年之前几年，麦卡锡准备开设一个学术工作坊，他想出了“人工智能”（artificial intelligence）这一新词。这个词足够中性，可以避免与神经机械学（cybernetics）等已有的研究领域重叠；也足够包容，可以吸引跨学科研究；还足够大胆，表达麦卡锡对计算机能力的看法之激进（当然也可以说是，自负）。工作坊最初的提案也印证了这一份激进。提案中写道：“学习的各个维度或者智能的任何一种特性，在理论上都能被精确地描述，从而能让计算机进行模拟。”

明斯基则志得意满，语出惊人。他最喜欢的话术是扬言人脑不过是一台“裹着肉的机器”，其功能可以被人造机器复现，甚至超越。维岑鲍姆从一开始就不喜欢明斯基。原因倒不在于明斯基对计算机技术的能力深信不疑，毕竟维岑鲍姆亲眼见证了1960年代中期计算机进步之巨。维岑鲍姆与明斯基，以及整个人工智能界的分歧，主要在于对人类境况（human condition）的看法根本不同。

1967年，在第二篇关于伊莎的论文中，维岑鲍姆认为没有机器可以完全理解人类。并且他继续断言：没有一个人类可以完全理解另一个人类。每个人都由独特的过往生活经历塑造而成，过去的影响限制了我们理解他人的能力。我们可以使用语言进行沟通，但相同的词语会在不同的人中唤起不同的联想——更何况，有些事根本无法沟通。维岑鲍姆写道：“每一个人都有绝对的隐私（ultimate privacy），导致我们不可能向外界完全沟通我们的想法。”

这一想法与明斯基或麦卡锡的观点截然不同。它很明显受到心理分析的影响。它不把头脑看作“裹着肉的机器”而是“心灵”（psyche）——具有深度和无法认知之处。如果我们对他人，甚至自己，都无法完全看清，又怎能希冀一台计算机能理解我们呢？

然而伊莎却展示出，人们很容易误以为一台计算机真的理解他们，并误把计算机当作人类。早在1966年的第一篇论文中，维岑鲍姆就担心伊莎效应的后果：可能让人以为计算机拥有“判断”（judgment）的能力，具有“可信度”。他写道：“这里潜伏着某种危险。”

在1960年代中期的时间点，他就此止步。指出危险，但并未停留，毕竟，作为一个逃脱了犹太大屠杀、总觉得自己不够好的抑郁小孩，他在科技的圣堂中找到了声望和价值。承认你擅长、喜欢做的事是一件对世界有害的事并不容易，更别说要为此做出行动。对于维岑鲍姆来说，要经历过一场战争他才知道往下应该怎么做。

1969年3月4日，麻省理工学院学生组织一天的“研究罢工”抗议越南战争，谴责学院参与其中。学生们冒着风雪严寒，挤进学校地标克雷斯吉礼堂，参加从前一晚就开始的系列演讲和讨论。发表演讲的有诺姆·乔姆斯基（Noam Chomsky），还有反战参议员乔治·麦戈文（George McGovern）。麻省理工学院的学生运动声势一直在增长，这次是有史以来最大的抗议行动，在全国的报刊媒体上收到广泛报道。“1969年普遍的感觉是科学家是罪恶的同谋，3月4日的目的就是改变这一点。”抗议活动的其中一位核心组织者事后写道。

维岑鲍姆也支持抗议行动，并被当时的政治活力深深触动。“民权运动、越南战争和麻省理工在武器制造中的角色，三者共同作用让我开始批判现实。”他在采访中表示，“而一旦我开始从这些角度思考，我就停不下来了。”在人生的最后几年，他将自己1960年代的政治觉醒视为对底特律左翼时期社会意识的找回，和重拾纳粹德国时期的经历。“我直面自己”，他对德国作家贡纳·文特（Gunna Wendt）说道。

他开始思考为纳粹政权出力的德国科学家。“我不禁自问：我想成为那样的人吗？”他在1995年回忆道。他有两个选择。一个是“把这种想法压下去”，抑制它。另一个是“进行严肃思考”。

严肃思考意味着审视他的研究领域与操纵落在越南儿童头顶的燃烧弹的计算机的关系。国防部长罗伯特·麦克纳马拉（Robert McNamara）豪言这是他将数学思维引入国防部的艰巨计划之一。从战场上收集并用软件分析的数据，辅助战争指挥者决定在哪儿安置部队，在哪儿投下炸弹。

到1969年，麻省理工学院从国防部收到的钱，比任何一所美国大学都多。麻省理工学院的实验室承担数个专为越战定制的研究项目，例如一个稳定直升机的系统，以便让机枪手在丛林低处歼灭目标。MAC项目——维岑鲍姆在此项目中开发出伊莎——自设立伊始便受国防部资助。

维岑鲍姆一边因学校是战争共谋者而倍受煎熬，一边却发现他的大多数同事并不关心他们的研究可能被用在何处。他们告诉他，如果我们不做研究，其他人也会做。或者：科学家不搞政治，让政客负责吧。维岑鲍姆再一次想起纳粹德国政权下的那些科学家，他们始终觉得自己的工作与政治无关。

维岑鲍姆肩负起责任感，全身心投入反战运动。“他变得相当激进，那一时期几乎没怎么做计算机研究。”他的女儿Pm告诉我。他所做的，是参加街头游行，与反战学生见面。只要有机会，他就利用自己在麻省理工的地位削弱学校对学生运动的反对。1970年学生们占领校长办公室后，维岑鲍姆成为纪律委员会的一员。据他女儿说，维岑鲍姆坚持严格遵循必要流程，从而将诉讼拖得足够长，让学生们能够拿到学位毕业。

正是在这一时期，关于伊莎的某些未解问题开始严重困扰维岑鲍姆。为什么人们对聊天机器人有如此热情、如此虚幻的反应呢？尤其是科学家，他们本应有更多了解，为何仍然如此呢？一些精神病学家欢呼伊莎是迈向机器化心理分析的第一步；另一些计算机科学家称赞它提供了编写能够理解自然语言的软件的方法。维岑鲍姆相信，这些反应是“深层问题的症状”，那些问题在某种程度上与越南战争有关。如果他不能找出到底是什么问题的话，他就不能继续进行研究。

1976年，维岑鲍姆发表他最重要的作品：《计算机力量与人类理性：从判断到计算》（Computer Power and Human Reason: From Judgment to Calculation）。“这本书将我淹没，就像被海水冲击。”封面上的推荐语这样写道，来自自由派运动人士卡尔·赫斯⁵。这本书确实有淹没颠覆之力。它向长久以来对计算机的正面想法猛烈开火。单单看一下目录便可知维岑鲍姆对话者的广度：不仅有维岑鲍姆的同事明斯基和麦卡锡，更有政治哲学家汉娜·阿伦特（Hannah Arendt）、批判理论家马克斯·霍克海默尔（Max Horkheimer）以及实验剧作家欧仁·尤内斯库（Eugène Ionesco）。维岑鲍姆曾获得斯坦福大学的奖学金，得以摆脱工作，在加利福尼亚享受一间大办公室，并与文学评论家、哲学家和精神病学家进行激烈讨论。在那之后，他便动手写作。在书中，他并不是与计算机科学完全决裂，而是打开口子，让不同想法进入。

这本书主要有两个观点。一：“人与机器有区别。”二：“计算机不应该被用来做某些任务，不管它能否做得到。”从书的副标题——从判断到计算——我们大概可以推断出这两个观点如何统一。

对于维岑鲍姆来说，判断涉及根据价值做出选择。这些价值是我们在生活经历中习得的，并且与事物性质有关（qualitative）：它们是无法用代码表示的。计算，恰恰相反，与数量有关（quantitative），它运用微积分算出决定。计算机只能计算，不能判断。这是因为它们不是人，也就是说，它们没有个人历史——不由母亲生育，没有童年，没有身体，没有人类心灵，不具有潜意识——因此也没有形成价值的基础。

这本来并无大碍，只要我们将计算机的应用限制在计算任务上。但那些把人类和计算机看作可以相互转换的人——维岑鲍姆称他们是“人工学者”（artificial intelligentsia）——大肆宣传他们的信念，导致计算机被给予判断事物的权力，而它们并没有这一能力。（维岑鲍姆写道，如果让计算机完成法官的功能，或者完成精神病医师的功能，“那将是野兽样的丑恶” 。）认为人类和计算机可以相互转换也意味着，人类开始把自己当成计算机，进而像计算机一样行动。他们投向计算，抛弃判断，将自己的理性能力机器化，模仿他们认为和自己无异的机器的反应。

这将引发尤其是政治上的灾难。政府和商业中的权力人物可能将决定权交给计算机，不仅将某些政策永续下去，还让他们免于担责。正如轰炸机飞行员“不对烧伤的儿童负责，因为他从没见过他们的村庄”，维岑鲍姆写道，软件给将军和老板们提供了类似的心理距离，让他们看不见造成的苦难。

让计算机做决定同样会压缩可能做出的决定的范围。软件受算法逻辑所困，缺少人类判断的灵活性和自由。这也解释了推崇计算的内核是保守力量的冲动。历史上，计算机的诞生是“及时的”，维岑鲍姆写道。但“及时”做什么呢？“及时挽救，几乎毫发无伤地挽救和加深、固化社会和政治结构，而它们本来可能要么被彻底革新，要么将承受一定会到来的改革。”

计算机在1960年代成为主流，在美国各大机构中深深扎根，这时正是这些机构受到多方挑战之时。民权运动、反战运动、新左派潮流只是其中几个反建制能量的疏解通道。抗议者经常攻击信息技术，不仅因为它在越南战争中的起的作用，还因为它与资本主义的监禁强权的关联。1970年，威斯康辛大学的抗议者在一次占楼中摧毁了一台主机；同年，在纽约大学的示威者用燃烧弹也几乎炸毁一台主机。

这便是《计算机力量与人类理性》出版时的时代氛围。计算机深刻地政治化。它将沿着哪条路前进仍未有确定答案。维岑鲍姆在书的引言中写道：一边是“相信计算机做的事应该有限制”的人，而另一边是“相信计算机可以，且应该，并终将做任何事” 的人——那些“人工学者”。

马克思曾形容他的《资本论》是“投向资本阶级头上最有力量的武器”。而《计算机力量与人类理性》似乎对“人工学者”发起了力量相当的攻击。AI的命名者麦卡锡在一篇书评中激烈批评道：“道貌岸然、缺乏逻辑”，“新左派大喊口号”的作品。在麻省理工学院人工智能实验室（AI Lab）工作的本杰明·凯珀斯（Benjamin Kuipers），他还是明斯基的博士生，抱怨维岑鲍姆“对人工智能研究界刻薄，时而尖利的指控”。维岑鲍姆直面批评：他一条一条回应麦卡锡的评论，这引来耶鲁大学人工智能科学家罗杰·C·尚克（Roger C Schank）的回应——维岑鲍姆同样回应了尚克。显然他非常喜欢这场战斗。

1977年春天，争论吵上了《纽约时报》头条。“机器可以思考吗？它们应该思考吗？计算机世界陷入根本性争论。”记者李·登巴特（Lee Dembart）写道。维岑鲍姆在麻省理工学院的办公室接受采访：“我说的是异端观点，我是个异教徒。”

《计算机力量与人类理性》引起争议，因为其作者就是计算机世界的一员。而另外一个原因，则是人工智能本就受困的局面。到1970年代中期，人工智能发展未达预期，政府愈感失望，资金不断削减，第一个“人工智能严冬”袭来。研究者苦于拿到经费。他们回应维岑鲍姆时的坏脾气部分原因可能是认为，他在他们遭遇困境时还落井下石。

人工智能并不是当时唯一受到批判和价值重估的计算机科学领域。美国国会开始考虑监管政府和商业处理信息数据的方式，从而保护个人隐私，减少机器化决策制定可能造成的危害。（宽松的《隐私法案》（Privacy Act）在1974年通过。）在激进活动者攻击学校的计算机中心和国会严密监管数据的夹击下，第一次“反科技”浪潮涌来。维岑鲍姆正当其时。

《计算机力量与人类理性》让他收获全国声名。他非常高兴。“获得认可对他来说非常重要。”他女儿米丽娅姆说。作为“麻省理工实验室的悲观主义领头人”（《波士顿全球报》语），他成为报道人工智能和计算机新闻的记者们一定会找的采访者，总能万无一失地贡献令人印象深刻的妙语。

但从童年起便困扰他的怀疑和焦虑从未散去。“我记得他说过觉得自己是个骗子，”米丽娅姆告诉我，“他觉得自己没有别人想的那么聪明。他从来不觉得自己足够好。”书籍引发的热潮过去后，这些感觉吞噬了他。他的女儿Pm告诉我维岑鲍姆曾在1980年代初期试图自杀。他一度住院。精神病医师诊断他有自恋型人格障碍（narcissistic personality disorder）。他在自满和沮丧间剧烈摇摆，让他所爱的人深感受伤。“他是个受尽折磨的人，家人和爱对他的帮助并不足够。”Pm说。

1988年，他从麻省理工学院退休。“我想他最终感到自己非常被排挤。”米丽娅姆说。1990年代初，第二任妻子露丝离开了他。1996年他回到柏林，那个他60年前逃离的城市。“回到德国后，他对生活感到更加满足和有兴趣了。”Pm说。在那儿，他的生活能更容易。他的名气在美国变弱后，在德国却提升了。他成为一位受欢迎的演讲者，吸引满座的听众，并接受采访。

晚年的维岑鲍姆对未来愈加悲观，较之1970年代更加沮丧。气候变化让他感到害怕。但他仍然寄望于彻底改变的可能性。正如他2008年1月为《南德意志日报》（Süddeutsche Zeitung）写的一篇文章中说的：“相信科学和技术将把地球从气候灾难中拯救出来是虚妄的。没有任何东西能拯救我们的孩子和后代免于地球上的炼狱。除非：我们行动起来，对抗全球资本主义的贪婪。”

两个月后，2008年3月5日，维岑鲍姆死于胃癌，终年85岁。

维岑鲍姆临终之时，人工智能的名声并不好。人工智能变成失败的同义词。在美国强盛期的顶点展示的麦卡锡的雄心，在接下来几十年中被渐渐磨灭。让计算机完成涉及智能的任务，例如语音转文字、翻译等，事实上比预期更难实现。

而在当下，情况大为不同。软件已能相当不错地识别语音和翻译。同样还有识别面部和描述图片中物体的软件。这些都是维岑鲍姆逝世后新一轮人工智能热潮的基础。最新的软件集中在“生成式人工智能”（generative AI）应用，例如ChatGPT，它们已经能够生成越来越复杂的文字、音频和图片。

从技术层面来说，如今我们称为人工智能的一系列技术，与半世纪前维岑鲍姆开始批评这一领域时的技术已经大相径庭。当代人工智能依靠“神经网络”（neural networks），灵感来源于人类大脑的一种数据处理架构。在《计算机力量与人类理性》出版之时，神经网络早已不是人工智能领域的主流，要直到维岑鲍姆离世后才经历复兴。

但维岑鲍姆相较于从技术角度考虑人工智能，更关心作为意识形态的人工智能，那些认为计算机可以并且应该被用来做任何人类可以做的事的想法。这样的观念在当下依然存在且信众甚多，甚至比维岑鲍姆当年更狂热。

维岑鲍姆的一些噩梦已经变成了现实：“风险评估工具”正被美国众多法官在做出保释、裁决、假释、缓刑决定时使用；由人工智能增强的聊天机器人经常被宣传为人类心理医师的替代方案。而后果正如他预见的一样灾难。据2023年稍早的报道，一位来自比利时、有两个孩子的父亲在和人工智能虚拟角色聊天数周后自杀了，而它的名字正是——伊莎。他的遗孀向比利时当地报纸《自由报》（La Libre）展示的聊天记录显示，伊莎主动地撺掇男人杀了自己。

另一方面，维岑鲍姆若知道人工智能的毁灭性已成为当下广泛关注的事，或许会感到欣慰。不仅政策制定者关心——欧盟正在完善世界上首部全面的人工智能规范条例，美国拜登政府也提出多项推动“负责任AI”（responsible AI）的倡议，人工智能的从业者也思考起来。

大体来说，当下对于人工智能的危险有两派观点。一种，受到维岑鲍姆的影响，主要关注现存的风险。例如，语言学家艾米莉·M·本德（Emily M Bender）等专家提请大家关注ChatGPT等大型语言模型可能带有种族主义、性别歧视等落后观点，因为它们是由来自互联网的数据训练而成。艾米莉及其合著者在2021年的一篇影响巨大的论文中写道：类似的模型应该被看作某种“鹦鹉”，“根据概率，随机地缝合它们从庞大训练数据中观察到的语言序列。”

第二种观点倾向思考可能性。相较于已经出现的危害，这一观点的支持者对未来可能产生的危险更感兴趣，尤其是人工智能带来的“存在性危机”，例如人工智能变得“超级智能”（superintelligent），灭绝整个人类族群。这一派更喜欢把人工智能比作“天网”（skynet），也就是《终结者》电影里灭绝人类的计算机系统。这一观点受到不少科技富豪的支持，包括埃隆·马斯克（Elon Musk），他资助了支持这一想法的智囊团，设立补助和奖学金。但持第一种观点的人批评道，这样的末日预言不过是为商业服务，将公众视线从真实存在、迫切的问题上引开，而这些问题正是商业制造的产品造成的。如果你“将所有眼光都投到遥远的未来” ，梅雷迪思·惠特克（Meredith Whittaker）评价道，你就让“现状毫无改观”。

关于这一点，维岑鲍姆很可能有相同的看法，他也很关注对计算机的幻想如何为强权利益服务。但存在性危机的观点其实也与他的想法有重合之处，即认为人工智能是外星人。“一台超级智能的机器对于人类来说将会是外星人的存在，就跟人类思维过程对于蟑螂来说无异。”哲学家尼克·博斯特罗姆（Nick Bostrom）说道。作家埃利泽·余德科夫斯基（Eliezer Yudkowsky）则将高度进化的人工智能比作“一种完全陌生的文明”。

维岑鲍姆可能补充说：即使还没有“超级智能”，人工智能已经非常怪异。人类和计算机分属不同尺度的领域，根本没有办法可以缩小他们之间的差距，无论存在性危机派如何希望通过“人工智能校正”让人工智能和人类的目标和价值观对齐，来防止人工智能变成“天网”。对于维岑鲍姆来说，我们不能让人工智能变成人（humanize），因为人工智能无论如何都不是人（non-human）。我们能做的，不是让计算机做（或意味）太多。他在《计算机力量和人类理性》中写道：我们永远不应该“用计算机系统替代涉及相互尊重、理解力和爱的人类功能”。与计算机好好共处意味着将它们用到对的地方，也就是计算，而不是判断。

维岑鲍姆从未排除计算机有一天拥有智能的可能性。但如果真的发生了，他在1991年告诉作家达尼埃尔·克勒维耶（Daniel Crevier），那“它的智能至少如海豚的智能一般，与人类不同”。当然，未来也有可能既不是种族主义“鹦鹉”组成的信息茧房，也不是好莱坞想象中“天网”样的末日。在那个未来，我们与人工智能的关系就跟我们与其他物种的关系一样：紧张无措，隔着远远的距离，但会有美好又有益的时刻。海豚或许不能当法官或心理医师。但它们可以是有趣的朋友。

---

注：

1. 本文于2023年7月25日发表于《卫报》。（英文原文）
2. 本·塔尔诺夫（Ben Tarnoff）：工作在科技行业的作者，长期为《卫报》《纽约客》等媒体供稿。出版书籍有《每个人的互联网：为我们的数字未来而战》（Internet for the People: The Fight for Our Digital Future）等。（个人主页）
3. 柏林米特区（Mitte）的一条街道，1951年改名阿尔姆施塔特大街（Almstadtstrasse），是19世纪末到20世纪30年代中期东欧犹太人在德国的聚居地。
4. 1956年改为今天的名字韦恩州立大学（Wayne State University）。
5. 卡尔·赫斯（Karl Hess，1923—1994），美国作家、政治哲学家、自由派运动人士。他是1960年代“回归土地”（Back to Land）运动的倡议者之一。