人工智能末日论：人类为何会为它如此担忧？

它可能发动生物武器攻击，或掀起一场全球无人机战争。它可能引爆核弹。或者，它也可能通过囤积全球所有经济资源、让我们无法获得食物、住房或药品，以一种更加渐进的方式摧毁人类社会。

这些正是如今围绕人工智能产生的一些黑暗想象。这项技术已被证明是人类成就的一项巨大进步，但一些人担心，它同样有可能让人类彻底走向灭亡。

本周，当Anthropic的一名研究人员离开这个行业，表示他担心自己所在的实验室及其他类似机构正在建造人类无法控制的超级智能机器时，这种焦虑登上了全球新闻头条。

人们对人工智能可能带来的威胁感到害怕，是可以理解的。但现代世界充斥着各种各样可能威胁人类生存的风险。人类同样面临着毁于杀手小行星、大流行病、热核战争、气候变化、太阳喷射出的巨大炽热物质团块、生态系统崩溃以及突然降临的冰河时代的可能。

科学家和公共政策专家表示，问题与其说在于这些威胁本身——人工智能只是其中最新的一个，不如说在于人类天生难以正确看待和权衡这些威胁。

“我们能够容忍自己已经习惯的风险，却害怕那些新出现的风险，”哈佛大学风险分析中心主任詹姆斯·哈米特说。

他说，我们开车出行的频率高于坐飞机，所以“与机动车相比，人们会认为坐飞机更危险，但实际上并非如此”。

他指出，人工智能“显然还没有得到充分理解，也不在我们自认为能够控制的范围之内，因此引发了巨大的社会担忧”。

在构建人工智能系统的科技高管和研究人员中，一直有一派人警告人工智能可能毁灭人类。

一些人认为，从短期来看，人工智能可能帮助那些缺乏专业技能但怀有恶意的人制造病毒或有毒物质，从而造成大范围的疾病和死亡。就在周四，Anthropic表示，该公司挫败了若干科学家的数次尝试；这些科学家正在进行可能导致生物武器开发的研究。

从长期来看，那些警告人工智能潜在危险的人认为，科技公司可能赋予人工智能系统更大的自主权，将它们接入互联网，甚至让它们连接到包括电网、股市和军事武器在内的重要基础设施。他们认为，一旦与这些基础设施连接起来，人工智能系统就可能以人们意想不到的方式引发问题。

如今，如果人工智能系统失控，OpenAI等公司只需把它们关掉即可。但一些专家担心，未来的系统可能会抵抗人类关闭它们的尝试。

目前，这些都是假设性的担忧。

“我们距离那一步还非常遥远，”华盛顿大学教授、艾伦人工智能研究所创始首席执行官奥伦·埃齐奥尼说。“如果非要让我在‘人工智能逃出实验室并杀死数百万人’和‘一种病毒逃逸并杀死数百万人’这两件事之间选择一个需要担心的，我根本不会犹豫。应该担心的是病毒。”

事实证明，就连炭疽也有相当的机会毁灭人类。

炭疽自古以来就存在，但到了近现代，它一直是发展生物武器计划的流氓国家的最爱。

科学家早就知道，如果将一加仑炭疽以适当的方式散播出去，就可能让地球上的人类全部死亡。但这种事情从未发生过，尽管长期以来，人们一直怀疑朝鲜以及包括伊朗在内的其他好战国家藏有这种致命病菌。

在现代生活的疯狂恐慌中，人们经常忽略的一点是，至少对于蓄意威胁而言，最简单的威慑手段就可以避免灾难。国家行为体不愿向敌人释放炭疽，因为它们会面临报复——这会让一次攻击变成自杀式行动，从而形成了克制的动机。

成立于1989年的哈佛大学风险分析中心试图帮助人们正确看待这些形形色色的末日情景，尤其是那些无法通过威慑加以阻止的风险，例如环境风险以及人类健康的重大威胁。该中心试图运用决策科学、经济学和风险评估等方法，对政策制定进行评估并加以改进。

同样，美国国家航空航天局在“小行星威胁评估项目”中依赖超级计算机。总体而言，这家航天机构认为，本世纪发生足以威胁人类生存的小行星撞击事件的风险基本为零。该机构计算认为，地球人很可能至少在未来1000年内都可以松一口气。

那么，知识渊博的科学家如何评估一场可能消灭大部分人类的全球大流行病的风险？

他们认为威胁很低，甚至接近于零。牛津大学研究员托比·奥德在其2020年出版的《悬崖边缘：生存性风险与人类的未来》(The Precipice: Existential Risk and the Future of Humanity)一书中估计，未来100年发生一场由大流行病引发的、足以威胁人类生存的灾难，其概率为三十分之一，也就是大约3%。

科技行业那些末日论者与航空领域评估飞机失事风险的科学家不同之处在于，早在这项技术开始展现其威力之前，许多人工智能领域的高管和研究人员就已经抱有如此悲观的看法。他们之所以认为生存风险是一个严重问题，一定程度上恰恰在于他们一直以来就这么认为。

“这种亚文化形成的时候，我就在现场，”人工智能安全公司Embroidery的创始人之一扎克·科曼说。他指的是自己在牛津大学的经历。当时，那里是“有效利他主义”运动的大本营，而许多关于人工智能生存风险的担忧最初正是在这一运动中孕育出来的。科曼说，如今关于这一问题的思考者中，有太多人“用这个讲述了十多年的故事来解释所有发生的事情”。

不过，世界上许多顶尖研究人员并不认同这种看法。他们认为，这些担忧被严重夸大了。而硅谷以外的科学家往往对人工智能威胁持有截然不同的看法。

“这个讨论有一个既定框架，而且是一个非常特定的框架。那是深度学习兴起之前就存在的框架，并且一直沿用至今，”牛津大学人工智能研究员布兰顿·德莫斯说，他指的是神经网络的兴起。“而我并不认同这个框架。”

在最近的一篇贴文中，奥德博士将世界不同风险的走向概括为有升有降——气候灾难下降，核灾难上升。他对大流行病和人工智能的判断则是喜忧参半：相关情况发生了许多变化，但总体风险并没有明确的上升或下降方向。

专家指出，灾难性风险和生存风险同样可以通过完善的应对方案和预警系统加以降低。如果面对的是一个明确而迫在眉睫的危险——比如一颗小行星正沿着撞向地球的轨道飞来——人类很可能会围绕一个共同的敌人团结起来，将纷争搁置一旁。

奥德博士希望，他所称的“生存性安全”有一天能够实现。

他在贴文中写道：“这是一种假设的未来世界状态，在这个世界里，生存风险很低，而且能够一直保持在较低水平。”奥德博士写道，人类不仅会扑灭眼下的各种火灾，还会“建立起相应的机制，确保火灾不再构成实质性的威胁”。