本文是“交易录峰会”(DealBook Summit)特别报道的一部分，该峰会得到了世界各地商业及政策领袖的参与。随着ChatGPT点燃的AI热，许多人对AI进步之快产生了恐惧。硅谷正在热议一项令人毛骨悚然的新数据，即AI有多大可能把我们杀光，或创造其他威胁人类生存的灾变。https://t.co/9yuoEVhnnx
— 纽约时报中文网 (@nytchinese) December 8, 2023
AI公司Anthropic的首席执行官达里奥·阿莫代伊给出的数字是10%到25%之间。联邦贸易委员会主席丽娜·汗近日告诉我，她认为的数值是15%。上月担任了五分钟的OpenAI临时首席执行官的艾米特·席尔告诉我，他得出的数值游移在5%到50%之间。
我这里说的，当然就是p(末日)了，这是硅谷正在热议的一项令人毛骨悚然的新数据。
P(末日)——就是用数学的方式表达“末日的概率”——是一些人工智能研究者在表达他们认为AI有多大可能把我们杀光，或创造别的什么威胁人类生存的灾变。P(末日)高意味着你认为AI末日的可能性大，低意味着你认为我们有机会挺过去。
P(末日)曾经只是网络论坛上一帮AI技术宅之间心领神会的笑话，但随着去年ChatGPT点燃的AI热让人对AI的进步之快产生恐惧，近几个月这个词进入了主流。
它已经成了旧金山技术人士交谈时常用的开场白——也是AI文化里躲不开的一部分。今年我在两场业界活动上遇到陌生人问我的p(末日)是多少，就像在问洗手间怎么走一样随意。“几乎每一场晚餐谈话都会提起，”云数据平台Box首席执行官艾伦·勒维对我说。
P(末日)甚至在上月OpenAI事变中对扮演了一定的角色。席尔被任命为OpenAI临时负责人后，公司雇员之间开始转发他在近日一期博客上的言论，称他的p(末日)可能高达50%。一位讨论时在场的人士说，有员工担心他是个“末日论者”，由于认为这太过冒险，他可能会寻求延缓或限制他们的工作。（被罢免的OpenAI首席执行官萨姆·奥尔特曼最终恢复原职，因此这件事也就无关紧要了。）
当然，科幻迷很久以前就已经开始推想机器人篡夺世界的景象。但在去年ChatGPT推出后，这种威胁似乎显得更真切了。毕竟如果AI模型可以赢得艺术奖项，通过律师资格考试，那么距离劫难还能有多远？
AI行内人也在发出警告。去年从谷歌辞职的著名AI研究者杰弗里·辛顿开始警告AI的风险，他近日估计如果不施加有力的监管，AI在未来30年导致人类灭绝的可能性为10%。和辛顿一同被誉为“深度学习教父”的约书亚·本吉奥在接受采访时说，他认为发生AI大劫难的可能性大约在20%。
没人知道我们被AI杀死的概率是10%、20%还是85.2%。显然这个问题会引出更多的问题，比如：如果AI导致50%的人类死亡，还算“末日”吗？如果没有人死，但我们全都丢了工作，只能喝西北风呢？到底AI会如何接管世界呢？
但是p(末日)的重点不在于精确。它的目的是表明，在是乌托邦还是反乌托邦的问题上，一个人大致的立场如何，此外也是用模糊的经验论术语传达你在AI问题及其潜在影响上的关切程度。
这个术语似乎是十多年前在网络论坛LessWrong上出现的，那是一个理性主义哲学运动主题论坛。
LessWrong创始人是一位自学成才的AI研究者，名叫埃利泽·尤科夫斯基，他很早就产生了失控AI可能接管一切的想法，并就他设想的多种AI灾难场景撰文。（当时的AI连设置个厨房计时器都很勉强，因此风险显得十分遥远。）
后来成了AI世界最著名末日论者的尤科夫斯基告诉我，p(末日)这个词不是他提出的，不过他做了推广普及。（他还说，如果继续以现在的趋势发展，他的p(末日)是“有多高就多高”。）这个词后来被有效利他主义者们拿去用了，这个群体旨在通过逻辑推论得出有关公序良俗的理念。
我的猜测是，这个词最早是由身在波士顿的蒂姆·泰勒于2009年开始在LessWrong上使用的。泰勒在邮件往来中说到，他用这个词“指代末日出现的概率，同时又不需要详细阐明时间尺度或末日的定义。”
对一些人来说，谈论你的p(末日)无非就是在闲扯。然而在硅谷的一场激烈辩论中，它又成了一个重要的社交信号，辩论的一方认为AI发展过快，另一方认为应该更快。
Box首席执行官勒维属于较乐观的一方。他说他的p(末日)值很低——不是零，但“能多低就多低”——他认为我们能化解AI的巨大风险，避免最糟糕的结果。他担心的不是AI会杀死我们，而是监管者和立法者会利用这些可怕的末日预言，用来理直气壮地打压一个前景远大的年轻行业。
“如果在AI发展中过早开始关键的政策决断，是有可能出现过度干预的，”他说。
P(末日)的另一个问题是，在关乎存亡的问题上，乐观与悲观的界线是不明确的。比如，如果你预言AI有15%的可能杀死所有人类，你真的算AI乐观主义者？（换个说法：如果你认为你下一次乘坐飞机“只有”15%的几率机毁人亡，你会上飞机吗？）
研究AI风险的Open Philanthropy高级研究员阿杰亚·科特拉在p(末日)的问题上花了不少时间。她认为它作为一个简称可能是有用的——顺便一提，她的p(末日)是20%到30%之间——但同时也存在局限。首先p(末日)没有考虑到，AI相关破坏的可能性在很大程度上取决于我们打算如何治理它。
“我知道有些人的p(末日)超过90%了，这在一定程度上是因为他们认为企业和政府不会操心什么良好的安全实践和政策措施，”她对我说。“我也知道有些人的p(末日)不到5%，这部分是因为他们预计科学家和政策制定者会努力预防灾难的发生。”
换句话说，你可以把p(末日)当做某种墨迹测验——这个数据说的是AI，但说到底更多是在表明我们是怎么看待人类的，我们能不能在控制住风险的同时让强大的新技术为我们所用。
那么，你的p(末日)是多少？
