图灵奖得主 Bengio 和 Hinton，同时警告AI 可能灭绝人类！

就在昨夜，一封签署名单多达 350 人的公开信迅速传播开去，信中核心只有一句话：

" 降低 AI 灭绝人类的风险 "，应该像流行病和核战争等其它社会规模的风险一样，成为全球的优先事项。

签署这封公开信的，既包括三大 AI 巨头的 CEO，即 ChatGPT 老板、OpenAI的 Sam Altman，DeepMind的 Demis Hassabis 和Anthropic的 Dario Amodei；

也包括不少国内外高校的教授，除了 Yoshua Bengio 和 Geoffrey Hinton 以外，清华 AIR 院长张亚勤和斯坦福教授、图灵奖得主Martin Hellman等人也名列其中。

这段时间来，关于 AI 风险的各种大小讨论也是接连不断，OpenAI CEO Sam Altman 前段时间还倡议称，人们应当像对待核设施一样监管 AI。

所以，究竟是谁发起的这封公开信倡议，又是否有 AI 大牛反对这件事？

为何签署这封信？

发布这封公开信的机构名叫 Center for AI Safety（CAIS），是一家关于 AI 安全的非营利组织。

在这封公开信的开头，CAIS 反复强调：

包括 AI 专家、记者、政策制定者和公众在内，越来越多的人开始讨论 AI 带来的一系列重要和紧迫的风险。

即便如此，要想表达对先进 AI 的严重风险，可能还是有一定难度。这封公开信旨在克服这一障碍，并展开对相关议题的讨论，让更多专家和公众人物认识到这一点。

事实上，已经有不少签署了这封信的 AI 大牛，最近发了关于 AI 风险的博客文章、或是在访谈中谈到了自己的观点。

例如前段时间，Yoshua Bengio 就写了一封长信，警告称 " 人类大脑是生物机器，一定会有超级智能 AI 超越它 "。

除此之外，包括 Stability AI 的创始人 Emad Mostaque、以及剑桥大学助理教授 David Krueger 等人，也都在最近的访谈中提到了关于 AI 带来的潜在危害。

例如，Emad Mostaque 认为，10 年后包括 Stability AI、OpenAI 和 DeepMind 在内，这些 AI 公司的规模甚至会超过谷歌和 Facebook。

也正是因此，AI 风险是一个必须要考虑的事情：

我们可能正处于全面变革的风口浪尖，这些变革对于任何一家公司或是国家来说都太过庞大，以至于难以管理。

没签的 AI 大牛怎么说？

当然，这波闹得沸沸扬扬的 " 请求 AI 监管 " 浪潮下，也有不少反对的声音。

目前为止，包括另一位图灵奖得主 Yann LeCun、前特斯拉 AI 总监 Andrej Karpathy 还有吴恩达等AI 大牛在内，都还没签署这封联名信。

吴恩达发推回应称：

当我想到大部分人类生存面临的风险时：流行病、气候变化导致大规模人口减少、（撞击地球的）小行星……

AI 将是我们寻找解决方案的关键部分。所以，如果你想让人类在接下来的 1000 年里生存和繁荣，那就让 AI 发展得更快，而不是更慢。

LeCun转发表示同意：

" 超人级 "AI 之所以不在风险列表榜首，很大程度上是因为它还不存在。至少我们在设计出达到狗智商（更不用说人类了）的 AI 之前，讨论它的安全性还为时过早。

对此，纽约大学教授Gary Marcus补充道：

不要把框架缩小到只关注人类灭绝的风险。AI 其实还存在许多其他的严重风险，包括可能帮助开发生物武器等。

不过，Gary Marcus 同样没有签署这份 350 人公开信。

显然包括不少 AI 大牛在内，反对者主要有两种意见。

一种意见认为，AI 技术确实存在风险，但这封公开信涉及到的内容太泛泛。

如果有更精确的声明如 " 减轻 AI 技术的潜在风险应该是科技行业、政府和该领域学术研究人员的首要任务 "，那么这封信还是可以签署的。

这封公开信中的内容根本就是夸大其词了，而且 AI 在气候变化等领域甚至可以起到降低风险的作用。

另一类意见则认为，这封信只不过是当前掌握最领先 AI 技术的人，试图控制 AI 接下来的走向而已。

以 OpenAI 的 CEO Sam Altman 为例：

Sam Altman 要是真的担心，大可以现在直接关掉 ChatGPT 服务器。

所以，你认为按照现在的进度来看，AI 有可能灭绝人类吗？