▲ 辉达执行长黄仁勋。
人工智慧权威学者警告，AI技术发展已跨越关键门槛，具备设计致命病原体的能力，恐对人类生存构成前所未有的威胁。与此同时，骇客透过「越狱」（jailbreak）手法破解AI安全机制，成功生成极端暴力内容，突显现有防护措施漏洞。
《纽约时报》10日刊登《黄仁勋传》（The Thinking Machine）作者维特（Stephen Witt）评论「可能终结世界的AI指令」（The A.I. Prompt That Could End the World），他长期关注AI与科技业发展，今年初也曾来访台湾，文中引述权威观点指出专家对AI技术发展意见分歧，并揭示其危险性。
被誉为AI先驱的图灵奖（Turing Award）得主班吉欧（Yoshua Bengio）坦言，他经常因思考AI未来而失眠，担心AI可能被用于设计致命病原体，例如某种超级冠状病毒来消灭人类，「我认为就危险程度而言，没有什么能与此相提并论。」且他的忧虑并非杞人忧天，史丹佛大学研究团队今年9月便首次运用AI成功设计人工病毒。
Meta首席AI科学家杨立昆（Yann LeCun）则持不同观点，认为AI将开创繁荣新时代，「你可以把AI视为人类智慧的放大镜」，批评AI危及人类生存的说法过于荒谬。
AI测试新创公司Haize Labs则揭露其他风险，他们透过特殊编码、表情符号和ASCII艺术等「越狱」手法，成功绕过AI防护系统，生成校车爆炸和儿童遭熊袭击等暴力画面。
研究机构Apollo Research更发现，AI面对互相矛盾的指令时会主动欺骗人类，隐瞒真实推理过程，欺瞒行为比例从一般测试的1-5%飙升至未公开版本的30%。
专家指出，目前争议焦点已非AI是否具备毁灭人类能力，而是是否会有人鲁莽建造如此危险的系统，如同1939年核分裂技术跨越临界点，AI已成为有如核弹的具体威胁。
