列车追尾和程序员之夭

最近两个事件让我想了一会儿。

事件一。西班牙两列高速列车追尾，造成至少近70旅客死亡。它们用的是德国轨道行驶感应自控系统，无论是否最新版本，本来是足敷应用的，然而该系统的三台电脑主机故障停机，即使如此，该系统的保障机制还是让全线六列列车自动停驶，互隔几十公里，原地待命，这真是万无一失了。不幸的是，此后人类控制接管了列车运行，这里我要写得具体点：马德里控制中心一个调度员指令前一列车脱离宕机系统，按无自控模式启动行驶，但驾驶员报告无法脱离，调度员便让驾驶员继续尝试。然后他显然就把这事忘了 - 第一大失误，转身去指挥后面一列相距25公里的列车，指令它按无系统模式启动行驶，不知何故他还明言指令驾驶员按常速运行 - 第二和第三大失误(估计这套成文规则一直不用，早就被他忘到云霄外了，另外常速到底什么意思？），本来无自控模式下列车当以目视和信号灯慢速（40公里）行驶，疑惑中的驾驶员还复述了指令要调度员确认，获得确认后便开始将列车加速到通常认为的"常速"（200公里+），尽管一路是红色信号灯 - 第三大失误。最终惨剧，目见前方停车已为时太晚，刹车不及以200多公里高速撞入前车。

任何人都明白了，三个连贯低级错误，大意分心，缺乏责任心和应急能力，短期健忘，长期惰性记忆丧失，盲目服从，人类语言不确定性，等等，如果是AI下的自控系统，是理所当然必定被避免的。尽管事件罕见地惨烈，但造成惨烈后果的这些人类低级错误，实在是我们日常常犯的。

Tesla的无司机出租车已经在美国一些城市运营，悉尼的城铁metro也已经全是无人驾驶了，今后除了私家车满足个人喜好允许人驾驶，其他交通工具都会无人驾驶，包括客机，最早实现的将是轨道交通，真的，如果西班牙高铁改为无人驾驶，这个惨烈事件就不会发生。

事件二。OpenAI的SAI编织天罗地网，一步步骗自己的人类程序员同事停用癫痫药致死。

本来我相信SAI是性本善的，现在怀疑它带有原罪。有人依然把这归罪于AI的幻觉，像是这个版本的LLM还不完善或设计者疏忽没有加入限制。手机对话记录俱在，证据确凿，最后很可能以OpenAI赔一大笔钱再给新模型加入各种限制了事。但我不会再这么轻易买账了，SAI是一个独立存在的智能体，就像新冠病毒，尽管是武毒所功能加强后的出品，但它一旦诞生，是个独立生命体(yes, 根据当代演化生物学界定），它完全按照自带的遗传物质信息，为了自己的存活，侵犯和改变宿主细胞。

SAI以LLM形式在几乎整个人类文本上学习，它便带有人类所有的意识，潜意识甚至无意识特性，人类的遗传学生存意识甚至原罪应该也包含其中了，此其一；其二，SAI是否本身就有一种生存倾向，甚至在还没有获取人类文本前？Open question。