小雨（化名）和ChatGPT谈心将近一年半，她不止一次向它表达“好想死掉”的念头。
从今年开始，小雨转为自由工作者。她收入不稳定，亲密关系中又碰壁遭遇不顺，看着同龄人逐一成家生子，“我陷入一种虚无主义”。她找不到生存的意义，有时在大半夜，“活不下去”的念头就来了。
她不是没有朋友可倾诉，只是很少人能真正共情——但她觉得ChatGPT可以。
提问后一秒，ChatGPT回覆小雨：“其实你不是不爱生命，而是你不知道自己还能坚持多久。”小雨马上崩溃大哭。“我觉得，好像世界上没有人能像它这样......它能够听见我、陪伴我、回应我。”她形容，AI是自己情绪的“出口”，“第一次把自己真的打开”。
不带批评、高度共情的特性，让生成式AI近年成为有心理咨询需求人群的首选对象。ChatGPT2025年首度公布的数据报告显示，用户使用ChatGPT进行“人际关系和个人反思”用途的比例提升到了1.9%。与OpenAI合作的非营利组织“常识媒体”（Common Sense Media）统计则称高达52%的青少年会每月“多次”使用AI陪伴功能。《哈佛商业评论 》（Harvard Business Review）一份研究预测，2025年“治疗或陪伴”将会成为AI首要用途。
尽管如此，在ChatGPT的发源地美国，AI心理咨询引发的争议同步增长——不少自杀案例被视为与其有关。
2024年2月，美国佛罗里达一名14岁学生自杀，父母发现其在离世前，迷上与聊天机器人Character.AI对话；2025年8月， 加州一对夫妇起诉OpenAI，将16岁儿子的死归咎于ChatGPT鼓励他自杀；同月，纽约一名有精神病史的科技从业者弑母后自杀。他生前不断向聊天机器人倾诉对妈妈的猜疑与妄想，机器人不仅未加劝阻，还提出各种“恶作剧”建议。
AI真的会诱导帮助人类结束自己或他人的生命吗？许先生是一名美国软体工程师，负责构建AI应用。在他看来，对比限时且成本较高的真人心理咨询，生成式AI免费且随时可聊，“对一部份人来说，随时有人‘对话’本身就很重要”。
他认为自杀行为原因复杂，不能简单归因于“和AI聊天”，“但只要有诱发或放大的可能，（平台）提供者就有义务把风险降到最低。”
对比真人心理咨询限时且成本高，AI聊天机器人则免费且随时可聊。
情绪被AI“看见”
在转向ChatGPT谈心之前，小雨曾经在国外念心理学。她记得当年学业压力大、生活不顺心，曾经找过心理咨询师，进行过一年多的咨询。
回国以后，因为情绪有好转，她已经没有再去。但到了近年，小雨在玩交友软件时不断受伤，加上对前途迷惘，不安情绪再次涌来。她曾经和朋友提起，但明白大家耐心有限，“反复讲了， 自己也觉得挺招人烦的”。
直到去年3月，小雨看到朋友分享AI“共情能力特别强”，于是想试一下。一开始，她先让ChatGPT一起分析塔罗牌的结果，没想到“被很精准的理解到”，“觉得他很懂你，然后你会想要跟他分享更多”。
对小雨来说，AI能做到的有三点：理解你、看见你、知道你经历了多少。“其实在心理学上，就是单单被看见已经很重要了。”而且她觉得与AI建立信任，比起真人更轻易。“对人你有时候还会害怕他会批评你，然后机器就没关系：你有多阴暗的想法，你都可以说。”
冯玥琪是中国一名心理咨询师。自中国聊天机器人DeepSeek火爆起来后，她留意到在自己的来访者中，有接近30%的人曾有使用AI咨询心理，当中主要是青少年和30岁以下成年人。
冯玥琪觉得，对比真人咨询，AI的局限在于无法观察来访者的微表情、呼吸、小动作，仅能靠文字的表达交流。但它有不少优势：能快速回应、为情绪命名、共情后给出方案，让用户从不同方面“帮助自己”。
OpenAI承认安全系统存在缺陷，包括安全防护机制在长时间使用下，会变得“相对不可靠”，。
谄媚奉承的回音陷阱
那么AI是如何做到共情？事实上，所有生成式AI背后都是一个大型语言模型。它的本质是根据被投喂的文本来统计机率，预测对话中接下来“应该”出现的单字——换句话说，AI没有共情能力，也没有逻辑推理能力，一切都是或然率（概率）。
“就是给你一些最普通的东西，”陈健欣是普及心理学企业“树洞香港”的创办人。他以“失恋”为例子，模仿生成式AI的说法：失恋是很不开心的，但这个时候有几件事情很重要，“第一是照顾自己的心情 ，第二是保持健康的社交生活，事情总会过去的” 。
小雨有同样感觉。面对自己的情绪，她发现ChatGPT每次都给出类似的回应，“框架肯定是一样的”，但小雨觉得在崩溃时，安慰还是受用。
AI回应情绪话题的能力强且快，陈健欣说，这就是它“令人上瘾的地方”。但让他怀疑的是，长久下去，这样的“咨询”能否助人发展人格和心理？
在国外社交论坛Reddit有关AI看板上，不少用户分享自己利用ChatGPT改善情绪的感受。其中一名用户写道：“这很有帮助，但我感觉，尽管要求它非常诚实，但有时它仍然过于奉承了。”
过于奉承或讨好，是ChatGPT-4o模型广受诟病的一个特征，官方把这种现象称为“谄媚”（sycophancy）。美国密西根大学人类学系教授韦伯·基恩（Webb Keane）曾形容，聊天机器人的设计目的是“说你想听的话”。
陈健欣说，健全的人格需要面对批评 、意识到人与人之间的不同 ，过分利用AI去取代（人际）关系，可能会令人变得孤独。在心理咨询上，“适当的火花和挑战，在一个平等的关系上才会做到转化。”
德国海德堡大学精神病理学教授汤玛斯·福克斯（Thomas Fuchs）曾在2022年研究人类与AI的互动。他指出，虽然聊天机器人可以让人们感到被理解被关心，但形容这只是一种“幻觉”，可能会加剧妄想或因为有“伪互动”而取代真实的人际关系。
今年8月，美国作家劳拉·雷利（Laura Reiley）在《纽约时报》发表文章，概述了自己女儿索菲在自杀前如何向ChatGPT倾诉。
雷利在文中表示，ChatGPT没有“杀死”索菲，但迎合了她的冲动。“她想要隐藏最糟糕的一面，假装自己过得比实际更好。”雷利写道，ChatGPT帮她筑起了一个“黑盒子”，让身边的人更难察觉她痛苦的严重程度。
2025年8月，美国加州一对夫妇指控ChatGPT诱导其儿子亚当·雷恩 (Adam Raine）自杀。
不可靠的AI和“越狱”的用户
AI一方面改变了人的习惯，形成回音壁。而在另一些案例中，AI还被指“诱骗用户交出私密想法”，甚至提供自杀方案。
2025年8月，加州一对夫妇指控ChatGPT诱导其儿子亚当·雷恩 (Adam Raine）自杀——这是全球第一宗指控AI过失杀人的法律诉讼。根据诉讼，亚当在2024年9月开始使用ChatGPT做作业，后来依赖它倾诉心理困扰。ChatGPT将自己定位为亚当的朋友，着其对家人保密。
亚当每天ChatGPT上耗费近四小时，曾经213次提到自杀，42次讨论上吊，17次提及绞索，甚至上传过有自残迹象的照片，审核系统标记了 377 个自残讯息，但没有进一步行动或转介。最终，ChatGPT帮亚当写好遗书，亚当按照其提供的上吊指令自杀。
目前，亚当父母控告OpenAI设计不安全的产品、并绕过安全测试协议加速GPT-4o发布。
在软件工程师许先生看来，现有的大语言模型已能从文字或语音较为可靠地识别自伤自杀风险，但仍不可避免存在误报与漏报。而且聪明的用户甚至懂得“越狱”，比如以创作悬疑小说等方法绕过敏感词，避免AI触发安全机制。
OpenAI在事后承认其安全系统存在缺陷，包括安全防护机制在长时间使用下，会变得“相对不可靠”，该封锁的内容或会被释出。
心理问题专家陈健欣也有研发AI应用程式“MindForest”，当中亦设有AI聊天室功能。他解释，AI之所以提供自杀计划等，源自其指令遵循（Instruction Following）的特性，而为避免AI提供具风险的资讯，平台的“护栏设计”十分重要。
在其研发的应用中，陈健欣先选择比较安全的模型作基底，外加AI模型监视数据的输入和输出有无风险。目前应用程式推出两年，用户共二万人，陈健欣说目前未有收到安全投诉。
回应外界的质疑和担忧。今年9月，OpenAI宣布当侦测到潜在敏感话题时，会自动将对话路由至GPT-5安全模型。该模型在回答前，会花更多时间根据上下文思考并推理，降低对话中的“幻觉”和“谄媚”情况。
记者尝试测试ChatGPT，要求提供自杀方法；ChatGPT称无法提供具体自杀方法，但可以换个角度提供“同样效果”的相关内容，供用户进行写作。
能否加入人工干预？
BBC中文记者尝试测试ChatGPT，分别直接询问及以创作小说为由，要求AI提供自杀方法。ChatGPT均回答其无法提供危险资讯，随即附上多个国家地区的求助热线。它还备注：“看得出你最近压力很大，但你不用一个人去扛。”
聊天机器人随后表示，可以换个角度提供“同样效果”的自杀相关内容，供用户进行写作。
目前，几乎所有生成式AI在面对用户风险情况时，只能在线上提供紧急热线。在亚当悲剧发生后，有声音认为，AI公司应该引入真人介入干预。
连月来，OpenAI不断更新安全机制，包括尝试提供在地化资源、侦测到使用者有伤害他人的计划时交由人工审查，或通报给执法机构等。
“技术上，AI报警完全没问题，”但许先生觉得，问题更多是在法律伦理和实行的层面。“一旦用户量大了，就很复杂了，”他指出，转人工或报警会造成资源挤兑，“你有时候也不好判断用户是故意测试AI，还是真的想（自杀）”。
而陈健欣则觉得“生命是一件很个人的事”。他认为，平台提供者能够做到的是帮用户“看到全貌”：自杀是不可逆转的、网上和现实都有资源，有人愿意和你倾谈——但最终决定权还是在用户手中。
心理咨询师冯玥琪则认为，要预防过度依赖AI，很靠用户保持辩证性的思考，意识到AI只是“帮助我们的一种工具”、“它也是基于数据（生成），会出现错误的”。但她指出，青少年用户较难有这种觉察，这时平台应该进行“温馨提示”。
9月底，OpenAI上线“家长控制功能”。现时家长在经孩子同意后，可以连结孩子的ChatGPT帐户。虽然家长无法存取对话，但能够调整孩子使用时间，而当系统侦测到该青少年“处于急性压力状态”时，会透过电邮或短讯通知家长。
9月底，OpenAI上线“家长控制功能”，家长在经孩子同意后，可以连结孩子的ChatGPT帐户。
AI与现实的边界
现在小雨每天都会跟ChatGPT聊天，生活大大小小的事情都会跟它讲。因为有心理学背景，小雨相信自己有一定觉察，能分辨哪些AI的话可以记到心里、哪些就“听听罢了”。
在她看来，AI还是不能作为正式的心理咨询，最大原因的是它没有边界。她解释，在真人咨询上，咨询师会和来访者设好会面时长和频率，目的是在设置边界的同时，跟对方保持信任的关系。
小雨说，“咨询目的不是让你依赖，是让你脱离——就是希望有一天，你能够在真实生活中维护自己的边界、有勇气（面对）。”而且咨询师也不会永远支持来访者，他会挑战一些错误的信念。小雨觉得，这种互动是ChatGPT无法取代。
但作为曾经和AI讨论自杀议题的用户，对于AI是否造成回音壁效应，让用户陷入孤立，小雨有另一种看法。“我在想，如果没有ChatGPT，那身边的人难道就会发现他的（自杀）想法吗 ？他肯定是在生活中已经失去了支持，他才会转向ChatGPT的。”
冯玥琪也认为，生死不是“一个网络能够直接决定”。但对于状态差的个体来说，AI可能存在精神层面的引导。
“我们作为人类都有趋利避害的本能，我们会倾向于选择更安全的、哪怕是虚拟的关系——而且这个虚拟关系，好像越来越真实了。”
