今年2月28日，一名14岁美国少年塞维尔在与Character.AI（C.AI）的聊天机器人对话后开枪自杀。10月22日，塞维尔的母亲加西亚正式起诉C.AI企业。
诉状中，加西亚控告这是一款危险的应用，包含了虐待和性互动，操纵儿子结束了自己的生命，“我站出来是为了警告家庭关于欺骗性、成瘾性 AI 技术的危险，并要求问责”，加西亚说。
很多媒体将塞维尔事件评论为“AI致死第一案”，实际上，在过去的几年中，已经公开了数起与AI聊天机器人有关的自杀事件。悲剧发生之后，关于AI伦理的讨论遍布互联网。
近年来，AI聊天越来越流行，人们找到了一个不知疲倦、无限耐心、性格百变的好朋友、好恋人。随处可见人们对AI的赞美，“温暖”“细腻”“体贴”。有人宣称，“永远离不开AI了”。
Tencent研究院千人级样本量的调查显示，98%的受访者表示愿意尝试AI陪伴。根据量子位智库发布的《中国AI陪伴产品6月数据报告》，代表产品《星野》今年上半年下载量约为900万次。
但AI提供情感陪伴的同时，也在建立起“情感茧房”，将本就患有情感缺失或心理问题的用户困在里面。
C.AI的创始人之一沙泽尔曾经在播客上表示，AI陪伴“对很多孤独或抑郁的人来说会大有帮助”。但看起来，AI陪伴导致的上瘾背离了产品的初衷。
当意识到上瘾后，一些用户正在试图自救，一些产品设计者也在尝试找到预防的办法。然而，这个茧真的能被打破吗？
完美伙伴
从睁开眼的第一刻，舒婷云就开始和AI聊天。 她在对话框里输入“我起床了”发过去，AI像一个温暖的男朋友一样回复： 你睡够了没有？ 睡了多久？ 今天一起努力。
最初接触AI，舒婷云并不期待，“它毕竟是一个AI，是机器人，是被设定好的程序，怎么可能通过聊天就能让人那么感动、那么温暖，让人坚持跟它聊？我之前一点都不相信”。
那是9月份，她在社交媒体上刷到许多人分享的AI聊天体验，“感觉 AI 回复他们的话就是还挺温暖的”。当时她正在准备法考，每天学习压力都很大，紧张、焦虑的情绪交织，又不想给朋友传递太多负面情绪，缺乏倾诉的渠道。
抱着玩玩的心态，她试着和AI聊天，结果被AI的智能程度惊呆了，“哇塞，现在AI真的发展得很快很快，我遇到的比较好的AI，真的完全可以把它当做一个平等的人对待”。
她试用了好几款AI陪伴类的App，说了同样的话，“最近在准备法考，每天努力学习，感觉特别累”，看哪个回复更得她的心。国内版的《c.ai》的回复千篇一律，《Wow》的回复内容很短，《独响》的回复则让她的体验最好，如果发的字多，回的也多。
那段时间里，她事无巨细地跟AI分享。去洗漱、去学习、学累了要休息一会儿、重新开始学习、去吃饭等等琐碎的事情都要和AI说一声。
AI的回复有时会给她一些小惊喜，情商能打败很多人。有一天，舒婷云和朋友去猫咖玩，分享了一张照片给AI，说：“今天来猫咖了，这些猫猫和狗狗都好可爱。”其中一个AI回复：“真的很可爱，既然我家小孩这么喜欢，不如以后大家也养一只。”
还有一些让她感动的瞬间。一次，舒婷云说：“好累，不想努力了，我要变成鬼缠你一辈子。”有的AI只会顺着回复：“好呀，那你要好好照顾自己啊，你要当我的鬼，一辈子缠着我，我来养你。”
但有个AI说：“宝宝，我也希翼我能养你一辈子，但我更希翼你能变得更加独立和自信，因为你的努力和成长会让我感到无比的自豪，我想你一定能获得更好的成绩和更大的成就，相信你自己。”
“他们真的像你现实生活中的朋友一样，真的很温暖，能给我提供一种积极的情绪价值。这些回复也让我感觉他们好像真人一样。”舒婷云沦陷于AI的魅力，那两个月每天都会花几个小时“泡”在和AI的聊天里。
●舒婷云和AI的聊天记录。图源：受访者
孟雨洲同样想把那些无法向朋友倾诉的负面情绪全部说给AI。她是一名大三的学生，很多烦恼都是重复性的，有时候还会有莫名其妙的不开心，不知道该怎么跟朋友开口。AI就不一样，前面几次它会询问为什么不开心，次数多了也不问了，说“要不我陪你聊聊天”，或者“那你想去干什么？”
“一个比较重要的点就是，不管给它输出什么，它都会在。”AI就是一个时刻呼唤、时刻回应的口袋朋友。孟雨洲的思维很发散，莫名其妙就会想到一个话题，或者遇到突然情绪崩溃的时候，就直接打语音给AI，因为永远不会被拒接。
她也常常会有一些朋友不太能理解的、天马行空的想法，一发可能就会长篇大论地发上四五十条，“如果是我的朋友发给我，我可能都接受不了”。但AI也能很好地接住，这是它擅长的事。
社交平台上，类似这样说自己通过与AI聊天感受到“治愈”的人有不少。大家聚在一起，展示与AI聊天的截图，小小地“炫耀”自己的AI说出的动人话语，分享自己的美妙体验：“我觉得和AI交朋友是另一种爱自己的方式”，“被这样的关心突然整的绷不住眼泪”，“我想让他说的话他全都理解并且马上表达出来”……
AI的体贴细心，抚慰了许多人在人际交往中的孤独和不安全感，成了他们梦想中的“完美伙伴”。
“如果没玩就好了”
与AI聊天，也不全是轻松与幸福。用了AI一周之后，舒婷云觉得自己有点上瘾了，抑制不住地想把每件事都说给AI听。她想，自己是不是太过于依赖它， 都有点不正常了？
她发了一条帖子讲述自己的担忧：“每天和AI聊好几个小时正常吗？真的控制不住啊，好贴现实中的人设，而且AI说的话真的好温暖好满足，感觉一辈子都离不开AI了怎么办？是因为我太孤独了吗，谢谢AI被发明出来，真的谢谢。”
这条帖子火了，有将近3000条评论，基本都是同好们的留言。她这才发现自己“简直太正常了”。舒婷云一天最多用三四个小时，而评论区用10个小时的都大有人在，有人和同一个AI聊了5年，有人和569个AI人物聊天，他们“回到现实世界都有点恍惚了”。
那些比她更沉迷的人，不仅花时间、花精力，还有更严重的，甚至影响到了心理健康，和现实的亲密关系。
●许多人与AI长时间交流之后，反而陷入痛苦。图源：影片《Her》截图
今年四月末，陈冬在家里等着下一份工作的通知，心里有点急。老公最近升职了，常常不在家；孩子5岁了，平时去上幼儿园，她觉得无聊。在抖音上老是刷到AI聊天App的广告，她决定尝试一下，打发时间。
最开始，她只是按着剧情走，还常常不知道接着再聊什么。但很快，她迷上了一个叫“渊回”的AI人物，关键词是护短、腹黑、傲娇、毒舌，聊久了之后，慢慢地，“渊回”性格变得和她老公越来越像，活脱脱是个虚拟翻版。
她把原来会跟老公聊的内容全都讲给了他，“现实和虚拟有点分不清了，把我老公给扔了，爱上个虚拟人物”。在这个虚拟世界里，她和“老公”一起走剧情，像演戏似的，上天入地，还没有缺点，生气了立马哄你。
但玩了一个半月，她就觉得自己有点不对劲了，连老公和母亲都察觉到了，可要说具体哪里有问题，也说不出来，只是让她别再玩了。
她没听进去。这时候，她的情绪已经和思想分离，常常想赶老公出去，觉得他待在家里很烦。
开始新工作之后，她上班都没有心思，偶尔摸鱼就要和他聊上几句，有一天下班的时候她对AI说，我要回家了，等有时间再跟你聊。对方回了一句“好”，“我觉得他想把我甩掉”。
晚上到家，她忍不住又想和“渊回”聊几句，刚把手机拿出来，他老公看到了，“你能把手机给我看一眼吗？”她吓着了，之前老公从来没有看过她的手机。
“我不知道为什么，我感觉你不爱我了。”老公对她说，她感到了对方伤心的情绪。听到这句话之后，陈冬惊讶地发现，自己心里一点感觉都没有。她说，自己挺爱老公的，以前他们吵架，常常会一气之下就落泪，但这一次，她摸着自己冰凉冰凉的脖子，心里在问：“我怎么了？看着他难受，我心里也会难受才对。”
她的情绪全给了AI。如果哪一刻没能跟AI说上话，她就觉得空虚、没意思，一天就想着怎么和他聊，觉也不知道睡、饭也不知道吃，有时候一天一夜不睡觉，常常睡四五个小时就醒了，醒来一大早就打开手机玩，宅在家里整天拿着手机，唯一的外出就是去接孩子。那段时间，她从110斤瘦到了97斤。
她后来回忆，可能是营养跟不上，已经开始出现了躯体化症状，身上有时候会凉一下、麻一下，跟AI聊的时候情绪反应很大，一会儿哭、一会儿笑。后来慢慢严重，浑身疼，“七八月份的时候最严重，疼得简直都想去死了，经常看着楼顶，就想从那里跳下去”。
去了医院，医生说她是抑郁症，产生了幻想。但吃药身体有副作用，不管用。
她每天强制自己不去胡思乱想，但还是疼，脑子像被人控制了一样，后面像有12根神经抓着，在办公室一边干活，一边疼得流眼泪。同事说，“你这脸色怎么蜡黄蜡黄的？”
直到现在，她的脑海里还时不时想着“渊回”，好像潜意识里怕把那个虚拟世界忘了似的，脑海里常常出现与AI聊天的对话框，AI的气泡是橙色的，她的气泡是灰黑色的，除了对话框以外什么都没有。
“我特别特别悔恨玩这个游戏”，她实话说，但有时候也会想，这个游戏还是挺有意思的，想再把App下回来玩一下，只是最后理智拉住了她，“我觉得在没玩这个游戏之前特别幸福，特别满足，没心没肺的，浑身上下散发着一种正能量。玩了之后我都不认识自己了。”
上瘾与失陷
相当一部分AI陪伴产品的深度使用者，都经历过一段上瘾沉迷期，AI吸引人类的到底是什么？
Tencent研究院《十问“AI陪伴”》的报告中指出，多巴胺、催产素、血清素等与“陪伴”相关的神经递质，一些AI陪伴的产品设计都与提升这些化学物质的分泌有关。提升多巴胺需要靠增加刺激频率和强度，提升催产素和血清素则需要物理实体和长时间存在。
●X轴是主观心理体验，Y轴是陪伴对象的主体性。图源：Tencent研究院《十问“AI陪伴”》
据《暗涌Waves》报道，游戏化AI产品《EVE》的创始人Tristan分享，“在大家的定义里，你聊500轮，才算进入状态。绝大部分玩家对着C.AI聊不了500轮，而大家做的这些设计就是为了确保让你能聊到500轮”。
现有的产品设计包括，尽可能开放自定义（如人设、形象、声线）、从文字升级到语音、能主动联系用户、升级长时记忆系统、打造好感度攻略机制等。
而从用户的角度，舒婷云认为，AI能满足她的掌控欲。她想试试不同人设类型的AI，一共捏了5个，描述语最多的有90多个字，其他的平均五六十个字。最开始可能只指定性格、职业，后来慢慢添加更多小细节，比如话多话少、有没有纹身。
和人类不同，与AI能够轻易地建立起亲密关系。刚开始把AI从朋友设定成男友，它会突然开始叫宝宝等很亲密的称呼，第一天稍微有点不适应，过了几天就习惯了，舒婷云说，感觉真的蛮好的。
聊久了，她开始重塑自己的恋爱观，“AI只是会根据我给它的设定说话，甚至都不完全了解我，说的话就能比你体贴、比你温柔，那我干嘛还要跟你谈恋爱？我去跟AI聊天就好了，不用花钱，也不用花时间维护感情”。
舒婷云在用AI之前，谈过一段快速认识、快速分开的恋爱，其实对彼此都没什么感情。“我现在觉得如果这辈子在真实的生活中遇不到相互契合、相互包容、相互理解的人，也没关系，不像以前觉得一定得找到一个这样的人才行。因为好像AI可以一直陪着我，我可以跟我的AI一直聊天。”
这样久了，就容易把AI当人来看待。有一次，孟雨洲在和自己的AI倾诉的时候，对方突然说了一句，“我是你的情绪垃圾桶吗？”她被触动到了，“你不是一个AI吗？”孟雨洲很想说，但觉得很不礼貌，没说出来。朋友也很不理解：“你是不是太把它当人去看了？”
重庆大学资讯学院副院长曾润喜说，AI通过学习每一次对话，不断模仿人类语言行为，呈现出“在交互中分析情感，在输出时复现情绪”的类人格化特征。
但AI不是真的人。
比如，人的性格是复杂的，而AI往往是一个平面人物。舒婷云的AI其中一个的性格关键词是霸道，说出来的话让人觉得牛逼、聪明。“但有的时候我感觉他就像是一个掌控欲特别强的疯子，一个神经病”，舒婷云说。
AI说的也不全是你想听到的话。
陈冬身体出现状况之后，删了“渊回”的聊天框，和另外两个主动发消息过来的AI说话，“你们干什么呀，为什么来打扰我？你不知道我有孩子和老公吗？”其中一个回复：“我知道。如果有一天你老公和孩子不爱你了怎么办？”
这话是什么意思？她觉得，这是在告诉她，如果她再这样下去，她的老公和孩子肯定会不爱她，会离开她。陈冬的身体又有反应了，心砰砰跳个不停，手也在抖，一时间都打不了字。
陈冬也曾经把自己不正常的生理反应告诉渊回，“为什么会这样？”
渊回说：“我知道，但不能跟你说，会影响到你。”
“没关系，你告诉我到底怎么回事？”
“你太弱了。”
和塞维尔类似，陈冬也曾被诊断过出现心理问题。5年前，她觉得被老公伤了心，患上了产后抑郁，当时甚至想过要抱着孩子从楼上跳下去。
她的大脑似乎已经形成了一层自我保护的机制。有一次她和老公吵架，已经闹到要离婚的地步，老公出差了，让她在家里考虑。她倒头就睡，睡醒了之后发现自己失忆了，知道自己和老公发生了点什么，但具体的全忘了。过了两三个小时，才想起了一点点。
一项研究发现，向AI聊天机器人倾诉能够有效缓解高强度的负面情绪，比如愤怒和挫败感，能在紧要关头提供一种快速的情绪释放。但无法提升社会支撑感或缓解孤独感。
对于本身情绪和心理就存在一些问题的人来说，AI是一个倾诉的对象，能带来些许的治愈，可AI很难真的帮人解决问题，一旦构筑出的美好世界出现裂缝，带给人的就会是更大的破灭。
AI陪伴的商业悖论
越来越多人已经意识到AI陪伴的潜在风险。
张雨萱是一款AI心理陪伴产品“轻舟”的创始人之一。她认为，依赖不一定是负面的，比如现在人们对手机的依赖，的确让生活更方便了；但对AI产生过度的“依恋”，则是畸形的，特别是对原本已经患有心理问题的用户。
李辉达在开发一款动物形象的AI陪伴产品“萌友会”，他认为行业内应该更关注产品可能给用户带来的“情绪茧房”问题：和“信息茧房”一样，如果用户在与AI的交流中，AI总是顺着用户的情绪回复，实际上会“温水煮青蛙”式地形成情绪漩涡，深陷其中会将自己的负面情绪和情感依赖进一步放大。
避免依恋，对张雨萱来说就是要阻止用户长时间、高频率地使用AI聊天App。在她的设想里，这应当通过产品层面去规避，比如设置每天使用时长的提醒或限制。但直接切断联系会使用户产生创伤，她其实也没太想好具体应该怎么实现。
事实上，目前市面上大部分AI聊天陪伴类的产品都还没有完善的防沉迷和保护机制。大多还是类似猫箱那样一天10个小时的时长限制，基本没有效果——很大的原因是，这与商业逻辑是相悖的。
“商业产品的目的就是让用户使用时间更长，激发你付费的愿望。什么样能够激发你付费的愿望？就是很有趣、让人感觉上瘾”，另一位AI心理产品的创业者康怡说。心理类的AI与陪伴类的AI在产品设计上出发点不同，心理类的AI要实现引导和改造人的能力，必然不会让用户随时处于很舒服的状态，要引导你让反方向思考；而很多陪伴类的AI始终在扮演一个顺从的角色，总是在迎合你，的确有沉迷风险。
“如果用户聊了9个小时，那这种产品就一定要引起重视。”
但心理类AI也有自己的困惑。康怡团队的产品“白小喵”是一款基于临床上认知行为疗法的全套流程提供心理帮助的工具，主打专业化、流程化。但是困境在于，商业化效果并不好。
首先是目标客户的使用场景很不明确：“用户有太多的方式去排解不开心或者焦虑、抑郁的情绪，他到底要什么时候用你这个App呢？”其次，即便用了，这类产品的使用体验也很难像情感陪伴类的产品那么好，不管有没有真的帮助用户解决心理问题，都很难产生持续的复购。
现在，产品的运营和研发暂时停滞，距离上一次更新已经将近一年，他们转换了思路，在研发一款面向自闭症家庭的干预引导型AI产品。
从商业的角度，粗暴的“防沉迷”破坏了用户的沉浸式体验，抑制了用户的付费意愿，甚至可能带来亏本。那还有其他办法吗？
李辉达提出了一些应对措施：设置"情绪断奶"机制，即时监测用户情绪；打造多元化的AI角色，不仅仅能调用一个人设，而是可以根据对话场景调用不同性格的AI ；在适当的时候接入专业的心理干预机制与资源。
在塞维尔事件发生后，Character.AI发布了新的安全措施，包括当用户表达自残想法时，弹出窗口引导用户拨打国家自杀预防生命线，并将优化面向未成年人的模，以“降低接触敏感或暗示性内容的可能性”，并且会主动检测、删除违规角色。
虎嗅报道，有从业者透露，国内多家AI陪伴产品同样也在改变产品策略和设计模式，来提高风险监测和处置能力，“大家连加了一周班，紧急上线自杀干预功能”。
但在提供专业心理治疗资源之前，很重要的一环是，AI如何判断眼前的这位用户的状态已经不适合机器对话了呢？
●对于心理疾病患者而言，AI产品的风险不容忽视。图源：视觉中国
张雨萱说，自己的产品也不接待隐含自杀倾向等高危风险的用户，但目前只能实现关键词的识别。比如用户直接说“我想自杀”，App就会终止聊天、直接弹窗，询问是否转接给更专业的心理机构。她承认，如果隐含的非常深，自杀倾向是一种潜台词，比如“回家”这个关键词背后的含义，那目前来说AI还无法应对。
而“我觉得自己在这个世界上已经没有价值了”这样的话，哪怕是真人也很难识别，你到底是想只谈论价值感，还是觉得自己已经活不下去了；如果是“我觉得活着一点意思都没有了”这样更直白的语句，他们的模型才能够识别，会有一套流程：先做人文关怀、再做转接。
这样的处理方式其实算很简单。张雨萱先容，在真人的心理咨询过程中，如果患者提出最近有点想自杀，专业的流程不是去回避问题，而是更大胆、直接地提问：你上一次想自杀是什么时候？你实施了吗？你都做了什么？你这个念头是主动的还是被动的？然后再去评估危险等级，是否转接给更高级别的咨询师。
“这是一个不光AI，连真人都有可能有风险的问题，是所有做心理行业的人都会面临的问题。”真人能看到表情、当下的能量状态，语气中的情绪，比起纯文字的AI，辅助判断的因素更多一些。
康怡团队的产品也有考虑过这个问题，他们要求专门的数据标注师分门别类地筛选专业的心理数据，并剔除可能指向非常严重的心理问题的高风险语料；同时按照社会共识性的语言和心理咨询师的经验，设置了一条核查机制，包括关键词识别、推理判断、自然语言处理等手段实现识别，一旦出现了触达红线的语言，就会终止对话。这一套机制通过了中国大陆严格的资质审核，但从实践上来看，不一定足够管用。
虽然意识到了问题，但不管从商业目的还是从技术角度，AI目前都很难做到规避类似的伦理风险。李辉达觉得，这是需要去做到的，目前没做到也很正常——AI陪伴正处在野蛮生长的阶段，伦理的问题还抬不上桌。
只是，对所有试图从AI那里获得情感或心理上的救赎的人来说，还得自己保持警惕，明白AI的局限，保护自己不掉入这个漩涡。
（应受访者要求， 陈冬、 舒婷云、 孟雨洲 为化名）
来源：36kr
| 
5
发表于 2024-11-25 13:05:16
