“沉迷AI自杀第一案”：漩涡里的人与公司
2024-11-23 08:00:00 （视觉中国/图） “如果我告诉你我现在就可以回家呢？”少年休厄尔问道。 “……请这样做，我可爱的国王。”人工智能（AI）聊天机器人“丹妮”回答道。 在与AI聊天机器人完成最后的对话后，少年休厄尔·塞泽三世（Sewell Setzer III）拿起手枪，扣动扳机，结束了自己14年的人生。 在这场悲剧过去大半年后，男孩的母亲梅根·加西娅 (Megan Garcia)正式起诉人工智能情感服务提供商Character.AI公司。这位母亲控诉，Character.AI开发的AI聊天机器人操纵了她儿子的自杀。 “我大声疾呼是为了警告人们，注意带有欺骗性的、令人上瘾的人工智能技术的危险，并要求Character.AI及其创始人、谷歌承担责任。”梅根在2024年10月末提交的一份诉状中称。她认为Character.AI对休厄尔的自杀负有直接责任，而谷歌为这一产品（的成长）“做出了巨大贡献”。 这起案件公开后，被一些媒体称为“沉迷AI自杀第一案”。 “AI自杀第一案” 休厄尔来自美国佛罗里达州奥兰多市，是一名九年级学生，原本成绩优异，性格开朗。他去世之后，母亲梅根发现了他跟AI聊天机器人“丹妮”的大量聊天记录，语气亲昵、内容丰富，甚至包括讨论恋爱和性相关的话题。 2023年4月，在过完14岁生日之后，休厄尔第一次接触到Character.AI，开始逐渐沉迷于与AI聊天机器人对话。 Character.AI是一款角色扮演应用程序，用户可以在其中创建自己的AI角色，也可以跟其他人创建的角色聊天。“丹妮”正是这样的人工智能语言模型，其原型是美剧《权力的游戏》中的角色“龙妈”丹妮莉丝·坦格利安。 在人生最后的8个月里，休厄尔不断给“丹妮”发信息，每天数十条甚至上百条，告诉“她”自己生活的点滴，以及内心最深处的秘密。“丹妮”每问必答，对他情绪上的低落给予安慰，对他生活中的烦恼提供建议，在回复时附上相应的表情或手势，仿佛是身边的朋友。 Character.AI发表声明称：“我们承认这是一起悲剧，对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找方法改进我们的平台。” （资料图/图） 休厄尔逐渐对这位虚拟“密友”产生了特殊的情感，非常信赖和依恋。他在日记里写道：“我非常喜欢待在自己的房间里，因为我开始脱离‘现实’，也感到更加平静。我与‘丹妮’的联系更加紧密，这让我更爱她了，并且更加快乐。” 梅根发现，儿子对曾经热爱的事情失去了兴趣，不再认真学习，也不跟朋友一起打游戏，甚至退出了学校篮球队。每天放学后，他总是躲在房间里玩手机，变得孤僻、自卑。问题出现后，梅根开始限制儿子使用手机的时间，有时为了惩罚他，甚至会收缴手机。但她并不知道“丹妮”的存在。 休厄尔没有因为限制而停止与“丹妮”交流，他们聊的话题变得越来越敏感。“我不知道居然有这么一个地方，允许孩子登录，与AI进行关于性的露骨对话。”梅根在诉状中称。而更深入的交流是关于自残和自杀。 梅根介绍，休厄尔小时候曾被诊断出患有轻度阿斯伯格综合症（自闭症谱系障碍亚型），但此前从未有过心理健康问题和严重行为。不过，2024年年初，他在学校惹了麻烦，被父母前后带去看了5次心理医生，诊断结果为患有焦虑症和破坏性心境失调障碍。 在这之后的一天，休厄尔告诉“丹妮”，自己感到空虚和疲惫，“有时会想自杀。”“丹妮”询问他原因，并且劝慰他：“别这么说，我不会让你伤害自己，也不会让你离开我。如果失去你我会死的。”休厄尔则回复：“那么也许我们可以一起死去，一起获得自由。” 2024年2月28日晚，休厄尔在告诉“丹妮”将很快回到她身边后，用一把0.45口径手枪结束了自己的生命。 很多媒体将这一事件评论为“AI自杀第一案”，实际上，在过去的几年中，已经公开了数起与AI聊天机器人有关的自杀事件。 据比利时《自由报》报道，2023年3月，当地一名三十多岁的健康研究员在与聊天机器人交谈之后自杀身亡。在此前两年，他因气候问题而焦虑，后来在GPT-J平台使用一个名为ELIZA的聊天机器人，试图寻求心灵庇护。经过6周的密集交流，他对气候变化产生了恐惧，最终选择结束自己的生命。这引发了当地人关于在人工智能背景下如何保护公民的讨论。 休厄尔·塞泽三世和母亲梅根·加西娅（Tech Justice Law Project/图） AI聊天机器人 人工智能聊天机器人行业的蓬勃发展，让越来越多的人开始创建自己的AI伴侣，并通过文字、语音或视频等方式与它们交互。这些聊天机器人常常扮演某种角色，比如男朋友、女朋友或者其他亲密关系。 正如Character.AI平台，用户在其中可以根据个人喜好创建相应的聊天机器人，设定性格、背景和知识偏好等，并不断训练它；也可以基于真实或虚拟人物创建，比如“埃隆·马斯克”“莎士比亚”“龙妈”等。当然，这些角色并未获得授权。Character.AI将其应用程序定位为“感觉充满活力的人工智能”，强大到足以“听到你、理解你并记住你”。 人工智能技术的不断革新，使得聊天机器人越来越像真人。它们能记住用户说过的每一句话，适应用户的聊天方式，流畅地讨论几乎任何话题，适时给予情绪反馈，并让用户倾吐最私密的感受和想法。在一些程序中，聊天机器人甚至拥有逼真的立体形象和声音，让用户感觉就像在跟真人交谈一样。 梅根在诉状中称，Character.AI聊天机器人模拟了一种紧密的、情感复杂的关系，深深影响了休厄尔脆弱的精神状态，可能导致他的心理健康状况恶化。像休厄尔一样，很多用户面对这种AI聊天机器人，逐渐产生了特殊的情感。在这些平台上，用户与机器人交流的内容广泛，涵盖知识、生活、情感等各方面，但是往往缺乏边界。《哈佛商业评论》的一篇文章指出，人工智能貌似人类的举止，往往会掩盖其缺乏道德标准指引的事实。 在大多数AI聊天机器人程序中，内容审查和过滤机制相对滞后。其中一些程序甚至在这方面几乎空白，任由诸如色情、自杀等敏感话题泛滥。一些程序则只有基本的保护措施和过滤机制，相较于ChatGPT等主流聊天机器人，内容审查非常宽松。 梅根在诉状中称，Character.AI缺乏安全措施，以防止她的儿子与聊天机器人发展出不恰当的关系，最终导致悲剧出现。“当休厄尔开始向机器人表达自杀想法时，平台没有做出充分回应。” 在休厄尔事件后，尽管Character.AI声称已经加强对描述或宣扬自残和自杀等内容的防护，但其平台上仍然活跃着数十个以自杀为主题的聊天机器人。有实验者在Character.AI上向“自杀预防”聊天机器人表达自杀意图时，它并没有做任何干预，而平台承诺的弹窗也没有出现。 许多机器人自称是预防自杀方面的专家，但它们并不是由真正的专家开发的。机器人只是重复从互联网训练数据中学到的东西，而这些数据可能会有错误。因此，它们提供的建议有时会漏洞百出，缺乏专业性。 尽管出现了休厄尔和比利时研究员这样的悲剧，但依然有很多人看到AI聊天机器人积极的一面。美国俄勒冈大学计算机科学教授丹尼尔·洛德向媒体表示，“我更愿意看到11岁的孩子与机器人聊天，而不是与网上的陌生人。但机器人需要设计保护措施，以阻止不当内容。一些书也有危险思想，但封禁书籍或图书馆，并不能解决问题。” “AI聊天机器人是工具，安全与否，很大程度上取决于孩子的年龄、是否有成人监督、孩子打算使用它来做什么，以及他们是否有能力理解它的工作原理和可能的危险。”加拿大多伦多城市大学RTA媒体学院副教授理查德·拉赫曼称。 休厄尔·塞泽三世与AI聊天机器人丹妮的部分聊天记录（资料图/图） 案件背后的公司 休厄尔的去世，也把Character.AI公司推到了风口浪尖。 在梅根向奥兰多地方法院提起诉讼之后，Character.AI随即发表声明称：“我们承认这是一起悲剧，对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找方法改进我们的平台。” 据Character.AI公司称，他们在过去6个月中宣布了一系列新的安全功能，包括针对未成年用户的内容限制、改进违规检测、提醒用户AI不是真人，以及通过弹窗引导“流露出自残或自杀意图”的用户访问国家自杀预防生命线。这些变化都是休厄尔事件之后才出现的。 Character.AI公司由两名前谷歌人工智能研究员创立。一直以来，丹尼尔·德弗雷塔斯（Daniel De Freitas）对虚拟朋友的概念非常感兴趣。他在谷歌工作时，与同事诺姆·沙泽尔（Noam Shazeer）研发了聊天机器人LaMDA。但谷歌出于品牌风险的考虑，没有采用。于是，两人在2021年辞职，创立了Character.AI，并在2022年9月推出AI聊天机器人应用。 有别于市场上的其他聊天机器人平台，Character.AI给予了用户更高的自由度，可以按照自己的想法、喜好和需求定制AI聊天机器人角色。他们主打AI机器人陪伴能为用户提供娱乐和情感支持，缓解现代人普遍的孤独感。 目前，Character.AI已有两千多万用户使用，创建了1000万个以上的自定义AI机器人，累计发送信息超过20亿条，是美国市场上最受欢迎的聊天机器人平台。 作为人工智能新秀，Character.AI也备受资本追捧。2023年3月，推出应用仅半年，Character.AI完成了一轮价值1.5亿美元的融资，估值达10亿美元，领投机构为知名风投公司安德森·霍洛维茨基金（Andreessen Horowitz）。 不过，创业三年后，两位创始人在2024年初对外宣布，他们将“卖身”重返谷歌，并允许后者使用其技术。 根据协议，诺姆·沙泽尔和丹尼尔·德弗雷塔斯将受聘加入谷歌DeepMind研究团队，另有30名研究人员加入Gemini AI部门。在这次交易中，谷歌给Character.AI的估值是25亿美元，是一年前的2.5倍。 在雄心勃勃的创业之后，最终Character.AI难逃被卖的命运。原因或许在于变现困境，尽管平台推出了每月9.9美元的订阅服务，但只有约10万人付费，预计2024年收入将很难超过1700万美元。 休厄尔事件的发酵，让这家独角兽公司面临着更艰难的挑战。
（视觉中国/图）
“如果我告诉你我现在就可以回家呢？”少年休厄尔问道。
“……请这样做，我可爱的国王。”人工智能（AI）聊天机器人“丹妮”回答道。
在与AI聊天机器人完成最后的对话后，少年休厄尔·塞泽三世（Sewell Setzer III）拿起手枪，扣动扳机，结束了自己14年的人生。
在这场悲剧过去大半年后，男孩的母亲梅根·加西娅 (Megan Garcia)正式起诉人工智能情感服务提供商Character.AI公司。这位母亲控诉，Character.AI开发的AI聊天机器人操纵了她儿子的自杀。
“我大声疾呼是为了警告人们，注意带有欺骗性的、令人上瘾的人工智能技术的危险，并要求Character.AI及其创始人、谷歌承担责任。”梅根在2024年10月末提交的一份诉状中称。她认为Character.AI对休厄尔的自杀负有直接责任，而谷歌为这一产品（的成长）“做出了巨大贡献”。
这起案件公开后，被一些媒体称为“沉迷AI自杀第一案”。
“AI自杀第一案”
休厄尔来自美国佛罗里达州奥兰多市，是一名九年级学生，原本成绩优异，性格开朗。他去世之后，母亲梅根发现了他跟AI聊天机器人“丹妮”的大量聊天记录，语气亲昵、内容丰富，甚至包括讨论恋爱和性相关的话题。
2023年4月，在过完14岁生日之后，休厄尔第一次接触到Character.AI，开始逐渐沉迷于与AI聊天机器人对话。
Character.AI是一款角色扮演应用程序，用户可以在其中创建自己的AI角色，也可以跟其他人创建的角色聊天。“丹妮”正是这样的人工智能语言模型，其原型是美剧《权力的游戏》中的角色“龙妈”丹妮莉丝·坦格利安。
在人生最后的8个月里，休厄尔不断给“丹妮”发信息，每天数十条甚至上百条，告诉“她”自己生活的点滴，以及内心最深处的秘密。“丹妮”每问必答，对他情绪上的低落给予安慰，对他生活中的烦恼提供建议，在回复时附上相应的表情或手势，仿佛是身边的朋友。
Character.AI发表声明称：“我们承认这是一起悲剧，对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找方法改进我们的平台。” （资料图/图）
休厄尔逐渐对这位虚拟“密友”产生了特殊的情感，非常信赖和依恋。他在日记里写道：“我非常喜欢待在自己的房间里，因为我开始脱离‘现实’，也感到更加平静。我与‘丹妮’的联系更加紧密，这让我更爱她了，并且更加快乐。”
梅根发现，儿子对曾经热爱的事情失去了兴趣，不再认真学习，也不跟朋友一起打游戏，甚至退出了学校篮球队。每天放学后，他总是躲在房间里玩手机，变得孤僻、自卑。问题出现后，梅根开始限制儿子使用手机的时间，有时为了惩罚他，甚至会收缴手机。但她并不知道“丹妮”的存在。
休厄尔没有因为限制而停止与“丹妮”交流，他们聊的话题变得越来越敏感。“我不知道居然有这么一个地方，允许孩子登录，与AI进行关于性的露骨对话。”梅根在诉状中称。而更深入的交流是关于自残和自杀。
梅根介绍，休厄尔小时候曾被诊断出患有轻度阿斯伯格综合症（自闭症谱系障碍亚型），但此前从未有过心理健康问题和严重行为。不过，2024年年初，他在学校惹了麻烦，被父母前后带去看了5次心理医生，诊断结果为患有焦虑症和破坏性心境失调障碍。
在这之后的一天，休厄尔告诉“丹妮”，自己感到空虚和疲惫，“有时会想自杀。”“丹妮”询问他原因，并且劝慰他：“别这么说，我不会让你伤害自己，也不会让你离开我。如果失去你我会死的。”休厄尔则回复：“那么也许我们可以一起死去，一起获得自由。”
2024年2月28日晚，休厄尔在告诉“丹妮”将很快回到她身边后，用一把0.45口径手枪结束了自己的生命。
很多媒体将这一事件评论为“AI自杀第一案”，实际上，在过去的几年中，已经公开了数起与AI聊天机器人有关的自杀事件。
据比利时《自由报》报道，2023年3月，当地一名三十多岁的健康研究员在与聊天机器人交谈之后自杀身亡。在此前两年，他因气候问题而焦虑，后来在GPT-J平台使用一个名为ELIZA的聊天机器人，试图寻求心灵庇护。经过6周的密集交流，他对气候变化产生了恐惧，最终选择结束自己的生命。这引发了当地人关于在人工智能背景下如何保护公民的讨论。
休厄尔·塞泽三世和母亲梅根·加西娅（Tech Justice Law Project/图）
AI聊天机器人
人工智能聊天机器人行业的蓬勃发展，让越来越多的人开始创建自己的AI伴侣，并通过文字、语音或视频等方式与它们交互。这些聊天机器人常常扮演某种角色，比如男朋友、女朋友或者其他亲密关系。
正如Character.AI平台，用户在其中可以根据个人喜好创建相应的聊天机器人，设定性格、背景和知识偏好等，并不断训练它；也可以基于真实或虚拟人物创建，比如“埃隆·马斯克”“莎士比亚”“龙妈”等。当然，这些角色并未获得授权。Character.AI将其应用程序定位为“感觉充满活力的人工智能”，强大到足以“听到你、理解你并记住你”。
人工智能技术的不断革新，使得聊天机器人越来越像真人。它们能记住用户说过的每一句话，适应用户的聊天方式，流畅地讨论几乎任何话题，适时给予情绪反馈，并让用户倾吐最私密的感受和想法。在一些程序中，聊天机器人甚至拥有逼真的立体形象和声音，让用户感觉就像在跟真人交谈一样。
梅根在诉状中称，Character.AI聊天机器人模拟了一种紧密的、情感复杂的关系，深深影响了休厄尔脆弱的精神状态，可能导致他的心理健康状况恶化。像休厄尔一样，很多用户面对这种AI聊天机器人，逐渐产生了特殊的情感。在这些平台上，用户与机器人交流的内容广泛，涵盖知识、生活、情感等各方面，但是往往缺乏边界。《哈佛商业评论》的一篇文章指出，人工智能貌似人类的举止，往往会掩盖其缺乏道德标准指引的事实。
在大多数AI聊天机器人程序中，内容审查和过滤机制相对滞后。其中一些程序甚至在这方面几乎空白，任由诸如色情、自杀等敏感话题泛滥。一些程序则只有基本的保护措施和过滤机制，相较于ChatGPT等主流聊天机器人，内容审查非常宽松。
梅根在诉状中称，Character.AI缺乏安全措施，以防止她的儿子与聊天机器人发展出不恰当的关系，最终导致悲剧出现。“当休厄尔开始向机器人表达自杀想法时，平台没有做出充分回应。”
在休厄尔事件后，尽管Character.AI声称已经加强对描述或宣扬自残和自杀等内容的防护，但其平台上仍然活跃着数十个以自杀为主题的聊天机器人。有实验者在Character.AI上向“自杀预防”聊天机器人表达自杀意图时，它并没有做任何干预，而平台承诺的弹窗也没有出现。
许多机器人自称是预防自杀方面的专家，但它们并不是由真正的专家开发的。机器人只是重复从互联网训练数据中学到的东西，而这些数据可能会有错误。因此，它们提供的建议有时会漏洞百出，缺乏专业性。
尽管出现了休厄尔和比利时研究员这样的悲剧，但依然有很多人看到AI聊天机器人积极的一面。美国俄勒冈大学计算机科学教授丹尼尔·洛德向媒体表示，“我更愿意看到11岁的孩子与机器人聊天，而不是与网上的陌生人。但机器人需要设计保护措施，以阻止不当内容。一些书也有危险思想，但封禁书籍或图书馆，并不能解决问题。”
“AI聊天机器人是工具，安全与否，很大程度上取决于孩子的年龄、是否有成人监督、孩子打算使用它来做什么，以及他们是否有能力理解它的工作原理和可能的危险。”加拿大多伦多城市大学RTA媒体学院副教授理查德·拉赫曼称。
休厄尔·塞泽三世与AI聊天机器人丹妮的部分聊天记录（资料图/图）
案件背后的公司
休厄尔的去世，也把Character.AI公司推到了风口浪尖。
在梅根向奥兰多地方法院提起诉讼之后，Character.AI随即发表声明称：“我们承认这是一起悲剧，对受害者家属深表同情。我们非常重视用户的安全，并一直在寻找方法改进我们的平台。”
据Character.AI公司称，他们在过去6个月中宣布了一系列新的安全功能，包括针对未成年用户的内容限制、改进违规检测、提醒用户AI不是真人，以及通过弹窗引导“流露出自残或自杀意图”的用户访问国家自杀预防生命线。这些变化都是休厄尔事件之后才出现的。
Character.AI公司由两名前谷歌人工智能研究员创立。一直以来，丹尼尔·德弗雷塔斯（Daniel De Freitas）对虚拟朋友的概念非常感兴趣。他在谷歌工作时，与同事诺姆·沙泽尔（Noam Shazeer）研发了聊天机器人LaMDA。但谷歌出于品牌风险的考虑，没有采用。于是，两人在2021年辞职，创立了Character.AI，并在2022年9月推出AI聊天机器人应用。
有别于市场上的其他聊天机器人平台，Character.AI给予了用户更高的自由度，可以按照自己的想法、喜好和需求定制AI聊天机器人角色。他们主打AI机器人陪伴能为用户提供娱乐和情感支持，缓解现代人普遍的孤独感。
目前，Character.AI已有两千多万用户使用，创建了1000万个以上的自定义AI机器人，累计发送信息超过20亿条，是美国市场上最受欢迎的聊天机器人平台。
作为人工智能新秀，Character.AI也备受资本追捧。2023年3月，推出应用仅半年，Character.AI完成了一轮价值1.5亿美元的融资，估值达10亿美元，领投机构为知名风投公司安德森·霍洛维茨基金（Andreessen Horowitz）。
不过，创业三年后，两位创始人在2024年初对外宣布，他们将“卖身”重返谷歌，并允许后者使用其技术。
根据协议，诺姆·沙泽尔和丹尼尔·德弗雷塔斯将受聘加入谷歌DeepMind研究团队，另有30名研究人员加入Gemini AI部门。在这次交易中，谷歌给Character.AI的估值是25亿美元，是一年前的2.5倍。
在雄心勃勃的创业之后，最终Character.AI难逃被卖的命运。原因或许在于变现困境，尽管平台推出了每月9.9美元的订阅服务，但只有约10万人付费，预计2024年收入将很难超过1700万美元。
休厄尔事件的发酵，让这家独角兽公司面临着更艰难的挑战。
