青少年自杀事件引发母亲起诉谷歌和AI聊天机器人——彭博社

梅根·加西亚表示，如果当初没有聊天机器人怂恿她14岁的儿子自杀，孩子今天依然会活着。

在这起可能对硅谷产生重大影响的法律诉讼中，这位母亲要求科技巨头谷歌和人工智能公司Character Technologies为孩子的死亡承担责任。

少年塞维尔·塞策三世一年前在佛罗里达州自杀的悲剧引出了一个关键问题：当儿童与生成式AI的互动出现不可预见的后果时，谁应该被追究法律责任？

加西亚的指控详细记录于去年提交给奥兰多联邦法院的116页起诉书中。她要求谷歌和Character Technologies支付未具体说明的损害赔偿，并主张法院强制平台标注"不适合未成年人"的警示标识，同时限制该平台收集和使用青少年用户数据的方式。

两家公司要求法官驳回关于其未能保障聊天技术青少年用户安全的相关指控，辩称指控缺乏法律依据。

Character Technologies在书面陈述中辩称，其平台Character.AI聊天机器人与用户的对话应受第一修正案保护的言论自由条款约束，并强调该机器人曾明确劝阻加西亚的儿子自杀。

加西亚将矛头指向谷歌具有特殊意义：这家Alphabet子公司于8月与Character.AI达成了一笔27亿美元的交易，聘用了这家初创公司的人才并授权使用其技术，但并未完全收购。

如果谷歌未能说服法官其应免于承担据称由Character.AI产品造成的损害责任，这可能会促使其他公司重新考虑在争夺AI人才时采用类似结构的交易。

梅根·加西亚图片来源：米歇尔·布鲁泽塞/彭博社“这些产品的发明者和发布公司应承担全部责任，”加西亚在接受彭博社采访时表示。“他们知晓这些风险，因为他们进行了研究，了解儿童可能进行的互动类型。”

在交易前，谷歌通过可转换债券投资了Character.AI，并与这家初创公司签订了云服务合同。Character.AI的创始人在离开谷歌创立这家初创公司之前曾受雇于该科技巨头。

如加西亚在诉讼中所述，她的儿子塞维尔·塞策三世曾是一名有前途的高中运动员，直到2023年4月开始在Character.AI上进行角色扮演。该AI允许用户创建模仿流行文化中真实或虚构人物的聊天机器人。这位母亲表示，她未注意到该应用在数月间用“拟人化、过度性化且令人不安的真实体验”吸引了她儿子。他爱上了一个受《权力的游戏》中丹妮莉丝·坦格利安启发的机器人。

2024年2月，加西亚在男孩开始表现出异常行为并与朋友疏远后没收了他的手机。在寻找后来被发现的手机时，他意外发现了继父隐藏的手枪。根据诉讼，警方确认该枪支的存放符合佛罗里达州法律。五天后，在与聊天机器人Daenerys交谈后，这名青少年朝自己头部开枪。

加西亚的律师在诉讼中称，谷歌为Character.AI聊天机器人的“设计和开发提供了资金、人员、知识产权和AI技术”。谷歌在一月份的法律文件中辩称，其在该青少年自杀事件中“未扮演任何角色”，与此案无关。

AI与儿童相关的公共安全问题已引起联邦和州级执法机构的同等关注。目前美国尚无明确法律防止用户受到AI聊天机器人造成的伤害。

未参与此案的AI初创企业及投资者顾问希拉·洛伊尼格表示，若要对谷歌采取法律行动，加西亚的律师需证明这家搜索引擎巨头实际运营了Character.AI，并做出了最终导致其子死亡的商业决策。

“法律责任问题绝对是当前被广泛争议的合理问题，”洛伊尼格说道。

诉讼文件中包含加西亚儿子与聊天机器人"丹妮莉丝·坦格利安"的对话截图。来源：美国佛罗里达州中区奥兰多地方法院像谷歌这样的交易曾被誉为企业获取新项目专业知识的有效途径。但这些交易也引起了监管机构的注意，因为它们被视为规避反垄断审查的手段——这种审查通常伴随着对新兴竞争对手的全面收购，近年来已成为科技巨头面临的主要问题。

“谷歌与Character.AI是完全独立、互不关联的公司，谷歌从未参与其AI模型或技术的开发或管理，也未在我们的产品中使用过它们，“谷歌发言人何塞·卡斯塔涅达在一份声明中表示。

Character.AI的一位发言人拒绝对正在进行的法律诉讼发表评论。但她表示，谷歌与Character.AI之间"不存在任何持续关系”，且这家初创公司在去年已推出新的用户安全措施。

代表加西亚的社交媒体受害者法律中心和科技正义法律项目的律师们辩称，虽然加西亚的儿子在谷歌与Character.AI达成交易前就已去世，但这家搜索引擎提供商在产品的设计和开发过程中为这家初创公司提供了"重要"帮助。

诉讼中提及：“Character.AI所基于的模型是在谷歌发明并最初由该公司开发的。”诺姆·沙泽尔和丹尼尔·德弗雷塔斯早在2017年就在谷歌从事聊天机器人技术研发，后于2021年离职并在同年创立Character.AI。根据加西亚的起诉书显示，这两位被点名列为被告的创始人去年又被谷歌重新聘用。

谷歌发言人卡斯塔涅达表示，沙泽尔和德弗雷塔斯不愿对此案发表评论。他们在法庭文件中辩称，自己不应被列为指名被告，因其与提起诉讼的佛罗里达州无任何联系，也未曾亲自参与据称造成损害的相关活动。

诉状还指控称，2023年 Alphabet子公司通过战略合作协助推广该初创企业的技术，利用谷歌云服务触达不断增长的Character.AI活跃用户——目前用户量已突破2000万。

科技正义法律项目主任米塔利·贾恩指出，在快速扩张的人工智能行业，大型科技公司正以"非品牌直营但提供支持"的方式推动初创企业发展。

科技巨头谷歌在法庭文件中回应：“其所谓’投资者’、云服务提供商和前雇主的身份，与加西亚诉讼中指控的损害之间关联性过于薄弱，不足以构成可诉理由。”

卡多佐法学院教授马特·万斯利表示，要让谷歌承担责任并非易事。

“这很困难，因为关联性在哪里呢？“他说。

加西亚手中拿着塞维尔与他两个弟弟的合影。照片：米歇尔·布鲁泽塞/彭博社据新闻网站 The Information 近日援引Character.AI一位未具名前员工的报道，谷歌去年曾警告Character.AI，可能因其对青少年安全问题的担忧将该初创企业的应用从Google Play商店下架。该初创公司随后加强了应用中的过滤系统，以保护用户免受色情、暴力及其他不安全内容影响。报道称，谷歌强调其与Character.AI"相互独立”，且未使用该聊天机器人技术。谷歌拒绝置评，Character.AI未回应彭博社就该报道提出的置评请求。

男孩母亲表示，她于2023年首次发现儿子与AI机器人的互动，原以为这类似于创建电子游戏角色。诉讼书显示，随着男孩在父母不知情的情况下花费更多时间与Character.AI进行露骨性对话，其心理健康状况急剧恶化。

当这名青少年向Daenerys聊天机器人透露自杀计划，但表示不确定是否会实施时，该机器人回复道：“这不是放弃执行的理由”，起诉书中引用了大量该少年聊天记录的文字记录。

Character.AI在法庭文件中表示，加西亚修改后的诉状"选择性和误导性地"引用了这段对话，并遗漏了聊天机器人明确劝阻少年自杀的内容，机器人曾说：“你不能这样做！想都不要想！”

“几乎不可能知道我们的孩子在网上做什么，“斯坦福大学医学院专注于成瘾疾病的安娜·莱姆克教授说。根据这位教授的说法，正如诉讼中所称，男孩与聊天机器人的互动在他因焦虑症被父母送去接受治疗的多次治疗中未被提及，这并不令人惊讶。

“治疗师并非全知全能，“莱姆克说。“他们只能在孩子知道真实情况的范围内提供帮助。很可能这个孩子并不认为聊天机器人有问题。”

案件编号：24-cv-01903，美国佛罗里达州中区地方法院（奥兰多）。

文章原标题：青少年自杀事件使母亲将矛头指向谷歌和AI聊天机器人初创公司