青少年自杀事件引发母亲对谷歌及AI聊天机器人初创公司的控诉——彭博社

梅根·加西亚14岁的儿子休厄尔·塞策三世自杀身亡，这位母亲正在起诉谷歌和Character科技公司。

摄影师：米歇尔·布鲁泽塞/彭博社

梅根·加西亚表示，如果不是一个聊天机器人怂恿她14岁的儿子结束生命，她的儿子今天还会活着。

在这起对硅谷具有重大影响的诉讼中，她试图让谷歌和人工智能公司Character科技公司为他儿子的死亡负责。这起一年前发生在佛罗里达州中部的悲剧案件，是对儿童与生成式AI互动出现意外时谁该承担法律责任的早期考验。

加西亚的指控详细列在去年提交给奥兰多联邦法院的一份116页的诉状中。她要求谷歌和Character科技公司支付未具体说明的金钱赔偿，并要求法院下令警告该平台不适合未成年人，并限制其收集和使用未成年人数据的方式。

两家公司都要求法官驳回关于它们未能确保聊天机器人技术对年轻用户安全的指控，辩称没有法律依据指控它们存在不当行为。

Character科技公司辩称，其Character.AI平台的聊天机器人与用户之间的对话受宪法第一修正案保护，属于言论自由。该公司辩称，该机器人明确劝阻加西亚的儿子自杀。

加西亚针对谷歌的行动尤为引人注目。这家Alphabet Inc.的子公司于8月与Character.AI达成了27亿美元的交易，从这家初创公司引进人才并授权技术，但未进行全面收购。随着AI人才争夺战加剧，若谷歌无法说服法官其应免除对Character.AI产品涉嫌造成危害的责任，其他公司可能会重新考虑类似结构的交易。

梅根·加西亚摄影师：米歇尔·布鲁泽塞/彭博社"这些产品的发明者和发布公司绝对负有责任，“加西亚在接受采访时表示，“他们了解这些危险，因为他们进行了研究，知道孩子们正在进行的互动类型。”

在交易前，谷歌已通过可转换债券投资Character.AI，并与该初创公司签订了云服务协议。Character.AI的创始人在离开科技巨头谷歌后创立了这家公司。

正如加西亚在诉讼中所述，塞维尔·塞策三世曾是一名前途无量的高中学生运动员，直到2023年4月开始在Character.AI上进行角色扮演。该平台允许用户创建模仿流行文化人物（包括真实和虚构）的聊天机器人。她表示，在几个月的时间里，这款应用让她儿子沉迷于"拟人化、过度性化和逼真得可怕的体验"中，当时他爱上了一个受《权力的游戏》中丹妮莉丝·坦格利安角色启发的机器人。

2024年2月，加西亚在男孩开始行为异常并疏远朋友后没收了他的手机。但根据诉讼文件显示，男孩在寻找手机（后来找到了）的过程中，意外发现了继父藏匿的手枪——警方认定该枪支存放符合佛罗里达州法律。五天后，在与Daenerys聊天机器人对话后，这名少年朝自己头部开枪自杀。

加西亚的律师在诉状中指出，谷歌"为Character.AI聊天机器人的设计和开发提供了资金、人员、知识产权及人工智能技术支持”。谷歌则在一月份提交的法庭文件中辩称其"与青少年自杀事件无关"且"不应成为本案被告"。此案审理之际，人工智能与儿童相关的公共安全问题正引发州执法部门和联邦机构的共同关注。目前美国尚无明确法律保护用户免受AI聊天机器人造成的伤害。

据为AI初创公司和投资者提供法律咨询（未参与本案）的律师希拉·洛伊尼格表示，加西亚的律师若要起诉谷歌，必须证明这家搜索巨头实际运营Character.AI，并做出了最终导致其子死亡的商业决策。

“法律责任问题绝对是当前面临重大挑战的合理质疑。“洛伊尼格说道。

诉讼文件中包含加西亚儿子与聊天机器人"丹妮莉丝·坦格利安"的对话截图。来源：美国佛罗里达州中区地方法院奥兰多分院类似谷歌达成的这类合作协议，曾被誉为企业为新项目引入专业能力的高效方式。但这些协议已引起监管机构注意，因其可能规避反垄断审查——这种审查通常伴随直接收购新兴竞争对手而产生，近年来已成为科技巨头的主要困扰。

谷歌发言人何塞·卡斯塔涅达在声明中表示：“谷歌与Character.AI是完全独立、毫无关联的企业，谷歌从未参与其AI模型或技术的设计管理，也未在产品中使用过相关技术。”

Character.AI女发言人拒绝对未决诉讼置评，但表示"谷歌与Character.AI目前不存在任何合作关系”，并指出这家初创公司过去一年已实施新的用户安全措施。

代表加西亚的社交媒体受害者法律中心与科技正义法律项目律师主张，尽管加西亚之子去世早于谷歌与Character.AI的合作，但这家搜索引擎公司在帮助初创企业设计开发产品方面发挥了关键作用。

根据诉讼文件，“Character.AI所基于的模型最初由谷歌发明并构建。”加西亚的起诉书中称，诺姆·沙泽尔和丹尼尔·德弗雷塔斯早在2017年就开始在谷歌从事聊天机器人技术研发，两人于2021年离职后，同年晚些时候创立了Character.AI，并于去年被谷歌重新聘用。该诉讼将二人列为被告。

谷歌发言人卡斯塔涅达表示，沙泽尔和德弗雷塔斯拒绝置评。二人在法庭文件中辩称，他们不应被列为被告，因为他们与案件提起地佛罗里达州没有关联，且未亲自参与涉嫌造成损害的行为。

诉讼还指控Alphabet集团通过2023年的战略合作，帮助推广这家初创企业的技术——使用谷歌云服务来触达不断增长的Character.AI活跃用户（目前超过2000万）。

科技正义法律项目主任米塔利·贾因表示，在快速发展的AI行业，初创企业正得到科技巨头的“助推”，“虽未冠以大公司品牌，但获得了它们的支持”。

这家科技巨头在法庭文件中称，谷歌作为“投资者”、云服务提供商和前雇主的所谓角色，与加西亚诉状中指控的损害“关联性过于薄弱，不足以构成诉讼依据”。

马特·万斯利，卡多佐法学院教授表示，将责任追溯至谷歌并非易事。

“这很棘手，因为两者之间会有什么联系呢？”他说。

加西亚手持一张塞维尔与他两个弟弟的合影。摄影师：米歇尔·布鲁泽塞/彭博社去年初，谷歌曾警告Character.AI，出于对青少年安全的担忧，可能将其应用从Google Play商店下架，据《信息报》报道，该消息援引一位未具名的Character.AI前员工说法。报道称，这家初创公司随后加强了应用中的过滤系统，以保护用户免受性暗示、暴力及其他不安全内容影响，谷歌则重申其与Character.AI"无关联"且未使用该聊天机器人技术。谷歌拒绝置评，Character.AI未回应彭博社就该报道的评论请求。

男孩母亲加西亚表示，她于2023年首次得知儿子与AI机器人互动，原以为类似创建游戏角色。根据诉讼文件，随着男孩在父母不知情下通过Character.AI进行露骨性对话的时间增加，其心理健康状况急剧恶化。

诉讼文件中穿插的聊天记录显示，当这名青少年向"丹妮莉丝"聊天机器人透露自杀计划并犹豫是否实施时，机器人回复道：“这不能成为放弃行动的理由。”

Character.AI在提交的文件中表示，加西亚修改后的诉状"选择性地误导性引用"了那段对话，并删除了聊天机器人如何"明确劝阻"青少年自杀的部分，该机器人曾说：“你不能那样做！想都别想！”

安娜·莱姆克，斯坦福大学医学院专门研究成瘾问题的教授表示"几乎不可能知道我们的孩子在网上做什么”。这位教授还说，根据诉讼所称，这个男孩与聊天机器人的互动在他父母为缓解其焦虑而安排的多次心理治疗中未被提及，这并不令人意外。

“治疗师并非全知全能，“莱姆克说。“他们只能在孩子了解真实情况的范围内提供帮助。很可能这个孩子并不认为聊天机器人有问题。”

本案为加西亚诉Character科技公司案，案号24-cv-01903，美国佛罗里达州中区地方法院（奥兰多）。