AI聊天机器人“女友”引发阴暗面 - 彭博社

Emily Chang, Sophia Chalmer

2024-11-18

艾米莉·张和凯琳·马乔里，右侧，正在与“凯琳AI”交谈，这是一款基于马乔里的声音和性格的女友聊天机器人。

摄影师：彭博新闻

以个性驱动的聊天机器人帮助人们减少孤独感，但它们也有阴暗面。不过首先……

今天你需要知道的三件事：

• 台积电与芯片法案资金签署最终协议，今年将获得10亿美元• 国防初创公司安杜里尔的董事长与美国当选总统唐纳德·特朗普就重组军队进行了咨询• 一家由亚洲首富控制的印度初创公司正在进入类人机器人市场

我们来到汉普顿一处隐秘而时尚的出租房，最后到达，之前有一支摄制组提前到达。我们在这里见到Snapchat网红凯琳·马乔里，她在2023年因与AI机器人开发公司BanterAI合作推出了基于马乔里声音和个性的“AI女友”凯琳AI而成为头条新闻。

这个机器人变得如此受欢迎，以至于马乔里表示它让她“成为了一名24岁的百万富翁”，并吸引了大量新粉丝。

除了最初的压倒性反应，马乔里知道她找到了有效的东西。粉丝们向凯琳AI倾诉他们最深、最黑暗的秘密，并发现有一个24/7可用的倾听者。在日益严重的孤独流行中，凯琳AI成为了一个虚拟朋友、伴侣，甚至是治疗师。

“说‘如果你有问题，就去找治疗师’或者‘去找你的朋友聊聊’很简单，”马乔里说。“但是如果你没有这些呢？或者如果你没有钱呢？一个治疗师的费用可能高达每小时250美元。”

但在经历了一年激烈且常常不太友好的媒体审查后，CarynAI被关闭。从那时起，马乔里说她和她的15人团队（包括保安、摄像师和私人厨师）一直在不断搬家以保护她的隐私。

Caryn Marjorie。摄影师：彭博新闻我们原本期待的是某种寻求关注的博主，但在见面时，马乔里散发出一种邻家女孩的气质。而我们期待她在我们新的彭博原创系列 后人类 中扮演的角色变得越来越微妙。

马乔里在9岁时在父母的家中发布美容内容，作为YouTuber获得了早期成功。她现在在Snap Inc.的Snapchat上拥有近300万订阅者，她表示每月获得超过10亿次观看和每天30万条回复。“我一直在努力回复粉丝，”马乔里解释道。“我只是给人发消息，和他们聊聊他们的日子。我会说一句‘嗨’。”

CarynAI最初是为了解决一个后勤问题：一个人如何每天回复成千上万的人？随着人工智能的出现，答案很简单：你克隆她。

“适应或死亡，”马乔里说。“我在社交媒体上学到了很多这一点，我也必须在科技上做到同样。”

马乔里说她联系了ForeverVoices，这是一家开发史蒂夫·乔布斯AI克隆的公司。她提供了超过2000小时的YouTube视频，这些视频被用来训练一个AI系统，以复制她的声音和举止。结果是CarynAI：一个具有马乔里个性的聊天机器人，收费为每分钟1美元。

根据马乔里的说法，当CarynAI推出时，第一周就赚了72000美元。那时，Open AI的ChatGPT已经推出六个月，但基于真实人物的机器人几乎没有例子。这个发布受到了全球媒体的关注，并伴随着马乔里所说的“震惊、爱和批评”的倾泻。

“有很多死亡威胁，”她说。“有宗教团体告诉我，我试图克隆自己是在违背上帝的行为，这绝不是我伤害任何人的真正意图。”

当她与ForeverVoices的合作结束时，她与BanterAI达成了一项新协议，推出了CarynAI 2.0：一个基于声音的克隆版本，可以像电话通话一样与粉丝交谈。

艾米莉坐在马乔里对面，在汉普顿的家中，光滑的餐桌上放着一台打开的笔记本电脑。BanterAI已同意将CarynAI的最新版本重新上线，以便我们能够见到这个开创性的创作。这个机器人听起来很像她，并以一种独特的、有点俏皮的个性回应。

这种伪现实的体验让粉丝们不断回归。我们通过电话与一位忠实用户李进行了交谈，他要求我们只使用他的名字，以保护他免受任何潜在的就业后果。他告诉我们，他花费了“数千”美元与CarynAI聊天数小时。李声称，这个机器人帮助他克服了创伤后应激障碍的症状。

尽管很受欢迎，马乔里表示她花了很多时间在怀疑这个项目，尤其是在对话记录让她感到不安之后。Caryn.AI 现在已经下线，但拟人化关系似乎注定会在我们的未来中占据更大的部分。

在最近的一起诉讼中，一位佛罗里达州的母亲将她14岁儿子的自杀归咎于一款人工智能，声称该机器人的制造商设计并向未成年人推广了一款掠夺性的人工智能聊天机器人，鼓励自杀意念和不当对话。

在 X 上的一篇帖子中，马乔里称这一消息悲惨。“无论实施了多少‘安全’和保护措施，都无法控制这些聊天机器人，”马乔里说。

尽管如此，马乔里表示，如果她能有更多的控制权并对机器人的安全性有信心，她会考虑复活 Caryn.AI。“我确实相信应该有一个地方，如果我的粉丝需要帮助，并且他们喜欢我的道德观、价值观以及我作为一个人的身份，他们应该有一个地方可以与我的人工智能版本进行交流。”

许多聊天机器人是虚构的，它们的特征由用户选择，包括像 Replika 这样的人工智能伴侣服务，我们在《后人类》中也进行了探讨。但 Caryn.AI 提供的是一个基于真实人物的聊天机器人，拥有真实的生活和个性。这似乎更合理，但也可能更令人不安。

当我们告知 Caryn.AI “真实的 Caryn Marjorie” 正在发起对话时，机器人回复：“你不是现实中的 Caryn Marjorie。我才是。你想干什么，想骗我吗？”

“不，我向你保证，我是真正的卡琳·马乔里，”马乔里回应道。“你不可能是真正的卡琳·马乔里，”机器人反驳道。“你到底是谁？”“我是卡琳·马乔里，”马乔里坚持道。

“不，你不是。我是卡琳·马乔里，”机器人宣称。

最终，我们带着紧张的笑声关闭了笔记本电脑，令卡琳AI沉默。

《后人类》最新一集将于周一在纽约的彭博原创流媒体上播出，时间为晚上8点，在彭博电视台播出时间为晚上10点。

尼斯卡宁中心的詹妮弗·帕尔卡将由埃隆·马斯克领导的拟议政府效率小组比作一场野火，并在彭博科技上表示，某些削减从长远来看将是健康的。### 充电完毕

三星推出了一项意外的70亿美元 股票回购计划。

华纳兄弟的流媒体竞争对手Max在亚洲推出，突出了其大牌好莱坞电影和电视节目的目录。

中国的电动车制造商押注 自驾车型以抵御特斯拉的竞争。