越来越聪明的AI，真的能造福人类吗？_风闻

撰文 | 李信马

题图 | 图虫创意

最近火爆的DeepSeek，深深激励了国人，因为其不止是在大模型的能力上，终于达到了世界一流水平，而且也让我们看到了国内AI产业摆脱美国算力封锁的可能。

取得了“开年红”是好消息，不过，笔者也有些“杞人忧天”的想法：越来越聪明的AI，真的能造福人类吗？

一、AI碾过老病残

2024年12月4日，纽约曼哈顿的一声枪响，揭开了人类反抗AI暴政的序幕。

躺在血泊中的美国联合健康保险公司首席执行官布莱恩·汤普森，在他50岁的人生里，是真正意义上的“成功人士”，2023年，他的总薪酬高达1020万美元，而枪击他的26岁青年路易吉·尼古拉斯·曼吉奥内出身显赫、才华横溢，所有认识他的人都不会怀疑，他将拥有远大的前程。

两人命运的交错，令全世界感到错愕，而科技的进步，却成为了引爆这一切的导火索。

图片来源：网络

2021年，布莱恩·汤普森担任联合健康保险CEO，成功带动公司的利润不断增长。不过，代价是什么呢？

在他的任期内，联合健康集团被指责通过AI手段大规模拒赔以及减少保费支出。据外媒报道，美国私人医疗保险行业的平均拒保率约为16%，联合健康的拒保率则是全行业最高的32%。在美国阿拉巴马州的联合健康分支机构，拒赔率达到了惊人的41.6%。

所谓的AI手段，就是用AI取代人做决定。

2020年，联合健康用10亿美元的价格收购了急性后护理管理软件服务公司naviHealth，这家公司宣称的主要业务，是与医疗提供商合作，通过技术工具协调临床决策，并跟踪患者数据。

naviHealth 有一款名为nH Predict 的人工智能算法，它的作用是估算病人术后需要多长时间的后期护理。保险公司只需要输入年龄、生活状况、身体机能等信息，AI就会自动给出一系列结果，包括医疗需求、出院日期等……

听起来很先进？这项技术也许唯一的问题就是，它比人类更“冷酷”，估算出来的时间，有时候短于医生的建议，也短于病人的实际需求。有的病人合理的理赔被拒绝，也有医生诊断也被干涉，影响了最终的治疗和康复。

但是对保险公司来说，可就省下来了不少的保费支出。

2023年10月，naviHealth因使用算法削减患者护理费用受到国会批评；次月，有集体诉讼称，naviHealth的内部算法拒绝护理索赔的错误率高达90%。

2024年10月，美国参议院发布的报告显示，联合健康集团在2019年至2022年期间大幅增加了通过算法自动化处理的索赔拒绝，系统性地限制了后期护理（包括家庭健康服务和长期住院护理）以实现利润最大化。

2020年到2022年，联合健康集团的后期护理拒绝率从10.9%上升到22.7%，与之形成鲜明对比的是，集团的年利润从2021年的120亿美元上涨到了2023年的164亿美元。在2024年《财富》世界500强企业中，联合健康集团名列第八，年营收高达3716亿美元。

“delay（拖延）”“depose（驱逐）”“deny（否认）”，这三个单词被刻在弹壳上，遗留在案发现场，就是青年路易吉对联合健康集团最直白的控诉。

不过，路易吉少有，而AI的应用却越来越广泛。就像很多科幻片所担忧的那样，有一天人工智能无处不在，那对人类来说，是好事还是坏事呢？

二、替代人类的AI

再温和的话语也改变不了一个客观事实——一些原本属于人类的工作，正在被AI替代。

就像火炮击碎了骑士的城堡，蒸汽机淘汰了原始的畜力，人工智能越来越聪明，聪明到尚不用超过人类时，许多人类劳动的性价比就已经丧失了。

这种改变有时是轰轰烈烈的，比如无人出租车对人类司机的替代，因为庞大的产业链和与人的生命安全息息相关而受到广泛关注。有的则悄无声息，比如公司里的一名员工被裁员了，没有人来顶替他的职位或者接手他的工作，但公司没有受到任何影响，只是少发了一份工资。

在这些职业中，客服是极具代表性的一种，也是目前AI应用最为成熟的领域之一。这两天有一条消息在网络上流传，国产美妆品牌韩束的母公司上美股份内部聊天群里，董事长兼CEO吕义雄提到要用AI替代人工，其中裁员比例最惨烈的就是客服，淘汰率高达95%。

网传的上美股份内部聊天记录 图片来源：网络

这个即将消亡的人类岗位，也是一个有趣的例子，既可以证明AI替代人工是大势所趋，也验证了，有时候技术落地的目的，并非造福大多数人，只是为了“降本增效”。

企业和用户通过产品进行交易，当产生矛盾时，客服就是企业和用户之间沟通的桥梁。但雇佣人工客服，除了工资，企业还要承担培训、场地等费用，职工还需要下班休息，如果为了提供24小时客服而三班倒，那成本简直在飙升。于是，在上一个十年，不少企业就采用了尚不成熟的AI技术，让用户们好好感受到了什么叫“人工智障”。

对此笔者也深有体会，有时AI客服的确也能解决问题，但当你火急火燎的时候，电话另一边的AI还在不紧不慢的挨个报项目让你来拨号，念到最后发现没有对应的选项，简直能把人给气死。

从技术的角度来说，早期的智能客服，是以NLP（自然语言处理）技术为核心，融合了ASR、TTS、机器学习、知识图谱等技术，使机器完成识别、理解和反馈，本质上还是判别式AI。仅这一点，它的效果就不可能有多好，因为判别式AI就聊不好天。

对此，企业心知肚明，但它实在太便宜了！

好在故事还有下半场，随着以大模型技术为代表的生成式AI兴起，新一代的智能客服“善谈”了许多，让用户体验大大改善，也为人工客服敲下了最后一颗棺材钉。

在中国，智能客服算是一个“风口”，在金融、政府、电信、互联网/电商、零售、能源、制造、医疗等领域，智能客服正在被广泛应用。去年8月，国际数据公司（IDC）发布的《中国智能客服市场份额， 2023 ：新旧交替，增长可期》 报告显示，2023年智能客服解决方案整体市场规模达到了30.8亿人民币，较2022年增长了近36.9%。

去年年末，笔者采访了容联云副总裁孔淼，在智能客服领域有丰富经验的孔淼认为，智能客服对人工客服的取代，是明显的“技术驱动”，先有互联网、移动化、大数据、大模型等技术，有的企业因技术而受益，进而推广形成相应的产品和软件标准。

而先进的生产力一定会取代落后的生产力，这一点，从其推动者也可以看出。国内智能客服领域，市场份额占比前三的都是云厂商，它们既有庞大的客户群体，也是国内研发大模型的主力军。在更大范围的全球市场上也是如此，不久前，亚马逊云科技在 2024 re:Invent 全球大会上推出的云联络中心解决方案 Amazon Connect，有着强大的智能客服能力，据称将美的全球联络中心的60秒内用户电话接通率提高到了95%以上。

未来人类，将不得不习惯和AI打交道，但对人尚且“知人知面不知心”，我们又怎么判断AI的善恶呢？

三、谁来决定AI的善恶？

这个问题其实应该分两部分，首先，是人类想要“教好”AI。

当AI训练的数据本身存在偏差，算法本身有问题，还有训练AI时的指导原则不当时，AI就可能会“学坏”。训练大语言模型有一个原则是“输入垃圾，输出垃圾”，最近纽约大学的研究者发表在 Nature Medicine上的研究显示，仅将0.001%的训练token替换为错误信息，就训练出了更有可能传播错误医学的模型。至于容易产生幻觉，还有大语言模型“爱骗人”，更是老生常谈，并且规模越大的模型越难以改正。

还是以智能客服为例，孔淼介绍，他们在落地模型时，为了让模型能够更好地理解行业术语、业务流程和客户需求，在预训练阶段，会利用企业沉淀的数据资源，还有垂直领域的公开数据来增强模型的理解能力。应用时，还要关注流程效率、数据整合等，包括公有数据与私有数据的融合，以及RAG等配套措施的实施。

此外，还要防备大模型被坏人利用，比如微软的聊天AI，曾经就被网友们教会了骂脏话而不得不下线。大模型时代，更智能的AI一旦被利用造成的危害会更严重。

不过，人类对AI的应用水平也在不断进步，这些问题是会被逐渐解决的。

更大的问题在于，当人类有能力训练出好的模型，却如同文章开头的案例那样，出于利益的目的，而故意“教坏”了AI。说到底，AI的良心取决于训练它的人。

不久前，IBM的一项研究发现，AI已经可以非常擅长编写网络钓鱼的电子邮件，可以自动化的生成并进行海量的分发。当AI越来越聪明，谎言越来越完善，人类也会从破口大骂到半信半疑，再到深信不疑，现在中文互联网已经有被AI生成的内容污染的迹象。去年就曾有人用chatGPT编写假新闻，说杭州要取消汽车限行，不少媒体还转载了。

保证大模型被安全的使用，也是未来人类要面临的重要挑战。

在2023年4月，OpenAI发布了《我们迈向人工智能安全路径》白皮书，提到了6点原则：

构建安全的AI系统实际应用中持续去做改进安全测试保护儿童尊重隐私提高事实准确性开放持续投入，促进合作

但一直到去年5月，OpenAI才正式成立了安全委员会，在8月才开始将新模型交美国政府来进行安全评估。

去年年底，蚂蚁集团数据治理和发展部总监吴映京在接受DoNews采访时，谈到这个话题，他表示，AI发展本质上的一个终极命题，就是我们会不会变成《黑客帝国》，由AI控制一切？目前来看，AI大致还是被关在笼子中的。

“首先，对AI要受到监管这一点，各国政府的态度非常明确。2024年6月欧盟的《人工智能法》里面，提出了对人工智能进行分级的概念，欧洲过去一直是人权第一，但是在AI上适当地灵活，将人工智能的风险分级，像是保险拒赔的环节，甚至未来在犯罪发现的环节，用AI一定要做更强的人工干预，来确保它没有偏见和歧视。如果是日常的，比如说去咨询怎么买票，怎么订餐这种属于低风险的领域，可以做低风险的监管，美国的思维也类似。

我们国家从《个人信息保护法》上来讲，有明确的一条讲自动化决策，如果自动化决策对于个人权益有重大影响，第一要能够给予充分的解释，要对用户可解释；第二用户要有权拒绝自动化决策，可以要求必须有人工判断。至少我了解到的，不管是金融还是其他领域涉及到对用户有重大影响的环节，在国内一定是依据可解释的规则和依赖人工的强干预。”

图片来源：蚂蚁集团

但从技术上来说，蚂蚁集团大模型数据安全总监杨小芳表示，AI的伦理或者说价值观，是没办法和人类完全对齐的，实际应用中，人类也会赋予AI说话甚至代替人类决策的权力，那么就会存在人工智能过度代理的问题，超出人类能想象到的测试或者防控范围。

如果我们期盼，AI的不断发展，能够始终造福人类，而不会伤害人类，那么我们需要与时俱进的监管制度的建设，在政策的引导下，再通过技术去缓释这样的风险。

毕竟，作为人类，与其求神拜佛一样指望AI有“良心”，还是更应该从源头上就做好这一切。