AI的全新挑战：大模型“价值对齐”不可或缺

去年OpenAI开启生成式人工智能浪潮，由大模型带动的AI产业一路狂奔。行业快速发展过程中，如何让它的行为跟人类的价值真实意图、伦理原则相一致，这成为学术、政策、产业等领域多方关注的“价值对齐”问题。

10月26日，由腾讯研究院华东基地、腾讯优图实验室主办的第一期“智创沪联”活动，在上海诺布中心正式举办。活动以“大模型价值对齐”为主题进行研讨，深入探寻价值对齐问题的创新性解决方案与法律伦理治理，确保AI技术符合社会预期，探索AI与人类价值间的平衡。多位来自AI领域前沿的学者、专家分享自己看法和研究成果。

上海市人工智能行业协会秘书长钟俊浩在致辞中指出，在行业发展过程中，大模型的“价值对齐”作为一种推动各领域协同发展的有效手段，具有重要的现实意义和深远的影响，还将为全球合作与发展提供新的契机。

上海交通大学副教授刘鹏飞指出，包括OpenAI在内的大部分人工智能推动组织，都在积极运用各种方案加强价值对齐的完善落地，诸如监督精调、基于人类反馈的强化学习、基于检索的事实对齐，以及尝试使用工具对模型进行对齐，都是现阶段被行业寄予厚望的“AI价值对齐”可执行方案。

人机合作走向现实，AI价值对齐不可或缺

如何避免数据规模与算力不断提升的AI大模型遭到滥用、生产有害内容，已经是人工智能行业的核心议题之一。正因如此，能够有效增强AI大模型安全与实用性的“AI价值对齐”，才会成为行业关注的焦点。

腾讯研究院秘书长张钦坤指出，价值对齐将成为AI产品的重要竞争力。因为，大模型价值对齐的实现，需要对齐技术（人类反馈强化学习、AI监督等）、训练数据干预、模型可解释、对抗测试等多种技术和治理措施的结合，同时未来还需要着重考虑如何通过更多的社会参与来形成价值对齐的共识，以及如何使监督、理解、设计AI模型的能力与模型本身的复杂性同步发展，以更好地对大模型进行有效的监督。

“我们期待的是大语言模型可以和人类的价值、真实的意图相一致，确保AI技术可以可靠和安全地服务于人，并且确保社会经济可以健康地增长。”上海交通大学刘鹏飞副教授介绍道。

刘鹏飞教授表示，随着生成式人工智能实用性不断增长，除了最基础的性能优化之外，价值对齐的重要性，也随着AI大模型的快速迭代迅速提升。缺乏对齐的大模型不仅会生成大量虚假甚至有害的信息，在高阶应用领域更会产生巨大的危险隐患。

上海交通大学的闫宏秀教授则表示，技术的发展进步，始终遵循着消除风险、力求确定性的趋势，作为应对风险的有效方式，“信任”始终是人类的必选项。没有信任，技术发展的停滞几乎是必然的。让人工智能走向可信、可控、可靠，让人机合作走向现实，“AI价值对齐”正是其中不可或缺的一环。

“以合乎伦理的结构性性能来夯实价值对齐的底层伦理逻辑，以对信任的理性认知构建价值对齐的边界。”闫宏秀教授总结道。

让AI价值对齐落地，多国用立法进行诠释

多位嘉宾在论坛活动上表示，明确了技术路径，如何将技术理论结合实际需求尽快落地，无疑是现阶段“AI价值对齐”议题的发展重点。

来自上海人工智能实验室治理研究中心的研究员滕妍指出，想要加速“AI价值对齐”的发展，除了“基于人类反馈进行调整”之外，让人工智能部分监督，或者协调人类技术进行监督，提供一些高质量的反馈数据来提高价值对齐能力，是目前各国热度很高的研究方向之一，包括OpenAI在内都对这个领域投入过不少关注。

“除此之外，在‘确认大模型是否对齐’的评估环节，除了采用人工手段进行验证之外，通过专用的AI模型来进行评测，同样逐渐成为行业的趋势所在。”滕妍认为，从准确率来看，评测模型依旧有提升空间，但从执行与迭代的效率来看，利用AI大模型来加速人工智能价值对齐，前景十分可观。

除了技术与伦理层面，在攸关社会现实运转的法律层面，“AI价值对齐”同样带来了全新的挑战，对此，来自同济大学法学院的助理教授朱悦，分享了最新的行业观点：

“从国内的《生成式人工智能信息安全服务规定》，到欧盟的《人工智能法案》，再到美国头部企业的深度自治试验，在全球范围内，积极推动AI大模型技术发展的国家和地区，都将相关法令研讨提上了日程。而透明、可解释和可问责以及个人层面的隐私保护等详尽问题，都是现如今在立法过程中遇到的挑战。”

朱悦指出，虽然在目前这个“AI价值对齐”依旧处于基础技术迭代的早期阶段，在法律层面上做出定论为时尚早，但从各国政府和跨国企业的积极性来看，通过立法对“AI价值对齐”进行诠释，并通过实践来不断完善，已经是行业的大势所趋。

围绕AI对齐的方法论、监管实施等话题，来自上海复旦大学计算机系的肖仰华教授、上海交通大学的张拳石副教授、对外经济贸易大学法学院的许可副教授、安远AI资深研究经理方亮、蚂蚁集团全面风险管理部专家王炳浩，以及腾讯优图实验室的高级研究员李珂、腾讯研究院高级研究员曹建峰，通过圆桌讨论深入交换了观点见解，从不同角度出发，剖析并肯定了“AI价值对齐”对人工智能行业发展的重要意义。

关注AI价值对齐科技向善再进一步

AI价值对齐，是当前阶段人工智能领域最具挑战性的基础研究项目之一，需要广泛的学科和社会参与，其研究价值，更是攸关下一阶段更强大的AI能否得以安全控制，实现AI向善的长远目标。AI价值对齐所蕴含的伦理道德意义，也是与主办方腾讯研究院一贯坚持的“科技向善”理念吻合。

根据腾讯研究院华东基地秘书长徐思彦介绍，腾讯研究院作为腾讯公司设立的智库机构，在上海设立了华东基地作为区域研究的交流平台，联合本地产学研各类机构，通过对话沙龙、课题研究和白皮书等方式，开展前沿科技、人工智能、未来城市、金融科技、工业互联网等多领域的研究。

作为腾讯研究院华东基地打造的城市品牌系列活动，“智创沪联”论坛将定期邀请业界专家，探讨在科技创新不断的发展过程中，前沿科技的演变可能带来的商业模式的变化以及涉及的相关政策和法律问题。

作为第一期的“大模型价值对齐”研讨活动，得到了上海市人工智能行业协会、上海市数据科学重点实验室、上海人工智能实验室治理研究中心，以及对外经济贸易大学数字经济与法律创新研究中心协办支持。