刘宇轩 郁建兴 | 人工智能大模型时代的可信治理_风闻

刘宇轩 | 浙江大学公共管理学院博士研究生

郁建兴 | 浙江大学公共管理学院教授、社会治理研究院

院长

本文原载《探索与争鸣》2025年第6期

具体内容以正刊为准

非经注明，文中图片均来自网络

随着2022年底ChatGPT一炮走红，人工智能大模型迅速成为社会治理关注的重要议题。此后以Stable Diffusion、SORA、Suno为代表的一系列大模型在各个行业纷纷展现出了巨大的应用潜力。2025年初DeepSeek火爆全球，更进一步推动了人工智能大模型的开源化进程。研究表明，在大语言模型的辅助下，各领域专业工作者的生产力平均提高了15%。一时间，有关人工智能大模型的使用前景与潜在风险的讨论遍布社会治理的方方面面。经过短时间的开发和部署，服务于社会治理的人工智能大模型已经从美好愿景变成了现实。以杭州为例，生成式人工智能大模型在杭州“城市大脑”中已经被广泛应用，完成了对从旅游推荐到政策解读的大量治理事项的赋能。上海市的“一网通办”平台应用类似技术，根据市民历史办事数据和个人特征，主动推送个性化的政务服务建议，显著提升了服务满意度。伴随着人工智能大模型的广泛应用，随之而来的是大量使用者因为大模型“幻觉”等原因被模型的虚假输出和错误输出误导的报道。这些案例揭示了人工智能大模型存在着可信边界，也展示了社会治理中大模型的不可信输出带来的社会危害。因此，如何让人工智能大模型可信地赋能社会治理成为当下亟需关注的治理议题。

社会治理中的可信人工智能大模型

在目前社会治理领域有关人工智能的讨论中，一个常常被提及的概念是生成式人工智能大模型，在许多官方文件中也使用了同样的表述。生成式人工智能大模型属于人工智能大模型的子分类，与之平行的是判别式人工智能大模型。为人熟知的ChatGPT（文本生成）、Stable Diffusion（图像生成）等都属于生成式人工智能模型。可以发现，在社会治理研究文献中的生成式人工智能主要指代ChatGPT和DeepSeek这类生成文本的人工智能大模型。本文聚焦于更广泛的人工智能大模型，原因有三。第一，人工智能大模型和传统深度学习模型存在范式上的差异，前者依赖于预训练的模型模块，在此基础上组合并微调，形成具有庞大参数量的通用模型，后者则是从零开始训练、参数量远小于前者的单一任务专用模型，而恰恰是这种训练范式的转变，而非文本生成，赋予了人工智能大模型能力“涌现”的可能。第二，社会治理中存在大量的判别式任务，在这些任务中判别式人工智能大模型，如CLIP、OpenCLIP和DINO等，可以凭借更低的计算资源需求、更少的训练与推理时间、更容易实现的微调以及广泛开源资源的支撑等因素拥有巨大的优势。事实上，在一些特定任务上，判别式模型的表现也比生成式模型更有竞争力。因此，在社会治理中讨论可信议题时仅仅关注生成式人工智能大模型是不充分的，应该同时关注判别式人工智能大模型。事实上，两者在训练范式上保持一致，生成式人工智能技术也由来已久，并没有证据表明其具有足够的特殊性。第三，随着社会治理领域对于人工智能大模型的使用经验愈发丰富，不同模态的数据类型都能得到有效利用，仅仅关注文本生成类模型忽视了多模态人工智能大模型在社会治理领域巨大的应用前景。相应地，我们将关注点聚焦大模型背后的训练范式对社会治理的影响，而非其中某个单一类型的模型。

人工智能大模型（Foundation Model）指代的是一种与传统模型训练范式不同的模型。例如，CLIP模型会使用预训练好的文本编码器和图像编码器，其中的参数在训练过程中会被冻结，在训练过程中使用对比学习技术将文本编码器和图像编码器的输出进行对齐，从而实现分类任务。根据算力资源的不同，可以选用不同参数规模和模型结构的预训练模块提升模型的效果。这一范式的好处在于可以最大化地利用数据资源。在传统深度学习模型的训练中，研究人员需要针对具体任务收集数据，模型只能使用和任务相关的数据。这导致了数据收集成本高、训练数据可复用率低以及可用数据量不足等问题。人工智能大模型的训练范式可以在选用预训练模块时使用和任务无关的数据，这意味着训练数据收集成本的降低和可复用性。这些预训练模块相较于传统深度学习模型往往具有极强的性能。依然以基于CLIP的模型为例，目前只需要将模型在与任务关联的少量数据上微调就可以让模型既继承预训练模块的强大性能，又能针对性地适应专业化的任务。其中的代表性模型包括MaPLe和TipAdapter等。生成式人工智能与人工智能大模型的概念鉴别具有重要意义，这是因为两者的分析出发点不同，前者是以当下受到广泛关注的产品为出发点，而后者则是以模型背后的训练范式变革为出发点。显然，基于人工智能大模型这一概念展开分析更契合社会治理视角下的需求，能够更直接地凸显模型训练范式的转变这一核心影响要素。而对判别式模型的忽视则可能导致研究者过多关注互联网巨头，忽视了开源社区的巨大潜力，因为目前判别式大模型相比于生成式大模型在开源化进程上明显领先。

人工智能五次范式变迁

在传统人工智能技术研究中，可信被分为公平性、隐私性、鲁棒性、可解释性等不同维度并分别讨论。从技术角度出发，可信人工智能的研究主要包括：界定可信概念并数学符号化和通过算法约束保证可信指标。随着大模型浪潮袭来，许多传统深度学习中的可信研究范式受到冲击。以公平性为例，传统的生成式模型可以通过对生成结果的统计分析计算模型的公平性指标，但是多模态大模型可以通过调整提示词影响生成结果，传统的测试方式面临失灵困境。另一方面，传统深度学习研究中关心的可信维度在讨论社会治理中的人工智能大模型时并非都是重要的。例如受到广泛讨论的可解释性问题在大模型时代来临之后，已经成为在可预期的未来难以解决的问题。没有证据表明，在可预计的未来能够在科研层面实现相关突破，解释大模型的分析和决策动机。而DeepSeek等模型提供的深度思考功能更应该被看作一种高质量的输出，依然无法解释背后海量参数如何最终影响了模型输出。然而，社会治理中人工智能大模型的部署不可能因为可解释性缺失而停下。对于社会治理而言，相较于解释模型，更应当关注的是如何用好模型、用对模型。

从社会治理角度来看，技术维度的可信并不具备直接使用的条件。举例来说，如何规避不法分子使用模型作恶的问题从技术层面看是一个值得研究的问题（例如一些有关诈骗邮件的技术性解决方案），但是对于社会治理而言，此类犯罪问题一直存在，治理此类问题也是社会治理的日常议题，并且有成熟的解决方案。人工智能大模型的出现只是提供了一种新的工具，并没有颠覆社会治理的问题本身。如果仅仅因为大模型可能被拿来作恶就认为大模型不可信，至少在社会治理层面是不可取的。一种工具在使用中是否可信，应该关注它是否质量过硬可以完成任务，而非它是否可能被不法分子利用。

因此，本文认为社会治理中的可信人工智能大模型需要关注：如何在社会治理中可信地使用大模型，避免受到大模型因知识不足、模型幻觉等原因产生的错误虚假信息的误导。当然，公平性、隐私性等问题依然十分重要，需要受到广泛关注。但是需要明确的是，人工智能大模型是面向多任务的模型，且受到提示词引导的影响。因此，这些问题应当属于如何通过价值引导、法律法规等途径规范模型使用的范畴，而不能直接沿用技术研究中的可信判别模式。

区分社会治理视角下的可信模型与技术视角下的可信模型

可信这一概念，在与人工智能相关的诸多领域都受到了广泛关注。相对于应用学科，人工智能算法研究是更加底层的研究内容，这意味着在人工智能研究领域需要考虑不同应用场景中潜在的可信风险。相应地，技术视角下的可信性通常侧重于通用性与普适性原则，却在面对特定应用场景的专业化知识需求时展现出适配性不足。而社会治理作为人工智能大模型的具体应用领域，具有更为聚焦的关注范畴和明确的专业需求，这要求可信性评估必须适应其独特的治理环境与知识体系。同样，信任与可信是社会治理中备受关注的基础性概念，随着社会治理的发展，信任与可信也发展出各种各样的内涵。但是，涉及具体技术的可信需要更加具体的定义，因此本文讨论的可信是基于实践、可操作的可信，与传统社会治理理论中的可信有所区别。换言之，需要在社会治理的可信观启发下，寻找人工智能大模型应用于社会治理场景中合适的可信概念。本文讨论的可信旨在解释什么样的模型在社会治理视角下是可信的，是一种以技术可行性为出发点、以治理诉求为落脚点的可信概念。

在人工智能技术领域的研究中，为了给下游应用提供更宏观全面的指导，公平性、隐私性、鲁棒性、可解释性等概念都被纳入可信范畴。技术视角下的可信需要涵盖上述方面是由技术研究人员的身份，也即算法开发者决定的。而在社会治理中，治理人员和治理对象的身份都是算法的使用者。因此，社会治理视角下人工智能大模型的可信，更应该关注模型的使用而非模型的开发。对于算法开发者而言，隐私等问题的关注源自许多主体面对互联网巨头时的力量不对等。而作为中国社会治理的核心主体，政府既有能力也有动力通过政策文本和法律法规来约束互联网巨头，有效保护公民隐私权不受侵犯。事实上，即便人工智能领域就技术视角下的可信子议题展开了大量研究，这些问题距离系统性解决依然存在很大距离。目前人工智能算法公平就什么是适合公平性的数学定义而言依然存在争议，尽管研究人员已经提出了多达百种的公平性指标。在大模型时代可以通过修改提示词来调整模型的输出，公平的评估本身也具有一定难度。使用具有误导性的提示词和细心设计的提示词会让模型具有不同公平性指标结果的输出。可解释性的研究随着大模型时代的到来遭遇更大的困难，一个包含数以亿万计参数的模型如何决策已经超出了目前的研究和认知水平的边界。但与此同时，人工智能大模型已经被应用于社会治理的方方面面。

因此，社会治理不得不面对这样一个矛盾：技术层面定义的可信问题得到系统性解决依然需要时日，但是在社会治理中可信地使用人工智能已经是当下就需要面对、定义和解决的问题。

这一核心矛盾表明，如果社会治理依然照搬硬套技术视角下的可信概念，不仅可能和社会治理脱节，更会导致此类研究处在原地打转的状态，因为其本质在于非技术人员期望解决技术人员短期内都无法解决的技术难题。有一种质疑的观点认为，即使通过政策和法律手段解决诸如互联网巨头侵犯个人隐私、使用私人数据训练大模型等问题，依然属于模型可信的范畴。这同样是不恰当的，因为这类问题本质上是社会治理中的不同主体间的博弈，即使人工智能大模型不存在，同样类型的博弈和治理问题依然存在。至少在社会治理视角下，这应该是一个治理问题，而并非模型本身的可信问题。因此，社会治理需要一种符合治理视角的人工智能大模型的可信定义。

社会治理视角下的人工智能大模型可信，关注的是人工智能大模型的能力与社会治理问题的能力需求之间的匹配程度。当大模型的能力能够充分覆盖社会治理的需求时，该模型即被视为可信；反之，当能力与需求不匹配时，则可能产生不可信的风险。例如，受到广泛讨论的大模型幻觉现象本质上源于模型能力的局限性。这些模型可能缺乏足够的知识来判断提示词中的内容是否真实存在，或无法准确评估自身是否掌握相关知识。值得注意的是，那些在大模型幻觉指标评估中表现更优的模型，在面对类似挑战时更倾向于坦承自身知识的边界，主动表明其不掌握相关信息，从而展现出更高的可信度。事实上，在技术视角下关注的一些可信维度，本质上也和模型的能力边界有关。例如在公平性研究中经常提到的机会均等化指标，本质上是敏感属性组之间的真阳性率存在差异，当模型准确率在各个敏感属性组上都足够高的时候，同样可以保证模型的公平性。此外，鲁棒性要求模型在不同分布的数据上都能有足够好的能力表现。因此，社会治理视角下的人工智能大模型可信，并非全面抛弃技术视角下的可信内涵，而是将技术可信与社会治理需求紧密结合起来。社会治理与其他大模型的应用场景的一个重要区别是，政府作为社会治理主体拥有强大的行政力量。因此，诸如隐私等技术视角下的可信概念在社会治理中并不需要从模型的角度解决。在许多应用场景中，模型的使用者没有能力通过行政力量推动隐私保护，因此只能寄希望于模型本身去敏感数据化，但是对于社会治理而言这种解决方案则有些舍近求远。

从信任理论来看，这种“能力与需求匹配”的可信定义本质上体现了“表现性信任”逻辑，即信任建立在技术能够满足特定治理需求的表现上，而非技术本身的内在属性。这种定义避免了技术决定论陷阱，将可信问题从狭义的技术领域拓展到更广阔的社会治理实践中。从实操层面看，社会治理视角下的可信评估需要一套可观测、可量化的指标体系。具体而言，能力与需求匹配度由以下三个要素构成：任务完成度、容错边界和适应性。任务完成度指的是模型在特定治理任务上的表现达到什么水平。容错边界是指模型的错误率与治理系统可容忍的错误率之间的差距，尤其是与人工处理之间的差距。适应性则指模型面对分布外数据或新情境时的表现稳定性。以图像分类的任务为例，任务完成度指的是模型在训练数据上微调后，在闭集类上的性能（如准确率、真阳性率等）；容错边界指的是模型与使用场景中所要求的分类准确率之间的差异，包含多次实验中模型的稳定性（准确率方差，模型与人类的准确率差距）；适应性则是指模型在分布外数据上推广的能力和识别分布外数据的能力（分布外泛化AUROC值和分布外数据分类准确率等）。

在社会治理视角下，面对不同数据类型时，测试人工智能大模型的能力需要有针对性的评估标准。表单数据作为社会治理中最普遍的结构化数据，对大模型的测试主要聚焦于整体准确率以及不同人口子组上的准确率表现。文本数据在社会治理场景中应用广泛，也是测试维度最丰富的数据类型。这类测试不仅要评估模型的逻辑推理和数学能力等通用能力，还需检验模型对中国国情下社会治理专业知识的掌握程度，特别是对涉及国家主权、民族问题等敏感内容的理解和处理能力。模型的“幻觉”现象同样是不可忽视的测试维度。此外，代码能力测试代表了人工智能大模型未来赋能社会治理的重要发展方向。图像数据的潜力在近期社会治理研究中也不断被挖掘。在图像判别任务中，需重点测试大模型的准确性以及对分布外数据的识别和泛化能力。而图像生成技术在社会治理中的应用相对较少，有待进一步探索其潜在价值。值得注意的是，人工智能大模型在视频、音频等多模态数据类型上也展现出强大的竞争力。如何利用这些数据类型增强社会治理效能，以及如何科学评估模型在这些领域的能力边界，将成为未来极具研究价值的重要课题。

社会治理视角下的人工智能大模型可信，本质上是一种基于能力的可信，既包含技术可靠性，又包含更多维度上模型的能力评估。相应地，人工智能大模型时代的可信治理不仅包含了人工智能大模型可信，也包含了模型系统与社会治理环境的互动。因此，人工智能大模型时代的可信治理需要将技术可信嵌入可信治理框架中。

社会治理中的人工智能大模型可信治理框架

社会治理中的人工智能大模型可信治理如同长江的水患治理一样，需要超越“根治”观念，确立“韧性治理”模式。韧性治理强调系统在面对扰动时足够的适应能力、自组织能力和学习能力,相较于寻求全面掌控的“刚性治理”，韧性治理承认系统具有高度复杂性，不追求消除所有风险，而是构建应对风险及其后果的能力体系。韧性治理中的“适应性循环”理论认为，复杂系统的韧性建设需要经历认知积累、风险防范、冲击应对和系统更新四个阶段。以水利治理中的韧性治理为例，水利工程师们在认知积累阶段深度了解长江的基本水温规律而非所有的数据细节；在风险防范上通过对历史数据建模预测汛情的发生概率，建立风险分级预案，并结合多方面因素预判防汛工程可能带来的连锁反应；在汛情发生时结合现代化防汛工程和传统防汛经验以应对冲击；最后在汛情防治的时间中积累经验以指导后续水利工程的建设，完成治理系统更新。这种韧性治理方案不仅在水利治理中发挥了重要作用，而且对人工智能大模型的可信治理具有重要的借鉴意义。

长江水位设计分析

早期，人们试图通过完全理解神经网络的每一个参数、掌握每一条训练数据来确保人工智能系统的可靠性。随着大模型的出现，其内部机制的复杂性已经远远超出了人类的完全理解能力。正如水利治理一样，我们需要建立起一个更具韧性的治理框架。了解模型运作的基本原理就如同掌握水文规律，预判模型表现就如同评估汛情风险，防范衍生影响就如同考虑工程的生态影响，保留传统治理机制就如同借鉴传统防汛经验，而建立问题处理预案则与防汛应急响应机制遥相呼应。这种多层次的治理思路，既承认了人工智能系统的不可完全掌控性，又提供了一个可行的治理框架，为人工智能大模型时代的社会治理指明了方向。因此，就像保证汛情可控不需要洪水本身可控，只需要通过合理的手段限制洪水的危害，社会治理中的可信人工智能大模型也并非指模型本身的完全可信，而是指社会治理中可信地使用大模型，其本质是通过治理手段消弭人工智能大模型的能力相较于社会治理的能力需求可能存在的不足。

社会治理中的可信人工智能大模型框架，旨在通过设计治理与技术结合的机制实现“韧性治理”，规避大模型使用过程中的可信风险，确保模型失灵时能够迅速反应止损，并及时反馈优化模型。这一框架需要确立以下五个维度：一是深入理解模型运作原理，二是明确模型在任务上的预期表现，三是预判模型可能产生的衍生影响并进行主动验证，四是建立模型之外的第二套备用方案，五是利用大模型治理数据促进模型迭代优化。这五个维度涵盖了技术认知、性能评估、风险防范、机制保障和应急处置等关键环节，可以形成一个完整的治理闭环。

深入理解模型运作原理是可信人工智能的第一个维度。理解模型运作原理和模型可解释性是两个不同的概念，模型的运作原理指的是模型如何训练、优化和输出，而并非指代模型参数如何影响最终输出。从社会治理角度来看，政府机构在采用人工智能系统时，必须配备或培养具备专业知识的技术人员，使其能够理解模型的基础数学原理和运作机制。这一点的重要性体现在：只有理解了模型的基本原理，才能在众多技术方案中选择最适合特定治理任务的模型。例如，新加坡政府在推进“智慧国家”战略时，专门成立了GovTech机构以培养一支精通技术的公务员队伍。这支由政府组建的技术队伍可以帮助政府采购真正符合治理需求的人工智能系统，并独立评估各项人工智能治理方案的合理性与可行性。

明确模型在任务上的预期表现是第二个维度。这一维度强调在选择和部署人工智能系统时，必须建立科学的评估体系，通过与现有基线方法的对比，准确把握不同模型在实际应用场景中的优劣。从社会治理角度看，这种基于数据支撑的决策方式可以最大程度地降低公共资源浪费的风险。测试基准本身是对具体社会治理问题的抽象化，因此建立科学合理的测试基准离不开社会治理领域专家的深度参与，而这正是目前人工智能大模型测试基准研究中缺失的一环。在中国治理实践中，常见的“试点先行”可以提供一定的参考价值。广东省在推进数字政府建设时采用“珠三角先行、粤东西北跟进”的分层推进策略，珠三角的模型部署效果就能给广东其他地区提供参考价值，帮助这些地区的政府部门研判人工智能大模型在治理实践中部署可能产生的效益和隐患。

预判模型可能产生的衍生影响并进行主动验证是第三个维度。这一维度要求在部署人工智能系统时，必须同时具备技术视角和治理视角，在社会治理基准测试结果的基础上评估真实治理场景中模型失灵的概率及其现实社会影响。这需要技术专家和具有丰富治理经验的治理专家紧密配合，共同预判和应对可能出现的问题。对人工智能大模型在社会治理中的所有应用进行事无巨细的验证，等于放弃了人工智能大模型赋能治理带来的人力成本节省。因此，验证过程应当是主动的，由社会治理专家通过治理知识判断，主动选择重要、高风险的大模型使用场景，运用治理经验进行验证。通过比对专家验证与测试基准的结果，可以进一步为测试基准优化提供参考。

建立模型之外的第二套备用方案是第四个维度。这一维度强调，在拥抱人工智能技术的同时，不能完全抛弃传统治理机制中行之有效的做法。从社会治理的角度看，政府在长期实践中积累了大量行之有效的治理经验，这些经验形成的机制不仅是宝贵的治理资源，更是人工智能系统失效时的重要保障。此外，在一些任务中，传统的深度学习训练范式依然是合适且可取的，也能为人工智能大模型提供有效的补充。例如，爱沙尼亚虽然以数字化政府闻名，但在推行电子投票系统时，仍然保留了传统纸质投票作为备选方案。这种“双轨制”不仅确保了选举的可靠性，还增强了公众对新技术的信任度。中国政府在电子政务建设中广泛采用的“线上线下融合”服务模式也是很好的案例，这种“双轨制”改革方式让公民享受到人工智能大模型带来的治理便利的同时，能照顾到不同群体的差异化需求，防范模型失灵导致治理失灵。

利用大模型治理数据促进模型迭代优化是第五个维度。这一维度要求政府部门具备足够的数据收集归纳能力，能够将大模型在社会治理中的应用收集、清洗并归纳，形成可供模型微调迭代的训练数据，进一步强化大模型在社会治理场景中的专项能力。此外，政府还需要加强与作为模型开发者的互联网企业的合作，通过政策激励互联网企业更新迭代社会治理人工智能大模型的积极性。就中国目前的治理现状而言，生成式模型迭代优化的核心依然是政企数据协同，需要政府向企业输送数据，再由企业为政府开发模型；而判别式模型的迭代优化则具备在政府内部完成模型开发、优化迭代的可能性。随着以DeepSeek为代表的开源大模型表现出极强的性能，未来由政府内部技术团队主导社会治理人工智能大模型的训练研发同样成为可能。

图 1　社会治理中人工智能大模型可信框架流程图

基于上述五个维度，社会治理中的可信人工智能大模型框架可以总结为图1所示。首先选择一系列可供具体社会治理问题使用的备选模型。其次进行模型测试，通过预先建立的测试基准，在针对具体治理问题设计的数据集上测试不同人工智能大模型的可信指标，并选择最合适、性能最强的模型进行部署。通过在实际应用中进行主动验证，发现模型不可信的具体案例，并在这些案例中使用基于传统模型和传统治理手段的备选方案。最后通过政企合作完成社会治理数据回流，进一步协助模型优化迭代。该框架设计与韧性治理的核心理念形成呼应。“深入理解模型运作原理”对应韧性治理中的“认知积累”环节；“明确模型在任务上的预期表现”则体现韧性治理中的风险测度，“预判模型可能产生的衍生影响并进行主动验证”对应韧性治理中的前馈调节机制，这两个维度共同实现了“风险防范”；“建立模型之外的第二套备用方案”则是韧性治理中冗余设计原则的具体应用，体现了韧性治理中的“冲击应对”；“利用大模型治理数据促进模型迭代优化”体现了韧性治理中的“系统更新”循环。需要强调的是，这五个维度对应治理的不同环节，是包含先后顺序的治理循环而非并列的概念。

未来议程

（一）从社会治理实践中系统性收集数据

形成闭环的数据流是确保社会治理中的人工智能大模型可信框架得以理想化运作的血液。在上述框架中，数据构建了一个完整闭环：从模型赋能治理实践并生产数据，到数据回流反哺模型优化迭代。因此，确保数据的流通是重中之重。遗憾的是，目前社会治理中生产的大量数据缺少系统性的收集、整理、清洗和归纳。在以纸质办公为主的年代，收集结构化的数据不但过程繁琐、人力成本高，也缺少相对应的实用价值。在数字治理全面普及、电子归档成为主流的当下，数据收集的成本已经大大降低，实用价值则大大提高。各地各级政府应当在数字办公流程中积极构建数据收集存档系统，主动收集政务数据，为人工智能大模型的测试和微调提供社会治理领域的专业化数据。目前社会治理数据无法结构化收集的一个重要原因，就是缺失统一标准，数据的格式、文件类型等要素都缺乏统一规范。中央政府应当建立统一的数据清洗归档标准，为后续的数据利用提供便利。

（二）构建社会治理人工智能大模型测试基准

在社会治理中的人工智能大模型可信框架中，首先需要通过构建测试基准，测试模型的能力边界，这在社会治理中依然是缺失的一环。构建可信人工智能大模型的基准测试体系需要系统设计三个核心要素：测试数据集、评估算法和评价指标体系。测试数据集是基准测试的基础，需要涵盖社会治理各个场景的典型任务，包括政策文本理解、社会风险预警、公共服务对话等多个维度的标注数据。这些数据集不仅要保证数据质量和标注规范，还需要充分考虑数据的代表性和多样性，确保能够有效检验模型在不同场景下的可信表现。评估算法是基准测试的核心机制，研究人员需要选取具有代表性的模型测试其在数据集上的表现，为后续模型提供性能参考，也为社会治理人员判断是否需要使用人工智能大模型提供指导。评价指标体系则需要社会治理专家选取社会治理中受到关注的重要测试指标，测试模型的能力边界。对于判别式问题，各类准确率测量和分布外数据识别表现是最受关注的能力评价指标。对于生成式模型，目前人工主观打分和模型互评依然是常用的指标，而更契合社会治理的测试指标仍有待提出，这是社会治理未来需要关注的研究领域。构建高质量的社会治理人工智能大模型测试基准，需要抽象化模型的社会治理专项能力，离不开社会治理领域专家的深度参与。遗憾的是，目前的人工智能大模型测试基准大部分来自技术研究领域和大型企业。因此，在制定有关社会治理的测试基准时，需要更多借鉴社会治理领域的相关研究，避免测试基准与治理实践的脱节。

（三）建立跨地域互通的社会治理大数据平台

中国的超大国土规模决定了地区间社会治理问题和能力的巨大差异，运用一套统一的测试基准较难为不同地区不同层级的政府部门提供有价值的参考。相应地，具有不同能力、面对不同治理问题的政府部门能够在标准化测试基准的基础上加入个性化内容，是确保测试结果符合治理现实的重要保障。测试基准的个性化依赖于大量数据，然而对于一些政府部门来说，其自身能够生产的数据量较为有限，并不足以满足人工智能大模型的需求。面对这一问题，中国社会治理的独特优势在于国家的超大规模决定了区域之间可能存在类似的治理问题。例如在共同富裕建设进程中，云贵川等省份的部分地区在经济能力、治理能力以及重要治理问题上面临相似的境遇，如果能将这些地区的数据整合起来，既可以避免重复劳动，也能一定程度上解决数据不足带来的困境。考虑到人工智能大模型的测试是一项标准化工作以及技术人员在政府部门中的稀缺性，大数据平台可以通过内嵌测试模型和测试功能的方式，将各层级政府部门从编程任务中解放出来，推动基层社会治理的低代码、无代码化。这一平台建设可结合中国国家数字经济发展战略，借助“东数西算”工程的基础设施优势，构建区域协同的治理数据体系。具体来说，在中央层面，建立统一的数据标准和共享规范；在省级层面，搭建区域性大数据中心，整合省内治理数据资源；在市县层面，则设立数据采集和应用节点，实现治理数据的即采即用。

（四）建立“老化”与“过期”数据的淘汰机制

社会治理中的大量信息具有强时效性，例如公共政策的细节经常变动，政策本身也有终止环节，大量社会治理数据随着时间面临“老化”直至“过期”。在目前人工智能大模型的训练中，对强时效性的社会治理知识缺少专业化考量，即使存在时效性管理环节，也无法完全应对社会治理中“数据老化”和“数据过期”对公民的误导。针对这一现象，社会治理领域需要参考已有研究，建立具有知识更新能力的时态数据库，通过数据淘汰机制删除过期数据。在新一轮的人工智能大模型迭代中，应将过期数据作为重点测试对象，确保模型在新知识上的可信能力。另一种可行的办法是，在大模型的回答中加入模型最后更新迭代的时间，并在模型识别出提问具有潜在时效性时强调模型的时效性边界，该功能已经被部署在DeepSeek、Claude等模型中。

综上所述，社会治理中人工智能大模型应用需要提供一种具有操作性的可信框架。人工智能大模型的定义不应局限于生成式人工智能大模型，而更应关注人工智能大模型背后训练范式转变带来的深远影响。社会治理视角下的可信与技术视角下的可信存在重大差异，社会治理视角下的人工智能大模型可信应当关注人工智能大模型的能力与社会治理问题的能力需求之间的匹配程度，应当包含深入理解模型运作机制、明确任务预期表现、预判并验证潜在衍生影响、建立备用应急方案、利用治理数据促进模型迭代优化等五个维度。这一框架不仅理论上自洽并能够形成数据流闭环，更重要的是能够落地实施，从而有效支撑人工智能大模型赋能社会治理的实践探索。