DeepSeek大火之后，人工智能的内容安全问题值得关注_风闻

（图片摄于中国雪乡）

1）在互联网时代，各种内容浩如烟海，用户在寻找和使用相关内容时，需要一个“入口”。在大语言模型出现前，这个入口主要是搜索引擎。搜索引擎显示的搜索结果的质量，决定了用户所能使用的相关网络内容的质量。随着DeepSeek这样的大语言模型广泛被应用，大语言模型的对话、问答界面，正在取代搜索引擎，成为用户寻找和使用网络内容的第一个入口。

2）从这个意义上来说，大语言模型的对话、问答界面，正在成为“二十一世纪的大百科全书”，它起到了向全社会传递、普及最基础知识的关键作用。正因如此，大语言模型输出内容的准确性、权威性和质量，会对全社会产生重大和关键影响。

3）国产大语言模型中，除了最新的DeepSeek，还有豆包、通义千问、文心一言、kimi等；与此同时，还有越来越多的国产网络软件正在集成DeepSeek的能力。随着这一趋势加速，大语言模型的对话、问答界面，将加速成为用户获取信息的主要渠道。

4）目前，大语言模型输出内容的质量主要面临两大挑战：第一，现有的大语言模型都无法避免所谓的“人工智能幻觉”，所有的大语言模型都可能“一本正经地胡说八道”，这是大语言模型乃至人工智能接下来发展要解决的一个关键技术问题；第二，每个大语言模型输出信息的质量，跟这个大语言模型在训练时所使用的输入语料高度有关，因此，输入语料的质量会直接影响大语言模型输出内容的质量。

5）经过过去二三十年的发展，中文互联网上出现了UGC（用户生成内容）非常繁荣的局面，无论是微信公众号，还是微博、知乎、抖音、小红书、豆瓣等，都有大量用户生成的内容。这些内容在丰富了中文互联网内容生态、为用户提供了多样化资讯的同时，也存在各种内容泥沙俱下、良莠不齐的问题，甚至还存在一些不良自媒体故意编造虚假信息、吃带血的流量饭等问题。如果一个大语言模型在训练中大量使用这些用户生成的内容且无法识别这些内容本身的准确性和质量，必然导致这个大语言模型输出内容的质量同样会泥沙俱下、良莠不齐。在越来越多的用户选择直接信任和使用大语言模型输出的内容的情况下，一旦不准确、似是而非的甚至是错误和有误导性的信息通过大语言模型的对话、问答界面，成为全社会所能接触到的基础信息，将会对全社会的知识和信息传播产生不利影响。

6）因此，所有的大语言模型在训练时都要有一个清醒的认知——互联网上的内容并非都是准确的、都是有效的，必须对大语言模型使用的语料进行内容质量上的把关、判断和进行价值加权赋值。举例来说，当用户搜索2024年中国外贸数据时，大语言模型应该优先推荐海关总局、商务部等国家权威部门的数据，而不是各种自媒体使用的数据。再比如，用户搜索美国自俄乌冲突爆发以来对乌克兰提供了多少援助时，大语言模型应该优先使用人民日报、新华社、总台等权威媒体机构的数据，而不是使用各种自媒体的数据。

7）大语言模型内容风险还体现在，一些大语言模型由于不提供模型的思考和推理过程，只提供结果，因此，整个过程处在一种“黑盒”状态，用户并不知道大语言模型使用了哪些语料、搜索了哪些网页，是怎么得出相关结论的。部分大语言模型会列出所有使用的网页，但是，很明显，其中包括大量自媒体网页。由于自媒体内容泥沙俱下的特性，必然会导致大语言模型输出的内容会受到这些自媒体内容的影响，从而出现不准确甚至是存在误导性的情况。

8）用户在使用搜索引擎时，虽然获取信息的效率相比大语言模型有所降低，但可以清楚地看到每一个网页的来源和归属，从而在一定程度上判断这个网页的内容质量。但是，一些大语言模型虽然也会通过“注解”的方式提供原始网页的链接，但相关提示不够清楚、不够简洁，用户还需要进一步操作才能判断原始网页是否权威。因此，大语言模型可以用更加简单、有效的方式，提示所使用的原始网页名称、性质和来源等，从而帮助用户判断大语言模型输出的内容是否准确、是否权威。

9）对于广大用户来说，一定要对大语言模型输出的内容保持必要的“警惕心”。我们要时刻记住，大模型输出的内容仅供参考，它可能存在不准确甚至是错误的地方，千万不能想当然地把大模型输出的内容视为权威、准确、有效的内容，直接加以使用。古人讲，“尽信书不如无书”。在互联网时代，自媒体的内容不可全信，网上的各种内容都应该核实，大模型输出的内容同样不可以全信、尽信，否则，就可能被网络误导，被人工智能误导。

10）整体来说，大语言模型会越来越发挥“大百科全书”的作用，就像我们要高度重视大百科全书的内容质量一样，我们应该高度重视大语言模型输出内容的质量：

——所有人都应该形成一种对大语言模型输出内容的基本判断和常识，认识到它们在现阶段只能起到参考和辅助作用，并不能完全代替大百科全书、政府部门和权威媒体提供的信息。我们更要从一开始就清楚，大语言模型输出的内容可能是不准确的、可能是错误的、可能是存在误导性的，必须加以核实才能使用；

——大语言模型的开发者在训练模型时要甄别和判断自己所使用语料的质量，要优先使用大百科全书、政府部门、权威媒体和权威机构的信息，对自媒体信息要降低使用比例和权重；

——大语言模型的开发者在输出社会公共基础知识时，必要时可引入权威机构和权威专家对输出内容进行人工抽检、核查和验证，不断改进这些基础知识的准确性；

——大语言模型要进一步完善输出内容的质量反馈机制，引入用户的力量，修正大语言模型输出内容可能存在的安全问题；

——在监管层面，在支持人工智能产业发展的同时，可以更加关注大语言模型的内容安全问题，确保人工智能的发展始终保持正确的方向、始终为全社会创造有益的增量价值。

一家之言，仅供参考。