我国发布大语言模型测试工具 检测含暴力等不良生成内容 | 联合早报

新加坡推出全球首个大型语言模型测试工具之一，能够检测到含有暴力、煽动仇恨等不良生成内容，从而帮助正在开发相关模型和应用的公司进行发布前的内测与调整。

通讯及新闻部长兼内政部第二部长杨莉明星期五（5月31日）上午在新加坡亚洲科技会展（Asia Tech x SG）的亚洲科技峰会（ATxSummit）活动上致辞时宣布，新加坡推出“登月计划”（Project Moonshot），全球首个大语言模型测试工具之一。

杨莉明说，该计划将我国个人工智能验证系统AI Verify的工具从传统人工智能扩展到生成式人工智能领域，旨在应对与使用大语言模型相关的安全挑战，

她指出，登月计划是世界上首个用于生成式人工智能的开源工具之一，它将基准测试（benchmarking）、红队演练（red teaming）和测试基线（testing baselines）等网安测试技术整合到同一个通用平台。

她提到，新工具可以用于测试基础人工智能模型和相关应用。它可以帮助正在构建人工智能的机构更轻松地进行测试，并比较结果，从而找出可改善和修复的弱点。

延伸阅读

[黄循财：各国应在资料保护标准上寻求共识　

](https://www.bdggg.com/2023/zaobao/news_2023_06_07_611978) [尚达曼：人工智能科技治理是维持创新强大推动力

](https://www.bdggg.com/2024/zaobao/news_2024_05_30_685461) 资讯通信媒体发展局商业科技组合副组长郑钧元指出，当局与新电信、淡马锡、机器学习平台DataRobot等合作，为这个新测试工具提供使用反馈和建议。

“登月计划”于公布当天进入公开测试阶段。

郑钧元在展示环节以红队演练为例解释说，新测试工具涵盖人工智能模型的功能与风险两个维度，通过专业人士扮演骇客，对大语言模型发送含有不良信息的内容，测试它的回应。

在人工智能治理方面，新加坡也计划扩大模范人工智能治理框架，将生成式人工智能纳入其中。

杨莉明也指出，该框架将延续人工智能治理上注重整个生态系统的特点，并列出决策者应全面考虑的九大方面，包括数据训练管理、网安袭击通报等，将一些建议转化为具体行动。

她强调：“良好的治理不是创新的敌人。相反，良好的治理能够促进持续创新。”