聚焦真实生产环境 腾讯发布业内首个AI安全攻击矩阵

近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗,也成为从业者的重要研究课题。

9月25日,腾讯正式发布业内首个AI安全攻击矩阵。这是一份具有高实用性的AI安全技术指导框架,首次全面梳理了学术及工业界最前沿的AI安全研究,从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段,帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法,为AI系统的安全部署和应用落地提供重要的技术参考。

据了解,该矩阵由腾讯两大实验室腾讯AI lab和朱雀实验室联合编纂,并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究框架ATT&CK,全面分析了攻击者视角下的战术、技术和流程,能够帮助防御者更精准地掌握安全响应方法与防御措施。相比从单一角度研究算法的安全问题,该矩阵具有更高的实用价值和参考意义。

该AI安全的威胁风险矩阵强调真实场景,并按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。据腾讯AI Lab介绍,矩阵编撰的核心难点在于如何选取和梳理AI系统安全问题的分析角度。作为一种与其他软硬件结合运作的应用程序,AI系统安全的分析切入角度与传统互联网产品并不完全一致。经过充分调研,团队最终选择从AI研发部署生命周期的角度切入,总结归纳出AI系统在不同阶段所面临的安全风险,从全局视角来审视AI的自身安全。

在这种实用思想的指导下,该矩阵能够像字典一样便捷使用。研究人员和开发人员根据AI部署运营的基本情况,就可对照风险矩阵排查可能存在的安全问题,并根据推荐的防御建议,降低已知的安全风险。

除了聚焦机器学习、计算机视觉、语音识别及自然语言处理等四大基础研究领域外,腾讯AI Lab也在持续关注AI领域的安全性研究,助力可信的AI系统设计与部署。腾讯朱雀实验室则专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全。此前朱雀实验室就曾模拟实战中的黑客攻击路径,直接控制AI模型的神经元,为模型“植入后门”,在几乎无感的情况下,实现完整的攻击验证,这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。

腾讯云副总裁、腾讯安全平台部负责人杨勇表示,随着行业对AI应用的不断深入,在各个层面都会出现更具有实际攻击意义的方法和手段。腾讯将持续研究AI安全领域,并不定期更新风险矩阵,保持和业界最新成果的同步。

目前,风险矩阵的完整版本可于腾讯AI Lab官网免费下载。