腾讯多媒体实验室：探索图像视频降噪，还原你眼中的高清“视界”

12月13-14日，由LiveVideoStack音视频技术社区携手CSDN发起的LiveVideoStackCon 2019在深圳正式召开。会上，来自腾讯多媒体实验室的李松南总监带来了题为 《图像视频降噪的今天与未来：从经典方法到深度学习》的主题演讲，对图像视频降噪技术的现状及发展前景进行了深入浅出的阐释。

作为多媒体技术领域的盛会，LiveVideoStackCon音视频技术大会聚焦音频、视频、图像、AI等技术的最新探索与应用实践，覆盖社交、游戏、智能设备等行业领域，面向工程师、技术负责人等行业相关人士分享技术创新与最佳实践。本次大会，聚集了60余名海内外技术专家和150余家参会企业围绕前沿技术发展进行探讨。

对于喜欢欣赏老电影的用户来说，图像视频中的噪声其实是非常熟悉的事物。在将胶片形式的内容转化为数字格式存储时，由传感器、扫描仪电路所产生的图像亮度或色彩的随机波动被称为视频噪声——在欣赏电影时出现的闪烁、模糊、色彩不均匀等现象均是由此导致的。无独有偶，在使用数码相机进行照片拍摄时，当相机的感光度被调到较高的数值时，拍摄到的画面中很容易出现噪点。噪点的出现严重影响了照片的观赏性，为了解决这一问题，图像视频降噪技术便应运而生。

腾讯多媒体实验室，融合经典方法和深度学习技术，在图像视频降噪领域已经积累多年，研究成果已经在腾讯云、全民K歌、微视等腾讯内外部产品、场景中广泛应用。

探索图像视频降噪技术，经典方法+深度学习双管齐下

据李松南介绍，腾讯多媒体实验室在图像视频降噪领域已经积累多年。以数码相机拍摄产生的噪点为例：噪声主要是由于感光元器件接收光子的随机性产生，而单位面积内平均接收到的光子越多，信号的信噪比越大，人眼感受到的噪声就越小。因此可以通过增大感光元件的尺寸，提升单位感光面积来提高信噪比，这也就是为什么数码相机领域素有“底大一级压死人”的说法。“我们还可以采用更先进的感光元件技术以及像素融合（多个像素组合成一个像素，提升单位像素内的光信息量）的方式来解决这一问题，这也是目前图像视频降噪技术领域常见的硬件手段。”

由于制造工艺的限制，在同一技术框架下，硬件不可能做到无止境的提升，为了进一步解决噪声问题，需要借助软件。基于统计模型的单帧降噪是可选项之一，它具备速度快、效果好的特点。与之相对的，为了弥补单帧降噪应用场景的局限性，多帧降噪也是目前常见的降噪方法。简单来说，多帧降噪通过对齐和融合的步骤，将连续的多帧图像合成一帧图像，增加了图像的信噪比，克服了长时间曝光带来的图像模糊。

为了进一步提升降噪的质量和效率，近年来应用广泛的深度学习方法也被应用在了图像视频降噪领域。李松南表示，基于深度学习的降噪算法，在计算复杂度方面还存在较大问题，但随着硬件能力的升级以及异构计算的使用，复杂度问题已经慢慢开始得到解决。此外，大规模的真实噪声数据库、模拟真实噪声等技术手段的出现，也让深度学习方法的效率和质量获得了进一步的提升。目前腾讯多媒体实验室在该领域的研究成果已广泛应用于腾讯云、全民K歌、微视等腾讯旗下的产品之中。

展望未来，图像视频降噪技术大有可为

目前，图像视频降噪技术呈现出硬件化、智能化以及多功能化三个发展趋势，通过数据采集端的专用硬件，辅以更高的深度学习比重以及构建能够同时处理多种失真的模型的方式，实现更加高效、更加便捷的图像视频降噪处理。

腾讯多媒体实验室，专注于多媒体技术领域的前沿技术探索、研发、应用和落地，包含音视频编解码、网络传输和实时通信，基于信号处理和深度学习的多媒体内容处理、分析、理解和质量评估，互动沉浸式媒体（VR、AR、点云等）系统设计和端到端解决方案；同时负责国际国内行业标准制定，包含多媒体数据压缩，网络传输协议，多媒体系统和开源平台等。

李松南介绍说，“我们将在未来进一步发力图像视频降噪技术，将越来越多具备重要意义的影像资料以高清晰度重现在我们面前。未来，我们还将看到这一技术在更多的领域大放异彩。”