vivo首款自研6nm芯片！AIGC算法加持，支持4K电影级人像视频_风闻

萧箫 衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

安卓视频拍摄体验，出现了新的天花板——

只用手机，也能拍出4K电影级别的人像视频了！同时还能实现无损拍后编辑。

不用靠长枪短炮的画幅和光圈，就能真·全自动检测和切换虚化主体。

让镜头就聚焦在某个人物身上，同时周围景物自然虚化，只需一键实现：

不仅如此，就连肤质优化和色彩处理，也能秒速搞定，分分钟拍出大片效果：

安卓机型人像拍摄的这个新天花板出现，更有层次的照片，这不就来了？！

要知道，背景虚化一直是手机摄影的短板，无论是虚化层次还是边缘处理，很难与单反相机分庭抗礼。

哪怕是对所搭载的算法进行创新和优化，想要最终效果是4k电影级，必须要兼顾降低功耗。

不多卖关子，这种视频拍摄效果，出自刚刚登顶中国手机第一的**“蓝厂”vivo**之手，在其最新的发布会上露面。

最重要的是，背后果然又用到了最新的自研芯片。

难怪有网友调侃道：

所以，这个芯片究竟实现了什么样的功能，又是如何打破安卓手机影像能力天花板的？

打破安卓手机摄影天花板

vivo给手机摄影带来的突破，主要体现在两方面，更高的画质和更快更好的算法。

先是在画质上，vivo在安卓手机摄影上实现了两个“首次”，即4K电影人像视频和4K级拍后编辑。

4K电影人像视频，意味着手机拍人像视频，已经能达到4K电影级的水平，不仅分辨率更高、色彩呈现也更好。

相比之前，包括焦外散景虚化（背景虚化）、全自动主体焦点检测和切换、电影级肤质优化和色彩处理，现在vivo都已经能用到4K视频拍摄中。

焦外散景虚化，即拍出很好的浅景深效果；全自动主体焦点检测和切换，意味着不再需要手动调试镜头距离“对准”某个物体，算法自动实现；电影级肤质优化和色彩处理，让拍视频人像也“帧帧开美颜”，无需拍后再手动调整。

进一步地，在拍摄完成后，vivo还实现了4K级拍后编辑，快速且无损。

视频编辑耗费计算量较大，此前往往只有压缩视频大小，才能缩短剪辑加载和导出的时间。

现在，如果对拍摄出来的视频不满意，编辑时无需压缩视频，在分辨率保持4K的情况下，手机仍然能快速调整虚化和焦点位置，实现无损编辑。

不仅仅在于画质上的两大功能，这次vivo手机影像技术的升级，还体现在“算法大融合”上。

要知道，过去各种手机虽然宣称已经搭载了不少提升拍照技术的AI算法，但大部分算法无法同时运行。

以人像和夜景为例。目前不少手机，都能看到这两种类型的拍照模式优化，但“夜景+人像优化”却比较少见——

这是因为，针对夜景和人像所需的算法不完全一样，如果同时运行，不仅功耗更大、延迟也会更高。

因此，如果说之前的算法处理还只能让用户自己做选择，最新的vivo手机，已经能实现大量自研影像算法同时开启的效果。

像是夜景拍摄几乎必不可少的AI降噪（NR，Noise Reduce）算法：

基于人像理解技术，进一步实现拍摄需要的影调（调色）算法：

视频拍摄需要的MEMC插帧算法：

能保留图像中的更多细节、对比度也更高，提升整体效果的HDR技术：

以及图像变焦算法等等。

过去这些算法还需要分时间阶段运行，现在，vivo手机不仅能同时处理它们，而且延迟都保持在用户可以感知的范围之内。

完成这些部署，离不开vivo自研的新一代影像芯片，名为V3。

蓝厂究竟在V3芯片中加了什么黑科技，来实现这样的效果？

vivo最新自研芯片V3

V3芯片采用6nm制程工艺，相比上一代的V2芯片，能效比提升了30%。

架构设计上，V3仍然是ISP（图像信号处理器），但相比上一代可以实现多并发AI感知。

同时，为了更好地和SoC“打配合”，V3芯片还推出了第二代FIT互联系统，来调度二者之间的资源。

具体来说，V3主要通过硬件架构升级、以及**和主芯片“打配合”**两种模式，来支持上面提到的两大新功能，以及一系列AI算法并发效果。

一方面，在架构上，V3不仅在制程上得到升级，大幅提升能效，同时设计上侧重于提升AI算法的计算效率。

V3芯片延续了V系列芯片的特征，自带定制化深度学习加速器（DLA）、以及纯SRAM架构，用于提升计算AI任务的效率。

虽然手机芯片也配备NPU这种神经网络硬件加速器，用于进行向量化计算和并行处理，然而，由于这种NPU是通用型的，因此在计算某些专用任务时效率不高。

以计算AI任务常用的乘加计算（MAC）为例，通用NPU做这类计算往往只能达到30%的利用率。

这是因为它所用的片上缓存（TCM）容量有限，一旦图像类AI任务变多，每一层网络特征图写入DDR内存，带宽就会爆炸、功耗也会大幅度上升。

V3芯片自带的深度学习加速器，则能更好地处理这类任务。即使芯片制程是6nm，在处理特定图像任务时，整体能效比相比4nm的SoC仍旧可以提升2~3倍。

同时在内存上，V3芯片没有采用DDR，而是采用了SRAM架构来存储信息。

相比通用NPU，V3只运行特定任务，不受外部后台线程（如CPU线程）的干扰，也不会因为其他功能升压或提频导致功耗上升，因此在做乘加计算时，利用率可以达到100%。

但仅仅是通过升级硬件架构、提升处理AI任务的能力还不够。

毕竟对于手机来说，只有将所有算力资源调度起来，才能真正确保计算效率最大化，因此——

另一方面，V3芯片推出了第二代FIT双芯互联系统，让算力资源调动变成了灵活的“一盘棋”。

具体来说，这种系统能同时调用手机SoC和V3的算力，使得它们在处理AI算法时“各司其职”，从而更高效地处理不同的算法。

其中，V3芯片主要能处理两类任务。

一个是可以用低级别、像素级别的AI算力处理的任务；另一个是对于一些需要较大滤波器的算法（如运动估计等），V3能将算法“硬件化”，即将它们转换成特定应用集成电路（纯ASIC），成为芯片的一部分。

同时，对于更复杂的一些算法，则主要用SoC来完成，同时V3提供“协作”。

整体来说，V3不仅能将一些特定AI任务的处理做到极致，同时也能作为算力“补充库”，来协助SoC完成其他AI算法的处理。

这样一来，不仅能降低原本计算特定AI算法所用的功耗，做到SoC+V3芯片的总功耗“1+1＜2”，还能做到原本“不可能的事情”——

假设手机上搭载了10个算法，此前可能会因为功耗和发热，导致只能同时跑6个；现在加上V3后，10个算法都能同时运行（例如整套人像功能），并将功耗和发热保持在合适的范围内。

当然，在配合的硬件“位置”上也有讲究。相比前置ISP（PreISP），V3选择了后置ISP（PostISP）的方式，即数据先通过SoC，再通过V3进行处理，最后打到屏幕上。

这样设计的好处是可以降低芯片内部的处理延时、提升性能，虽然会在回传通路上增加一点处理时间，不过并不影响整体使用效果，像视频拍摄预览延迟在180~200ms左右，对于人眼来说几乎无感。

当然，除了针对V3芯片的设计，vivo也在影像相关的其他芯片技术上下了不少功夫。

其中之一就是在CMOS芯片上。

vivo针对这个芯片研发了一项名叫自适应DCG-HDR技术，目前研究论文已经发表在VLSI 2023上。

VLSI（超大规模集成电路技术和电路研讨会）是电路领域的国际顶会，今年vivo也是国内手机厂商中唯一一家发表论文、并被选中进行会上分享的。

这项技术能够让在用户拍视频时常开HDR模式，获得更好的拍摄效果，同时功耗更低。

相比传统HDR在整个图像区域使用曝光设置（或分区使用不同的曝光设置），自适应DCG-HDR可以将曝光设置粒度缩小到像素级别。

也就是说，每个像素根据所在的场景和光照条件选择曝光设置，使得HDR效果更精准；同时，通过这种调制，它还能省去一次读取像素值的操作，进一步降低了功耗。

这样一来，用户不仅能常开HDR模式，甚至开着拍视频，也不会出现过热或频繁关机的问题。

对于之后的影像行业布局，vivo影像产品高级总监李卓表示：

AI一定是未来最重要的方向之一。

然而，即便自研芯片在影像上取得了如此不错的效果，投入数十甚至上百亿去研发芯片、甚至不断迭代升级，仍然不是一个短期内看得到巨大回报的过程。

对于手机厂商、甚至整个行业而言，自研芯片的意义究竟何在？

AIGC时代，自研芯片更显重要

回顾这几年的手机行业，新的产品、技术层出不穷，令人眼花缭乱。

行业也热点，作为各厂商发力的角逐地，也在不断变化。折叠屏、双芯设计、屏下摄像头、夜间拍摄、AI+……新的热点为手机行业不断加码，同时对技术提出了更高的要求。

比如，按照当下的热门技术定义，手机行业实则处于一个影像芯片、AIGC、3D影像等热点交融的时代。

在这样浩荡的时代里，交汇交融是无法避免的趋势。

就拿vivo首次对外披露与AIGC算法相关的研发成果为例。

一手建立了重庆3D动捕实验室，搭建影视级光场系统，支撑vivo各类人像3D感知算法的研发、迭代工作。

重点储备以人脸、人体和手势为核心人像3D感知算法能力。

另一边，则在自研芯片领域持续发力，对外发布V3。

细数vivo自研芯片的历程，已有4年历史。

2019年，蓝厂被曝造芯；2021年，正式闯入自研芯片赛道，推出第一颗影像芯片V1，除了生产全部自研。

当时，手机行业主打的降噪、插帧等图像处理功能，有不少还停留在传统算法层面。

V1主打特色之一，就是能够很好地处理传统影像算法，同时已经具备一定的算法并行能力，可以在一块芯片内同时进行部分图像成像算法，这让手机的夜景拍摄能力有了极大提升。

2022年，结合AI算法的ISP芯片V2快速面世。它采用迭代后的AI-ISP架构，能够在手机内部实现数据和算力的优化、高速协同。

这个阶段，由于用上了AI技术，vivo自研的算法开始变得更复杂，需要的额外信息也变得更多。

例如，相机原本的自动对焦AF、自动曝光AE、自动白平衡AWB这类3A功能，也开始加上AI算法，这类算法往往需要用上相机控制参数、硬件参数和返回值等信息，用来做一些运动估计功能，因此延迟也会相应变高。

为了确保AI功能变多的同时，延迟还维持在用户可以接受的层面，V2芯片开始正式引入FIT双芯互联技术，确保两颗芯片沟通的效率。

可以说，V1到V2，是蓝厂不断满足初代影像算法及AI 1.0时代对影像芯片的要求的过程。

林林总总可以归结为一句话：一个时代有一个时代的芯片要求。

AIGC时代下，不仅算法数量呈现井喷式增长，算法的体量也有了质的差异。

尤其针对需求质与量与日俱增的影像技术而言，手机芯片的算力和处理性能，都相对应地有了更高要求。

如今在影像算法中，光是人像系统中，就有包括发丝分割、肤色增强、虚化渲染、场景感知等一系列需要用到AI算法的功能；

更别提夜景这类同时需要提升画质、色彩的场景，长此以往，所需的算法类型和数量只会越来越多。

同时，随着AI模型效果变得更好、体积变得更大，AIGC算法逐渐成为潮流的当下，如何利用深度学习加速引擎和异构加速引擎提升AI处理效率，也是手机业界的一道长期思考题。

总而言之，AIGC潮流为代表的AI 2.0时代，对所承载的算力的扩张需求，迫在眉睫。

一路走来都是困难重重，未来的挑战也将一个接着一个。相比优化算法去适配硬件厂商的芯片，软硬件结合，才是AIGC时代的王道——

手握自研芯片，就能算法软件和芯片硬件两手抓；

没有自研芯片，只能坐等市场有什么样的芯片，再设计研究算法去适配。

显而易见，软硬件的并行，无论是对大厂本身，还是对满怀期待的客户而言，都更有竞争力和说服力。

看到这条路线的不只有vivo一家。

国外亚马逊、Meta。国内百度、阿里，诸多在AIGC时代争先恐后布局的大厂，在尝试将AI功能最大化时，都会考虑把“合作或自研设计芯片”作为具体的实现途径之一。

其他大厂尚且如此，向来主攻影像的手机行业，作为AIGC技术的头部应用场景之一，更加应该明白这样的道理：

只有真正从算力底层出发，将AIGC软硬件技术细节掌控在自己手中，才能最大程度地确保走在技术创新的中轴线上。