AI 修复老视频的“魔爪”，终于伸向了动画片_风闻

　　这一修复工具还同时免费向公众开放，而且效果超出预期。

　　航通社首发原创文章，未经授权禁止转载

　　微博：@航通社 | 微信搜一搜：航通社

　　2021年 第29期

　　文 / 书航 2021.11.4

　　影像修复是一项历史悠久的工作。近年来，随着 AI 助力，历史视频修复成果更为频繁地进入大众视野。

　　2019 年，“开国大典”（1949）的珍贵历史影像以彩色 4K 画面呈现在电影院大银幕上。去年，经典电影《上甘岭》（1956）插曲《我的祖国》得以高清全彩修复。今年，《永不消逝的电波》（1958）成为国内首部黑白转彩色 4K 修复故事片。

　　但包含近期的 AI 修复在内，绝大部分修复工作主要针对 1980-90 年代之前的老旧电影胶片，因为它们的源盘随时间推移老化，需要紧急抢救性保护。在众多修复作品中，人们很容易发现动画片，特别是电视动画成为一个被忽略的“盲点”。

　　直到 10 月 20 日，字节跳动的西瓜视频及火山引擎，联合央视动漫集团、上海美术电影制片厂共同启动“百部经典中视频修复计划”，未来一年将修复 100 部经典动画，唤起不止一代人的童年共同记忆。目前，《哪吒传奇》《葫芦兄弟》《黑猫警长》等六部经典动画作品 4K 修复版已经上线。

　　会上还宣布开放入口，为普通用户免费提供 AI 修复支持。目前这一功能已经在西瓜视频创作后台向全体用户开放，普通用户每天可上传 5 段、每段不超过 30 分钟的低清晰度视频，在云端进行高清修复。

　　那么，

　　相比老电影修复，动画片修复为何长期被“冷落”？

　　它的修复过程有什么特殊之处？

　　由科技企业提供的 AI 算法又进行了怎样的针对性优化，其最终效果如何？

　　社长用手头的一段录像片段，通过西瓜视频的免费服务做了高清修复。修复前后的对比图会在本文贴出，帮助读者对这项成果获得一个更直观的感受。

　　AI 辅助下，动画片 4K 修复终于提上日程

　　2012 年，从纽约学艺归来的周苏岳开始向业界推广 4K 影像修复技术，“当时大家关注的焦点还是 3D”。此后他成立了三维六度公司，并于 2019 年接下了《开国大典》4K 修复任务，总共修复了 1082 个镜头，24.7 万帧画面。

　　但当时的技术仍以人工逐帧修复为主，“每一格上面都有很多的问题，比如卷曲、掉色、闪烁；每一幅的画面上都有大量的脏点、油污、划痕。这些修复的难度就非常大，大到什么程度？修复师一天可能只能修 1 秒。”

　　2014 年上海国际电影节首创“4K 修复”单元，随后中国电影资料馆、中影数字基地等专业机构陆续发起 4K 修复计划，意味着 4K 分辨率成为当今影片修复的普遍标准，也意味着以传统逐帧修复方法计算，工作量至少变成了原来的 4 倍。

　　在周苏岳这里，要从原本为 2K 修复准备的工序过渡到 4K，需要这么搞：

　　“现在最好的显示器是 2.5K、32 寸的，要想做 4K，意味着一个画面在这样的屏幕上修 5 次才能修完。就是说，4K 修复的工作量相当于 2K 工作量的 5 倍。2K 在一个显示器上就解决了，4K 需要分成 5 次来修复。”

　　由于过程还加入了整体调色、单声道转 5.1 环绕声、修复胶片损伤缺失及褪色矫正问题，解决片中画面抖动和颗粒度较粗问题等工序，结果：

　　“这两个半月对于我来讲，都是做梦的过程，这几乎是一个不可能完成的任务。我们每天都工作到深夜两三点钟，然后在公司休息区简单休息。平均一个人每天干四天的活，每天就睡三四个小时。我们 40 人 40 天相当于干了 160 人的活。最紧张时，动用的工作人员高达 600 多位。”

　　这个过程体现出传统影片修复的最大问题——手工逐帧修复的“手艺活”费时费力，工序繁杂，成本高昂。因此，成建制的修复工作只能先救急，从最濒危的早期损伤电影胶片开始抢救性修复。

　　国家在 2006 年开始实施“电影档案影片数字化修复工程”，斥资 2.8 亿元，计划“5 年 5000 部”，陆续把中国 4 万部老电影胶片做数字化修复、存档。然而，直到 2020 年，中国电影资料馆才完成影片修复 3146 部，其中包括普通修复 2606 部，2K 修复 525 部，4K 修复 15 部。

　　AI 技术和算力的普及，让事情迎来了转机。

　　去年，旅居纽约的独立艺术家“大谷”发布了他利用开源模型高清修复的 100 年前老北京市井生活录像片段，引发网络热议。他的补帧、色彩转换、分辨率扩增环节均采用网上已有的开源模型在本机运行完成。

　　甚至于“因为分辨率扩增技术比较消耗硬盘和显卡，所以他只在一些关键的地方，比如视频的封面使用了这项技术，但最后取得的效果也不错。”

　　深度学习、神经网络等 AI 技术用于视频，已经有了各种神奇的用例——想想抖音上那些奇特而受人欢迎的特效吧。除成熟的开源技术让个人和小团队可以做一些实验性片子之外，字节、阿里、腾讯等巨头，乃至中影等都有研发算法，为前高清时代的影片放大尺寸、去除噪点、上色，使其重获新生。

　　“优爱腾”三家及其母公司开发 AI 老片修复算法，以及用于 4K 修复，可以直接将成果应用于充实其片库，所以它们的训练也大量针对电影、电视剧等长片。相比之下，西瓜视频一年前采取的“中视频”定位，让他们更努力去寻找一些差异化定位的，更适合在 5-30 分钟时长内看完的内容，这肯定也不是单纯的长片切条那么简单。

　　然后，就涌现出一个绝妙的点子——曾经凭借电视媒介占领 80-90 后心智的动画片，正是一种最适合的“中视频”类型。

　　如同社长在《“中视频”是一个伪概念吗》里提到的：

　　“前网络视频时代的电视节目，也普遍是这个长度。规整的电视时段以 15 分钟左右为单位，30 分钟包含 2 节，60 分钟则为 4 节。不计广告时长，每节在 10-12 分钟左右。电视台就是最早的 PGC，所以现在专业的视频创作团队也完全沿袭了这个时长的传统。”

　　如今，电视媒介式微，更多观众转到网络观看视频内容，而上海美影厂、央视等拍摄的经典动画片，不仅反映了时代的社会生活印迹，具备高度的史料价值，也可以通过情怀的挖掘体现潜在的商业价值。只是，如果缺乏合适的渠道，并且成本过高的话，通过 4K 高清修复影片来“活化”动画片资源，在以前就是费力不讨好的事。

　　随着西瓜视频提供了便捷的渠道资源、火山引擎提供了成熟的技术支持，原本优先级排在“抢救老电影”之后的动画片修复，此刻终于可以被提上日程。

　　用于动画修复的专门算法

　　需要指出的是，尽管有 AI 技术，修复经典老片仍是一项繁重且艰难的任务。20 日的发布会上提到，一部年份较早的动画电影，修复团队需要标注 20 万帧自动修复效果不佳的画面，再进行二次修复。

　　但是，之所以要用 AI，就是因为这样的标注后修复过程，仍然相对此前的逐帧手动修复而言是一个数量级上的飞跃，极大地提升了工作效率，节省了重复劳动的工序。火山引擎修复数据显示，算法能够直接消除 95% 以上的瑕疵，剩下的才要辅以人工标注，再调整算法做二次优化。

　　在修复摄影机拍摄的画面时，每个定格帧都相当于修复照片，而用到的相关技术其实比较成熟，也可以复用。另一个重要特点是算法面临着如何“修旧如旧”的问题，有时拿不准图像的原色调，就需要专家会商。

　　相比之下，二维动画片多为手绘线稿，人物和色彩设定于创作时就已明确，但也因此对修复的最终效果更为确定，提出了更高的要求。例如，人们期望线稿如同矢量一样勾勒分明，像有些人像那样模糊时一闪而过，将就一下是不行的。

　　对于动画片而言，“修旧如旧”意味着要保留艺术风格和美感。以《葫芦兄弟》（1986）为例，该片是水墨和剪纸的组合，修复工作一方面要提升前景的清晰度，另一方面又要兼顾水墨的艺术效果，让山水保持朦胧的艺术感。

　　为此，火山引擎提供了超分辨率、视频降噪等技术手段，对水墨、剪纸等不同艺术风格，采取独立的视频质量评估体系，针对每部老片定制修复方案，以实现最佳修复效果。

　　“智能超分”能力可以提升清晰度和分辨率，基于深度学习方法，根据已有的图像、视频信息重构出缺失的细节，也会使用前后帧信息，并对其进行时域建模，恢复出额外的细节。

　　在《葫芦兄弟》中，算法对前景的葫芦娃剪纸区域提升清晰度，对背景的水墨画区域保持朦胧感。这种对内容的自适应处理，根据不同区域分片处理，很好地保持了原有画风。

　　**“瑕疵消除”**主要是指消除胶片存放、转录过程中带来的各种噪点、闪烁等缺陷，以及大小不一的胶片划痕。如果仅仅用算法，带来的一个问题是容易误处理，比如将漫天雪花识别为噪点，结果把“下雪天”变成了“晴天”。

　　对于较小的雪花颗粒噪声，火山方案使用传统信号处理算法进行处理，对于较大的坏点和划痕，则使用机器学习算法进行识别和修补。有些场景可能是艺术效果，所以会比较困难，这时则需要先由人工标注判断，再用算法修复，达到效率和效果同时最优。

　　“锯齿修复”是其中一个最值得一提的独创算法，特别适用于电视动画。在《哪吒传奇》（2003）的“哪吒出世”场景修复过程中，技术团队发现部分画面里有明显的线条锯齿。由于这一问题只在部分场景中出现，很难定位，但是不解决的话会严重影响观感，也会影响其他算法的效果。

　　经过多次尝试和实验，技术团队发现《哪吒》中的锯齿效应是数字化扫描不精准，采样做的不好而出现的。这实际上是电视动画特有的问题。

　　与早年电影胶片转录像带在电视播出不同，21 世纪初的电视动画已经可以使用 Flash、Harmony、Retas 等电脑软件，用数位板逐帧绘制，实现创作过程的“无纸化”。不过，最终成片需要输出到电视播出通用的 Betacam 磁带上，这也决定了画面最终的分辨率。

　　据火山引擎专家介绍，大部分业界的锯齿修复都是针对低分辨率“向上采样”做处理，而老片中的锯齿，很多是原本很清楚的源文件“向下采样”保存为播出格式时出现的，对于已经产生的频谱混淆，业界算法大多都没法处理。

　　因此，火山引擎针对性地设计了一套优化算法，让锯齿问题得到了很大的改善。

　　此外，算法也可以做自动调色，对视频从色彩、对比度、细节及画面层次等多个维度进行自适应处理，提高源视频的质量和转码后视频质量。

　　社长在自己测试西瓜视频开放的“老片修复”功能时，也注意到上文所提到的一部分技术细节都被应用到了全自动的算法中，可以在我们自己的片源里体现出来。

　　以下，就让我们通过一组转换前后的对比截图，来感受火山引擎这套高清修复算法的能力以及其实际效果。

　　上图是 B 站用户上传的《黑猫警长》1080p 影片拷贝（ID：BV1XL41137AG），下图是《黑猫警长》在西瓜视频的高清修复版。点开两张图片并放大后，可以显而易见的看到，西瓜的修复版，其左侧线条及右侧文字边缘异常锐利清晰，勾线有近似矢量的清晰度，此外也去除了杂色（虽然在原版拷贝里已经处理得不错了）。

　　（对比图左侧为原版，右侧为西瓜修复版，下同）

　　4K修复动画片的根本意义在于更好地向观众呈现创作者当年原本的意图。实际上，有些因为电视屏幕尺寸因素，本来出稿就相当模糊的中远景，会在4K分辨率下不得不呈现出一些细节，这甚至已经需要二次创作。

　　片方提供的原版拷贝已经可以做到很不错的清晰度，这是4K能还原到近似矢量效果的前提。但在电脑屏幕上显示效果正常并不意味着假设到光线不好的电视、或者影院重放会完全一致。

　　几年前上映的电影《厉害了，我的国》实际上是完全取自央视的标清电视画面，并由中影进行高清修复。在影院场景下，观众几乎不会察觉到修复画面和真正的高清摄像有什么不同，但简单地拉伸低分辨率画面到大银幕上，恐怕就会变成一团浆糊。

　　由于本次西瓜视频修复的动画片在电视和电影端都有，而电影胶片和电视画面的分辨率有明显差异，我们选择了一段2002年录制的电视片段，扔到西瓜视频后台自动修复。其初始分辨率为有线电视的640x480，修复后的分辨率是1280x960（高清数字电视标准）。

　　用电视画面来测试的另一个优势在于，它是二维线条图形和现场实拍画面的结合。实际上，在我们接下来的测试中，这种对照充分体现出了西瓜这个修复算法的特性——相对摄像机拍摄的现场画面和人像，它对人造图形的还原能力更强。

　　下列照片同样建议逐张点开大图，放大观看细节。

　　画面中的前景字体和台标都变得异常清晰，就像是后期用现代的编辑器加上去的一样。

　　这几组的共同点是人物为主景。在能锐化的边缘地方，AI 都尽可能尽了力，比如舞蹈演员身边悬挂的金属球、字体叠印的地方等。

　　经过降噪处理之后的画面总体也比处理前更干净，不过有一个上文提到过的小误差——把空中飘飞的雪花/柳絮“P 掉了”。在需要精修的时候，会采取人工标记加二次算法过滤的方法来避免。

　　这几组图片的上下对照相当明显，人造图形和文字是当前算法看起来最拿手的地方。它们尖锐而清晰的边缘，可以说完全体现了原来画面的意图，小字也变得更易读了。不过有时原材料的对比度低，比如“通讯地址”红字，效果不明显，但并不会降低原有画质。

　　以上效果是未经手动干预、上传后只过一遍算法自动修复而成的，虽然偶有不足，但也完全可以接受。

　　修复动画片，也修复你父母的婚礼录像

　　值得注意的是，本次在老动画片修复途中开发和应用的部分能力，通过西瓜视频向普通用户开放，可实现对家庭录像等视频的升高清和修复，而且免费使用。这与市面上同类修复技术形成了差异化局面。

　　如同社长之前提到的，服务于西瓜视频、抖音等字节体系内视频产品的各种 AI 算法和能力，都在火山引擎这个技术中台上聚集复用，并向第三方开发者开放。而西瓜视频的创作后台并非面向程序员，而是直接面对社会公众，降低了算法的使用门槛，更不用说还是免费开放。可以预见，这种对算法的高频利用和考验，将把算法训练得更为健壮，以及发现错误用例，促进良性循环。

　　但将一个实验室里的技术产品化没那么简单，大量的 UGC 效果需要云端运算、编码（有时甚至要求是实时的），以及往往要处理高并发等问题，所以不是任何一家都敢直接说开放的。

　　抖音和西瓜视频每天都能收到无数用户创作、投稿的视频。不少视频拍摄条件有限，也存在模糊，卡顿，抖动等各种各样的画质问题。为了提升用户的观看体验，返回给用户更高画质的视频内容，火山引擎多媒体实验室会在多个链路上对视频的画质进行分析，并且做出对应的修复增强策略。这种每天都在进行的修复增强策略，和修复老片（动画线稿）是很类似的。

　　抖音、西瓜视频等内部丰富的应用场景，让火山引擎的修复算法具备领先性和通用能力。在国际权威奖项 MSU 2020 上，字节跳动技术团队获 17 项评分冠军，在动画、特效、游戏、道具场景有深度的技术沉淀。在第一届全国人工智能大赛的“AI+4K HDR”项目，火山引擎在参赛企业中综合排名最高。

　　尽管目前在西瓜视频后台上线的能力，只是所有老片修复算法的一部分，但现在普通用户手头的素材大多数都是家庭录像带，比如父母的结婚录像、全家一起吃年夜饭的记录视频等等。如果保存相对完好的话，这些影像过一遍自动修复后，效果可能已经非常不错。有特殊需要，也可以联系西瓜视频，对有价值的视频提供深度的公益修复。

　　不过，如果你手头有录像带转录的低清视频原件，社长倒是建议不要丢——因为原件能保存的信息更丰富，而且与容易损耗的物理介质不同，已经数字化的原件可以长时间保留。说不定过个三五年，不仅会迭代出更完美的自动修复算法，甚至有可能将算法本地化，在你自己的电脑上本机播放，可以实时运算出升高清的画面。

　　央视动漫是几代人的集体记忆，美影厂的作品更是世界动画史上的传世经典。它最为标志性的代表作应该是《大闹天宫》。已经问世超过半个世纪的这部动画电影，中间又经历了十年内乱的风风雨雨，拷贝流传到可以数字化的当代已经是一片斑驳。

　　2012 年，由于《阿凡达》和《泰坦尼克号》重制的影响，当时电影业界的主流思潮是 3D 化。那时《大闹天宫》也曾经官方出了个 3D 重制版，但业界对它的评价却十分不客气。

　　“《大闹天宫》的 3D 版本，说好听了是内地电影修复行业的创新和尝试，然而在国内 3D 制作技术完全不成熟的前提下影片所吹捧的 3D 修复，完全与当今电脑播放软件的伪 3D 呈现技术不相上下，有业内人士称其如同‘用软件过了一遍’般粗糙。”

　　需要注意的是，十年前的“用软件过一遍”和现在的算法处理，其效果是完全不可相提并论的。

　　幸运的是，该片 80 年代在欧洲分销上映，培养了观众，而这些观众当中恰好有懂技术的爱好者。2008 年，国外论坛网友 satanika 以“逐帧 PS”的方式，耗时一年完成非官方的该片粉丝修复版，并于 2017 年更新 2.0 版。他在其中付出的心血，是死忠粉丝之外的人们所难以想象的。

　　在这个“粉丝修复版”问世时，《大闹天宫》要再等几年，才会走出 50 年著作权保护期变为公有领域，也就是说这种修复并不是官方性质的。但在动画片乃至广义上的 ACG 领域，这种对二次元的“爱”，让旧动画修复跟其它旧影像修复相比有了极大的特殊性。

　　这也可以解释为什么在那个没有 AI 帮助的年代，其它视频类型的修复也一样是需要对那种类型有“爱”的人们。当时的采访提到，“中国电影资料馆的修复团队很年轻，90 后成为主力军，女生居多。因为电影修复是一个比较细腻的活儿，且枯燥。”其中一位修复师“是修复团队中手速最快的，一天最多可修复 6000 帧画面，相当于 4 分钟多影像。因为长期操作键盘，她的电脑键盘损坏严重，好多按键出现磨损现象，甚至有个按键被手指磨出了一个窟窿。”

　　由于生产力和产能的极度局限，影像修复产业多年以来，只能停留在“手艺活”和“力气活”的层面，以精雕细琢的方式，设立优先级，来先抢救一部分最濒危的片子。这样的安排，根本轮不到给 80-90 后的童年记忆擦去岁月的灰尘。

　　而今，美影厂、央视和字节的这次合作，不仅将使得更多已经成为集体记忆的经典动画片也获得“同等待遇”，甚至还用研发出来的同款技术，惠及你我这些普通人的家庭记忆、个人记忆。

　　这再典型不过地证明，技术是人类能力和边界的延伸，可以帮我们做到以前只能想象，或者想都不敢想的更多事情，并不断开启全新的可能。