AI“复活”老电影催生文化新业态

2024-06-06

<article><section data-type=“rtext”><img data-alt=“电影《飞鹰计划》4K修复版海报。抖音集团供图” src="//img.huanqiucdn.cn/dp/api/files/imageDir/fd57b5ebbfbca809931422af297b8b3f.jpg?imageView2/2/w/750" />电影《A计划》中有段经典桥段—— 只见卓一飞（洪金宝饰）怒吼一声，七步上前，一刀砍断狄威的长剑。失去了武器的罗三炮（狄威饰）再无招架之力，被逼退至角落倒地。 然而，一秒之内，局势逆风翻盘。 就在洪金宝大刀即将砍下之际，狄威双手着地，向后倒立，两脚一蹬，大刀瞬间掉落，狄威紧接着一个回旋踢，击中洪金宝的右下颚。 狄威是怎么一瞬间站起来并踢掉大刀的？自1983年电影上映以来，困扰了很多观众。 因为从动作连贯性来看，这关键的“一秒”不符合常理。 在日前举办的第十四届北京国际电影节“致敬·修复”单元，首映的全新4K版《A计划》揭开“一秒谜团”——狄威腰部发力，用双脚绞住洪金宝的手，洪金宝失去力气，大刀掉落，发出清脆声响。 2023年8月，中国电影资料馆、抖音、火山引擎启动“经典香港电影修复计划”，应用生成式人工智能（AIGC）技术，使电影在清晰度、流畅度、色彩等方面实现质的提升。全新4K版《A计划》是该计划修复的百部影片之一。上述“一秒”谜团的破解，就是利用智能插帧技术生成了“关键帧”，还原了电影画面的完整性。 近年来，越来越多经典电影的数字高清修复版重登院线，国内外主流电影节纷纷开设“修复经典”单元。5月23日，修复完成的《飞鹰计划》在第77届戛纳电影节的“戛纳经典”沙滩放映单元首次亮相，令全球影迷耳目一新。 “电影修复是保护电影遗产的重要举措。”中国电影资料馆副馆长张小光说，修复不仅是对经典作品的致敬，更是科技与艺术交融，助力电影文化产业新发展。 AIGC技术如何让老电影“复活”？视觉大模型如何拓展视频应用场景？科技与文化的融合又会催生哪些新业态？科技日报记者就此进行了深入采访。 增效提“质”，大模型“修旧如旧” 张小光说，入选“经典香港电影修复计划”的百部电影制作时间主要集中在1970年至1990年间。这些影片见证了香港电影应对国际市场与文化潮流进行的多种类型化探索。“对这批电影进行修复，初衷是为了抢救濒危影片。我们希望通过技术修复，让这些经典影像焕发新光彩，延续经典作品的活力和生命力。” 然而，传统的电影修复流程繁杂，时间漫长。以往4K修复过程，一般要经过对胶片本身的物理修复、数字修复和优化效果进行的艺术修复3个步骤。其中，数字修复环节最复杂，要将胶片转为4K分辨率的数据图像文件，并逐帧抠掉画面中被破坏的部分。一位经验丰富的修复师需要1个月时间，才能修复完成一部电影。 现在，这项工作可以交给工程师。他们利用电脑屏幕上一行行跳动的代码，让修复效率成倍提升。 火山引擎视频云技术架构总监王悦介绍，“经典香港电影修复计划”中，火山引擎首次将AIGC技术应用于老电影修复，借助视觉大模型强大的生成能力和丰富的先验知识，实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。 参与4K修复项目的火山引擎多媒体实验室，日常工作是在短视频供需两端做画质上的提升：一方面，在创作者上传视频至服务器时，尽量减少画质的损耗；另一方面，当用户打开抖音观看时，无论其手机终端是多落后的硬件，也能保证观看的最佳效果。这一过程，需要工程师针对不同的手机性能设定不同的算法。 “大模型具有强大的信息结构化能力，在学习了海量数据对后，可以从中提炼出大量的知识并‘存储’在模型参数中，其生成空间更丰富，能够应对更多的修复场景。”王悦说。 于是，这类算法找到一类新的应用场景——电影修复。 根据影片需要修复的问题，工程师通常会先参考前沿的论文，然后跑代码、调方案，最终找到最优方案。 例如，《飞鹰计划》是动作片，镜头多且转换快，修复难度大，原有技术方案并不能完全解决这些问题。几经周折，当工程师拿出修复的第一版，从技术上已一一达标。但中国电影资料馆专业人员给出的反馈却是：这样的修复失去了电影本身的质感。 针对这一问题，技术团队专门研发出一款全新算法，利用AI模拟出胶片噪点，在提升画质的同时，遵循“修旧如旧，尊重原创”的修复原则，保持老电影的复古风格和质感。 调试过程中，网民也参与了方案的选择。当时，火山引擎发起影迷在线测评，用户扫码进入抖音上的测评界面，便能看到两个不同版本的修复方案。最终，他们选择了多数用户投票的方案。 精益求精，老电影焕新如新 由于拍摄条件、存储方式等诸多因素，老电影往往带有严重的胶片噪点，且分辨率较低，画面质量也参差不齐，很多画面模糊不清。传统的修复方法主要关注光影、色彩、美学等因素，AI修复则擅长从清晰度、流畅度等方面提升画面质量。 火山引擎多媒体实验室工程师张英杰告诉记者，在提升流畅度方面，可以利用智能插帧算法，通过对前后帧的内容进行光流估计，并根据光流信息生成中间帧，提升视频帧率。 修复《A计划》就是典型的例子。“特别是武打片段，比如用AI预测出一个90度转头动作的中间值，插入一个虚幻的45度角画面，就能让转头动作更顺滑流畅。”张英杰解释。 提升影片的清晰度，则需要修复模糊的画面。但模糊成因复杂，在拍摄、储存、拷贝翻印、胶片数字化以及压制导出的过程中，都可能对清晰度造成影响。过去，修复人员通常很难获得精准的“模糊核”。 火山引擎多媒体实验室研究员赵世杰介绍，AI可以从低质数据中抽取不同程度的模糊视频，利用相关统计方法进行真实的退化和损失估计，并通过主观验证进一步筛选视频。同时，在自建的高清影视数据集中，生成“模糊—清晰”匹配数据对，来训练机器学习从低质到高清的潜在映射关系。这样就能快速分辨出不同影片、不同画面模糊的原因，提升修复效率。 在老电影修复中，人像是需要重点关注和优化的。这次修复百部经典港片，AI提供了老旧人像修复和人像超清化等不同的解决方案。使用基于AIGC的人像修复模块，可在保持人像真实特征的前提下，进行高清五官重建。 “对于画质低的人像，我们优化了人像模型在时域上的清晰度和稳定性，对远中近景不同大小、不同姿态角度、不同遮挡程度的人脸都有较好的修复增强效果。对于一些中高质量的人像，我们使用人像超清模块，优化五官清晰度，最大限度还原睫毛、眉毛、发丝和肤质等脸部细节，使修复后画面更有质感。”赵世杰说。 实际上，AI不仅在数字修复环节大显身手，在注重审美价值提升的艺术修复环节也担当起“强助攻”。艺术修复实际上是一个“二次创作”的过程，能很大程度上弥补因当年电影技术种种局限留下的遗憾。 比如，《武状元苏乞儿》中苏灿（周星驰饰）和如霜（张敏饰）面对面凝视的那个瞬间，还能有更好的呈现吗？ 工程师将画面中张敏的人像部分与背景的环境分离，用两套不同的方案进行处理，增强人像的同时，保留环境细节。利用AIGC视觉大模型，把原本的算法推理步骤拆成上百步，通过运用增强的数据规模、模型参数和算力，自然还原了画面的纹理细节。经过多种方案对比，工程师与修复师们共同讨论，确定了张敏最终的“盛世美颜”。 在中国电影资料馆，一些电影虽然修复完成，但对于其胶片，依然会像文物一样被用心地保存起来。 “我们不确定若干年后，是否还会有技术层面更进一步的创新和变革。”中国电影资料馆馆长孙向辉期待着未来，在新技术加持下，修复师们还能修复出更好的版本，让更多珍贵影像走出“铁盒子”，重回大众视野。 落地生根，让用户触手可及 随着“经典香港电影修复计划”工作的深入，视觉大模型也在不断自我成长。 “导演给出的一些艺术指导意见，可以用于引导大模型学习符合人类美学标准的画质修复和增强能力。”火山引擎多媒体实验室算法工程师张珂新说。 “未来，不仅一些老电影中音画不同步的问题将借助AIGC得到更有效的解决，甚至有望让AI对修复效果进行自动评判。”香港城市大学计算机系助理教授马柯德说。 AI进化是一个越用越好用的双向增进过程。张珂新说，他们在修复过程中，把算法落地场景从电影修复拓展到抖音平台的视频，促进了算法研发水平的不断提高。“经典香港电影修复计划”的技术成果也应用到抖音，让用户触手可及。 比如，在视频处理方面，用算法模拟电影胶片颗粒生成来提升影片质感等。在直播场景下，抖音在主播推流端、平台服务器端、观众看播端都部署了相关画质增强算法，对直播全链路的画质进行优化，给主播和观众最好的收看体验。 AI正在加速渗透影视行业，大模型的应用场景不断丰富。除了老电影修复，一些创作性任务如电影角色生成、电影文本生成、剧本自动生成视频等都可以利用大模型进行处理。在国外，尽管禁止将AI作品视为原创素材，但好莱坞编剧工会拟允许编剧在AI协助下创作剧本。在我国，芒果、腾讯视频等也纷纷布局AIGC的使用和发展，影视工具服务商一览科技发布了业界首个“文本+图片+虚拟人”视频AIGC全域工作流，试图从根本上提升整个影视生产链的制作效率。 电视剧《三体》制片人白一骢曾说：“《三体》前期筹备需要八九千张概念设计图，与设计师沟通、改稿一次就要耗费几个月。但AI制图，或许一个下午就能完成。” 在北京光线传媒股份有限公司董事长王长田看来，总体而言，AI将成为行业可利用的一大工具。首先，AI可以提升电影制作效率，尤其是动画电影；其次，它可能降低成本，这对于亏损率较高的电影行业来说无疑将是一个巨大的推动；最后，AI作为一种技术，可以提升电影制作质量，避免低质量产品的出现。 当前，AI+影视融合，催生全新业态。在湖南长沙马栏山文化创意产业园，落户了芒果超媒、抖音、爱奇艺、腾讯、华为、中影年年等一批行业领军企业，视频超算中心、5G高新视频多场景应用国家广电总局重点实验室等十几个科技底座赋能内容生产。2023年园区累计实现企业营收超1700亿元，税收超95亿元。 影视业面临整个行业的洗牌，一些布局、应用AI较好的公司可能会迎来新的爆发点。</section></article>