一台iPhone就能拍大片，摄影和建模师又要被卷了_风闻
差评-差评官方账号-05-08 07:41
本文原创于微信公众号：差评作者：世超
最近国外有个博主发了一段非常酷炫的视频。
视频里，摄影镜头仿佛搭上了筋斗云，以各种不可思议的角度在车内车外飞来飞去，汽车周边的场景就像进入了多元宇宙一般瞬间变换。。。
短短几十秒的视频，靠着这疯狂的运镜，还有流畅的场景变换，竟收获了超过40万的播放量。
而在评论区，围观群众除了对这个视频发出赞扬之外，还有一些人对这个制作过程产生了好奇，开始猜测这个视频到底是怎么做出来的。
于是我拿着这个视频去找了咱们公司的摄影师，问他能不能也给咱也拍一个这类视频？
结果，摄影师看了这个视频，直呼不可能！
说这个肯定是用了什么特效去做的，要么做了什么剪辑，你要是能在现实里直接拍出这种效果，他当场辞职！这个摄影师干不了了。
确实啊，咱们再回头看看这个博主的推文，有提到这个视频是采用一个叫做 NeRF 的最新技术制作的，并在文末@了一个叫 “ LumalabsAI ” 的账号。
好家伙，这名字，看来又是 AI 整的活！
于是咱顺着这个“LumalabsAI”的账号，摸到了它的官网。
首先映入眼帘的，就是它们的宣传视频，有一说一，这个宣传视频里的运镜，确实是有点那味了。
而所有的这些效果，都是由 LumalabsAI 开发的一个叫做 “ LumaAI ” 的 APP 来做的。
在这款应用的简介中，它是这么介绍自己的：
“Luma 是一种通过 AI 使用 iPhone 创建令人难以置信的逼真 3D 的新方法。无论您身在何处，都可以轻松捕捉产品、物体、风景和场景。从您的捕捉中创建电影产品视频、TikTok 和现实中不可能的相机移动，或者只是重温那一刻。无需激光雷达或花哨的捕捉设备，您只需要一部 iPhone 11 或更新机型。”
简单来说，就是只要你有一部苹果 11 以上型号的手机，那你只需要给场景周围拍一些照片，就能利用这个 APP 生成拍照现场的 3D 场景。
看到这么简单，世超也有点心动了，于是也立马下载了一个来试试。
打开应用，对着箱子上的橘子一顿卡卡乱拍，不出几分钟，就生成了一个这样的场景。
整个场景虽然在远处缺少照片信息的地方效果不大行，但是近处对焦部分，整个橘子和箱子的细节还是非常还原的。
在它的官网中还有很多用户上传的场景演示。
比如下面这个铜象画面，如果不告诉你，很难发现这居然是一个 3D 场景。
因为它不仅完美的还原了小象的细节，周围的光照，阴影，甚至连透明玻璃的效果，都给完整复现了。
LumaAI 除了能还原铜像这种小场景外，它甚至还能给你还原使用航拍机拍摄的超大范围场景。
比如就有用户使用航拍机拍摄了一个小镇的全景，然后使用 LumaAI 将这整个小镇 3D 还原，看看这效果，就突出一个“真”。
使用 LumaAI 创建出这些 3D 场景后，接下来只需要把场景置入 3D 软件，然后添加一个虚拟摄像机，剩下的效果呈现，就看这些创作者的创意啦。
就像这个油管博主，他为了满足自己变大的爱好，生成了一个场景，然后把自己身体放大，做出了一个类似巨人入侵的特效。
除了重建 3D 场景外，LumaAI 还能对单个 3D 模型重建，比如通过拍照直接生成高达模型，再放到虚幻引擎里，整个场景瞬间就有了科技感。
这种建模方式相比传统一点一线的建模方式，那可省了不少功夫。
其实像 LumaAI 这种做 3D 重建的软件也不少，在 AppStore 里的 Polycam 就能通过苹果自带的雷达扫描，来估算距离和点云信息，从而重建出一个 3D 场景。
但 LumaAI 不仅不依赖雷达扫描，效果还这么好。这其中离不开这么一个技术，也就是开头那个博主提到的 NeRF（神经网络辐射场）。
这个 NeRF 最早发布于 2020 年的 ECCV 会议，不但囊获了当年的最佳论文，还成功的以一己之力，开启了计算机视觉的另一个研究方向。
NeRF 的基本原理就是通过一大堆带有位置信息的 2D 照片，来训练得出一个神经辐射场模型。
通过这个模型，就能得出任意视角下的清晰照片，这也就意味着，你能通过这个训练好的模型，重建出 3D 场景了。
而且这个论文自发布后，以 NeRF 为基础的各种分支方向的技术也如雨后春笋般冒了出来。
华盛顿大学和谷歌就联合提出了 HumanNeRF，主要用于人体 3D 重建，
还有用于场景风格迁移的 StylizedNeRF，通过拍摄照片，生成 3D 图，然后再对整个场景风格进行转换，变成自己想要的风格。
还有东京大学提出的动画方向的 NeRF，这个项目就不单单是生成一个静态的场景了，它甚至可以把运动的角色和物体都给你生成出来。
像这类的分支研究，已经多到一篇文章写不下来了，世超就不再这里一一展示了。
不过世超是巴不得 NeRF 这个方向的研究越来越卷，毕竟只需要通过照片就能生成一整个复杂的 3D 场景，这对于生产力解放的帮助可不要太大。
去年 Epic 收购的公司 Capturingreality，它们的产品主打的就是通过照片来生成高精度模型。
这种只需要一部手机，就能把现实搬进虚拟世界的技术，在未来，不仅仅是制作视频的自由度更高。
游戏行业，工业场景，甚至是在线教育，都可能迎来翻天覆地的变化。
到时候，虚拟和现实，可就真的傻傻分不清楚了。
图片、资料来源：
Why THIS is the Future of Imagery (and Nobody Knows it Yet)
Lumalabs.AI
capturingreality.com
StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D Mutual Learning
