瞳孔反射重建3D，试验场景人人可构建！网友：我焯，黑科技我喜欢_风闻

　　尚恩 发自 凹非寺

　　量子位 | 公众号 QbitAI

　　你的眼睛已经暴露了一切！

　　现在，通过眼睛瞳孔反射的图像，就能直接实现3D全景重建。

　　这不是电影中的高科技情节，而是已被验证的真实实验结果。

　　当我们看着别人的眼睛，我们也会捕捉到从角膜反射的光。就比如使用相机来拍摄别人眼睛，实际上我们也可以将他们的眼睛视为一组镜子。

　　通过在合成场景中放置眼睛模型，利用眼睛的反射就能实现全景重建。

　　对此网友惊呼：我焯！

　　太牛了！蝙蝠侠的黑科技，我喜欢。

　　也一些网友开始担忧，觉得这项技术会让自己的隐私暴露。

　　瞳孔反射重建3D，实验场景人人可构建

　　人类眼睛的反射性，本质就是一个被低估的信息来源。

　　最近，几个美国马里兰大学的学生搞了个实验，通过对移动人物的眼睛进行成像，发现可以利用眼睛反射恢复三维场景。并将实验结果发布论文，标题为Seeing the World through Your Eyes。

　　因为我们的眼睛在头部自然移动时会捕捉到多个视角的信息。

　　所以，实验团队基于这点，将经典的成像方法（比如照相机）和NeRF（神经辐射场）技术结合，通过使用静止相机，从头部移动下的眼睛图像中提取多视角线索。

　　但仅仅是通过这种方式，不足以直接进行建模。而且根据人体眼睛构造，在眼睛图像中的重建过程中还需要处理“眼球的球面形状、虹膜的反射性质以及角膜的折射效应”等因素。

　　为了解决这些个问题，实验团队大胆提出一种基于深度学习的方法。

　　首先，我们训练了一种神经网络，用来预测眼睛图像中的视角。然后，我们利用这些预测结果来建立眼球的形状模型，并通过反射和折射原理来提取眼球表面的反射信息。

　　接着，我们使用多个不同视角的眼睛图像，来还原场景的三维结构，并通过NeRF技术(神经辐射场)估计每个点在场景中的亮度。

　　通过上面方法，就能够从眼睛图像中恢复出观察者所见的全三维世界。

　　看过实验结果，是不是有一种wtf的感觉？

　　先别惊讶，实际上这场实验的训练结果，都是基于这样的场景得出的。

　　一位坐的笔直的试验对象，面前是一个专业相机、一个大型卡比玩偶，还有两个巨亮的聚光灯。

　　研究团队通过“精心”布置，基于上面这种场景来做实验，然后得出结论：可以用瞳孔反射实现三维建模。

　　为了证明技术理论具备普适性，研究团队也随机从互联网挑选了实验对象。比如，他们曾试图通过Miley Cyrus的MV来识别其眼神中的图像。

　　结果就是，因为视频质量，无法重建。

　　整个技术是基于这种“特定”场景下实现的。看完实验过程的网友表示：试验不错，但实验结果与实际结果从来都是两回事。

　　并直言看到这个骚操作，就和用Wifi信号来建模3D人形一样（脑洞大开）。

　　震惊之余也有部分网友理性表示，不用大惊小怪，这种试验操作很多研究团队早就开始搞了。

　　并非第一次

　　从瞳孔反射重建图像在计算机视觉领域一直属于热门话题，类似的试验其实早在20年前就已开始。

　　2004年哥伦比亚大学就发布了一篇论文The World in an Eye。

　　探讨了通过分析角膜的几何模型，可以从眼睛图像中获取人物周围的广角视图和注视点，并计算物体的三维结构，用于恢复眼球里的图像。

　　纽约大学心理学系教授Rob Jenkins也曾在2013年发布论文，表明从照片中人物的瞳孔可以获取更多信息，比如照片拍摄者和旁观者的影像，可以用于案件侦破锁定嫌疑人。

　　虽然已有不少类似的研究，不过以往的研究更多关注如何从眼睛图像中恢复整个全景图像。

　　这次试验的创新点在于，通过一些方法可以很好地恢复观察者所见的全景三维世界，不局限于重建单个全景环境。

　　网友：CSI重现

　　无论过程怎样，结果才是最重要的，尤其对一众吃瓜网友来讲。

　　看过瞳孔3D建模后，大量网友表示，CSI犯罪调查现场的场景得以实现了！

　　而剧情里，探员正是通过放大和增强模糊的监控视频，看到受害者角膜有凶手的倒影，案件找到突破口。

　　事实上这种骚操作一直备受犯罪类题材影视剧青睐，最早可以追溯到1948年的“反案记”(Call Northside 777)，而真正引入计算机分析瞳孔视图技术的电影，当属1982年雷德利·斯科特执导的经典电影《银翼杀手》。

　　想象力推动着科技的发展，而科技的进步又为我们的想象力提供了更广阔的空间。

　　以前电影中的黑科技，现在也不仅仅局限于理论层面。

　　回到论文本身，即使研究也有一些瓶颈，但不可否认，这些实验在恢复场景的几何形状、表面细节方面都取得了很好的效果，而且在人脸识别和VR等应用中也有不少价值。

　　你觉得这个实验如何呢？

　　论文传送门：

　　https://arxiv.org/abs//2306.09348

　　参考链接：

　　[1]https://twitter.com/sterlingcrispin/status/1669781912758648832

　　[2]https://world-from-eyes.github.io/