陈根：追踪手部的手腕设备，实现智能眼镜的虚拟屏幕交互_风闻

文/陈根

智能眼镜作为智能时代即将到来（市场化）的一项科技备受大众关注，而如果智能眼镜能有效地让我们从低头盯着手机的状态中解脱出来，我们就需要一种可靠的方式来与虚拟屏幕交互。

**近日，来自康奈尔大学和威斯康星大学麦迪逊分校的研究人员宣布开发出一种新的腕式设备，**将有助于实现未来出现的虚拟屏幕交互。事实上，这也是第一个能够根据手腕轮廓重建完整手部姿势的系统。

这项发明类似于汤姆克鲁斯（tomcruise）在《少数派报告》（Minority Report）中与未来派警察电脑互动时使用的触摸手套。事实上，我们都开发了肌肉记忆功能，可以在智能手机上快速导航和敲打信息，而对于未来，我们将有可能实现在半空中完成动作，而无需使用实际的键盘进行打字。

该设备名为FingerTrak，新设备的工作原理是通过将人手许多位置转化为3D信息，包括20个手指关节位置的信息，再使用三到四个微型、低分辨率热像仪，读取手腕上的轮廓。 

设备上使用的4个微型热像仪每个都有豌豆大小，可以拍摄多个剪影图像，形成手的轮廓。该系统可以将这些图像结合起来，利用深度神经网络对虚拟手进行3D重建。该项目的科学家表示，通过观察手腕轮廓，该技术能够以3D方式高精度重建手指所在的位置。即使手中拿着一个物体，也可以捕捉整个手的姿势。

对肉眼来说，这似乎并没有太大意义，但当四个热相机的图像合并成一个轮廓时，机器学习可以用来解释斑点，并实时推断出每个手指的位置，并且有足够的精度来区分20个手指关节的位置。

尽管热图图像看起来不起眼，例如，用一个手指做一个指点手势，总是会导致摄像机捕捉到相同的形状，这意味着即使热像相机并非一直都是完美对齐的，机器学习模型仍然能够使用热图图像来知道手是如何摆姿势的，以及它是如何移动的。

FingerTrack的原型机看起来还是原型机，事实上，很少有消费者愿意把它绑在手臂上。但最终，这项技术可以会不会集成到智能手表这样的设备中，而除了支持可穿戴设备的未来，有会不会还有其他应用，这都值得期待。