OAK-D设备为未来的“空间人工智能”铺平了道路-彭博社
Laura Bliss
iPhone截图显示,“通勤守护者”利用空间人工智能识别并响应接近自行车骑行者的危险车辆。
摄影师:Luxonis2017年,Brandon Gilles离开了自己的电气工程师工作,打算制作一款增强现实激光标签游戏。但这个计划一直被悲剧性新闻打断:在一年的时间里,他认识的四个人在骑自行车时被车撞到。其中三次碰撞造成严重伤害,一次是致命的。所有人都是被后方撞击。
于是,Gilles着手制作一款能够帮助预防这类碰撞的自行车灯,起点是他的激光标签想法的同一地方:被称为“空间人工智能”的新兴领域,人工智能与物理世界相遇的地方。在一个牛奶箱的背面,Gilles拼凑出了一个原型,该原型使用深度感应立体摄像头和计算机视觉来估计接近车辆的速度和距离。通过AI编程,“通勤守护者”可以识别碰撞即将发生,发出音频或视觉警报,以便骑行者能够躲避。
BloombergCityLab德里的奶油鸡争论通过食物追溯城市的动荡历史波士顿面临住房和交通问题,可能失去年轻居民新加坡着手让游客出入更加便利纽约市刚刚度过了有史以来最安全的行人年。是什么让一切顺利?吉尔斯并没有发明任何新东西。从本质上讲,他打造了一个缩小版的自动驾驶车辆如何“看到”道路上的物体并知道如何避开它们的过程,只不过是针对骑自行车的人。但是随着空间人工智能潜在应用远远超出自行车界,吉尔斯看到了将同类零部件打包在一起的硬件的价值,这样其他怀揣伟大理念的工程师就不必从零开始。
“我想,让我们做出相当于2021年网站设计体验的东西,而不是1990年代的体验,”他说。
吉尔斯创立并现在负责的空间人工智能公司Luxonis正在与一家智能自行车配件制造商合作,以便原始的避撞自行车灯有朝一日能够上市销售。但是使这一切成为可能的硬件OAK-D现在已经上市,它正在推动一系列工程项目,测试当计算机能够实时三维感知世界时可能发生的事情。开箱即用,它可以处理物体和运动的大小和距离,而单独的软件编程可以训练它放大特定的环境特征并告知人类决策,几乎没有延迟。
OAK-D设备的包装和销售方式。由Luxonis提供“这就像将人类级别的感知能力塞进一个一英寸的立方体中,”他指的是为该设备提供动力的芯片模块。“事实证明,当你能做到这一点时,许多问题不再是无法解决的。”
目前,OAK-D是由微软和英特尔赞助并由OpenCV推广的一项比赛的中心,OpenCV是一个托管开源计算机视觉软件代码的组织。在第二年,这项比赛已经吸引了来自世界各地的工程团队提交了超过1400份作品,以测试OAK-D如何应用于实际问题。去年的获奖作品包括一个可以测量作物健康状况的除草监测系统,一个健身训练安全应用程序以及一个为视障人士设计的背包式导航系统,当它发现阻塞的通道、晃动的树枝和其他障碍物时会发送音频警报。今年的提案包括手语阅读机器人、道路质量评估工具和音乐练习助手。Gilles表示,这项比赛可能会为他的公司Luxonis或其他公司投资提供潜在的创意。
Jagadish Mahendran,加利福尼亚的一名AI工程师,去年赢得了为盲人提供导航辅助系统的比赛。他正在继续测试和完善支撑该系统的软件,他计划最终将其免费提供下载。Mahendran表示,帮助视障人士的类似AI想法已经被原型化,但它们的开发需要许多独立部分,这比他用OAK-D进行的过程更昂贵和费力。
“目前市场上实际上没有更便宜、更小的其他解决方案,”他说。
连接到一个质量控制机器人,OAK-D可以被训练来识别好坏草莓。由Brandon Gilles/Luxonis提供计算机视觉——计算机理解图像或视频的能力——以及大规模地理观察最近才作为工程领域相互碰撞,明尼苏达大学计算机科学教授Shashi Shekhar说。这种碰撞使最近的进展成为可能,比如车道跟随和自适应巡航控制以及可以了解全球石油水平和作物健康状况的卫星成像系统。
Gilles表示,这项技术是传统3D计算机制图的重大进步。尽管自20世纪80年代以来计算机已经能够生成地理区域的实时三维地图,但这些地图在某种意义上仍然是“愚蠢”的,因为它们仍然需要人类知道其中的内容。“这在很大程度上阻碍了自动驾驶一段时间——有很多感知世界的方法,但没有智能的方法,”他说。
有许多其他公司正在构建包含类似组件的机器,包括数十家计算机视觉初创公司构建这些机器人、自动驾驶车辆、增强现实眼镜和其他结合深度感知和人工智能的先进技术。 英伟达和其他公司制造能够进行图像处理人工智能的芯片。Gilles说,新智能手机也可以做到OAK-D所做的大部分事情,但工程师们不能轻松地围绕iPhone或Android设备构建新产品。“我所说的一切在那些手机上的表现比我们好得多,”他说。“我们所允许的是在你不能仅仅使用iPhone的问题上。”
已经将OAK-D嵌入其设计中的其他实体包括一家制造能够检测水下管道泄漏的自主潜水艇的公司,一位正在构建智能机器狗助手的企业家,以及DARPA,Gilles说。
Shekhar没有听说过OAK-D设备,并表示他不知道还有其他类似的产品。“看起来很令人兴奋,”他说。“对于休闲开发者来说,你可以想象这将变成像乐高积木一样。”
但是,就像任何新技术一样,新兴的空间人工智能领域也带来了新的伦理挑战。谁拥有计算机生成的地理信息可能是一个棘手的问题,Shekhar说。例如,如果OAK-D被安装在一架无人机上,帮助科学家监测一个地区的干旱情况,或者帮助税务评估员评估当地的房屋价值,那么数据应该属于监测这些私人区域的人还是属于拥有这些区域的人?
还可能存在隐私和监视方面的担忧。Shekhar提供了一个疫情时代的例子。“你可以在无人机上安装一个OAK-D来告诉你一个地方是否有超过20人聚集,”他说。“也许有人可以利用这一点向卫生官员举报人们。”
想象一下,一个安装在商店或办公空间入口处的OAK-D设备会检查确保你戴着口罩。由Brandon Gilles/Luxonis提供Gilles表示,OAK-D内部的芯片并非设计用于安全或警察监视,其他人工智能产品更适合那些试图构建用于识别人员的工具的人。但从某种意义上说,与市场上其他设备相比,OAK-D可能会提高隐私保护:这是边缘计算的一个例子,图像数据直接实时处理,而不是云计算,数据被发送到服务器,其他人可能能够查看数据或者可能会保存多余的信息。“如果你想要检测钻井现场的违规行为,你可以检测到这些,但不会上传图像数据,所以不会看到有人挖鼻孔或在现场小便,”Gilles说。
尽管如此,该产品被宣传为能够进行人脸识别,包括人们是否戴口罩。 Gilles承认这项技术可能会帮助某人识别违法者或寻找特定个人。提高处理大量空间信息的能力,更快速、更便宜,也可能导致由于自动化而失业。
他预计有一天,我们将生活在一个大部分物体都意识到自己环境的世界中 —— 就像现在iPhone可以通过人脸识别解锁一样,从送货无人机到交通信号灯再到机器高尔夫球车,所有这些都具有一定程度的情境意识。
“我们现在拥有的是一种可以告诉你,当你移动时,这是椅子,这是椅子的边缘,这是显示器,那是墙上的一个人的照片,不是真实的人,” Gilles说。“就像人类能理解世界一样,现在计算机也可以了。”