获取对工程师的冠状病毒影响的最新更新。点击这里
机器人

亚洲必赢研究人员给机器人类似人类的物理环境的感知

3D动态场景图给出了机器人空间能力,可以使他们的工作与人在工厂车间或其他危险的环境中。

詹妮弗楚 2020年7月18日
礼貌:麻省理工学院

那岂不是都欣赏周围的房子一点点的帮助,尤其是如果帮助是在智能,适应性强,毫无怨言机器人的形式?当然,也有家电界的一招一式Roombas,但麻省理工学院的工程师更构想的机器人就像回家帮手,能够按照高层次,Alexa的类型的命令,如“去厨房给我拿咖啡杯“。

为了进行这样的高级任务,研究人员认为,机器人必须能够为人类做感知它们的物亚洲必赢理环境。

“为了让世界上任何一个决定,你需要有你周围的环境的心理模型,”卢卡Carlone,在麻省理工学院航空航天大学助理教授。“这是如此轻松的人。但对于机器人这是一个痛苦的难题,它是关于转换的像素值,他们通过摄像头看到,走向世界的理解。”

现在,Carlone和他的学生已经开发空间感知的表示对于被人察觉的方式探索世界为蓝本的机器人。

新的模型,他们称之为3D动态场景图,使机器人能够快速产生它的周围还包括对象及其语义标签(椅子与桌子,例如),以及人,房间的3D地图,墙和其它结构的机器人,它的环境很可能看到的。

该模型还允许机器人从3D地图提取相关信息,查询对象和房间的位置,或人在其路径运动。

“这种对环境的压缩表示是有用的,因为它可以让我们的机器人迅速做出决定,并规划其路径,” Carlone说。“这不是从我们做什么作为人类太远。如果你需要从你家到MIT规划的路径,你不打算你需要采取的每一个位置。你只是觉得在街道和标志性建筑的水平,这有助于您规划路线更快。”

除了家庭佣工,Carlone说,采用这种新环境的心理模型的机器人也可以适用于其他高级别职位,如侧与人在工厂打工边或探索幸存者灾难现场。

他和他的学生,包括主要作者,麻省理工学院的研究生安东尼Rosinol,都在本周举行的机器人展示他们的研究成果:科学与系统虚拟会议。

映射混合机器人视觉和导航

目前,机器人视觉和导航拥有先进的主要沿着两条路线:3D地图,让机器人来重建他们的环境中,因为他们在实时探索三个维度;和语义分割,这有助于机器人分类在其作为语义对象,例如汽车与自行车,迄今主要是在2D图像进行环境特征。

Carlone和Rosinol的空间感知的新模式是第一个产生实时的环境的3D地图,同时也是3D地图内标记物,人(这是动态的,违背对象)和结构。

Kimera建立一个密集的3D网格语义的环境,并可以跟踪环境中的人类。由图可知在场景中移动的人的多帧动作序列。礼貌:麻省理工学院

Kimera建立一个密集的3D网格语义的环境,并可以跟踪环境中的人类。由图可知在场景中移动的人的多帧动作序列。礼貌:麻省理工学院

球队的新模式的关键组成部分是Kimera,一个开放源码库,该小组先前开发的同时构建环境的三维几何模型,而编码的可能性,其目的在于,比如说,一个椅子与桌子。

“像神秘的生物是不同的动物的混合体,我们希望Kimera是在3D绘图和语义理解的混合体,” Carlone说。

Kimera工程通过采取在图像流从一个机器人的摄像头,以及惯性测量从车载传感器,估计机器人或相机的轨迹和重建场景作为3D网格,一切都是实时的。

以产生语义三维网状,Kimera使用训练上数以百万计现实世界图像的现有的神经网络,来预测每一个像素的标签,然后投射使用被称为射线投射的技术,在计算机中常用的三维这些标签图形实时渲染。

其结果是地图机器人的环境的类似致密,三维网格,每个面颜色编码的对象,结构和环境中的一部分人。

使用算法和场景图的分层场景

如果机器人是靠这个网单独通过其环境进行导航,这将是一个计算昂贵和耗时的任务。因此,建关Ki亚洲必赢mera研究人员,开发算法,构建从3D动态“场景图” Kimera最初,高密度,三维语义网。

场景图都是流行的计算机图形模型,操作和渲染复杂的场景,并在视频游戏引擎通常用于表示3D环境。

在3D动态场景图的情况下,相关联的算法的抽象,或分解,Kimera的详细三维语义网成不同的语义层,使得机器人可以“看到”的场景通过特定层,或透镜。该层的层次结构,从物体和人,开放空间和结构,如墙壁和天花板,对房间,走廊,和大厅,最后整个建筑进度。

办公环境的3D动态场景图。图中的节点代表环境(人,物,房间结构)的实体,而边表示实体之间的关系。礼貌:麻省理工学院

办公环境的3D动态场景图。图中的节点代表环境(人,物,房间结构)的实体,而边表示实体之间的关系。礼貌:麻省理工学院

Carlone所述这个分层表示避免了必须使数十亿点的意义上的机器人,并面临着原始3D啮合。

在物体和人的层,研究人员也已经能够开发出追踪运动和人类在实时环境形状的算法。亚洲必赢

该团队测试的照片般逼真的模拟了新的模式,与麻省理工学院林肯实验室合作开发,通过坐满了人走动动态的办公环境模拟机器人导航。

“我们基本上使机器人具有类似于人类的人使用的心智模式,” Carlone说。“这会影响许多应用,包括自动驾驶汽车,搜救,协同制造,国内机器人。
另一个域是虚拟和增强现实(AR)。Imagine wearing AR goggles that run our algorithm: The goggles would be able to assist you with queries such as ‘Where did I leave my red mug?’ and ‘What is the closest exit?’ You can think about it as an Alexa which is aware of the environment around you and understands objects, humans, and their relations.”

“我们的做法刚刚成为可能得益于深度学习和几十年来对同步定位与地图研究的最新进展,” Rosinol说。亚洲必赢“有了这个工作,我们正朝着机器人感知的新时代称为空间-AI,这仅仅是处于起步阶段,但在机器人技术和大规模的虚拟和增强现实潜力巨大的飞跃。”

麻省理工学院(MIT)

www.mit.edu

- 编辑克里斯Vavra,副主编,必赢亚洲平台,CFE媒体和技术,cvavra@cfemedia.com


珍妮弗·楚
作者简介:麻省理工学院新闻办公室