大规模3D数据集ScanNet：让机器人理解真实世界

本篇文章1206字，读完约3分钟

据雷锋介绍，2017年第一届计算机视觉与模式识别国际会议于7月21日至26日在美国夏威夷举行。雷锋的记者团也去夏威夷给你带来了第一手报道。会上，许多优秀青年学者将介绍自己的研究和论文，雷(公开号:雷)也将介绍一些内容。

斯坦福大学的博士生安吉拉·戴(Angela dai)在cvpr上做了一个聚焦演讲，主要介绍scannet，一个标有3d室内场景重建信息的大规模rgb-d数据集。

她最初的想法是促进缺乏数据的机器学习算法的发展，尤其是在3d数据上。3d数据包含更多的信息，例如物体的大小和距离。然而，3d数据更难获取和标注，目前3d数据并不多。

安吉拉希望用scannet建立一个可扩展的数据采集框架。他们需要先收集三维重建数据，然后以有效的方式标记数据以收集更多的数据。目前，该团队已经收集了大约1500个rgb-d视频序列，这些序列是通过ipad应用程序和深度传感器收集的。然后视频将被上传到服务器并自动重建。然后，视频将被交给亚马逊机械土耳其人，标记工作将被众包。

数据标注是指在给定的三维场景中绘制对象，例如，绘制椅子、桌子或计算机，以便知道什么是什么以及它在哪里。每张图片通常需要5个人来标记。所获得的数据可用作进行训练任务(如对象分类)时的标准参考。

Scannet数据集有助于直接在3d数据上训练算法。例如，如果机器人在房间里移动，它需要识别房间里有什么物体，它不仅需要识别远处的物体，还需要识别它是什么。

安吉拉和她的团队还对真实数据进行了几个场景理解的基准测试。因为现有的大规模三维数据集是合成的，这与现实世界中采集的三维数据有很大不同。

通常，如果您通过综合数据库来训练算法，那么当应用于真实数据时，该算法将不能很好地工作，因为计算机还没有了解真实世界的数据特征。现实中有很多噪音，所以很难观察到一个物体的所有特征。基准测试表明，计算机在真实数据中的训练效果比在合成数据中的训练效果好得多。未来对真实数据的需求会更大。

安吉拉之前一直在研究三维重建并开发实时三维重建系统，但后来她发现很难将其应用于实践，因为缺乏对场景的语义理解。在一个场景中，人们会想知道物体在哪里，它是什么，这样他们就可以有一个虚拟助手或聊天机器人来帮助与场景互动。这就是她开发新数据集的原因。

此外，除了众包注释任务，他们还希望众包场景重建任务。此外，在语义理解方面还有很多工作要做。但是他们现在的任务是解决物体识别的问题。未来3d场景数据将会有更多有趣的应用。

安吉拉也对将真实世界的数据与合成cad模型相结合感兴趣。这样做的一个优点是合成数据容易获得和操作。如果将合成数据与真实数据联系起来，可以使在模型上训练的系统更容易迁移到真实数据中。

当然，更重要的任务是对三维数据进行语义解释，这有利于机器人更好地理解世界。

scannet上的论文可以在这里下载。

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。