AR技术新突破：亮风台研发基于图的平面物体跟踪算法

本篇文章2914字，读完约7分钟

增强现实(Ar)是指在广义上把虚拟场景叠加在真实环境上，它不同于虚拟现实。理解真实环境是增强现实的基本点。基于计划的视觉跟踪是增强现实的核心技术之一。据雷锋说。(公开号码:雷锋。尽管ar技术目前发展迅速，但是在利用计算机视觉算法进行平面跟踪的过程中仍然存在很多不足。当平面图像发生倾斜、遮挡、遮挡和移动时，增强现实的识别和跟踪仍然不稳定。

雷锋了解到，国内ar公司的凉风站开发了一种基于图形的平面目标跟踪算法，能够在强干扰场景下实现快速准确的平面跟踪。该成果论文已被人工智能领域的国际顶级期刊《帕米》(ieee模型分析与机器智能学报)录用，并将于2018年正式出版。

本文主要实现了:

将图形模型和图形匹配机制应用于平面目标跟踪。

设计了一种预测物体姿态和匹配关键点的新策略，并将该策略融入到寻找最优解的问题中。

设计了一个带注释的真实场景数据库，用于评估快速运动下的视觉跟踪。

作者简介

凌海滨，梁丰台首席科学家，天普大学终身教授，曾在微软亚洲研究院和西门子美国研究院工作。他在国际权威杂志和人工智能相关领域的顶级会议上发表了140多篇论文，如t-pami、ijcv、t-ip、cvpr、iccv、eccv、aaai、miccai等。他曾担任权威会议区主席和ieee pami的编辑委员会成员，也是美国国家科学基金会职业奖的获得者。

王涛，北京交通大学硕士，主持并参与了国家自然科学基金等20多个科研项目。作为第一作者，他在美国科学促进会、美国化学工业联合会等国际学术会议和杂志上发表了10多篇论文。目前，主要的研究方向是基于图模型的图像语义理解和计算。

以下内容由凉风站原纸编辑，雷锋同志选编。

基于图的跟踪算法:gracker

Gracker是一种基于图的跟踪算法，可以充分利用物体的结构信息来提高跟踪性能。为了表达物体的结构，我们将平面物体建模为图形，而不是一组简单的关键点。这样，跟踪问题转化为图形匹配问题，利用几何图形匹配算法建立关键点的对应关系。

格拉克算法的框架

具体来说，我们使用图来建模平面对象，并且图的顶点由可靠的自动选择机制生成，而不是传统的基于hog的检测器。这种机制使图形结构更加稳定，因此这种方法对极端环境变量(如极端光照条件和运动模糊)具有鲁棒性。

此外，我们将特征对应和姿态估计集成到一个统一的几何图形匹配框架中。几何图形中的二进制约束可以编码全局几何关系，因此gracker算法对各种几何和光学变换更加鲁棒和精确。

如何构建图表

将目标表示为无向图，而不是一堆局部组件或星形模型。给定目标图gm和候选图gc，我们的目标是找到它们之间的最佳对应关系，然后根据相应的结果确定最佳目标状态。目标对象的模型图可以构建如下:

1.生成顶点:我们提取每个帧的关键点来表示局部，然后将其建模为图的顶点。经典的算法是通过搜索不同尺度的狗图像的局部最小值/最大值来获得关键点，如sift。然而，关键点的数量会随着检测器和帧背景的变化而变化。另外，sift容易受到不同环境变化的影响，如光照变化和运动模糊，不利于跟踪精度。我们使用一种更稳健的方法来提取关键点:首先，我们计算每个像素R的sift响应，然后我们将R分成N个网格，将每个网格中最大的sift响应作为该网格的关键点，将所选的关键点建模为图的节点，然后计算它们的描述符作为该节点的属性。

2.生成边:有几种常见的边生存方法，如邻域图、最近邻图和完全连通图。完全连通图包含了大量的结构信息，但是它占用了太多的存储时间和计算时间，因此不适合实时应用。邻域图取决于参数的选择，并受对象缩放问题的影响。我们使用Diloni三角剖分来构造图的边，因为它对平移、缩放和旋转是不变的。

对于每个输入帧，我们以同样的方式构造一个候选图gt，然后将匹配问题表示为图匹配问题。

图形匹配

给定比例为n的模型图和候选图，匹配问题可视为寻找gm和gt顶点之间的对应关系。在一般的图匹配问题中，由于缺乏先验知识，通常不考虑两个顶点集之间的变换。对于目标跟踪，我们可以使用先前帧的变换信息来指导匹配。我们提出了一个几何图匹配(ggm)框架来将转换线索集成到图匹配中。传统的基于匹配的跟踪方法区分特征匹配和变换估计。gmm方法的不同之处在于将特征匹配和变换估计结合成一个统一的框架。

格拉克算法效应

为了系统地评估算法，我们使用了两个常用的基准数据库，ucsb[1]和tmt[2]，以及我们收集的一个快速运动数据库。接下来，我们在两个基准数据库和我们收集的数据库上比较了gracker和其他三个基准算法Strings[3]、IC [4]和ESM [5]的结果。

缩放:下图显示的是纹理较弱的日落。可以看出，ic和打击算法已经失去了目标，而esm和gracker算法给出了更准确的结果。

倾斜:下图中书本倾斜的例子揭示了ic、esm和gracker算法对倾斜是稳健的，而当物体处于极端倾斜状态时，撞击算法无法捕捉到物体。

平移和旋转:所有算法都可以处理小角度旋转，但只有esm和gracker在大角度下是鲁棒的。在360帧之后，esm算法由于运动模糊而变得不准确，而gracker算法在所有帧中都更加稳定。

遮挡和光照:下图显示了几种算法在正常和黑暗光照条件下的部分遮挡实验结果。基于模板的算法，如ic和esm，受到部分遮挡的影响。相反，strike和gracker的匹配算法对部分遮挡更为稳健。在暗光照条件下，由于基于hog的检测器检测到的关键点不可靠，因此打击算法的准确性相对较低。并且我们提出的gracker算法在光线变化的情况下更加稳健。

运动模糊:集成电路和撞击算法对运动模糊很敏感，所以它们从很早就失去了目标，直到视频结束。Esm算法基本上在每一帧中都捕捉到了物体，但是捕捉到的位置并不准确。相反，我们提出的gracker在所有帧中都给出了更精确的结果。

复合运动变换:下图显示了融合了平移、旋转、倾斜和轻微非线性变换的复合变换。通过比较，我们可以看出我们的gracker算法给出了最好的跟踪结果。

参考文献:

[1] s. gauglitz，t. hollerer和m. turk。用于视觉跟踪的兴趣点检测器和特征描述符的评估。ijcv，94(3):335–360，2011。

[2] a. roy，x. zhang，n. wolleb，c. p. quintero和m. j agersand。操纵任务的跟踪基准和评估。icra，第2448-2453页，2015年。

[3] s. hare，a. saffari和p. h. s. torr。基于关键动作的目标跟踪的高效在线结构化输出学习。cvpr，第1894-1901页，2012年。

[4] s. baker和lain a. matthews。lucas-kanade 20年:一个统一的框架。ijcv，56(3):221–255，2004。

[5] e. malis。使用有效的二阶最小化技术改进基于视觉的控制。在icra，第1843-1848页，2004年。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。