软件
产品
编辑丨3D视觉工坊
论文名称：
Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds
作者信息：
论文地址：https://arxiv.org/abs/2203.01730
代码开源: https://github.com/Ghostish/Open3DSOT
CVPR 2022
与提出BAT算法的是同一团队，BAT算法的解析可见：https://zhuanlan.zhihu.com/p/431290966
目前在3D单目标跟踪领域，大多数方法使用的都是appearence matching(外观匹配)的方式进行跟踪，这种方法非常依赖于模板和搜索区域点云的特征。在KITTI数据集上，apperaence matching的方法，比如BAT、P2B等，都取得了非常良好的效果，但是作者认为这是因为1、KITTI数据集上的被跟踪物体移动速度都不快，这使得其外观是缓慢变化的 2、被跟踪物体周围通常没有干扰物，对物体特征提取的干扰较小。然而，真实世界通常不存在以上两个特点。
所以，在复杂的现实场景中，单纯的使用apperence matching的方式进行跟踪效果并不好，故作者提出了使用Motion-Centric paradigm(运动估计范式)进行目标跟踪。图1是matching-based的算法的结构图，图2是Motion-centric paradigm的结构图。
图1 Matching-based的范式
图2 Motion-centric的范式
作者认为该文具有以下三个贡献：
1、提出了一个新颖的Motion-Centric paradigm，使用该范式的算法不依赖于外观匹配
2、提出了基于该范式的具体算法MM-Track
3、提出的算法在KITTI、NuScenes、Waymo Open Dataset数据集上取得了非常好的效果
该文提出的MM-Track算法的结构图如图3所示。
图3 MM-Track 算法结构图
基于2.1中所述的Motion-Centric范式，作者提出了MM-Track算法，该算法是一个两阶段算法。第一阶段通过目标分割(这一步或许也可以看做预处理)、运动估计得到大致的目标框，第二阶段使用motion-assisted shape completion进行目标框优化。
2.2.1使用基于时空特征的目标分割作为预处理：
为了得到目标点的相对位移，那么第一步就应该是将目标点从背景点中分割出来。作者构建了一个所谓的spatial-temporal point cloud(时空信息点云)，其实就是把前后两帧的点云拼接在了一起，然后给每个点加了个时间戳。表示为
随后作者为时间信息点云中的每一个点加了一个先验置信度，用公式来说就是：
即，一个点，如果是上一帧的点，并且在Box中，先验置信度为1。如果是上一帧的点，不在Box中，先验置信度为0。如果是这一帧的点，先验置信度为0.5。
这其实也挺好理解，如果在上一帧的Box中，那么该点是前景点的可能性是最大的，如果不在Box中，那么他多半不是前景点。如果是这一帧的点，咱们什么都还不知道，所以置信度处于中间值0.5。
2.2.1一阶段的Box预测
图4 一阶段预测的结构图
2.2.2二阶段的Box优化以及形状完善
都是比较细节的点了，损失函数如下
这个性能提升挺大的，运算速度也能达到57FPS，内存消耗比BAT小31.1%。但是性能受到刷新率的影响，即在10Hz上的数据集上训练，拿到2Hz的数据集上就不行。
作者：在这项工作中，我们重新审视了激光雷达点云中的3D SOT，并提出用一种新的以运动为中心的范式来处理它，这被证明是对基于匹配的Siamese范式的极好补充。除了新的范例之外，我们还提出了一种特定的以运动为中心的跟踪算法MM-Track，它在各个方面都显著优于现有技术。大量分析证实，以运动为中心的模型对干扰和外观变化具有鲁棒性，并且可以直接受益于以前基于匹配的跟踪器。我们相信，以运动为中心的范式可以作为指导未来此类算法设计的主要原则。在未来，我们可能会尝试通过考虑更多帧，并在更精细的设计下将其与外观匹配相结合来改进MM算法
笔者：性能提升真的是很大。但是这种所谓的Motion-Centric我感觉并不独特，如SimTrack在思想上就和这篇文章比较类似。但是在3D单目标跟踪领域，直接使用Motion，而不使用appearence的算法，似乎是没有看到过。最近的文章似乎都在阐述一个趋势，即3D领域的点云本身的外观信息不可靠，只能作为Motion的辅助？
免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删
技术文档
推荐好文
155-2731-8020
