Dynamic occlusion avoidance approach based on the depth image of moving visual object

这周回来帮崇雨审一个文章,燕大的关于动态物体避障的方案,总体来说写得比较自我,而且没有系统和实用的示例,只是从理论上写的一个方案,自己提出了很多新的东西,然而没办法去很好验证。整个流程是提取曲面特征,通过下一帧的Depth变化为依据,最大化The best Next View来求出摄像机的移动策略,这里将运动评估作为一个term加入到the best next view model里面,通过迭代优化的过程来求出摄像机的位置和方向(x,v).用观测到障碍物体的最大面积来作为调整相机的依据,从一定假设上可以实现避障。

Dynamic occlusion avoidance approach based on the depth image of moving visual object

KeyWords:Moving Object,Depth Image,Dynamic Occlusion Avoidance,Best View Model

Abstract:Dynamic Occlusion avoidance based on the depth image.

首先,用Anti-projection Transformation来获得移动物体的每个像素的三维坐标
然后,用第二张深度图来构建The Best View Model
第三,高斯曲率的特征是平面变换的本质计量,所以运动评估比较两个高斯曲率特征矩阵来实现
(Gaussian Curvature:The product of the maximum and minimum curvatures of the sectionsIt is the intrinsic measure of curvature.)
最后,结合Best View Model和运动检测结果,最优化目的是使摄像机行为满足移动物体的避障过程。

Introduction

主要问题:通过物体的障碍提示来寻找最优观测方向和位置
Next Best View:

  • 用Octree模型来描述可视物体,然后对于不同观察情况的节点,给定不同的分数。
  • 用大量周全的Candidate View
  • 建立一个相似的参数模型,通过depth data和current fitted model来拟合
  • 用B-spline计算信息增益来构建最佳NEXT VIEW
  • 结合on-line theory来优化物体的3D重构
    缺点:没有考虑遮蔽

引入occlusion方法
缺点:受限于摄像机位置、特定的设备和先验信息,以上均不适用于移动的物体

三个问题:

1.如何解决动态遮蔽的避障问题? -> 用一个优化模型,结合运动预测在Best view Model里
2.如何通过深度图来预测可视物体的运动? -> 用两个高斯曲率特征矩阵的匹配来求R T,用到SIFT和SVD
3.如何有效评估动态遮蔽的影响? -> 用“effective avoidance rate”来评估算法的性能

Method Overview

1.The analysis of dynamic occlusion avoidance
获得遮蔽的最大区域

2.The overall idea of dynamic occlusion avoidance
首先,移动物体相近深度图的像素进行三维坐标恢复(用Anti-projection),则遮蔽暗示可以从第二幅图得到
基于上述,用第二张深度图的遮蔽信息来构建Best View Model
接着,用三维坐标点的形式,做高斯曲率特征矩阵来匹配两个相近的深度图
最后,将运动预测结合到最佳视角模型里。

The Approach to dynamic occlusion avoidance based on depth image

1.Constructing the occlusion region to be avoided
构建出patch

2.Constructing the best view model
通过构建最大化Occlusion面积

Algorithm

step1:Calc the 3D pixels and the Gaussian Curvature Feature matrices
step2:Detect the Occlusion Boundary and establish the occlusion region in second depth
step3:Contruct the best view model
step4:Match the key points
step5:Solve the Objective formula
step6:Plan the next view of camera
step7:Acquire a depth image and calc the f(x)
step8:If the difference between two adjacent f(x) is less than a given threshold,then terminated,or jump to Step 4.

Conclusions

1.Add emotion estimate in Best Next View to dynamic occlusion avoidance
2.Based the depth image to solve the R and T transformation
3.Propose the “Effective avoidance rate” to measure the performance of the algorithm.