基于立体视觉与侧影轮廓的三维建模

基于立体视觉与侧影轮廓的三维建模
报告人:王伟
2012年8月28日
2012/9/7 1

1.总体思路
2.侧影轮廓的提取
3.可见外壳的计算
4.三维模型的创建及优化
5.总结与思考
内容提要
2012/9/7 2

问题:怎样通过语义输入或鼠标操作的方式对场景中指定对象进
行重建,或对已重建结果部分或整体地进行优化?
(1)除特征点之外,视图中存在很多高层信息(直线、曲线、轮廓、
语义区域等)可用于重建,怎样提取这些信息?
(2)怎样将提取出的高层信息用于重建或对重建结果进行优化?
例如:
视图 语义区域 三维模型
2012/9/7 3

总体思路
2012/9/7 4

从视图中提取信息
主要目标:根据用户的语义或鼠标交互,从具有复杂背景的视图序
列中提取指定对象的侧影轮廓以优化三维重建结果。
由侧影轮廓生成的可见外壳可以较好地逼近指定对象表面,因而有
几下用途:
(1)实现对象的点云分割。
(2)实现对对象进行重建优化时的初始化操作。
(3)视图遮挡的估计。
2012/9/7 5

三维重建方法的选择
(1)立体视觉方法:根据视图间相匹配的特征点的
对应关系,通过三角化方法确定三维空间点。
缺点:对于不满足Lambert条件的表面、弱纹理区
域、重复性纹理区域,由于特征点匹配错误,会影
响重建精度。
(2)侧影轮廓方法:物体在不同视角下的侧影轮廓
是理解物体几何形状的重要线索,而且对光照、纹
理等条件不敏感。物体必然位于侧影轮廓与投影中
心确定的可视锥体之内。
缺点:不能重建物体的凹陷区域。
两种方法在性质上属于“正交互补”关系,可以相
互融合以优化重建。
立体视觉方法
侧影轮廓方法
2012/9/7 6

1.输入已标定图像序列;
总体思路
2.提取指定对象的侧影轮廓,然后生成可见外
壳初始化对象模型,对于有限视点的情况,
通过求取视图间匹配点集、三角化、网格化
等步骤初始化对象模型;
3.立体视觉方法生成深度图、点云,或者其他
约束条件(photo‐consistency等);
4.利用MRF、主动轮廓模型、水平集方法等访
求将问题转化为能量最小化问题进行求解;
5. 输出对象高精度三维模型;
6.纹理映射及后续处理
侧影轮廓、语义区域等
可见外壳、包围盒等
视图序列
稀疏点云、PC约束等
能量优化
2012/9/7 7

复杂场景中侧影轮廓的提取
2012/9/7 8

当前算法存在的问题:
侧影轮廓的提取方法[1]
(1)在纯色背景或背景不变的情况下,使用当前视图减去背景的方式来提取前景
轮廓,视图一般在特定场景中获取。
(2)针对复杂场景中侧景轮廓的提取,往往基于过多的假设条件 [3][4] 。
基于Graph‐Cuts的多视图同时分割方法 [1][2]
1.基本思路:根据背景颜色模型和前景对象空间一致性约束,对多个视图中的
前景对象同时进行分割。通常有以下假设条件:
(1)前景对象应完全显示于每个视图且大致位于视图的中心位置;
(2) 前景与背景颜色模型通常有较大的差异;
(3) 视图间的前景颜色变化不大。
[1][CVMP2011]Automatic Object Segmentation from Calibrated Images
[2][PAMI2010]Silhouette Segmentation in Multiple Views
[3][BMVC2007]Automatic 3D Object Segmentation in Multiple Views using Volumetric Graph‐Cuts
[4][ACCV2007]Identifying Foreground from Multiple Images
2012/9/7 9

2.主要工具:Graph‐Cuts
i
y
i
x
i
i
S
S
N
y
x
i
y
i
x
s
I
x
i
x
i
i
j
i
x
d
i
i
i
j
i
t
I
I
E
I
B
S
S
E
I
B
S
S
E
)
,
(
)
,
(
)
,
,
|
(
)
,
,
|
(
根据约束条件对多幅视图同时完成分割
数据项:像素侧影轮廓概率。满足(1)
空间一致性约束;(2)前景及背景GMM
颜色模型。
平滑项:相邻像素应满足相
同的约束条件,从而应具有
相同的前景或背景选择。
2012/9/7 10

3.数据项:
像素应遵循的概率图模型 [1] :
B
I: 当前视图 t:已知模型参数 B:背景颜色模型 F:前景空间位置
S:二值侧影轮廓
联合概率为:
P( S,
F,
B,
I,
t)
P(
t)
P(
B | t)
P(
F | t)
P(
S | F,
t)
P(
I | B,
S,
t)
P(
S | F,
t)
P(
S
i,
x
i
X
P(
I | B,
F,
t)
P(
I
i,
x
| F , t)
i
X
x
| B
i
x
, S
i
x
, t)
[1][ICCV2005]Fusion of Multi-View Silhouette Cues Using a Space Occupancy Grid
I
t
S
F
对侧影轮廓提取起作用只有
这两项,其他两项反映了视
图的已知知识[如视图大小等]。
2012/9/7 11

(1)
P X x
i
( S | F , t)
前景对象空间一致性约束:
R x
i
i ji
P(
S | F,
t)
P(
S | S , t)
x
约束关系:视图i中任一像素的反射线与其他视图产生i‐1个可视锥交叉点概率。
2 1 (
C
m
Cx
) 2
c
Cx
e
View i i
x
( C N
m
2012/9/7 12
1
,N为视图数)

:当前像素x位于侧影轮廓之外
b
x
i
j
i
x
P
R
t
S
S
P )
,
|
(
0
1
i
x
i
x
S
if
S
if
0
i
x
S
:当前像素x位于侧影轮廓之内
1
i
x
S
b
P :侧影轮廓概率
(2)
k
k
F
k
F
i
x
F
k
F
k
k
k
i
x
B
k
i
x
i
i
x
m
I
N
m
I
N
t
S
B
I
P
B
B
B
)
,
|
(
)
,
|
(
)
,
,
|
(
)
,
,
|
( t
S
B
I
P
i
x
i
x
i
X
1
0
i
x
i
x
S
if
S
if
前景GMM颜色模型
背景GMM颜色模型
2012/9/7 13

(3)侧影轮廓概率
1
,
0
)
,
,
,
|
(
)
,
,
,
,
(
)
,
,
,
|
(
i
x
S
i
x
i
i
j
i
x
i
x
i
i
j
i
x
i
x
i
i
j
i
x
t
I
B
S
S
P
t
I
B
S
S
P
t
I
B
S
S
P
1
,
0
,
,
)
,
,
|
(
)
|
(
)
,
,
|
(
)
|
(
i
x
S
i
x
i
i
x
t
i
j
i
x
i
x
i
i
x
t
i
j
i
x
t
S
B
I
P
S
S
t
S
B
I
P
S
S
P
)
,
,
,
|
(
)
,
,
|
( t
I
B
S
S
P
I
B
S
S
E
i
x
i
i
j
i
x
i
i
i
j
i
t
)
,
(
1
1
)
,
( i
y
i
x
i
y
i
x
s
c
c
D
I
I
E
数据项:
平滑项:
4.平滑项:
i
x
c
其中 、 分别为视图i中相邻像素x、y的平均颜色。
i
y
c
2012/9/7 14

5.求解过程
最大可视体在各个视图中的投影作为初始前景区域;
估计每个像素的侧影轮廓概率、前景与背景GMM颜色模型;
最大流/最小割方法求解能量函数[对像素进行前景、背景标记];
更新每个像素的侧影轮廓概率、前景背景GMM颜色模型,然后迭代进行能量
优化求解直至算法收敛。
视图与其摄像中心形成该视图的最大
可视锥,多个可视锥的交集即形成最
大可视体[前景位于其中]。
最大可视体在视图中投影 视图序列及初始化
2012/9/7 15

迭代过程及最终侧影轮廓的生成
2012/9/7 16

6.算法缺点
(1)前景边沿区域的颜色模型与背景颜色模型如果相似,则该区域像素的侧影轮
廓概率求解具有两义性,最终导致分割失败;
(2)在实际中,前景位于视图中心且完全显示的假设通常不一定成立;
(3)视图间的背景颜色如果改变较大,由于背景颜色模型的创建不够准确,则很
容易造成分割失败;
(4)每幅视图的全部像素参予运算,时间复杂度很高;
(5)侧影轮廓越多,生成的可见外壳越逼近真实表面,但却需要更多的视图参与
分割,极大地增加了算法的复杂度。
2012/9/7 17

基于前景信息传播的多视图分割 [1]
侧影轮廓的提取方法[2]
1.基本思路:对某个视图中的前景对象进行分割(GrabCut、Lazy snapping等),则前
景信息在视图序列中进行传播,最终分离出每个视图中前景对象。整个过程不需
要场景或视图的假设条件。
任意选择视图
通过GrabCut对单幅视图的前景分割
.
前景信息在视图序列中传播
[1][DAGM2005]Automatic Foreground Propagation in Image Sequences for 3D Reconstruction
2012/9/7 18

2. 主要工具:主动轮廓模型[snake模型]
主动轮廓模型:在目标边界附近初始化一条可以随时间变量t形变的参数曲线
C(s,t)=(x(s,t),y(s,t)),其中空间参数s∈[0,1]。赋予该曲线能量:
Eint ernal
E
snake
N 1
0
E
element
( C(
s,
t))
ds
Eelement Eint
ernal ( C)
Eexternal
( C)
怎样初始化轮廓?
怎样驱动轮廓向能量最小的方向运动?
:曲线C的内部能量,是与曲线本身属性相关[弹性、刚度]的函数。
主要使轮廓保持平滑与规则。
Eexternal
:与图像特征相关的外部能量,驱动轮廓向目标方向[使整体能量函
数最小化的方向]运动。
二维曲线 三维表面 实际图像
2012/9/7 19

ernal
E int
(1)内部能量
]
)
(
)
(
[
2
1
)
(
2
2
2
2
int
s
C
s
s
C
s
C
E ernal
其中,α、β分别表示曲线C的弹性系数与刚性系数。
(2)图像能量 external
E
2
)
,
(
)
,
( y
x
I
y
x
E external
2
)]
,
(
*
)
,
(
[
)
,
( y
x
I
y
x
G
y
x
E external
注:当曲线C位于目标边界邻近时,该能量值是个比较大的负值;当曲线C稍
远离目标边界而位于图像灰度值比较平坦的区域时,该能量值是个趋于零的
值,所以,该能量形成一种驱动曲线C向目标边界运动的力量。
0
)
(
)
( 2
2
2
2
external
E
s
C
s
s
C
s
内力与外力达到平
衡的时候,曲线运
动到目标边界停止。
ext
F
int
F
Euler‐Lagrange方程:
ext
F
int
F
外部能量场
曲线在内外力作用下的演变
2012/9/7 20

3.确定初始轮廓
思路:由参考视图前景信息确定当前视图前景的初始轮廓。相对准确的初始
轮廓不但保证主动轮廓算法的可行性与精确性,而且提高整体运算速度。
具体上,可通过参考视图与当前视图之间的颜色约束、极线约束、空间一致
性约束、photo‐consistency约束等关系来初始化当前视图的轮廓。
(1) 颜色模型约束
由于相邻视图间存在很大的冗余信息,参考视图的GMM颜色模型可作用于当前
视图以分离出当前视图的部分前景区域及与前景颜色相似的背景区域。
数据项:
E
d
O
LO
( si
| )
( si
) i O
L ( s | ) L ( s |
L L ( | )
O
B
其中 ( | ) 、 i 分别超像素 s 在参考视图前景与背景GMM模型下的值。
O si
B s
平滑项: E ( s , s ) exp(
c
s
i
j
O
i
jN
( i)
其中 、 分别为超像素 、 的平均颜色。
c
s
ci j
B
i
si j
i
c
j
B
)
2
)
i
2012/9/7 21

(2)极线约束
参考视图前景GMM模型作用于当前视图 当前视图分离出的区域
对于参考视图某个前景超像素,其与当前视图相匹配的超像素位于当前视
图对应的极线上。
参考视图前景中某超像素 当前视图中对应极线 当前视图极线上前景区域
2012/9/7 22

(3) photo‐consistency约束
空间物体上某点或区域在各个视图上的投影应表现出一致的外观特征[颜色、
纹理等] ,彼些间匹配值都较高,反过来,通过这些点或区域的匹配操作,
可通过三角化方法估计出空间物体上的相应点或区域的三维坐标或深度。
如果估计出 [1] 参考视图与当前视图中超像素的深度关系,则可滤除当前视图
中与前景具有相近外观特征的背景超像素。
超像素颜色一致性约束 参考视图中某超像素在其他视图中匹配曲线
[1][PAMI2007]Multiview Stereo via Volumetric Graph‐Cuts and Occlusion Robust Photo‐Consistency
2012/9/7 23

各个视图匹配曲线
横坐标:参考视图中沿某超像素反射线的深度
纵坐标:超像素间的匹配值
超像素颜色表达: Gi { ui,
i}
超像素匹配值:
近似性计算 [1] :
dis( Gi,
G j ) exp(
J ( Gi
, G j ) )
1
J ( Gi
, G j ) ( KL(
Gi
, G j ) KL(
G j,
Gi
))
2
Gi
( x)
KL(
Gi
, G j ) Gi
( x)
log dx
G ( x)
1 1
1
dis(
Gi,
G j ) ( tr(
i
j j i
)
2
T 1
1
( ) ( )( ) 2d)
i
j
i
j
j
i
j
1
2
在没有遮挡的情况下,真实深度应
位于匹配曲线局部最大值位置。
每条曲线的局部最大值
Parzen窗法估计局部最大值分布
[1][Journal of Multimedia2007]. Single‐ended quality measurement of noise suppressed speech based on Kullback‐Leibler distances.
2012/9/7 24

(4)空间一致性约束
如果前i幅视图的轮廓已经确定,则第i+1幅视图轮廓可由前i幅轮廓确定的可见
外壳的投影来初始化,投影区域之外的背景超像素则外滤除。
当前视图单个超像素匹配结果
4.确定外力能量场
当前视图通过匹配得到的部分前景 前景初始轮廓
(1)外力场来源
(i)深度图的梯度:场景深度分布总是分段平滑的,在前景内部深度变化平稳,
但在前景与背景交迭边界处的深度则变化非常强烈,所以可用其计算外部驱动
能量,吸引曲线向真实的前景与背景交迭边界运动。
深度的估计采用前述方法获取(室内或用Kinect获取)。
(ii)边缘图:前景与背景的交迭边界可通过Canny、Sobel等算子进行检测,获取的
边缘图用于计算外部驱动能量,使曲线向边缘方向运动。
2012/9/7 25

α、β分别权值系数。
5.轮廓形变
Eexternal edge
depth
( C)
E ( C)
E
( C)
(2)外部能量场的扩散(Gradient Vector Flow) [1]
GVF对普通梯度场进行扩展,使得作用范围更大,并可吸引曲线进入凹形区域。
(3)“气球力” [2] 的推动
( C)
k N(
X )
FB B
N(C)
其中 表示轮廓在X处向内的单位法向量, 表示气球力的权值。
初始前景轮廓 轮廓形变过程
迭代100次时前景轮廓
[1]C. Xu, J. L. Prince. Snakes, Shapes, and Gradient Vector Flow. IEEE Transactions on Image Processing. 1998, 7(3): 359~369
[2]L. D. Cohen. On Active Contour Models and Balloons. CVGIP: Image Understanding. 1991, 53(2): 211~218
2012/9/7 26
k
B
外部能量场扩散

6.算法缺点
(1)对于拓扑结构比较复杂的前景区域,初始轮廓的获取会存在偏差,近而会影
响算法精度;
(2)边缘图生成的外部驱动能量不太可靠,特别在纹理很复杂的情况,驱动力的
方向感很差,不易于收敛收目标边界;
(3)视图间如果基线过大,可能会造成初始轮廓离目标边界较远,最终导致轮廓
不能收敛于目标边界,即使收敛,迭代次数也会很多。
2012/9/7 27

可见外壳的计算
2012/9/7 28

可见外壳的计算
可见外壳的生成:每个侧影轮廓和相应的投影中心确定一个可视锥,多个可视
锥在空间的交集。
可见外壳生成原理 基于多面体的直接求解算法
侧影轮廓超多,由其生成的可见外壳超逼近真实物体。
单幅侧影轮廓的可视锥 多个可视锥生成可见外壳
2012/9/7 29

八叉树算法
将包围盒离散为体素集合,考察每个体素在各个视图上的投影是否位于侧影轮
廓的内部、外部、边界:(1)内部体素保留;(2)外部体素舍去;(3)边界体素则分
解8个子节点,然后检测子节点的投景位置直至达到分辨率。
判断体素投影位置 生成可见外壳
.
侧影轮廓[8幅]
2012/9/7 30

三维模型的创建及优化
2012/9/7 31

三维模型的优化
思路:三维建模在某种意义上就是三维分割问题,即对于重建对象上的某点或
区域,决定其是否属于该对象的二值分割问题,所以,可以将三维建模问题转
化为常规的优化问题来处理,而可见外壳或稀疏点云的初始化,则有助于优化
问题的求解[包括精度与速度]。
具体上,可将真实表面限制于特定空间,
然后将该空间用体素的方式进行表达,
最后根据photo‐consistency约束或当前点
云信息,利用Graph Cuts对体素进行标记
[表面内/外]。
外表面:可见外壳或其他包围盒[蓝]。
内表面:由符号距离函数或点云定义 的
初始表面[绿]。
优化原理
2012/9/7 32
Point
cloud

内表面:
3
S { x R : d(
x)
D
in
包围体积:
C in
3
{ x R : D
d(
x)
in
}
0}
其中 d(x)
为符号距离函数, D 为正常数。
in
用Graph Cuts对体素进行标记
体素MRF
2012/9/7 33

视图序列
视图序列
侧影轮廓 可见外壳 三维模型
包围网格
初始表面 三维模型
2012/9/7 34

总结与思考
1.三维重建的难点不在于三维重建的过程,更在于对二维图像的理解。
通过用户提供适量的交互信息,可以从视图序列提取直线、曲线、轮廓、
形状等相对高层的信息用于重建或对重建结果进行优化处理。
2.针对复杂场景中拓扑结构相对复杂的对象,其侧影轮廓的提取算法有
待进一步改进。
3.怎样对侧影轮廓进行重投影误差分析以便在侧影轮廓未能完全提取时
仍可获得较好的可见外壳[初始化模型]?
4.对于拓扑结构复杂的对象建模与优化,是否应当利用隐函数表达的方
法来处理?
2012/9/7 35

欢迎批评指正,谢谢!
2012/9/7 36