优化中的分支定界方法及其在计算机视觉中的应用

优化中的分支定界方法及其在 

计算机视觉中的应用 

张强 

2009.10.20

主要内容 

1.回顾——凸函数与非凸函数 

2.优化中的分支定界方法 

3.分支定界方法在计算机视觉的应用

凸函数与非凸函数 

n 函数 f : R → R为凸函数(convex 

function), 

如果其定义域为凸集,并且 ∀xy , ∈dom f, 

0≤θ≤1, 有 

f ( θ x+ (1 −θ) y) ≤ θ f( x) + (1 −θ) 

f( y) 

B. Stephen and V. Lieven. Convex Optimization. Cambridge University Press, 

2004.


非凸函数: 

函数 f n : R → R为拟凸函数(quasiconvex‐ 

function),如果其定义域及所有的子集 

为凸。 

S = { x∈dom f | f( x) ≤α, α ∈R} 

α


非凸函数:

优化中的分支定界方法 

分支定界(branch and bound)方法是解决非凸 

优化全局极值的一种启发式方法。该方法利用目 

标函数的上界或者下界对可行集进行删减,并最 

终在一定精度上达到全局极小值。这种方法相当 

于在整个可行集上逐点进行枚举,但由于在搜索 

过程中不断更改可行集,所以其运算速度大大高 

于一般搜索方法。 

B. Kolman and R.Beck. Elementary Linear Programming with 

Applications(international edition). Academic Press, 1980. 

F. Kahl , S. Agarwal, and et al. Practical Global Optimization for Multiview 

Geometry. IJCV, 79:271‐284,2008.


例:一个3变量的0,1优化问题 

右图中根节点(root node)为整 

个可行集,而其他节点为根节 

点的子节点表示子可行集,连 

接节点之的线称为分支(branch), 

从节点1到节点k的一系列分支组成一条通路 

(path),被未检查到的节点称为隐式枚举的 

(implicitly enumerated)节点,反之称为显示枚举的 

(explicitly enumerated)节点。隐式枚举节点的顶端 

节点称为终止节点(terminal node)。


一般的搜索方法在整个可行集中进行逐点枚举。 

相比之下,分支定界方法能够利用一些条件进行 

自顶向下的枚举,在这个过程中不符合条件的节 

点成为终止节点,从而使得隐式枚举节点不用显 

式的被检查,大大加快了计算速度。


例:一个连续函数优化问题的分支定界方法 

min Φ( 

x) 

st. l ≤ x ≤ 

u


步骤1 

* 

给定初始最优估计值 Φ( 

x ) ,及终止条件 ε 。 

对 Φ( 

x) 

做凸松弛,计算出松弛函数在整个可行集 

上的最小值 lb( ) ,如果 ,则终止, 

输出最佳值 ,否则继续迭代; 

x′ 

Q 

Φ Φ( x′ ) −Φlb( x′ ) ≤ε 

x = x′ 

opt


步骤2 

将可行集分为k个子集 Qi,计算每个子集上松弛函 

数的最小值 lb( i ) 。定义 ,如 

果 ,则停止迭代,输出结 

果 ; 

x′ 

* 

Φ x1 = arg min k Φ( 

x′ 

) 

{ qi} 

i 

i= 

1 

* 

Φ( x1 ) −min 1≤i≤ 

kΦlb( x′ i) 

≤ε 

* 

x 

1


步骤3 

j 

′ 

* 

如果第个子集, Φlb( xj) −Φ ( x ) > 0,则排除该子集, 

反之留下该子集。 

* 

* 

如果存在 Φ( x′ ) −Φ ( x ) < 0, 

则 j。重复步骤2。 

j 

x = 

x′


分支定界方法的收敛条件: 

1.可行集为闭的紧集,以确保具有全局极值; 

2.当可行集 Q 的边界 lu , , l−u 趋近于0时, 

* * 

Φ( x ) −Φlb( 

x ) 亦趋近于0。

分支定界方法在计算机视觉的应用 

问题描述 

重投影残差 

其中摄像机矩阵 P p , p , p ,图像坐标 uv , , 

空间点齐次坐标 X 

。 

T T 

⎛ p1 X p2 X ⎞ 

r = ⎜u− , v− 

T T ⎟ 

⎝ p3 X p3 X ⎠ 

T 

= [ ] 

( ) 

1 2 3 

T


对于计算重建问题,其目标函数可以表示为 

其形式为 

i= 1 i 

N 

∑ 

i= 

1 

N fi( x) 

min ∑ 

subject to x∈D x g ( x) 

该优化不是一个凸优化问题。 

r 

i 

2 

2


将上述进一步代换得到 

min 

xts ,, 

i= 1 i 

st . f ( x) ≤ t, g ( x) ≥ s 

Q 

x∈D,( t, s) ∈Q0 

2 p 

[ l , u ] × L× [ l , u ] × [ L, U ] × L× 

[ L , U ] 

其可行集为凸集。 0为一个 

维空间 

N 

∑ 

ti 

s 

i i i i 

1 1 p p 1 1 

p p 

。


定界(Bounding) 

寻找合适的松弛方法对非凸函数进行松弛。 

生成的松弛函数应具有如下特点:1.便于计算; 

2.可以得到较紧的下界;3.易于最小化。


分数函数 t/ s, t∈[ l, u], s∈[ L, U] 

的松弛函数为 

r′ 0, r r′ 

u − t 

≥ − ≥0 

λ = 

u − 

l 

Tawarmalani,M., & Sahinidis, N. V. Semidefinite relaxations of fractional 

programs via novel convexification techniques. JGO,20,137‐158,2008. 

其中 

⎡t⎤ convenv 

⎢ 

= min r 

s rr , ′ , s′ 

⎣ 

⎥ 

⎦ 

st . r, r′ , s′∈R, 2λ 

l 

r′ − s′ 

2(1 − λ) 

≤ r′ + s′ 

, 

u 

r −r′ − s+ s′ 

λL≤ s′ ≤λU, 

≤ r − r′ + s−s′ , 

(1 −λ) L≤ s−s′ ≤(1 −λ) 

U,


由于函数和的凸包大于等于函数凸包的和,可得 

min 

xrr , , ′ , ss , ′ , t 

N 

∑ 

i = 1 

n p 

st . x∈ R , r, r′ , s, s′ , t∈ R , 

2λ 

r 

2(1 − λ ) 

i 

i i 

i i 

l 

r′ − s′ 

≤ r′ + s′ 

, 

u 

i i 

i i 

r − r′ − s + s′ 

i i i i 

λ L ≤ s′ ≤ λU 

i i i i i 

, 

≤ r − r′ + s − s′ 

, 

i i i i 

(1 − λ ) L ≤ s − s′ ≤ (1 − λ ) U , 

i i i i i i 

r′ i ≥ 0, ri − r′ 

i ≥ 0, 

li ≤ ti ≤ ui, Li ≤ si ≤U 

i, 

f ( x) ≤ t , g ( x) ≥ s for i = 1, L 

, p. 

i i i i


分支(Branching) 

1.在分支时,可以先从拥有最小下界的可行集开 

始,依次进行判断; 

2.由于一般情况下可行集都具有较多的维数,所 

以从哪一维进行分支就是一个重要的问题; 

3.如何对选定维分割。


本例在分母中寻找待分的那一维 

Benson,H.P. Using concave envelopes to globally solve the nonlinear sum of 

ratios problem. JGO, 22, 343‐364, 2002.

优化中的分支定界方法及其在计算机视觉中的应用

Create successful ePaper yourself

Delete template?

Save as template?