pdf 224167 bytes - Cimat

Precondicionado con inversas aproximadas
MSc. Miguel Vargas Félix
miguelvargas@cimat.mx
http://www.cimat.mx/~miguelvargas
11/10/11 1/27

Contenido
Número de condición
Precondicionadores
Algunos precondicionadores para sistemas ralos
Gradiente conjugado precondicionado
Precondicionadores con inversa aproximada rala
Inversa aproximada rala con método del residuo minimo
Gradiente biconjugado precondicionado con SAI
Algunos resultados numéricos
Inversa aproximada rala factorizada
Algunos resultados numéricos
Otro precondicionador
¿Preguntas?
Bibliografía
Contenido
11/10/11 2/27

Número de condición
Número de condición
El número de condición de una matriz A∈ℝ n×n no singular, para una norma ∥⋅∥ está dado por
Para la norma ∥⋅∥ 2,
A=∥A∥⋅∥A −1 ∥.
2 A=∥A∥ 2⋅∥A −1 ∥ 2= max A
min A ,
donde son los valores singulares de la matriz.
Para una matriz A simétrica positiva definida,
donde son los eigenvalores de A.
A= max A
min A ,
Un sistema de ecuaciones A x=b es considerado bien condicionado si un pequeño cambio en
los valores de A o un pequeño cambio en b resulta en un pequeño cambio en x.
Un sistema de ecuaciones A x=b es considerado mal condicionado si un pequeño cambio en los
valores de A o un pequeño cambio en b resulta en un cambio grande en x.
Así, matrices con un número de condición cercano a 1 se dicen que están bien condicionadas.
11/10/11 3/27

Precondicionadores
Precondicionadores
Un precondicionador de una matriz A es otra matriz M tal que M A tiene un número de
condición menor
M A A.
En los métodos iterativos estacionarios (ej. Gauss-Seidel) y los más generales métodos del
subespacio de Krylov (ej. gradiente conjugado), el precondicionador, al reducir el número de
condición, buscar reducir el número de pasos necesarios para converger a la solución de un
sistema lineal de ecuaciones.
En vez de resolver el problema
se resuelve el problema
A x−b=0,
M A x−b =0.
En otras palabras, un precondicionador ideal sería una matriz M tal que
M A≈1,
es decir M ≈ A −1 .
11/10/11 4/27

Algunos precondicionadores para sistemas ralos
• Jacobi
M −1 =diag A.
Para este precondicionador se toma la solo diagonal principal de A.
Algunos precondicionadores para sistemas ralos
• Factorización Cholesky incompleta. A=L L T sería la factoización completa, tomemos
M −1 T
=G l Gl ,
con
Para formar G l
con
G i j = 1
G j j
G l≈ L.
G l i j ≠0 si A i j≠0,
Ai j−∑ j−1
l=1
= G j j A j j−∑ j−1
l=1
l Gi l G j , para i j
2
G . j l
11/10/11 5/27

Gradiente conjugado precondicionado
x 0, coordenada inicial
r 0 b− A x 0, gradiente inicial
p 0 r 0, descenso inicial
k 0
mientras ∥r k∥
αk ← r T
k r k
T
p k A pk
xk1 x k k pk r k1 rk− k A pk k r T
k1 rk1 T
r k r k
p k1 r k1 k p k
k k1
Gradiente conjugado precondicionado
x 0, coordenada inicial
r 0 b− A x 0, gradiente inicial
p 0 M r 0, descenso inicial
k 0
mientras ∥r k∥
αk ← r T
k M r k
T
p k A pk
x k1 x k k p k
r k1 r k− k A p k
k r T
k1 M r k1
T
r k M r k
pk1 M r k1 k pk k k1
Con los precondicionadores de factorización incompleta no definimos M, sino M −1 , entonces
hacemos q k M r k, lo que quiere decir que en cada paso hay que resolver un sistema de
ecuaciones M −1 q k r k.
11/10/11 6/27

Precondicionadores con inversa aproximada rala
Precondicionadores con inversa aproximada rala
Vamos a describir algorimos que permitan generar una matriz M se sea una aproximación a la
inversa de A, que además tenga la propiedad de ser rala.
El problema es que a partir de una matriz rala su inversa no es necesariamente rala.
Ejemplo de las estructuras de una matriz rala y de su inversa
11/10/11 7/27

Precondicionadores con inversa aproximada rala
Una forma de buscar la inversa aproximada se basa en minimizar la norma de Frobenius del
residuo I −A M
La norma de Frobenius se define como
∥A∥ F= ∑ i=1
2
F M =∥I − A M∥F m
n
∑∣ai j∣
j=1
2 =tr A T A.
Podemos descomponer (1) en sumas desacolpladas de las 2-normas de las columnas individuales
del residuo I −A M, es decir
2
F M =∥I − A M∥F =∑
j=1
n
2
∥e j− Am j∥2, donde e j es la j-ésima columna de I y m j es la j-ésima columna de M .
Podemos así paralelizar la construcción del precondicionador.
El problema ahora es: ¿como elegir las entradas de M que son significativas para construir la
inversa aproximada?
(1)
11/10/11 8/27

Inversa aproximada rala con método del residuo minimo
Inversa aproximada rala con método del residuo minimo
E. Chow, Y. Saad. Approximate Inverse Preconditioners via Sparse-Sparse Iterations. SIAM
Journal on Scientific Computing. Vol. 19-3, pp. 995-1023. 1998
El algoritmo para construir M es el siguiente:
Sea M =M 0
para j 1n
Sea m j M e j
para i 1s
r j e j− Am j
j
T
r j A r j
Ar j T A r j
m j m j j r j
Truncar las entradas menos significativas de m j
fin para
fin para
11/10/11 9/27

Inversa aproximada rala con método del residuo minimo
Es un método iterativo donde s es usualmente pequeño. Si no se utilizan vectores ralos, este
algorimo es de orden O n 2 .
Para inicializar el algoritmo puede se utiliza:
M 0=G,
con
=
G puede ser elegido como G=I o como G= A T .
tr AG
tr AG AG T ,
M 0= I es la elección más económica de calcular. Sin embargo M 0= A T produce una mejor
aproximación inicial en algunos casos.
Vamos ahora a ver como utilizar vectores ralos para reducir la cantidad de operaciones.
Dado un vector ralo b, la notación b indica el número de entradas no cero de b.
11/10/11 10/27

Inversa aproximada rala con método del residuo minimo
Una técnica para elegir las entradas m j más significativas es truncar entradas en la dirección de
descenso.
Problemas:
Sea M =M 0
para j 1n
Sea m j M e j un vector ralo
Sea d j un vector ralo con la misma estructura que m j
para i 1s
r j e j− Am j
d j r j se toman solo las entradas de r j con estructura en d j
j
T
r j Ad j
Ad j T
Ad j
m j m j j d j
si m jlfil
agregar max∣r j k∣ tal que k no exista en la estructura de m j
fin para
fin para Approximate inverse via MR iteration with dropping in the search direction
11/10/11 11/27

• La estructura final de M no será necesariamente simétrica.
• No se garantiza que M no sea singular si s no es grande.
Inversa aproximada rala con método del residuo minimo
• No funciona como precondicionador para el gradiente conjugado precondicionado.
• Funciona para el gradiente biconjugado precondicionado.
11/10/11 12/27

Gradiente biconjugado precondicionado con SAI
Gradiente biconjugado precondicionado con SAI
El método de gradiente biconjugado se basa en el método de gradiente conjugado y al igual que
éste sirve para resolver systemas de ecuaciones lineales
A x=b,
con la diferencia que A∈ℝ n×n no tiene que ser simétrica.
Este método requiere calcular un pseudo-gradiente g k y una pseudo-dirección de descenso p k.
El método se construye de tal forma que que los pseudo-gradientes g k sean ortogonales a los
gradientes g k y que las pseudo-direcciónes de descenso p k sean A-ortogonales al las direcciones
de descenso p k [Meie94 pp6-7].
Si la matriz A es simétrica, entonces el método es equivalente al gradiente conjugado.
No garantiza convergencia en n pasos como lo hace el gradiente conjugado.
11/10/11 13/27

Gradiente biconjugado precondicionado con SAI
Hay que hacer cuatro multiplicaciones matrix-vector: p k A, A p k, r k M, M r k. Para hacerlo
eficiente, hay que almacenar A y M dos veces cada una usando CSR y CSC.
x0, coordenada inicial
r0 b− A x0, gradiente inicial
T
r 0 r 0,
pseudo-gradiente inicial
p0 M r0, dirección de descenso inicial
p 0 r 0 M, pseudo-dirección de descenso
, tolerancia
k 0
mientras ∥rk∥ α k ← ̃r k M r k
̃p k A p k
x k1 x k k p k
r k1 r k− A p k
r k1 r k− p k A
k r k1 M r k1
r k M r k
p k1 M r k1 k1 p k
p k1 r k1 M k1 p k
k k1
11/10/11 14/27

Algunos resultados numéricos
Ecuación de calor 2D, elementos triangulares, 62,216 elementos, 31,615 variables.
Algunos resultados numéricos
Solver 1 Thread 2 Thread 4 Thread 6 Thread 8 Thread Steps Memory
BG 1.40 1.02 0.76 0.68 0.69 721 14,879,486
BG + Jacobi 1.68 1.09 0.81 0.73 0.72 682 15,132,430
BG + ILU(0) 1.31 1.25 1.21 1.20 1.22 190 23,313,662
BG + SAI(1) 26.93 14.05 7.40 5.36 4.55 465 21,323,518
25
20
15
10
5
0
1 Thread 2 Thread 4 Thread 6 Thread 8 Thread
BG
BG + SAI(1)
BG + ILU(0)
BG + Jacobi
11/10/11 15/27

Inversa aproximada rala factorizada
Inversa aproximada rala factorizada
Los precondicionadores para el gradiente conjugado requiere que al igual que la matriz A, el
precondicionador M sea simétrico positivo definido.
El siguiente método genera un precondicionador que cumple que M sea positivo definido y
además es posible calcularlo en paralelo.
Sea A que una matriz binaria construida a partir de A
j={ A i 1 si i= j o ∣ D −1/2 A D −1/2 i j∣umbral
,
0 otro caso
el umbral es un valor no negativo y la matriz diagonal D es
={ Dii ∣Aii∣ si ∣Aii∣>0 1 otro caso .
La matriz diagonal D funciona como un escalamiento.
Notese que la estructura de A es más rala que la estructura de A.
11/10/11 16/27

Buscamos construir un precondicionador
M =G T G,
donde G es una matriz triangular inferior tal que
G≈ L −1 ,
donde L es el factor Cholesky de A.
Inversa aproximada rala factorizada
Sea S L la estructura de G, ésta se construirá de tal forma que tenga la misma estructura que la
parte triangular inferior de A.
2
Buscamos entonces minimizar ∥I−G L∥F, lo que puede lograrse sin conocer el factor L,
resolviendo las ecuaciones
(G L L T ) i j=( L T ) i j, (i , j )∈S L,
donde S L contiene la estructura de G, la ecuación anterior es equivalente a
( ̃G A) i j=( I ) i j, i , j ∈S L,
con ̃G =D −1 G, y D es la diagonal de L, dado que {L T } i j para (i , j )∈S L es una matriz diagonal.
Las entradas de ̃G se calculan por renglones (tiene la misma estructura que G). Éstas se pueden
calcular en paralelo.
11/10/11 17/27

El algoritmo para calcular las entradas de ̃G es el siguiente:
Sea S L la estructura de G
para i ← 1…n
para ∀ (i , j )∈S L
resolver ( A ̃G i) j =δ i j
fin_para
fin_para
Inversa aproximada rala factorizada
Resolver ( A ̃G i) j =δ i j significa que, si m=η( ̃G i) el número de entradas no cero del renglón i de
̃G, entonces hay que resolver un sistema SPD local pequeño de tamaño m×m.
( A ̃G i) j =δ i j, (i , j)∈S L,
Ejemplo. Si la estructura del renglón 9 de ̃G contiene 4, 7, 8, 9, entonces, para calcular los
valores de ̃G 9 hay que resolver el sistema:
(a 4 4 a4 7 a4 8 a4 9 ̃g
99)( a7 4 a7 7 a7 8 a79 a8 4 a8 7 a8 8 a89 a9 4 a9 7 a9 8 a
9 4
̃g 9 7 0
̃g 0 98
̃g 99)=(0
1).
11/10/11 18/27

Finalmente, para obtener G
G = ̃G D.
Inversa aproximada rala factorizada
Como es un sistema simétrico positivo definido, podemos resolver estos sistemas utilizando
factorización Cholesky.
Es posible eficientar la solución de estos sistemas haciendo casos particulares para m=1, m=2,
hasta m=3, y el caso general para m≥4.
Este precondicionador M =G T G se puede aplicar entonces al gradiente conjugado
precondicionado:
• Este precondicionador es simétrico positivo definido si no hay ceros en la diagonal de G l.
• El algoritmo para construir el precondicionador es paralelizable.
• El algoritmo es estable si A es simétrica positiva definida.
E. Chow. Parallel implementation and practical use of sparse approximate inverse
preconditioners with a priori sparsity patterns. International Journal of High Performance
Computing, Vol 15. pp 56-74, 2001.
11/10/11 19/27

El algoritmo es el siguiente
x 0, coordenada inicial
r 0 b− A x 0, gradiente inicial
p 0 M r 0, descenso inicial
k 0
mientras ∥r k∥
αk ← r T
k M r k
T
p k A pk
x k1 x k k p k
r k1 r k− k A p k
k r T
k1 M r k1
T
r k M r k
pk1 M r k1 k pk k k1
M r k se calcula con dos multiplicaciones matriz-triangular*vector,
T
M r k =G l
(G l r k ).
No hay que resolver un sistema de ecuaciones en cada paso.
Inversa aproximada rala factorizada
11/10/11 20/27

Inversa aproximada rala factorizada
Es posible aumentar la cantidad de entradas del precondicionador y mejorar el número del
condición del problema. Con el costo de aumentar la cantidad de tiempo utilizada en construir el
precondicionador.
El método se conoce como potencias de matrices ralas.
Se puede construir S L es a través de las estructuras formadas por
A, A 2 , ..., A l ,
Las potencias de A pueden ser calculadas combinando los renglones de A. Denotemos el
k-ésimo renglón de A l por A
l
k ,: , así
A
l
k ,: = A
l−1 A. k ,:
La estructura S L será entonces la parte triangular inferior de A l .
11/10/11 21/27

Algunos resultados numéricos
Algunos resultados numéricos
Ecuación de calor en 2D, 1’813,582 elementos, con 1,005,362 variables, A=6' 355,782.
Solver 1 thread [s] 2 threads [s] 4 threads [s] 6 threads [s] 8 threads [s] Steps
Cholesky 108.4 85.1 74.4 71.0 69.276
CG 120.8 82.2 81.8 84.3 85.769 3,718
CG-Jabobi 132.0 92.9 84.6 87.9 89.251 3,504
CG-ICholesky 81.1 76.2 74.2 75.9 77.112 978
CG-FSAI 116.9 74.2 66.4 57.3 55.707 1,288
Time [s]
140.000
120.000
100.000
80.000
60.000
40.000
20.000
0.000
Cholesky CG CG-Jabobi CG-ICholesky CG-FSAI
1 thread 2 threads 4 threads 6 threads 8 threads
11/10/11 22/27

Algunos resultados numéricos
Deformación de sólidos en 2D, 501,264 elementos, con 909,540 variables, A=18' 062,500.
Solver 1 thread [s] 2 threads [s] 4 threads [s] 8 threads [s] Steps Memory
Cholesky 227.2 131.4 81.9 65.4 3,051,144,550
CG 457.0 305.8 257.5 260.4 9,251 317,929,450
CG-Jacobi 369.0 244.7 212.4 213.7 6,895 325,972,366
CG-IChol 153.9 121.9 112.8 117.6 1,384 586,380,322
CG-FSAI 319.8 186.5 155.7 152.1 3,953 430,291,930
Time [s]
450
400
350
300
250
200
150
100
50
0
1 thread
2 threads
4 threads
8 threads
Cholesky CG CG-Jacobi CG-IChol CG-FSAI
11/10/11 23/27

Algunos resultados numéricos
Deformación de sólidos en 3D, 264,250 elementos, con 978,684 variables, A=69' 255,522.
Solver 1 thread [s] 2 threads [s] 4 threads [s] 6 threads [s] 8 threads [s] Memory
Cholesky 8,562 4,418 2,635 2,055 1,911 19,864,132,056
CG-FSAI 4,410 2,703 1,631 1,484 1,410 1,440,239,572
CG-Jacobi 9,568 5,591 3,444 3,207 3,278 923,360,936
Time [s]
10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
0
1 2 4 6 8
Cholesky CG-FSAI CG-Jacobi
Memory [bytes]
20,000,000,000
18,000,000,000
16,000,000,000
14,000,000,000
12,000,000,000
10,000,000,000
8,000,000,000
6,000,000,000
4,000,000,000
2,000,000,000
0
Cholesky CG-FSAI CG-Jacobi
11/10/11 24/27

Otro precondicionador
Otro precondicionador
M. J. Grote, T. Huckle. Parallel preconditioning with sparse approximate inverses. SIAM Journal
of Scientific Computing, Vol. 18-3, pp. 838–853, 1997.
También parte de minimizar por submatrices de A
factorizando la matriz A
donde R es una matriz triangular superior.
Sea c=Q T e j, la solución de (2) es
min∥e
j−
m j
A m j∥2, (2)
A=Q R
0 ,
m j =R −1 c.
11/10/11 25/27

¿Preguntas?
¿Preguntas?
11/10/11 26/27

Bibliografía
[Saad03] Y. Saad. Iterative Methods for Sparse Linear Systems. SIAM, 2003.
Bibliografía
[Benz02] M. Benzi. Preconditioning Techniques for Large Linear Systems: A Survey. Journal of
Computational Physics 182, pp418–477. Elsevier Science, 2002.
[Chow98] E. Chow, Y. Saad. Approximate Inverse Preconditioners via Sparse-Sparse Iterations.
SIAM Journal on Scientific Computing. Vol. 19-3, pp. 995-1023. 1998
[Chow01] E. Chow. Parallel implementation and practical use of sparse approximate inverse
preconditioners with a priori sparsity patterns. International Journal of High Performance
Computing, Vol 15. pp 56-74, 2001.
11/10/11 27/27