x - fyzikazeme.sk

Prednáška č. 5 

Numerické metódy matematiky I 

Riešenie sústav lineárnych rovníc 

(pokračovanie )


OBSAH 

1. Gradientné iteračné metódy riešenia 

systému lineárnych rovníc 

• Metóda najväčšieho spádu 

• Metóda združených (konjugovaných) gradientov (CG) 

• Zovšeobecnenia metódy CG 

• Konvergencia metódy CG 

• Predpodmienenie (preconditioning) 

• Zhrnutie 

2. Metóda singulárneho rozkladu 

3. QR-rozklad 

4. Literatúra

Gradientné iteračné metódy 

Gradientné iteračné metódy sú zvlášť atraktívne 

pre riedke systémy lineárnych rovníc, 

pretože často využívajú 

len násobenie matice sústavy vektorom. 

Základné metódy tejto skupiny sú vhodné 

na riešenie sústavy 

so symetrickou a pozitívne definitnou maticou 

a využívajú fakt, 

že riešenie takejto sústavy je 

jediným minimom formy 

1 T T 

Q ( x) 

= x Ax- x b . 

2 

Definícia: Matica A je pozitívne definitná, ak 

pre ľubovoľný nenulový vektor x platí 

T 

x 

⋅A⋅ x > 

0


Postupnosť vektorov, 

ktorá konverguje k presnému riešeniu danej sústavy 

sa dá potom konštruovať tak, 

že za predpokladu, 

že k-tá aproximácia x (k) je už určená, 

sa zvolí smer v (k) a určí číslo α k tak, 

aby vektor x (k) + α k v (k) 

minimalizoval formu Q na priamke x (k) + α k v (k) 

a položí sa 

( k 1) ( k) ( k) 

x + = x +α k v 

. 

Špeciálnou voľbou smerov v (k) 

v jednotlivých krokoch 

dostávame konkrétne metódy.


Ak za smery v (1) ,v (2) ,... volíme postupne vektory 

v smere prvej, druhej, ... súradnice, 

dostaneme Gauss-Seidlovu metódu. 

Jednu iteráciu (v zmysle Gauss-Seidlovej metódy) 

dostaneme až po vyčerpaní všetkých súradníc.

Gauss-Seidlova metóda 

Pripomeňme si Gauss-Seidlovu metódu 

1 

( 1) 1 

⎛ i− 

n ⎞ 

k+ ( k+ 

1) ( k) 

xi = bi aijxj aijx j , i 1, 2,..., n . 

a 

−∑ 

− ∑ 

= 

ii ⎜⎝ 

j= 1 j= i+ 

1 ⎠⎟ 

Gauss-Seidlova metóda konverguje, 

keď A je rýdzo diagonálne dominantná 

alebo 

pozitívne definitná.


OBSAH 








• Zhrnutie 


3. QR-rozklad 

4. Literatúra

Metóda najväčšieho spádu 

V tejto metóde sa volí smer v (k) tak, 

aby súhlasil so smerom gradientu funkcie Q. 

Príslušné vzorce sú 

( kT ) ( k) 

( 1) ( ) 

x + = x + r r r 

( kT ) ( k) 

r Ar 

( ) 

k k k 

, 

kde vektor r (k) sa nazýva 

rezíduum k-tej aproximácie 

a je daný vzťahom 

( k) ( k) = − . 

r b Ax


OBSAH 








• Zhrnutie 


3. QR-rozklad 

4. Literatúra

Metóda združených (konjugovaných) gradientov (CG) 

V tejto metóde sa volia vektory v (k) tak, 

že vzniknú A-ortogonalizáciou vektora rezíduí. 

A-ortogonalizácia 

(pri danej symetrickej a pozitívne definitnej matici A) 

je postup, 

pomocou ktorého 

sa z postupnosti lineárne nezávislých vektorov u (1) , ... , u (n) 

zostrojí iná postupnosť lineárne nezávislých vektorov v (1) , ... , v (n) tak, 

že platí 

v ( i )T Av ( j ) = 0 

pre i ≠ j .


To vedie na algoritmus popísaný rovnicami: 

( 1) ( 1) ( 1) 

v = r = b−Ax 

, 

α 

= 

( kT ) ( k) 

k kT k 

v 

v 

r 

( ) ( ) 

Av 

, 

( k+ 

1) ( k) ( k) 

x = x + α v 

k 

, 

( k+ 

1) ( k) ( k) 

r = r −α 

Av 

β 

v 

= − 

v 

( kT ) ( k+ 

1) 

k kT k 

( ) ( ) 

( k+ 1) ( k+ 

1) ( k) 

v = r + β v 

k 

Ar 

Av 

k 

, 

, 

.


Z podstaty algoritmu vyplýva, 

že po n iteráciách 

dostaneme presné riešenie systému rovníc 

a teda nejde v pravom zmysle slova 

o iteračnú metódu. 

To by však platilo len v prípade, 

že by sme sa nedopúšťali zaokrúhľovacích chýb. 

Preto je nutné pozerať sa na MCG ako na iteračnú metódu 

a definovať kritériá na zastavenie iterácií.


OBSAH 








• Zhrnutie 


3. QR-rozklad 

4. Literatúra

Zovšeobecnenia metódy CG 

V prípade nesymetrických 

a nie nutne pozitívne definitných matíc 

používame 

metódu bikonjugovaných gradientov 

(napr. subroutina linbcg z Numerical Recipes). 

Obyčajná metóda konjugovaných gradientov je 

jej špeciálnym prípadom.

Zovšeobecnenia metódy CG 

Iný variant pre symetrické, ale nie pozitívne definitné matice A 

dostaneme ak v obyčajnej metóde CG 

zameníme všetky maticové násobenia 

a . b za a . A . b . 

Táto metóda sa nazýva algoritmus minimálnych rezíduí, 

pretože zodpovedá postupným minimalizáciám funkcie 

1 T 1 2 

Q ( x) 

= r ⋅ r= A⋅x- b . 

2 2 

Zovšeobecnenie tohto algoritmu pre nesymetrické matice vedie na 

metódu zovšeobecnených minimálnych rezíduí (GMRES).


OBSAH 








• Zhrnutie 


3. QR-rozklad 

4. Literatúra

Konvergencia metódy CG 

Nech x (k) je približné riešenie v k-tom kroku CG 

a nech x* je presné riešenie. 

Pre symetrickú, pozitívne definitnú maticu definujme 

číslo podmienenosti matice κ(A) 

a A-normu ľubovoľného vektrora z : 

( ) 

( ) : λ max A 

κ A = , z : = ( Az , z) 1/2 

λ 

. 

A 

A 

min 

( ) 

Potom 

⎡ 

( k) κ ( ) 1⎤ 

2 

A − 

x* −x ≤ x* −x 

A ⎢ κ ( A) 

+ 1 

⎣ ⎦ 

⎥ 

k 

() 1 

A 

Pri κ(A) >> 1 je konvergencia veľmi pomalá.


OBSAH 








• Zhrnutie 


3. QR-rozklad 

4. Literatúra

Predpodmienenie (preconditioning) 

Účelom predpodmienenia je 

zvýšiť rýchlosť konvergencie iteračnej metódy tak, 

že sa rieši náhradný systém lineárnych rovníc, 

v ktorom má nová matica sústavy 

nižšie číslo podmienenosti κ 

než pôvodná matica. 

Nech A.x = b je pôvodný lineárny systém. 

Ľavé predpodmienenie definujeme nasledovne: 

Nech matica M je regulárna a „blízka“ k matici A. 

Potom riešime sústavu 

-1 -1 

M Ax 

= 

M b 

Pravé predpodmienenie definujeme nasledovne: 

Nech matica M je regulárna. Potom riešime sústavu 

-1 −1 

AM u = b, x = M u .

Predpodmienenie v metóde CG 

Pôvodný algoritmus CG: 

( 1) ( 1) 

r = b−Ax 

v 

() 1 () 1 

α 

= 

= 

r 

v 

( kT ) ( k) 

k kT k 

v 

( ) ( ) 

( k+ 

1) ( k) ( k) 

x = x + α v 

( k+ 

1) ( k) ( k) 

r 

Av 

r = r −α 

Av 

k 

k 

Algoritmus predpodmienenej CG: 

( 1) ( 1) ( 1) ( 1) 

r = b−Ax 

v 

() 1 () 1 

α 

= 

= 

z 

( kT ) ( k) 

k kT k 

v 

z 

r 

( ) ( ) 

Av 

( k+ 

1) ( k) ( k) 

x = x + α v 

k 

, 

−1 

( k+ 

1) ( k) ( k) ( k+ 1) ( k+ 

1) 

r = r −α 

Av 

k 

z = M r 

, 

−1 

z = M r 

β 

v 

= − 

v 

( kT ) ( k+ 

1) 

Ar 

k kT k 

( ) ( ) 

Av 

β 

k 

= 

z 

( k+ 

1) T ( k+ 

1) 

z 

r 

( k) T ( k) 

r 

( k+ 1) ( k+ 

1) ( k) 

v = r + β v 

k 

v 

( k+ 1) ( k+ 

1) ( k) 

= z + β v 

k

Jacobiho predpodmieňovač (preconditionner) 

Najjednoduchším predpodmieňovačom je diagonálna matica, 

ktorá je tvorená len diagonálnymi členmi matice A 

M 

ij 

= 

{ 

A ak i= 

j 

ii 

0 ak 

i 

≠ 

j 

M 

Potom 

− 1 ij 

ij = δ 

Aii 

. 

Takéto predpodmienenie sa nazýva 

Jacobiho predpodmienenie 

alebo 

diagonálne škálovanie. 

Výhody Jacobiho predpodmienenia sú 

v ľahkej implementácii a 

nízkych pamäťových nárokoch.

Iné typy predpodmienenia 

Viac sofistikované voľby predpodmieňovača 

musia byť kompromisom 

medzi redukciou čísla podmienenosti matice 

a tým rýchlejšou konvergenciu 

a 

časom potrebným na vypočítanie inverznej matice M -1 . 

Viac informácií je možné nájsť v prehľade 

M. Benzi (2002): 

Preconditioning Techniques for Large Linear Systems: A Survey 

Journal of Computational Physics 182, 418-477 

doi: 10.1006/jcph.2002.7176

Príklad

Príklad


OBSAH 








• Zhrnutie 


3. QR-rozklad 

4. Literatúra

Zhrnutie 

• Gradientné iteračné metódy riešenia 



• Metóda konjugovaných gradientov. 

Smerové vektory vzniknú A-ortogonalizáciou vektora rezíduí. 


• metóda bikonjugovaných gradientov 

• metóda GMRES 

• Konvergencia metódy CG – závislosť na 

čísle podmienenosti matice 

• Predpodmienenie CG 

• Jacobiho predpodmienenie


OBSAH 



2. Metóda singulárneho rozkladu (SVD) 

• Úvod 

• SVD štvorcovej matice 

• SVD pre menej rovníc ako neznámych 

• SVD pre viac rovníc ako neznámych 

3. QR-rozklad 

4. Literatúra

Terminológia a základné vzťahy 

Majme štvorcovú maticu A. 

Jej vlastné čísla budeme označovať λ n a 

pravé resp. ľavé vektory x a y, 

pre ktoré platí 

( A λI) 

det − = 0 

Ax 

= λ x 

i i i 

T T 

i = λiyi 

y A 

A ∈R 

potom λ i , x i ≡ y i 

∈R 

Ak platí, že a je symetrická, 

vlastné vektory generujú ortogonálnu bázu. 

Podobnostná transformácia P -1 AP 

nemení vlastné čísla matice A. 

a

Terminológia a základné vzťahy 

Reálna ortogonálna matica je taká štvorcová matica Q, 

ktorej transponovaná matica je jej inverznou maticou. 

T 

T 

Q ⋅ Q= Q⋅ Q = I 

Ak Q je obdĺžniková matica, 

potom podmienky 

T 

Q ⋅ Q= I a Q⋅ Q = I 

nie sú ekvivalentné. 

Podmienka Q T .Q = I hovorí, že 

matica Q je stĺpcovo ortogonálna. 

T 

Podmienka Q .Q T = I hovorí, že 

matica Q je riadkovo ortogonálna.

Metóda singulárneho rozkladu - úvod 

Ak je počet rovníc sústavy M menší ako počet neznámych N, 

alebo ak M = N ale rovnice sú lineárne závislé, 

potom sústava nemá žiadne riešenie 

alebo 

má viac než jedno riešenie. 

V druhom prípade priestor riešení tvorí 

partikulárne riešenie 

pripočítané k ľubovoľnej lineárnej kombinácii N - M vektorov. 

Úlohu nájsť priestor riešení matice A 

je možné riešiť metódou 

singulárneho rozkladu matice A.


Ak je počet rovníc sústavy M väčší ako počet neznámych N, 

vo všeobecnosti neexistuje vektor riešenia a 

sústave rovníc sa hovorí preurčená. 

Môžeme ale nájsť najlepšie „kompromisné“ riešenie, 

ktoré je „najbližšie“ k tomu, 

aby vyhovovalo všetkým rovniciam. 

Ak „najbližšie“ definujeme v zmysle najmenších štvorcov, 

t.j. že suma kvadrátu rozdielov 

medzi ľavou a pravou stranou rovnice je najmenšia, 

potom sa preurčený systém redukuje 

na (zvyčajne) riešiteľný problém 

nazývaný metóda najmenších štvorcov.


Redukovaný systém rovníc môžeme zapísať ako 

systém N x N rovníc 

( 

T 

) ( 

T 

A ⋅A ⋅ x= A ⋅b) 

. 

Tieto rovnice voláme normálne rovnice 

problému najmenších štvorcov. 

Metóda singulárneho rozkladu má veľa spoločného 

s problémom najmenších štvorcov, 

čo si ukážeme neskôr. 

Priame riešenie normálnych rovníc nie je vo všeobecnosti 

najlepším spôsobom hľadania riešenia najmenších štvorcov.

Metóda singulárneho rozkladu 

V mnohých prípadoch, 

keď GEM alebo LU rozklad zlyhajú, 

metódy singulárneho rozkladu 

(singular value decompisition, SVD) 

presne diagnostikujú, v čom je problém 

a v mnohých prípadoch tiež 

poskytnú vhodné numerické riešenie. 

SVD je tiež metóda 

na riešenie mnohých problémov typu najmenších štvorcov.


SVD je založená na nasledujúcej teoréme lineárnej algebry: 

Každá matica A typu M x N, 

ktorej počet riadkov M je väčší alebo rovný počtu stĺpcov N, 

môže byť zapísaná ako súčin 

stĺpcovo-ortogonálnej matice U typu M x N, 

diagonálnej matice W typu N x N 

s kladnými alebo nulovými prvkami (singulárnymi hodnotami) 

a transponovanej ortogonálnej matice V typu N x N.


Ortogonálnosť matíc U a V môžeme zapísať nasledovne


SVD dekompozícia môže byť vykonaná aj keď M < N. 

V takom prípade singulárne hodnoty w j 

sú všetky nulové 

ako aj odpovedajúce stĺpce matice U. 

pre j = M+1, …, N 

Existuje viacero algoritmov na SVD, 

osvedčená je subroutina svdcmp z Numerical Recipes.


OBSAH 




• Úvod 




3. QR-rozklad 

4. Literatúra

Metóda singulárneho rozkladu štvorcovej matice 

Aj je matica A štvorcová, povedzme typu N x N, 

potom U , W a V sú všetko štvorcové matice typu N x N. 

Keďže U a V sú ortogonálne, 

ich inverzné matice sú rovné ich transponovaným maticiam. 

Potom môžeme písať vzťah pre inverznú maticu A 

A − 1 

diag( 1/ ) 

T 

= V ⋅ ⎡ w ⎤ 

j ⋅ U 

⎢⎣ 

⎥⎦ 

SVD dáva jasnú diagnostiku situácie, 

ak sú niektoré singulárne hodnoty nulové 

alebo blízke nule.


Pripomeňme jednu z definícií 

čísla podmienenosti matice κ(A): 

( A) 

κ : = 

max 

min 

{ w } 

j 

{ w } 

j 

Matica je singulárna ak je jej číslo podmienenosti nekonečno. 

Matica je zle podmienená 

ak prevrátená hodnota jej čísla podmienenosti 

je blízka strojovej presnosti počítača, 

t.j. menšia než 10 -6 pre jednoduchú presnosť alebo 

10 -12 pre dvojnásobnú presnosť.


Prípad sústavy lineárnych rovníc 

Ax ⋅ = b 

v ktorej matica A je singulárna: 

, 

Najskôr sa pozrime na prípad homogénnej sústavy, 

t.j. prípad keď b=0. 

SVD dáva priamo riešenie – každý stĺpec matice V, 

ktorého zodpovedajúca singulárna hodnota w j je nulová 

je riešením.


Hľadané riešenie systému s nenulovou pravou stranou 

pomocou SVD nájdeme nasledovne: 

• nahradíme 1/w j nulou ak w j =0 

• potom počítame (sprava doľava) 

x = V ⋅⎡diag 1/ ⎤ 

⎢ ⎥ 

⋅ ⋅ 

⎣ ⎦ 

U b 

( ) ( 

T 

w ) 

j 

Ak partikulárne riešenie leží v rozsahu (range) A, 

2 

potom má najmenšiu veľkosť x . 

Ak partikulárne riešenie neleží v rozsahu (range) A, 

r : = 

Ax ⋅ −b 

potom x minimalizuje rezíduum riešenia .


Matica A nie je singulárna


Matica A je singulárna


Doteraz sme uvažovali len o krajných prípadoch 

a to že matica sústavy je alebo nie je singulárna. 

Numericky je častý prípad, 

že singulárne hodnoty w j sú veľmi malé, no nenulové, 

takže matica je zle podmienená. 

V takom prípade môžu priame metódy 

poskytnúť formálne riešenie, 

ale vektor riešenia má nezmyselne veľké prvky, 

ktoré pri algebraickom krátení počas násobení maticou A 

dajú veľmi zlú aproximáciu vektora pravej strany. 

Vtedy je často lepšie malé hodnoty w j vynulovať a 

riešenie určiť podľa vzorca 

(s tým, že 1/w j nahradíme nulou ak w j =0) 

x diag( 1/ ) ( 

T 

= V ⋅⎡ 

w ⎤ 

) 

⎢ 

j ⎥ 

⋅ ⋅ 

⎣ ⎦ 

U b 

Je nutné byť ale opatrný a 

dobre zvoliť prahovú hodnotu nulovania veličín w j


OBSAH 




• Úvod 




3. QR-rozklad 

4. Literatúra

Metóda singulárneho rozkladu pre menej rovníc ako neznámych 

Ak máme menej rovníc ako neznámych 

neočakávame jediné riešenie. 

Obyčajne existuje celý N - M rozmerný priestor riešení, 

ktorý chceme nájsť. 

SVD dá v takomto prípade 

N - M nulových alebo zanedbateľne malých hodnôt w j . 

Ak niektoré z M rovníc degenerujú, 

môžeme získať ďalšie nulové w j . 

Potom tie stĺpce matice V, 

ktorých zodpovedajúca singulárna hodnota w j je nulová 

tvoria bázové vektory hľadaného priestoru riešení. 

Partikulárne riešenie nájdeme aplikovaním vzorca 

x = V ⋅⎡diag 1/ ⎤ 

⎢ ⎥ 

⋅ ⋅ 

⎣ ⎦ 

U b 

( ) ( 

T 

w ) 

j


OBSAH 




• Úvod 




3. QR-rozklad 

4. Literatúra

Metóda singulárneho rozkladu pre viac rovníc ako neznámych 

Ak máme viac rovníc ako neznámych 

hľadáme riešenie, 

v zmysle problému najmenších štvorcov. 

Riešime teda sústavu, zapísanú tabuľkovo nasledovne:

Metóda singulárneho rozkladu pre viac rovníc ako neznámych 

Po aplikácii SVD na maticu A dostaneme 

riešenie v tvare 

V tomto prípade nie je zvyčajne nutné nulovať hodnoty w j 

avšak neobvykle malé hodnoty indikujú, že 

dáta nie sú citlivé na niektoré parametre.


OBSAH 




• Úvod 




3. QR-rozklad 

4. Literatúra

QR rozklad 

Podobne ako LU rozklad matice, 

existuje aj tzv. QR rozklad matice 

A = Q.R 

kde R je hornátrojuholníkovámatica a 

Q je ortogonálna matica, teda platí 

Q T .Q = I. 

Riešenie sústavy rovníc nájdeme riešením 

R.x = Q T .b 

QR rozklad vyžaduje asi 2-krát viac operácií 

ako LU rozklad, 

ale existujú špeciálne typy rovníc, 

v ktorých je výhodnejšie ho použiť.


OBSAH 








• Zhrnutie 


• Úvod 




3. QR-rozklad 

4. Literatúra

Literatúra

Literatúra

Literatúra

x - fyzikazeme.sk

Create successful ePaper yourself

Delete template?

Save as template?