Álgebra Linear Numérica - Arquivo Escolar

Notas de Aula
Álgebra Linear Numérica
Rodney Josué Biezuner 1
Departamento de Matemática
Instituto de Ciências Exatas (ICEx)
Universidade Federal de Minas Gerais (UFMG)
Notas de aula da disciplina Álgebra Linear Numérica do Curso de Graduação
em Matemática Computacional, ministrado durante o segundo semestre do ano de 2009.
30 de novembro de 2009
1 E-mail: rodney@mat.ufmg.br; homepage: http://www.mat.ufmg.br/∼rodney.

Sumário
0 Introdução: Representação de Números Reais no Computador 3
0.1 Ponto Flutuante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
0.2 Erros de Arredondamento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
0.3 O Padrão de Ponto Flutuante IEEE 754 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
0.3.1 Números normalizados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
0.3.2 Números denormalizados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
0.3.3 Outros valores numéricos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1 Matrizes Esparsas 7
1.1 Problema Modelo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.1 Problema de Poisson Unidimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.2 Problema de Poisson Bidimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Matrizes Esparsas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Implementação Computacional de Matrizes Esparsas . . . . . . . . . . . . . . . . . . . . . . . 11
2 Invertibilidade de Matrizes Esparsas 13
2.1 Normas Matriciais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Matrizes Diagonalmente Dominantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Teorema dos Discos de Gershgorin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4 Propriedade FC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5 Matrizes Irredutíveis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.6 Exercícios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3 Métodos Iterativos Lineares 31
3.1 Método Iterativos Básicos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.1.1 Método de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.1.2 Método de Gauss-Seidel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1.3 Método SOR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1.4 Comparação da Velocidade de Convergência dos Três Métodos no Problema Modelo . 34
3.1.5 Método de Jacobi Amortecido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 Análise de Convergência dos Métodos Iterativos Lineares . . . . . . . . . . . . . . . . . . . . . 36
3.2.1 Convergência dos Métodos Iterativos Lineares . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.2 Velocidade de Convergência dos Métodos Iterativos Lineares . . . . . . . . . . . . . . 40
3.2.3 Convergência para Matrizes Simétricas Positivas Definidas . . . . . . . . . . . . . . . . 42
3.3 Convergência dos Métodos Iterativos Lineares para Matrizes de Discretização . . . . . . . . . 44
3.3.1 Convergência do Método de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.3.2 Convergência do Método de Gauss-Seidel . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.3 Convergência do Método SOR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3.4 Convergência do Método de Jacobi Amortecido . . . . . . . . . . . . . . . . . . . . . . 59
3.3.5 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1

Rodney Josué Biezuner 2
3.4 Exercícios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4 Métodos de Projeção 62
4.1 Teoria Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.1.1 Representação Matricial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.1.2 Minimização de Funcionais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.1.3 Estimativa do Erro em Métodos de Projeção . . . . . . . . . . . . . . . . . . . . . . . 66
4.2 Caso Unidimensional: Métodos de Descida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.2.1 Métodos de Descida . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.2.2 Método da Descida Mais Acentuada . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.3 Exercícios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5 Métodos de Subespaços de Krylov 74
5.1 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.2 Subespaços de Krylov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3 Algoritmo de Arnoldi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.4 Implementação Prática: Métodos de Ortogonalização Estáveis . . . . . . . . . . . . . . . . . . 79
5.4.1 Método de Gram-Schmidt Modificado (MGS) . . . . . . . . . . . . . . . . . . . . . . . 79
5.4.2 Método de Gram-Schmidt Modificado com Reortogonalização (MGSR) . . . . . . . . . 82
5.5 Método de Arnoldi para Sistemas Lineares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.6 Decomposição QR via MGS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.7 Algoritmo de Lanczos e Método do Gradiente Conjugado . . . . . . . . . . . . . . . . . . . . 87
5.8 Método do Gradiente Conjugado como um Método de Descida . . . . . . . . . . . . . . . . . 91
5.8.1 Convergência do Método do Gradiente Conjugado em Aritmética Exata . . . . . . . . 94
5.9 Velocidade de Convergência do Método do Gradiente Conjugado . . . . . . . . . . . . . . . . 96
5.9.1 Polinômios de Chebyshev . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.9.2 Velocidade de Convergência do CG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.10 Exercícios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6 O Problema do Autovalor 102
6.1 Caracterização Variacional dos Autovalores de uma Matriz Simétrica: Quociente de Rayleigh 102
6.2 Método das Potências . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.2.1 Método das Potências Inverso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2.2 Método das Potências com Deslocamento . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.2.3 Iteração do Quociente de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.3 Algoritmo QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.3.1 Redução de uma matriz a sua forma de Hessenberg . . . . . . . . . . . . . . . . . . . . 111
6.3.2 Aceleração do algoritmo QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.3.3 Implementação prática do algoritmo QR . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4 Iteração de subespaços e iteração simultânea . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4.1 Equivalência entre o Algoritmo QR e Iteração Simultânea . . . . . . . . . . . . . . . . 118
6.4.2 Convergência do Algoritmo QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.5 Método de Arnoldi e Algoritmo de Lanczos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6.6 O Problema de Autovalor Simétrico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.7 Exercícios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

Capítulo 0
Introdução: Representação de
Números Reais no Computador
Computadores digitais usam um número finito de bits para representar um número real, portanto eles
podem representar apenas um subconjunto finito dos números reais, o que leva a dois tipos diferentes de
limitações: (1) números representados não podem ser arbitrariamente grandes ou arbitrariamente pequenos;
(2) existem lacunas entre os numéros representados. Estas limitações físicas levam respectivamente aos erros
de overflow e underflow e aos erros de arredondamento.
Para discutir estes erros de maneira inteligente, introduzimos alguma terminologia.
0.1 Definição. Definimos o erro absoluto causado por uma computação por
Erro absoluto = |(valor calculado) − (valor exato)| .
O erro relativo causado por uma computação é definido por
Erro relativo =
erro absoluto
valor exato .
O erro relativo permite comparar entre os erros cometidos de maneira significativa. Por exemplo, o erro
absoluto entre 1 (valor exato) e 2 (valor calculado) e o erro absoluto entre 1.000.000 (valor exato) e 1.000.001
(valor calculado) são os mesmos. No entanto, o erro relativo no primeiro caso é 1, enquanto que o erro
relativo no segundo caso é 10−6 , expressando o fato intuitivo que o erro cometido no primeiro caso é muito
maior que o erro cometido no segundo caso. Às vezes o erro relativo é expresso como uma porcentagem:
Erro percentual = [(erro relativo) × 100] %.
Assim, o erro percentual no primeiro caso é 100%, enquanto que o erro percentual no segundo caso é
10 −4 = 0, 0001%.
0.1 Ponto Flutuante
Na Matemática Pura, os números reais são infinitos, infinitamente grandes e infinitamente pequenos. Não
existe um número maior ou um número menor. Além disso, eles também são continuamente distribuídos:
não existem espaços entre números reais, pois entre quaisquer dois números reais sempre existe outro número
real. Mais que isso, eles são distribuídos uniformemente na reta real. Um número real é infinitamente preciso:
3

Rodney Josué Biezuner 4
os números depois do ponto decimal são infinitos (incluindo o 0). Em outras palavras, usando a base 10,
números reais correspondem a séries da forma
a = a0 +
onde a0 ∈ Z e an ∈ {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}.
O padrão para representar números reais em Matemática Computacional é o número de ponto flutuante.
Números de ponto flutuante não são infinitos: existe um número de ponto flutuante máximo e um
número de ponto flutuante mínimo. Existe um número fixado de pontos flutuantes, logo existem espaços
entre eles. Números de ponto flutuante de precisão simples (tipo float) tem aproximadamente 8 dígitos
decimais significantes, enquanto que números de ponto flutuante de precisão dupla (tipo double) tem aproximadamente
17 dígitos decimais significantes. O qualificativo “aproximadamente” se refere ao fato que os
números de ponto flutuante são armazenados no computador na base binária, logo a conversão da base
binária para a base decimal introduz alguma imprecisão.
Um número de ponto flutuante é armazenado internamente em duas partes: um significando e um
expoente, semelhante à notação científica.
Esta escolha de representação garante que a distribuição dos valores representados em ponto flutuante
não será uniforme. Para entender isso, vamos assumir que o significando é limitado a um único dígito decimal
e que o expoente é restrito aos valores −1, 0, 1. A tabela abaixo registra todos os números reais positivos
que podemos representar:
∞
n=1
an
10 n
−1 0 1
0 0
1 1 × 10 −1 = 0, 1 1 × 10 0 = 1 1 × 10 1 = 10
2 2 × 10 −1 = 0, 2 2 × 10 0 = 2 2 × 10 1 = 20
3 3 × 10 −1 = 0, 3 3 × 10 0 = 3 3 × 10 1 = 30
4 4 × 10 −1 = 0, 4 4 × 10 0 = 4 4 × 10 1 = 40
5 5 × 10 −1 = 0, 5 5 × 10 0 = 5 5 × 10 1 = 50
6 6 × 10 −1 = 0, 6 6 × 10 0 = 6 6 × 10 1 = 60
7 7 × 10 −1 = 0, 7 7 × 10 0 = 7 7 × 10 1 = 70
8 8 × 10 −1 = 0, 8 8 × 10 0 = 8 8 × 10 1 = 80
9 9 × 10 −1 = 0, 9 9 × 10 0 = 9 9 × 10 1 = 90
O fato do espaço entre os valores em ponto flutuante aumentar em proporção ao tamanho dos números é
que justifica o nome ponto flutuante. Uma representação em que os espaços entre os valores representados
tem um tamanho fixo é chamada uma representação em ponto fixo.
0.2 Definição. Definimos a precisão de um ponto flutuante como sendo o número de dígitos significativos
que ele possui em seu significando. A exatidão de um ponto flutuante é a sua aproximação do valor
exato.
Quanto mais dígitos significativos um ponto flutuante possui, mais preciso ele é: o double 0.3333333333333333
é uma representação mais precisa do número real 1/3 do que o float 0.3333333. Por outro lado, o float
0.3333333 é uma representação mais exata de 1/3 do que o double 0.3444444444444444, apesar deste ser
um ponto flutuante mais preciso, porque a maioria dos seus dígitos significativos estão errados. Os erros
computacionais tais como os erros de cancelamento e arredondamento afetam a exatidão de um valor em
ponto flutuante. Aumentar a precisão de float para double tem o potencial de aumentar a exatidão, mas
não a garante.

Rodney Josué Biezuner 5
0.2 Erros de Arredondamento
Quando um valor computado está entre dois valores representáveis, ele será substituído pelo valor representado
mais próximo. Esta é a origem dos erros de arredondamento.
0.3 Definição. Definimos o erro de arredondamento por
Erro de arredondamento = |(valor representado) − (valor exato)| .
0.4 Definição. Um erro de cancelamento é um erro de arredondamento que ocorre quando a maioria
dos dígitos significativos são perdidos durante a subtração de dois valores aproximadamente iguais.
0.3 O Padrão de Ponto Flutuante IEEE 754
Antes do padrão IEEE 754 ser publicado em 1985, existiam muitos formatos de ponto flutuante implementados
em hardware e software, o que dificultava a portabilidade dos programas. Os resultados obtidos variavam
de uma máquina para outra. Atualmente, a maioria dos fabricadores aderem ao padrão IEEE 754, fruto de
uma cooperação histórica entre cientistas de computação e desenhistas de chips de microprocessadores. A
sigla “IEEE” significa Institute of Electrical and Electronics Engineers.
Os formatos de precisão aritmética simples float e dupla double são armazenados em 32 bits e 64 bits,
respectivamente. Cada formato divide um número em três partes: sinal (um bit), expoente e fração. Os dois
formatos diferem quanto ao número de bits alocados para o expoente e para a fração. No formato float 8
bits são alocados para o expoente e 23 para a fração, enquanto que no formato double 11 bits são alocados
para o expoente e 52 para a fração. O bit de sinal representa o sinal do número: 0 para positivo e 1 para
negativo. O expoente não possui sinal: para representar expoentes negativos, o padrão adiciona um viés
positivo; para obter o valor verdadeiro do expoente (sem viés), é necessário subtrair o viés. No formato de
precisão simples, o expoente com 8 bits pode armazenar valores (com viés) entre 0 e 255, mas 0 e 255 são
reservados; o viés é 127, de modo que os valores verdadeiros (sem viés) do expoente variam entre −126 e
+127. No formato de precisão dupla, o expoente com 11 bits pode armazenar valores (com viés) entre 0 e
2047, com 0 e 2047 são reservados; o viés é 1023, de modo que os valores verdadeiros (sem viés) do expoente
variam entre −1022 e +1023.
0.3.1 Números normalizados
Representemos por s o sinal, e o expoente e f a fração. Quando e não é um valor reservado (isto é, 1 e 254
no formato float e 1 e 2047 no formato double) existe um algarismo 1 e um ponto binário . implícitos
à esquerda do primeiro bit de f, de modo que o número representado por s, e, f é o número
n = (−1) s × (1.f) × 2 E
onde E = e − 127 (float) ou E = e − 1023 (double), chamado um número normalizado. O algarismo 1 e
o ponto binário implícitos, juntamente com a parte fracionária f, constituem o significando do número, de
modo que um número de precisão simples possui 24 bits no seu significando, enquanto que um número de
precisão dupla possui 53 bits no seu significando.
Assim, o maior valor possível em módulo para float corresponde a
ou seja,
s = 1, e = 254 e f = 11111111111111111111111,
23
i=0
1
2 i × 2127 ≈ 3, 4028 × 10 38 ,

Rodney Josué Biezuner 6
enquanto que o maior valor possível em módulo para double corresponde a
ou seja,
s = 0, e = 2047 e f = 1111111111111111111111111111111111111111111111111111,
52
i=0
0.3.2 Números denormalizados
1
2 i × 21023 ≈ 1, 7977 × 10 308 .
Se e = 0 (um dos valores reservados) e f = 0, nós temos o que se chama um número denormalizado (ou
subnormal). Existe um algarismo 0 e um ponto binário . implícitos à esquerda do primeiro bit de f, de modo
que o número representado por s, e, f é o número
n = (−1) s × (0.f) × 2 E
onde E = −126 (float) ou E = −1022 (double).
Assim, o menor valor possível em módulo para float corresponde a
ou seja,
s = 0, e = 0 e f = 00000000000000000000001,
1
2 23 × 2−126 ≈ 1, 4013 × 10 −45 ,
um pouco menor do que o menor valor possível 1 × 2 −126 = 1, 1755 × 10 −38 para um float normalizado,
correspondente a
s = 0, e = 1 e f = 00000000000000000000000.
O menor valor possível em módulo para double corresponde a
ou seja,
s = 0, e = 0 e f = 0000000000000000000000000000000000000000000000000001,
1
2 52 × 2−1022 ≈ 4, 9407 × 10 −324
um pouco menor do que o menor valor possível 1 × 2 −1022 ≈ 2, 2251 × 10 −308 para um double normalizado,
correspondente a
s = 0, e = 1 e f = 0000000000000000000000000000000000000000000000000000.
A existência dos números denormalizados permitem uma convergência para zero menos abrupta. Quando
os valores computados vão se tornando menores e menores, atingindo o menor valor possível para um float
ou double normalizado, ao invés de caírem abruptamente para zero na próxima iteração, eles são convertidos
em números denormalizados.
No entanto, o espaço entre números representados no intervalo [1, 2] é igual a 2 −52 ≈ 2.22 × 10 −16 ; em
geral, no intervalo 2 j , 2 j+1 o espaço é 2 j × 2 −52 , de modo que o espaço relativo nunca excede 2 −52 .
0.3.3 Outros valores numéricos
Se e = f = 0, o valor numérico é −0 ou +0, dependendo de s. Se f = 0 e e = 255 para float ou se e = 2047
para double, então o valor numérico é −Infinity ou +Infinity. Se f = 0 e e = 255 para float ou se
e = 2047 para double, então independentemente do valor de 0 nós temos NaN (Not a Number). Por exemplo,
dividindo 0 por 0 resulta em NaN.
Em geral, no padrão IEEE 754 uma operação inválida produz NaN, divisão por zero produz ±Infinity,
overflow produz o maior número normalizado possível ou ±Infinity e underflow produz ±0, o menor
número normalizado possível ou um número denormalizado.

Capítulo 1
Matrizes Esparsas
Matrizes esparsas são matrizes onde a imensa maioria das entradas são nulas. Esta é uma definição
vaga. Não existe um limite inferior para o número de zeros em uma matriz, em relação ao tamanho desta,
a partir do qual podemos declarar uma matriz com sendo esparsa. Isto é, não existe um limite preciso a
partir do qual uma matriz deixa de ser esparsa e se torna uma matriz densa (isto é, uma matriz em que
o número de zeros é irrelevante). Em geral, matrizes esparsas são definidas operacionalmente, no sentido
de que uma matriz pode ser chamada esparsa, sempre que técnicas especiais podem ser usadas para tirar
vantagem do grande número de zeros e sua localização. Equações diferenciais parciais são a maior fonte de
problemas de álgebra linear numérica envolvendo matrizes esparsas. Engenheiros elétricos lidando com redes
elétricas nos anos 1960s foram os primeiros a explorar a esparcidade das matrizes de coeficientes associadas
aos problemas tratados para resolver sistemas lineares. Como os computadores tinham pouca capacidade
de armazenamento e poder de processamento, e os problemas envolviam um número enorme de variáveis,
métodos de solução direta que tiram vantagem da existência de um número muito grande de zeros tiveram
que ser desenvolvidos.
1.1 Problema Modelo
Como fonte de matrizes esparsas, consideraremos o problema de resolver a equação de Poisson com condição
de Dirichlet discretizada através de diferenças finitas em uma e duas dimensões, que fornece uma matriz
esparsa simétrica.
1.1.1 Problema de Poisson Unidimensional
Considere o problema de Dirichlet para a equação de Poisson no intervalo unitário I = (0, 1):
−u ′′ = f (x) se 0 < x < 1,
u (0) = a, u (1) = b.
Seja h > 0. As expansões de Taylor para uma função u à direita e à esquerda de um ponto x0 são dadas
respectivamente por
e
u(x0 + h) = u(x0) + u ′ (x0)h + 1
2! u′′ (x0)h 2 + 1
3! u′′′ (x0)h 3 + . . . ,
u(x0 − h) = u(x0) − u ′ (x0)h + 1
2! u′′ (x0)h 2 − 1
3! u′′′ (x0)h 3 + . . .
Se somarmos estas duas equações, obtemos
u ′′ (x0) = u(x0 − h) − 2u(x0) + u(x0 + h)
h 2
7
− 2
4! u(4) (x0)h 2 − 2
5! u(6) (x0)h 4 − . . . ,
(1.1)

Rodney Josué Biezuner 8
o que fornece uma aproximação para a derivada segunda u ′′ (x0) de u em x0:
u ′′ (x0) ≈ u(x0 − h) − 2u(x0) + u(x0 + h)
h 2
com erro
ɛ = − 1
12 u(4) (ξ)h 2 = O(h 2 ),
onde x0 − h ξ x0 + h. Esta aproximação é chamada uma diferença centrada para a derivada segunda.
Divida o intervalo [0, 1] em n subintervalos de comprimento h = 1/n através de n − 1 pontos interiores
uniformemente espaçados:
x0 = 0, x1 = h, x2 = 2h, . . . , xn−1 = (n − 1) h, xn = nh = 1,
de modo que [0, 1] = [x0, x1] ∪ [x1, x2] ∪ . . . ∪ [xn−1, xn]. Introduzimos a notação:
ui = u(xi),
fi = f (xi) .
Esta é uma discretização uniforme do intervalo [0, 1]. Uma vez discretizado o domínio da equação diferencial
parcial, procedemos à discretização desta última. Usando diferenças centradas para cada ponto interior xi,
1 i n − 1, temos
−ui−1 + 2ui − ui+1
h 2 = fi. (1.2)
Esta discretização em diferenças finitas para a equação de Poisson é chamada fórmula dos três pontos.
Portanto, para encontrar a solução discretizada temos que resolver o sistema linear com n − 1 equações a
n − 1 incógnitas: ⎧⎪ ⎨
ou seja,
⎪⎩
1
h2 ⎡
2 −1
⎢
−1
⎢
⎣
2
−1
−1
. ..
. ..
h −2 (2u1 − u2) = f1 + ah −2
h −2 (−u1 + 2u2 − u3) = f2
h −2 (−un−3 + 2un−2 − un−1) = fn−2
h −2 (−un−2 + 2un−1) = fn−1 + bh −2
. ..
. .. −1
−1 2 −1
−1 2
Esta é uma matriz tridiagonal, simétrica e esparsa.
⎤ ⎡
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎦ ⎣
1.1.2 Problema de Poisson Bidimensional
.
u1
u2
.
.
.
un−2
un−1
⎤
⎡
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ = ⎢
⎥ ⎢
⎥ ⎢
⎦ ⎣
,
f1 + ah −2
f2
..
. .
fn−2
fn−1 + bh −2
Considere o problema de Dirichlet homogêneo para a equação de Poisson no quadrado unitário Ω = (0, 1) ×
(0, 1)
−∆u = f (x, y)
u = 0
em Ω,
sobre ∂Ω.
(1.3)
Discretizamos o quadrado Ω através dos pontos
(xi, yj) = (ih, jh) , 0 i, j n,
⎤
⎥ .
⎥
⎦

Rodney Josué Biezuner 9
onde
produzindo a malha (ou gride) uniforme
A malha dos pontos interiores é dada por
enquanto que a fronteira discretizada é o conjunto
A equação de Poisson
pode ser agora discretizada. Denotamos
h = 1
n ,
Ωd = (x, y) ∈ Ω : x = i∆x, y = j∆y, 0 i, j n .
Ωd = {(x, y) ∈ Ω : x = i∆x, y = j∆y, 1 i, j n − 1} ,
∂Ωd = {(x, y) ∈ ∂Ω : x = i∆x, y = j∆y, 0 i n, 0 j m} .
−uxx − uyy = f (x, y)
ui,j = u (xi, yj) ,
fi,j = f (xi, yj) .
Aproximamos cada derivada parcial de segunda ordem pela sua diferença centrada, obtendo
−uxx ≈ −ui−1,j + 2ui,j − ui+1,j
∆x2 ,
−uyy ≈ −ui,j−1 + 2ui,j − ui,j+1
∆y2 .
Portanto, a equação de Poisson discretizada toma a forma
−ui−1,j − ui,j−1 + 4ui,j − ui+1,j − ui,j+1
h 2 = fi,j. (1.4)
Como a função u é calculada em cinco pontos, esta discretização em diferenças finitas para a equação de
Poisson é chamada a fórmula dos cinco pontos.
Para cada ponto interior da malha obtemos uma equação, logo temos um sistema linear de (n − 1) 2
equações com o mesmo número de incógnitas. Diferente do caso unidimensional, no entanto, não existe uma
maneira natural de ordenar os pontos da malha, logo não podemos obter imediatamente uma representação
matricial para o problema discretizado. Precisamos antes escolher uma ordenação para os pontos da malha,
e como existem várias ordenações possíveis, existem várias matrizes associadas.
Talvez a mais simples ordenação é a ordem lexicográfica. Nesta ordem, os pontos da malha são percorridos
linha por linha, da esquerda para a direita, de baixo para cima:
u1,1, u2,1, . . . , un−1,1, u1,2, u2,2, . . . , un−1,2, . . . . . . , u1,m−1, u2,m−1, . . . , un−1,m−1.
Neste caso, a matriz associada ao sistema linear é uma matriz (n − 1) 2 × (n − 1) 2 que pode ser escrita como
uma matriz de (n − 1) 2 blocos de dimensão (n − 1) × (n − 1) na forma
A = 1
h2 ⎡
B −I
⎤
⎢
−I
⎢
⎣
B
−I
−I
. ..
. ..
. ..
. ..
−I
−I
B −I
⎥
⎦
−I B
(n−1)×(n−1)

Rodney Josué Biezuner 10
onde I é a matriz identidade (n − 1) × (n − 1) e B é a matriz (n − 1) × (n − 1) dada por
Observe que
⎡
4 −1
⎢
−1
⎢
B = ⎢
⎣
4
−1
−1
. ..
. ..
para todo 1 i (n − 1) 2 , enquanto que
. ..
. .. −1
−1 4 −1
−1 4
aii = 4
aij = −1
⎤
⎥
⎦
(n−1)×(n−1)
se o ponto j é vizinho à esquerda ou à direita do ponto i, ou se o ponto j é vizinho acima ou abaixo do ponto
i. Por exemplo, se n = 4, temos
A = 1
h2 ⎡
4
⎢ −1
⎢ 0
⎢ −1
⎢ 0
⎢ 0
⎢ 0
⎣ 0
−1
4
−1
0
−1
0
0
0
0
−1
4
0
0
−1
0
0
−1
0
0
4
−1
0
−1
0
0
−1
0
−1
4
−1
0
−1
0
0
−1
0
−1
4
0
0
0
0
0
−1
0
0
4
−1
0
0
0
0
−1
0
−1
4
⎤
0
0 ⎥
0 ⎥
0 ⎥
0 ⎥
−1 ⎥
0 ⎥
−1 ⎦
0 0 0 0 0 −1 0 −1 4
Observe que a matriz A é uma matriz simétrica, pentadiagonal e esparsa.
1.2 Matrizes Esparsas
Outros problemas de EDPs, especialmente aqueles envolvendo derivadas primeiras (tais como problemas de
convecção-difusão), em geral levam a matrizes não-simétricas. Discretizações de outros tipos, tais como as
encontradas em elementos finitos, levam a matrizes esparsas com outro tipo de estrutura. De qualquer modo,
todos possuem em comum o fato de a matriz de discretização ser uma matriz esparsa.
Existem essencialmente dois tipos de matrizes esparsas: estruturadas e não-estruturadas. Uma
matriz estruturada é uma em que as entradas não-nulas formam um padrão regular, frequentemente ao
longo de um número pequeno de diagonais (tais como as matrizes que vimos no problema modelo na seção
anterior). Os elementos não-nulos podem também estar organizados em blocos (submatrizes densas) de
mesmo tamanho, organizadas ao longo de um número pequeno de blocos diagonais. Discretizações através de
diferenças finitas tipicamente dão origem a matrizes esparsas com estruturas regulares. Uma matriz esparsa
em que as entradas não-nulas são irregularmente localizadas é uma matriz esparsa irregularmente estruturada.
Os métodos de volumes finitos ou elementos finitos aplicados a domínios com geometria complexa em geral
levam matrizes irregularmente estruturadas.
Esta distinção não afeta em geral métodos de solução direta mas é muito importante para os métodos de
solução iterativos. Neste últimos, uma das operações básicas essenciais é a do produto de uma matriz por
um vetor.

Rodney Josué Biezuner 11
1.3 Implementação Computacional de Matrizes Esparsas
Para tirar vantagem do grande número de elementos nulos, esquemas especiais são necessários para armazenar
matrizes esparsas na memória do computador. O principal objetivo é representar apenas os elementos nãonulos.
O esquema mais simples de armazenamento é o chamado formato de coordenadas. A estrutura de dados
consiste de três vetores (arrays): um vetor real contendo os valores e dois vetores inteiros, um deles contendo
os índices das linhas, enquanto que o outro contém os índices das colunas.
1.1 Exemplo. A matriz
pode ser representada por
⎡
⎢
A = ⎢
⎣
1 0 0 3 0
5 7 0 0 2
3 0 2 4 0
0 0 6 9 0
0 0 0 0 4
valueArray = 2 9 1 4 3 4 2 5 3 6 7 ,
rowIndexArray = 3 4 1 3 3 5 2 2 1 4 2 ,
columnIndexArray = 3 4 1 4 1 5 5 1 4 3 2 .
Cada vetor tem comprimento igual ao número de elementos não-nulos da matriz. Observe que os
elementos são listados em ordem arbitrária.
Provavelmente, o formato mais popular para armazenar matrizes esparsas gerais é o formato compressed
row storage (CRS). Neste esquema, as linhas da matriz são armazenadas uma a uma em um vetor real, da
primeira até a última, preservando a ordem. Um segundo vetor inteiro contendo os índices das colunas é
usado. Um terceiro vetor inteiro contém a posição no vetor de valores reais ou no vetor de índices de coluna
onde cada linha começa, mais um elemento para indicar a primeira posição vazia dos dois vetores.
1.2 Exemplo. A matriz
⎡
⎢
A = ⎢
⎣
pode ser representada no formato CSR por
1 0 0 3 0
5 7 0 0 2
3 0 2 4 0
0 0 6 9 0
0 0 0 0 4
valueArray = 1 3 5 7 2 3 2 4 6 9 4 ,
columIndexArray = 1 4 1 2 5 1 3 4 3 4 5 ,
rowPointerArray = 1 3 6 9 11 12 .
Enquanto o comprimento dos dois primeiros vetores é igual ao número de elementos não-nulos da
matriz., o comprimento do terceiro vetor é igual ao número de linhas da matriz mais um. Dentro
de cada linha os elementos ainda podem ser armazenados em ordem arbitrária, o que pode ser muito
conveniente.
Este esquema é o preferido pois é o mais útil para realizar as computações típicas, tais como multiplicação
da matriz por vetores. Em CRS, a multiplicação matriz-vetor pode ser implementada da seguinte forma (em
⎤
⎥
⎦
⎤
⎥
⎦

Rodney Josué Biezuner 12
C/C++ ou Java):
for( int i = 0; i < n; i++ )
{
lowerIndex = rowPointerArray[i];
upperIndex = rowPointerArray[i+1];
//loop over row i
for( int j = lowerIndex; j < upperIndex; j++ )
Av[i] += valueArray[j]* v[columArray[j]];
}
Um esquema correspondente, armazenando colunas ao invés de linhas é o compressed column storage (CCS),
usado no Octave.
Os esquemas considerados acima são chamados estáticos. Esquemas dinâmicos, envolvendo listas encadeadas,
em geral economizam ainda mais memória e tem acesso ainda mais rápido à memória. Cada linha
da matriz pode ser representada por uma lista encadeada. A matriz toda é representada por uma lista de
listas encadeadas, seguindo a ordem de linhas da matriz. Desta forma, o início de cada linha não precisa ser
representado. O índice da coluna de cada elemento da linha ainda precisa ser representado, é claro, e isso
pode ser feito através de um ponteiro específico.
Outras esquemas podem ser utilizados, tirando vantagem da estrutura da matriz esparsa. Por exemplo,
em matrizes diagonais as diagonais não-nulas podem ser armazenadas separadamente. Em matrizes
simétricas, é necessário armazenar apenas os elementos da diagonal principal e da parte triangular superior
(ou inferior) da matriz, mas isso em geral implica em algoritmos mais complicados para fazer operações com
a matriz.

Capítulo 2
Invertibilidade de Matrizes Esparsas
Neste capítulo desenvolveremos métodos gerais e fáceis de aplicar para determinar a invertibilidade de matrizes
esparsas, principalmente aquelas que surgem através da discretização de equações diferenciais parciais
através de diferenças finitas. Em particular, isso implicará a existência e unicidade de soluções para sistemas
lineares envolvendo tais matrizes. Uma vez que isso esteja estabelecido, poderemos nos dedicar nos próximos
capítulos a estudar métodos iterativos para encontrar estas soluções.
2.1 Normas Matriciais
Lembramos o conceito de norma vetorial:
2.1 Definição. Seja V um espaço vetorial real ou complexo. Uma norma vetorial em V é uma função
|·| : V −→ R que satisfaz as seguintes propriedades:
(i) |x| > 0 para todo x = 0 e |x| = 0 se x = 0;
(ii) αx = |α| x para todo x ∈ V e para todo α ∈ R;
(iii) (Desigualdade Triangular) x + y x + y para todos x, y ∈ V.
Denotaremos por Mn (R) o espaço vetorial das matrizes complexas n × n e por Mn (C) o espaço vetorial
das matrizes complexas n × n. Quando estivermos nos referindo a qualquer um destes espaços (ou seja,
quando a afirmação que fizermos valer para qualquer um deles), usaremos a notação Mn simplesmente.
2.2 Definição. Uma norma matricial no espaço vetorial Mn é uma norma vetorial · : Mn −→ R que
satisfaz a propriedade submultiplicativa
para todas as matrizes A, B ∈ Mn.
AB A B (2.1)
A seguir, veremos alguns exemplos das normas matriciais mais importantes em Mn. A verificação de que
as normas apresentadas constituem normas vetoriais é deixada como exercício (Exercício 2.1).
2.3 Exemplo. Norma l1 (norma da soma):
A 1 =
13
n
|aij| . (2.2)
i,j=1

Rodney Josué Biezuner 14
De fato,
AB 1 =
n
n
i,j=1
k=1
aikbkj
n
i,j,k=1
2.4 Exemplo. Norma l2 (norma euclidiana):
Com efeito,
AB 2
2 =
n
n
i,j=1
k=1
aikbkj
2
n
n
i,j=1
|aikbkj|
⎛
A2 = ⎝
k=1
|aik| 2
n
i,j,k,l=1
n
i,j=1
n
l=1
|aij| 2
|blj| 2
|aikblj| =
⎞
⎠
1/2
= ⎝
n
i,k=1
|aik|
n
j,l=1
|blj| = A 1 B 1 .
. (2.3)
⎛
n
i,k=1
|aik| 2
⎞ ⎛
⎠ ⎝
n
j,l=1
|blj| 2
⎞
⎠ = A 2
2 B2 2 .
A norma l2 também é chamada mais raramente (e somente para matrizes) norma de Schur, norma de
Frobenius ou norma de Hilbert-Schmidt.
2.5 Exemplo. Normas lp:
De modo geral, dado p 1, definimos a norma matricial
⎛
n
Ap = ⎝ |aij| p
⎞
⎠
i,j=1
2.6 Exemplo. Norma l∞ modificada (norma do máximo modificada):
A norma l∞ (norma do máximo)
1/p
A ∞ = max
1i,jn |aij|
é uma norma vetorial em Mn mas não é uma norma matricial: por exemplo, se
então
A =
A 2 =
1 1
1 1
2 2
2 2
e portanto A 2 ∞ = 2 > 1 = A ∞ A ∞ .
No entanto, um múltiplo escalar desta norma vetorial é uma norma matricial:
Com efeito,
AB n∞ = n max
n
,
. (2.4)
A n∞ = n max
1i,jn |aij| . (2.5)
n max
n
aikbkj
|aikbkj| n max A
1i,jn 1i,jn
1i,jn
∞ B∞ k=1
k=1
k=1
= n (n A∞ B∞ ) = n A∞ n B∞ = ABn∞ .
n

Rodney Josué Biezuner 15
2.7 Exemplo. Norma do operador:
Dada uma norma vetorial |·| em R n ou C n , ela induz uma norma matricial através da definição
A = max
|x|=1
|Ax| = max |Ax| = sup
|x|1 x=0
|Ax|
. (2.6)
|x|
Aqui vemos A como um operador linear em Rn ou Cn , portanto contínuo, de modo que o máximo de
A é atingido na esfera e na bola fechada. Para ver que a primeira e a terceira definições coincidem (de
modo que o sup na terceira definição é de fato um máximo), use o fato que
|Ax|
|x| =
A
x
.
|x|
Agora observe que
max |Ax| max |Ax| ,
|x|=1 |x|1
já que a bola fechada contém a esfera. Por outro lado, se |x| = ε < 1, segue que
A
x
=
|x|
|Ax| |Ax|
= > |Ax| ,
|x| ε
de modo que o máximo de |Ax| não é atingido no interior da bola, logo
max |Ax| max
|x|=1 |x|1 |Ax|
e portanto a primeira e a segunda definições coincidem. Finalmente, para ver que a norma do operador
é uma norma matricial, escreva
|ABx| |ABx| |Bx| |ABx|
AB = max = max
max
x=0 |x| x=0 |Bx| |x| Bx=0 |Bx| max
|Bx| |Ay|
max
x=0 |x| y=0 |y| max
|Bx|
= A B .
x=0 |x|
A norma do operador satisfaz a propriedade extremamente útil
para todo vetor x ∈ R n ou C n .
2.8 Exemplo. Norma do máximo das somas das linhas:
|Ax| A |x| (2.7)
A L = max
1in
j=1
n
|aij| . (2.8)
Esta norma é a norma do operador induzida pela norma vetorial l∞. De fato, se x = (x1, . . . , xn),
temos
n
n
n
|Ax| ∞ = max aijxj
1in max |aijxj| max |aij| |x|
1in
1in
∞ = AL |x| ∞ ,
de modo que
j=1
j=1
max
|x|=1 |Ax| ∞ AL .
Supondo que a i-ésima linha de A é não-nula, definimos o vetor y = (y1, . . . , yn) ∈ Cn por
⎧
⎨
yi =
⎩
aij
|aij|
1
se aij = 0,
se aij = 0.
,
j=1

Rodney Josué Biezuner 16
o que implica |y| ∞ = 1, aijyj = |aij| e
max
|x| ∞ =1 |Ax| ∞ |Ay|
n
∞ = max
1in
j=1
aijyj
2.9 Exemplo. Norma do máximo das somas das colunas:
A C = max
1jn
i=1
= max
1in
j=1
n
|aij| = AL .
n
|aij| . (2.9)
Esta norma é a norma do operador induzida pela norma vetorial l1. De fato, escrevendo A em termos
de suas colunas
A = [A1 . . . An]
segue que
Se x = (x1, . . . , xn), segue que
donde
|Ax| 1 = |x1A1 + . . . + xnAn| 1
= A C
n
i=1
A C = max
1jn |Aj| 1 .
n
|xiAi| 1 =
i=1
|xi| = A C |x| 1 ,
n
|xi| |Ai| 1
i=1
max
|x| 1 =1 |Ax| 1 AC .
Agora, se escolhermos yj = ej, temos que |yj| 1 = 1 e
para todo k, logo
2.10 Exemplo. p-normas:
|Ay| 1 = |Aj| 1
n
i=1
max
|x| 1 =1 |Ax| 1 max
1jn |Ayj| 1 = max
1jn |Aj| 1 = AC .
|xi| max
1jn |Aj| 1
Este é o nome geral para as normas do operador induzidas pela norma vetorial lp em R n ou C n . Para
distingui-las das normas matriciais lp no próprio espaço vetorial Mn, vamos denotá-las por
|||A||| p = sup
x=0
|Ax| p
.
|x| p
O caso especial da norma do operador induzida pela norma vetorial l2 (a norma vetorial euclidiana) é
também chamada a norma espectral e satisfaz
|||A||| 2 =
∗
λmax = max |λ| : λ é um autovalor de A A .

Rodney Josué Biezuner 17
De fato, A ∗ A é uma matriz hermitiana logo todos os seus autovalores são não-negativos. Pela caracterização
variacional dos autovalores de uma matriz hermitiana temos
λmax = max
x=0
〈A ∗ Ax, x〉 2
|x| 2
2
= max
x=0
|Ax| 2
.
Observe que a 2-norma é diferente da norma matricial l2 (Exercício 2.3). Note também que se A é
uma matriz hermitiana, então A ∗ A = A 2 e |||A||| 2 é portanto o módulo do maior autovalor de A, isto
é, a norma espectral de A é o raio espectral de A, definido como sendo o maior valor absoluto dos
autovalores λ1, . . . , λn de A:
ρ (A) = max
i=1,...,n |λi| ,
2.11 Exemplo. Norma induzida por uma matriz invertível:
2
|x| 2
2
Se · é uma norma matricial qualquer e se S é uma matriz invertível, então
define uma norma matricial. Com efeito,
A S = S −1 AS (2.10)
AB S = S −1 ABS = S −1 ASS −1 BS S −1 AS S −1 BS = A S B S .
Lembramos que todas as normas em um espaço vetorial de dimensão finita são equivalentes, e isso vale em
particular para normas matriciais:
2.12 Teorema. Seja V um espaço vetorial real ou complexo de dimensão finita. Então todas as normas
vetoriais em V são equivalentes, isto é, se · 1 e · 2 são duas normas vetoriais quaisquer em V ,
então existem constantes C1, C2 > 0 tais que
e
para todo x ∈ V .
x 1 C1 x 2
x 2 C2 x 1
Prova: Para mostrar a equivalência entre todas as normas de um espaço vetorial, por transitividade basta
fixar uma norma · 1 e mostrar que qualquer norma arbitrária · 2 é equivalente a · 1 . Seja B = {e1, . . . , en}
uma base para V , de modo que todo vetor x ∈ V se escreve na forma
x =
n
i=1
xiei
e defina · 1 como sendo a norma ℓ 1 em relação a esta base:
x 1 =
n
|xi| .
i=1

Rodney Josué Biezuner 18
Então, se · 2 é uma norma qualquer em V , segue da desigualdade triangular que
x 2
n
xiei2 =
i=1
max
i=1,...,n ei 2
= C2 x 1 ,
n
|xi| ei2 i=1
n
|xi|
onde denotamos C2 = max
i=1,...,n ei 2 .
Para provar a desigualdade reversa, considere a esfera unitária na norma da soma S = {x ∈ V : x 1 = 1}.
A desigualdade anterior garante que a função x ↦→ x 2 é contínua na topologia definida pela norma · 1 e
portanto assume um valor mínimo m no conjunto fechado e limitado (compacto) S. Necessariamente m > 0:
se existisse e = n
xiei ∈ S tal que e2 = 0, teríamos e = n
xiei = 0, contrariando o fato que {e1, . . . , en}
i=1
é um conjunto linearmente independente. Portanto,
x
x
m
1 2
para todo x ∈ V , x = 0. Tomando C1 = 1/m, segue que x 1 C1 x 2 para todo x ∈ V .
2.2 Matrizes Diagonalmente Dominantes
2.13 Definição. Dizemos que uma matriz An×n é diagonalmente dominante se
|aii|
i=1
i=1
n
|aij| para todo i = 1, . . . , n
j=1
j=i
e estritamente diagonalmente dominante se
|aii| >
n
|aij| para todo i = 1, . . . , n.
j=1
j=i
2.14 Lema. Seja A ∈ Mn. Se existe alguma norma matricial · tal que I − A < 1, então A é invertível.
Prova. De fato, sob esta condição, afirmamos que a inversa é dada explicitamente pela série
Para todo N ∈ N podemos escrever
k=0
k=0
A −1 =
∞
(I − A) k . (2.11)
k=0
N
A (I − A) k N
= [I − (I − A)] (I − A) k N
=
Como · é uma norma matricial, temos que
(I − A) k k
I − A .
k=0
(I − A) k N+1
− (I − A) k = I − (I − A) N+1 .
k=1

Rodney Josué Biezuner 19
Logo, de I − A < 1 segue que
lim
N→∞ (I − A)N+1 = 0.
Portanto, tomando o limite quando N → ∞, concluímos (2.11).
2.15 Corolário. Se A ∈ Mn é uma matriz singular e · é uma norma matricial, então I − A 1. Em
particular, se · é uma norma matricial, então I 1.
Prova. Para provar a segunda afirmação do enunciado, basta tomar A = 0.
2.16 Proposição. Se A é uma matriz estritamente diagonalmente dominante, então A é invertível.
Prova. Denote por D a matriz diagonal cujas entradas diagonais são as entradas diagonais de A. Uma
matriz estritamente diagonalmente dominante possui, por definição, entradas diagonais não-nulas, logo D é
uma matriz invertível. A matriz D −1 A tem apenas 1’s na diagonal principal e se mostramos que D −1 A é
invertível, isto implicará que A é invertível. Para provar isso, considere a matriz I − D−1A. Temos
−1
I − D A
ij =
0 se i = j,
se i = j.
−aij/aii
Usemos a norma do máximo das somas das linhas. Para cada 1 i n temos
n
I − D −1 A n
aij
n
=
1
ij = |aij| < 1,
|aii|
j=1
j=1
j=i
logo I − D−1A < 1 e o resultado segue do Lema 2.14.
Às vezes, exigir dominância diagonal estrita em todas as linhas é pedir demais. Para certas matrizes,
dominância diagonal junto com dominância diagonal estrita em apenas uma linha é suficiente para garantir
a sua invertibilidade. As matrizes de discretização obtidas no capítulo anterior satisfazem esta condição
(nas linhas correspondentes à pontos adjacentes à fronteira), e nenhuma delas é estritamente diagonalmente
dominante. Por outro lado, vale a pena ressaltar que esta condição não é suficiente para estabelecer a
invertibilidade de uma matriz em geral, como o exemplo
demonstra.
⎡
⎣
aii
4 2 1
0 1 1
0 1 1
2.3 Teorema dos Discos de Gershgorin
A primeira ferramenta teórica é o importante Teorema dos Discos de Gershgorin. Ele decorre da seguinte
observação: se A é uma matriz complexa n × n, podemos sempre escrever A = D + B, onde D = diag
(a11, . . . , ann) é a matriz diagonal formada pela diagonal principal de A e B consiste dos elementos restantes
de A, possuindo uma diagonal principal nula. Se definirmos Aε = D + εB, então A0 = D e A1 = A. Os
autovalores de D são a11, . . . , ann, enquanto que os autovalores de Aε devem estar localizados em vizinhanças
dos pontos a11, . . . , ann, desde que ε seja suficientemente pequeno. O mesmo deve valer para os autovalores
da matriz A: eles devem estar contidos em discos centrados nos elementos a11, . . . , ann da diagonal principal
se os discos são suficientemente grandes. O Teorema de Gershgorin dá uma estimativa precisa e simples de
calcular para os raios destes discos em função das entradas restantes da matriz A. Denote o disco complexo
fechado de centro em a e raio R por
⎤
⎦
j=1
j=i
DR (a) = {z ∈ C : |z − a| R} .

Rodney Josué Biezuner 20
2.17 Teorema. (Teorema dos Discos de Gershgorin) Se A ∈ Mn (C) e
Ri (A) =
n
|aij| (2.12)
denota a soma dos valores absolutos dos elementos da linha i de A excetuando o elemento da diagonal
principal, então todos os autovalores de A estão contidos na união dos n discos de Gershgorin
G (A) =
n
i=1
j=1
j=i
D Ri(A) (aii) . (2.13)
Além disso, se uma união de k destes discos forma uma região que é disjunta dos n−k discos restantes,
então existem exatamente k autovalores de A nesta região.
Prova. Seja λ um autovalor de A e x = (x1, . . . , xn) = 0 um autovetor associado. Seja k um índice tal que
|xk| |xj| para j = 1, . . . , n,
isto é, xk é a coordenada de x de maior valor absoluto. Denotando por (Ax) k a k-ésima coordenada do vetor
Ax = λx, temos
n
λxk = (Ax) k =
que é equivalente a
Daí,
ou seja,
|xk| |λ − akk|
j=1
j=k
xk (λ − akk) =
j=1
j=k
j=1
n
j=1
j=k
akjxj
akjxj.
n
n
n
|akjxj| = |akj| |xj| |xk| |akj| = |xk| Rk (A) ,
|λ − akk| Rk (A) .
Isso prova o resultado principal do Teorema de Gershgorin (como não sabemos qual k é apropriado para
cada autovalor λ, e um mesmo k pode servir para vários autovalores λ, tudo o que podemos afirmar é que
os autovalores estão na união dos discos).
Para provar a segunda afirmação, escreva A = D + B, onde D = diag (a11, . . . , ann) e defina
para 0 t 1. Note que
At = D + tB
j=1
j=k
Ri (At) = Ri (tB) = tRi (A) .
Para simplificar a notação, assuma que a união dos primeiros k discos de Gershgorin
satisfaz Gk (A) ∩ [G (A) \Gk (A)] = ∅. Temos
Gk (A) =
k
i=1
D Ri(A) (aii)
D Ri(At) (aii) = {z ∈ C : |z − aii| Ri (At)} = {z ∈ C : |z − aii| tRi (A)} ⊂ D Ri(A) (aii) ,

Rodney Josué Biezuner 21
logo,
e
Gk (At) ⊂ Gk (A)
Gk (A) ∩ [G (At) \Gk (At)] = ∅
para 0 t 1. Porque os autovalores são funções contínuas das entradas de uma matriz, o caminho
λi (t) = λi (At)
é um caminho contínuo que liga λi (A0) = λi (D) = aii a λi (A1) = λi (A). Seja 1 i k. Como
λi (At) ∈ Gk (At) ⊂ Gk (A), concluímos que para cada 0 t 1 existem k autovalores de At em Gk (A); em
particular, fazendo t = 1, obtemos que Gk (A) possui pelo menos k autovalores de A. Da mesma forma, não
pode haver mais que k autovalores de A em Gk (A), pois os n − k autovalores restantes de A0 = D começam
fora do conjunto Gk (A) e seguem caminhos contínuos que permanecem fora de Gk (A).
A união G (A) dos discos de Gershgorin é conhecida como a região de Gershgorin. Observe que enquanto
não podemos em geral afirmar com certeza que cada disco de Gershgorin possui um autovalor, a segunda
afirmação do teorema permite-nos fazer tal conclusão desde que os discos de Gershgorin sejam dois a dois
disjuntos.
O Teorema dos Discos de Gershgorin permite entender o resultado da Proposição 2.16: se uma matriz A é
estritamente diagonalmente dominante, então os discos de Gershgorin D Ri(A) (aii) não interceptam a origem,
logo 0 não pode ser um autovalor para a matriz A, o que implica que A é invertível. Além disso, se todos
os elementos da diagonal principal de A são reais e positivos, então os autovalores de A estão localizados no
semiplano direito de C, de modo que se A é também simétrica, concluímos que todos os autovalores de A
são positivos.
A aplicação mais óbvia do Teorema dos Discos de Gershgorin é na estimativa dos autovalores de uma
matriz. Usos mais refinados do Teorema de Gershgorin permitem obter conhecimento mais preciso sobre
onde os autovalores da matriz se encontram e correspondentemente melhores estimativas para o raio espectral
de uma matriz. Por exemplo, como A e A t possuem os mesmos autovalores, existe um teorema dos discos
de Gershgorin equivalente para as colunas de uma matriz. Em particular, todos os autovalores de A estão
localizados na interseção destas duas regiões: G (A) ∩ G (A t ). Isso implica a seguinte estimativa simples para
o raio espectral de uma matriz complexa:
2.18 Corolário. Se A ∈ Mn (C), então
⎛
ρ (A) min ⎝ max
i=1,...,n
j=1
n
|aij| , max
n
⎞
|aij| ⎠ = min (A
j=1,...,n
L , AC ) .
i=1
Prova. O ponto no i-ésimo disco de Gershgorin que é mais distante da origem tem módulo
n
|aii| + Ri (A) =
e um resultado semelhante vale para as colunas de A.
O resultado do Corolário 2.18 não é surpreendente em vista do raio espectral de uma matriz ser menor que
qualquer norma matricial (veja o próximo capítulo). Um resultado melhor pode ser obtido uma vez que
se observa que A e S−1AS também possuem os mesmos autovalores, qualquer que seja a matriz invertível
S. Em particular, quando S = D = diag (p1, . . . , pn) é uma matriz diagonal com todos os seus elementos
positivos, isto é, pi > 0 para todo i, aplicando o Teorema de Gershgorin à matriz
D −1 AD =
e à sua transposta, obtemos o seguinte resultado que permite obter uma estimativa arbitrariamente boa dos
autovalores de A:
pj
j=1
aij
pi
|aij|

Rodney Josué Biezuner 22
2.19 Corolário. Se A ∈ Mn (C) e p1, . . . , pn > 0, então todos os autovalores de A estão contidos em
Em particular,
G D −1 AD ∩ G DA t D −1 =
ρ (A) min
2.4 Propriedade FC
p1,...,pn>0
⎛
∩
⎝ max
i=1,...,n
n
i=1
n
i=1
1
⎧
⎪⎨
z ∈ C : |z − aii|
⎪⎩
1
pi
⎧
⎪⎨
⎪⎩ z ∈ C : |z − aii| pj
n
n
n
j=1
j=i
n
i=1
i=j
pj |aij|
1
|aij|
pi
pj |aij| , max
pi
j=1,...,n
j=1
pj |aij|
pi
i=1
1
⎞
⎫
⎪⎬
⎪⎭
⎫
⎪⎬
⎪⎭ .
(2.14)
⎠ . (2.15)
Na nossa busca por propriedades para matrizes diagonalmente dominantes que garantirão a sua invertibilidade,
uma observação fundamental é a de que se A é uma matriz diagonalmente dominante, então 0 não
pode ser um ponto interior de nenhum disco de Gershgorin. De fato, se λ é um autovalor de A interior a
algum disco de Gershgorin então devemos ter desigualdade estrita
|λ − aii| < Ri (A) =
para algum i. Se 0 é um autovalor de A interior a algum disco de Gershgorin, então
|aii| <
n
j=1
j=i
para algum i e A não pode ser diagonalmente dominante na linha i.
Uma condição equivalente para que um autovalor λ de A não seja um ponto interior de nenhum disco de
Gershgorin é que
n
|λ − aii| Ri (A) = |aij| para todo i = 1, . . . , n.
j=1
j=i
Tais pontos λ na região de Gershgorin G (A) (não necessariamente autovalores de A) constituem precisamente
a fronteira ∂G (A) da região de Gershgorin. Chamaremos a fronteira de um disco de Gershgorin
{z ∈ C : |z − aii| = Ri (A)} um círculo de Gershgorin.
2.20 Lema. Seja A ∈ Mn (C) e λ um autovalor de A que não é um ponto interior de nenhum disco de
Gershgorin. Seja x = (x1, . . . , xn) = 0 um autovetor associado a λ e k um índice tal que
Se i é qualquer índice tal que
|aij|
n
j=1
j=i
|aij|
|xk| |xj| para j = 1, . . . , n.
|xi| = |xk|

Rodney Josué Biezuner 23
então o i-ésimo círculo de Gershgorin passa por λ. Se, além disso,
então
aij = 0,
|xj| = |xk|
e o j-ésimo círculo de Gershgorin também passa por λ.
Prova. Como na demonstração do Teorema de Gershgorin, temos
|xi| |λ − aii|
n
n
n
|aijxj| = |aij| |xj| |xk| |aij| = |xk| Ri (A) (2.16)
j=1
j=i
para todo índice i. Logo, se |xi| = |xk|, temos
Como por hipótese
para todo índice i, segue que
j=1
j=i
|λ − aii| Ri (A) .
|λ − aii| Ri (A)
|λ − aii| = Ri (A) .
Em geral, |xi| = |xk| implica que as desigualdades em (2.16) são identidades; em particular,
donde
n
n
|aij| |xj| = |xi|
j=1
j=i
j=1
j=i
|aij|
n
|aij| (|xi| − |xj|) = 0.
j=1
j=i
Esta é uma soma de termos não-negativos, pois |xi| |xj|, logo se aij = 0 necessariamente devemos ter
|xj| = |xi| = |xk|.
Este lema técnico tem as seguintes conseqüências úteis:
2.21 Teorema. Seja A ∈ Mn (C) uma matriz cujas entradas são todas não-nulas e seja λ um autovalor
de A que não é um ponto interior de nenhum disco de Gershgorin. Então todo círculo de Gershgorin
de A passa por λ (isto é, λ está na interseção de todos os círculos de Gershgorin de A) e se x =
(x1, . . . , xn) = 0 é um autovetor associado a λ então
Prova. Decorre diretamente do lema anterior.
j=1
j=i
|xi| = |xj| para todos i, j = 1, . . . , n.
2.22 Corolário. Se A ∈ Mn (C) é uma matriz cujas entradas são todas não-nulas e diagonalmente dominante
tal que |aii| > n
|aij| para pelo menos alguma linha i, então A é invertível.
j=1
j=i

Rodney Josué Biezuner 24
Prova. Pois, como A é diagonalmente dominante, se 0 é um autovalor de A então 0 não pode ser um ponto
interior de nenhum disco de Gershgorin. Por outro lado, pelo teorema anterior, segue que todo círculo de
Gershgorin passa por 0. Entretanto, o i-ésimo círculo de Gershgorin centrado em aii e com raio Ri < |aii|
não pode passar por 0. Concluímos que 0 não é um autovalor de A, logo A é invertível.
As matrizes do Corolário 2.22 são as antíteses das matrizes esparsas que nos interessam. Usando com
maior cuidado a informação dada pelo Lema 2.20 podemos obter resultados que se aplicam a matrizes
esparsas.
2.23 Definição. Dizemos que uma matriz A = (aij) ∈ Mn (C) satisfaz a propriedade FC se para todo par
de inteiros distintos i, j existe uma seqüência de inteiros distintos i1 = i, i2, i3, . . . , im−1, im = j, com
1 m n, tais que todas as entradas matriciais
são não-nulas.
ai1i2 , ai2i3 , . . . , aim−1im
Por exemplo, a matriz diagonalmente dominante não-invertível
⎡
4
⎣ 0
2
1
1
1
⎤
⎦ ,
0 1 1
já vista anteriormente, não satisfaz a propriedade FC porque o par 2, 1 não admite tal seqüência (a única
seqüência possível é a23, a31). Já qualquer par de inteiros distintos i, j tal que aij = 0 admite a seqüência
trivial não-nula aij, de modo que uma matriz cujas entradas não-diagonais são todas não-nulas satisfaz a
propriedade FC. O significado da abreviatura “FC”, ou “fortemente conexo”, ficará claro mais adiante.
2.24 Teorema. Seja A ∈ Mn (C) uma matriz que satisfaz a propriedade FC e seja λ um autovalor de A que
não é um ponto interior de nenhum disco de Gershgorin. Então todo círculo de Gershgorin de A passa
por λ (isto é, λ está na interseção de todos os círculos de Gershgorin de A) e se x = (x1, . . . , xn) = 0
é um autovetor associado a λ então
|xi| = |xj| para todos i, j = 1, . . . , n.
Prova. Seja x = (x1, . . . , xn) = 0 um autovetor associado a λ e i um índice tal que
Pelo Lema 2.20,
|xi| |xk| para k = 1, . . . , n.
|λ − aii| = Ri (A) .
Seja j = i qualquer outro índice e i1 = i, i2, i3, . . . , im−1, im = j, com 1 m n, índices tais que todas as
entradas matriciais
aii2 , ai2i3 , . . . , aim−1j = 0.
Como aii2 = 0, segue da segunda afirmativa do Lema 2.20 que |xi2| = |xi|. Mas então ai2i3 = 0 e portanto
|xi3| = |xi2| = |xi|. Prosseguindo desta forma, concluímos que
|xi| = |xi2| = . . .
xim−1
= |xj| .
Em particular, segue novamente do Lema 2.20 que o j-ésimo círculo de Gershgorin passa por λ. Como j é
arbitrário, isso prova o teorema.
2.25 Corolário. Se A ∈ Mn (C) é uma matriz que satisfaz a propriedade FC e diagonalmente dominante
tal que |aii| > n
|aij| para pelo menos alguma linha i, então A é invertível.
j=1
j=i

Rodney Josué Biezuner 25
Prova. Segue do teorema anterior da mesma forma que o Corolário 2.22 segue do Teorema 2.21.
Vamos tentar entender melhor o significado da propriedade FC. Note que ela se refere apenas à localização
dos elementos não-nulos de A fora da diagonal principal – os elementos da diagonal principal e os valores
específicos dos elementos fora da diagonal principal são irrelevantes. Isso motiva as seguintes definições:
2.26 Definição. Dada uma matriz A = (aij) ∈ Mn (C) definimos o módulo da matriz A como sendo a
matriz
|A| = (|aij|)
cujos elementos são os módulos dos elementos da matriz A e a matriz indicadora de A como sendo
a matriz
M (A) = (µij) ,
onde
µij =
1 se aij = 0,
0 se aij = 0.
O conceito de uma seqüência de entradas não-nulas da matriz A que aparece na definição da propriedade
FC pode ser visualizado em termos de caminhos em um grafo associado a A:
2.27 Definição. Dada uma matriz A ∈ Mn (C), o grafo direcionado de A é o grafo direcionado Γ (A)
com n nodos P1, . . . , Pn tais que existe um arco direcionado em Γ (A) de Pi a Pj se e somente se aij = 0.
Um caminho direcionado γ em um grafo Γ é uma seqüência de arcos Pi1Pi2, Pi2Pi3, . . . em Γ. O
comprimento de um caminho direcionado é o número de arcos sucessivos no caminho direcionado. Um
ciclo é um caminho direcionado que começa e termina no mesmo nó.
Dizemos que um grafo direcionado é fortemente conexo se entre qualquer par de nodos distintos
Pi, Pj ∈ Γ existir um caminho direcionado de comprimento finito que começa em Pi e termina em Pj.
Observe que quando Γ é um grafo direcionado com n nodos, se existe um caminho direcionado entre dois
nodos de Γ, então sempre existe um caminho direcionado entre estes dois nodos de comprimento menor que
ou igual a n − 1 (Exercício 2.7).
2.28 Teorema. A ∈ Mn (C) satisfaz a propriedade FC se e somente se Γ (A) é fortemente conexo.
Agora estamos em condições de verificar a invertibilidade das matrizes esparsas oriundas da discretização
de EDPs através de diferenças finitas:
2.29 Teorema. As matrizes de discretização do problema modelo são invertíveis.
Prova. É fácil ver que as matrizes de discretização obtidas no capítulo anterior para o intervalo e para
o quadrado são matrizes diagonalmente dominantes com dominância diagonal estrita nas linhas correspondentes
a pontos interiores adjacentes à fronteira. Além disso, elas satisfazem a propriedade FC. De fato, cada
índice i da matriz corresponde a um ponto interior Pi da malha e aij = 0 sempre que Pi e Pj são pontos
vizinhos naqueles esquemas. Então, dados dois pontos distintos Pi, Pj é fácil encontrar uma seqüência de
índices i1 = i, i2, i3, . . . , im−1, im = j, com 1 m n, tais que todas as entradas matriciais
ai1i2, ai2i3, . . . , aim−1im
são não-nulas: no caso unidimensional, basta percorrer a malha diretamente de Pi até Pj (andando a partir
de Pi sempre para a direita ou sempre para a esquerda, conforme o caso, até encontrar Pj), e no caso
bidimensional basta usar qualquer caminho interior de Pi até Pj (pode-se usar a ordem lexicográfica para
percorrer a malha, ou a ordem lexicográfica inversa, dependendo das posições relativas de Pi e Pj; no entanto,
estes caminhos são mais longos que o necessário). Em outras palavras, identificando as malhas de pontos
internos com os grafos direcionados da matriz de discretização, de modo que existe um arco direcionado entre

Rodney Josué Biezuner 26
dois pontos da malha se e somente se eles são vizinhos, os esquemas de discretização considerados garantem
que estes grafos são fortemente conexos.
Verificar a propriedade FC a partir do grafo direcionado de A pode ser impraticável se o tamanho da
matriz for muito grande ou se a matriz não tiver origem na discretização de um problema de EDPs. Existe
um método computacional mais explícito para fazê-lo:
2.30 Teorema. Sejam A ∈ Mn (C) e Pi, Pj nodos de Γ (A). Existe um caminho direcionado de comprimento
m em Γ (A) de Pi para Pj se e somente se
ou, equivalentemente, se e somente se
(|A| m ) ij = 0
[M (A) m ] ij = 0.
Prova. Provaremos o teorema por indução. Para m = 1 a afirmativa é trivial. Para m = 2, temos
de modo que
|A| 2
ij
|A| 2
ij
=
n
k=1
(|A|) ik (|A|) kj =
n
k=1
|aik| |akj| ,
= 0 se e somente se aik, akj são ambos não-nulos para algum índice k. Mas isso é
equivalente a dizer que existe um caminho direcionado de comprimento 2 em Γ (A) de Pi para Pj.
Em geral, supondo a afirmativa provada para m, temos
|A| m+1
ij
=
n
k=1
(|A| m ) ik (|A|) kj =
n
k=1
(|A| m ) ik |akj| = 0
se e somente se (|A| m ) ik , akj são ambos não-nulos para algum índice k. Por hipótese de indução, isso é
equivalente a existir um caminho direcionado de comprimento m em Γ (A) de Pi para Pk e um caminho
direcionado de comprimento 1 em Γ (A) de Pk para Pj, isto é, um caminho direcionado de comprimento
m + 1 em Γ (A) de Pi para Pj. O mesmo argumento vale para M (A).
2.31 Definição. Seja A = (aij) ∈ Mn (C). Dizemos que A 0 se aij 0 para todos 1 i, j n e que
A > 0 se aij > 0 para todos 1 i, j n.
2.32 Corolário. Seja A ∈ Mn (C). Existe um caminho direcionado de comprimento m em Γ (A) de cada
nodo Pi para cada nodo Pj se e somente se
ou, equivalentemente, se e somente se
|A| m > 0
M (A) m > 0.
2.33 Corolário. Seja A ∈ Mn (C). A satisfaz a propriedade FC se e somente se
ou, equivalentemente, se e somente se
(I + |A|) n−1 > 0
[I + M (A)] n−1 > 0.

Rodney Josué Biezuner 27
Prova. Temos
(I + |A|) n−1
n − 1
= I + (n − 1) |A| + |A|
2
2 + . . . +
n − 1
|A|
n − 3
n−1 + |A| n−1 > 0
se e somente se para cada par de índices i, j com i = j pelo menos um dos termos |A| , |A| 2 , . . . , |A| n−1
tem uma entrada positiva em (i, j). Pelo Teorema 2.30, isso ocorre se e somente se existe algum caminho
direcionado em Γ (A) de Pi para Pj com comprimento n−1. Isto é equivalente a A satisfazer a propriedade
FC. O mesmo argumento vale para M (A).
Em geral, a maneira como uma matriz foi obtida (como as nossas matrizes de discretização; veja a última
seção do capítulo) torna clara se elas são matrizes que satisfazem a propriedade FC ou não. Se isso
não é possível, e pretende-se verificar a propriedade FC através do Corolário 2.33, é preferível calcular
[I + M (A)] n−1 , já que M (A) é uma matriz composta apenas de 0’s e 1’s.
2.5 Matrizes Irredutíveis
Às vezes, os resultados da seção anterior são formulados em termos de matrizes irredutíveis. Neste seção
examinaremos esta formulação equivalente.
Lembre-se que uma matriz de permutação P é uma matriz quadrada cujas entradas são todas 0 ou 1
e, além disso, em cada linha e em cada coluna de P existe exatamente um 1. Em particular, P é uma matriz
ortogonal, de modo que P −1 = P t , isto é, a inversa de P também é uma matriz de permutação. Um caso
especial de uma matriz de permutação é uma matriz de transposição, que é uma matriz de permutação T
igual à matriz identidade exceto em duas posições, isto é, para algum par de índices fixado k, l temos
⎧
⎨ δij se (i, j) = (k, l) , (l, k) , (k, k) ou (l, l) ,
Tij =
⎩
1
0
e (i, j) = (k, l) ou se (i, j) = (l, k) ,
se (i, j) = (k, k) ou se (i, j) = (l, l) .
Matrizes de transposição são simétricas. O efeito de multiplicar uma matriz A por uma matriz de transposição
à esquerda é trocar a posição de duas linhas da matriz A (no caso acima, as linhas k e l), enquanto que a
multiplicação de A por uma matriz de transposição à direita muda a posição de duas colunas de A (no caso
acima, as colunas k e l).
T A =
AT =
⎡
⎢
⎣
⎡
⎢
⎣
1 0 0 0
0 0 1 0
0 1 0 0
0 0 0 1
⎤ ⎡
⎥ ⎢
⎥ ⎢
⎦ ⎣
a11 a12 a13 a14
a21 a22 a23 a24
a31 a32 a33 a34
a41 a42 a43 a44
a11 a12 a13 a14
a21 a22 a23 a24
a31 a32 a33 a34
a41 a42 a43 a44
⎤ ⎡
⎥ ⎢
⎥ ⎢
⎦ ⎣
1 0 0 0
0 0 1 0
0 1 0 0
0 0 0 1
⎤
⎡
⎥
⎦ =
⎢
⎣
⎤
⎥
⎦ =
⎡
⎢
⎣
a11 a12 a13 a14
a31 a32 a33 a34
a21 a22 a23 a24
a41 a42 a43 a44
a11 a13 a12 a14
a21 a23 a22 a24
a31 a33 a32 a34
a41 a43 a42 a44
Pode-se provar que toda matriz de permutação P é o produto de matrizes de transposição P = T1 . . . Tm;
em particular, P t = Tm . . . T1. A matriz
P t AP = Tm . . . T1AT1 . . . Tm
é portanto obtida através da permutação de linhas e colunas de A, de modo que nenhum novo elemento é
criado ou algum elemento existente de A destruído.
2.34 Definição. Dizemos que uma matriz A ∈ Mn (C) é redutível se existe alguma matriz de permutação
P e algum inteiro 1 m n − 1 tal que
P t
B C
AP =
0 D
⎤
⎥
⎦ ,
⎤
⎥
⎦ .

Rodney Josué Biezuner 28
onde B é uma matriz m × m, D é uma matriz (n − m) × (n − m), C é uma matriz m × (n − m) e 0 é
a matriz nula (n − m) × m. Caso contrário, dizemos que A é irredutível.
Da definição vemos que se |A| > 0, então A é irredutível, e para que A seja redutível, ela precisa ter pelo
menos n − 1 zeros (caso m = 1). A motivação para este nome é a seguinte. Suponha que queiramos resolver
o sistema Ax = b e que A seja redutível. Então, se escrevermos
A = P t AP =
B C
0 D
teremos Ax = P AP t x = b ou AP t x = P t b; denotando x = P t x e b = P t b, resolver o sistema Ax = b é então
equivalente a resolver o sistema
Ax = b.
Escrevendo
x =
y
z
b1
, b =
b2
onde y, b1 ∈ C m e z, b2 ∈ C n−m , este sistema é por sua vez equivalente ao sistema
By + Cz = b1
Dz = b2
Se resolvermos primeiro Dz = b2 e utilizarmos o valor de z encontrado na primeira equação resolvendo
By = b1 − Cz, teremos reduzido o problema original a dois problemas menores, mais fáceis de resolver.
2.35 Teorema. Uma matriz A ∈ Mn (C) é irredutível se e somente se
ou, equivalentemente, se e somente se
(I + |A|) n−1 > 0
,
[I + M (A)] n−1 > 0.
Prova. Para provar o resultado, mostraremos que A é redutível se e somente se (I + |A|) n−1 possui pelo
menos uma entrada nula.
Assuma primeiramente que A é redutível, de modo que para alguma matriz de permutação P tenhamos
Observe que
A = P
B C
0 D
P t =: P AP t .
|A| = P AP t = P A P t ,
já que o efeito de P é apenas trocar linhas e colunas. Além disso, note que
A k
=
para alguma matriz Ck. Logo, como
B k Ck
0 D k
(I + |A|) n−1 = I + P A P t n−1 = P I + A n−1 P t
= P
I + (n − 1) |A| +
n − 1
2
|A| 2 + . . . +
n − 1
|A|
n − 3
n−1 + |A| n−1
P t

Rodney Josué Biezuner 29
e todos os termos dentro dos colchetes são matrizes que tem um bloco (n − m) × m nulo no canto esquerdo
inferior, segue que (I + |A|) n−1 é redutível, logo possui entradas nulas e não pode ser positiva.
Reciprocamente, suponha que (I + |A|) n−1 possui pelo menos uma entrada nula. Como
(I + |A|) n−1 = I +
n−1
m=1
n − 1
m
|A| m ,
(I + |A|) n−1
não possui entradas diagonais nulas, logo podemos assumir que para algum par i = j temos
(I + |A|) n−1
= 0, o que implica [|A| m ] ij = 0 para todo 1 m n − 1. Pelo Teorema 2.30 (e observação
ij
imediatamente posterior à definição de grafo direcionado), não existe um caminho direcionado em Γ (A) de
comprimento finito entre Pi e Pj. Defina os conjuntos de nodos
S1 := {Pk : Pk = Pj ou existe um caminho direcionado em Γ (A) entre Pk e Pj} ,
S2 = [ nodos de Γ (A)] \S1.
Por definição destes conjuntos, não pode existir nenhum caminho de algum nodo de S2 para algum nodo de
S1, logo [|A| m ] lk = 0 se Pl ∈ S2 e Pk ∈ S1. E ambos os conjuntos são não-vazios, pois Pj ∈ S1 e Pi ∈ S2.
Renomeando os nodos de modo que
S1 = P1, . . . ,
Pm ,
S2 = Pm+1, . . . ,
Pn ,
segue que existe uma matriz de permutação P tal que
P t
B C
AP =
0 D
De fato, P é justamente a matriz de permutação que troca as colunas de tal forma que as variáveis anteriores
correspondentes aos nodos P1, . . . , Pm no sistema Ax = b são as novas m primeiras variáveis do sistema linear
Ax = b; como não existe nenhum caminho direcionado entre nenhum dos nodos Pm+1, . . . , Pn e qualquer um
dos nodos P1, . . . , Pm, temos aij = 0 para m + 1 i n e 1 j m pelo Teorema 2.30.
2.36 Corolário. Uma matriz A ∈ Mn (C) é irredutível se e somente se ela satisfaz a propriedade FC.
2.37 Proposição. Se A é uma matriz irredutível, diagonalmente dominante tal que |aii| > n
|aij| para
pelo menos alguma linha i, então A é invertível.
Além disso, se A é hermitiana e todos os elementos da diagonal principal de A são positivos, então
todos os autovalores de A são positivos.
Prova. O resultado segue do Teorema 2.34, do Corolário 2.25 e do Teorema dos Discos de Gershgorin (veja
comentários após o Teorema 2.18).
2.38 Corolário. Os autovalores das matrizes de discretização do problema modelo são positivos.
2.6 Exercícios
2.1 Mostre que as normas matriciais introduzidas na primeira seção deste capítulo (Exemplos 2.3 até 2.11)
são de fato normas vetoriais.
.
j=1
j=i

Rodney Josué Biezuner 30
2.2 Mostre que a norma lp (Exemplo 2.5) é uma norma matricial.
2.3 Mostre que a norma l2 é diferente da 2-norma em Mn (veja Exemplo 2.10).
2.4 Seja V um espaço vetorial de dimensão finita e · 1 , · 2 normas vetoriais quaisquer. Prove que existe
uma constante C > 0 tal que
1
C x 1 x 2 C x 1
para todo vetor x ∈ V .
2.5 Seja · uma norma matricial. Prove diretamente das propriedades de uma norma matricial que
I 1.
2.6 a) Seja · uma norma vetorial. Prove que se α > 0, então α · é também uma norma vetorial.
b) Seja · uma norma matricial. Conclua do Lema 2.14 que se α < 1, então α · não é uma norma
matricial.
c) Seja · uma norma matricial. Se α > 1, podemos concluir que α · não é uma norma matricial?
2.7 Mostre que se Γ é um grafo direcionado com n nodos, se existe um caminho direcionado entre dois
nodos de Γ, então sempre existe um caminho direcionado entre estes dois nodos de comprimento menor
que ou igual a n − 1

Capítulo 3
Métodos Iterativos Lineares
Neste capítulo investigaremos os métodos iterativos básicos para a resolução de sistemas lineares
Ax = b.
Embora a matriz A que temos em mente é em geral uma matriz grande e esparsa, do tipo que aparece em
esquemas de diferenças finitas para equações diferenciais parciais, os métodos considerados aqui requerem
em princípio apenas que A seja uma matriz invertível com todas as entradas diagonais aii não-nulas (embora
a matriz A deva satisfazer critérios adicionais, de acordo com cada método, para assegurar a convergência
para a solução exata).
Métodos iterativos requerem um chute inicial x 0 , ou seja, um vetor inicial que aproxima a solução exata
x (se não há nenhuma informação disponível sobre a solução exata, de modo que não temos como construir
o chute inicial de forma inteligente, x 0 pode ser uma aproximação muito ruim de x). Uma vez que x 0 é
dado, o método iterativo gera a partir de x 0 uma nova aproximação x 1 , que esperamos deve aproximar
melhor a solução exata. Em seguida, x 1 é usada para gerar uma nova melhor aproximação x 2 e assim por
diante. Desta forma, gera-se uma seqüência de vetores x k que espera-se convergir para x. Como na prática
não podemos iterar para sempre, algum critério de parada deve ser estabelecido a priori. Uma vez que x k
esteja suficientemente próximo da solução exata quanto se precise, de acordo com uma margem de tolerância
previamente fixada, pára-se o processo de iteração e aceita-se x k como a solução aproximada adequada para
o problema. Por exemplo, o critério de parada pode ser estabelecido através de uma cota de tolerância τ:
quando b − Ax k < τ
ou quando x k+1 − x k < τ
as iterações são interrompidas e o último valor aproximado obtido é aceito como a melhor aproximação da
solução dentro das circunstâncias.
Os métodos discutidos neste capítulo não necessitam de um bom chute inicial (embora, é claro, quanto
melhor o chute inicial, menor o número de iterações necessárias para se chegar à solução aproximada com
a exatidão especificada). Embora os métodos iterativos lineares são muitos lentos em relação a outros
métodos iterativos desenvolvidos mais recentemente, sendo portanto raramente utilizados isoladamente, eles
são frequentemente usados hoje em dia como componentes de certos métodos iterativos ultra-rápidos, tais
como o método multigrid.
31

Rodney Josué Biezuner 32
3.1 Método Iterativos Básicos
3.1.1 Método de Jacobi
O método iterativo linear mais simples (que já foi descrito também como o mais lento para convergir, embora
isso realmente depende da matriz A do sistema) é o método de Jacobi (1845) Escrevendo o sistema Ax = b
na forma ⎧⎪
n
a1jxj = b1
⎨ j=1
. ,
n
⎪⎩ anjxj = bn
se aii = 0 para todo i, cada xi pode ser isolado na i-ésima equação e escrito na forma
xi = 1
⎛
⎜
⎝bi ⎞
n ⎟
− aijxj ⎟
⎠ .
Isso sugere definir um método iterativo da seguinte forma: suposto x k = x k 1, . . . , x k n
anterior, obtemos x k+1 = x k+1
1
, . . . , x k+1
n
x k+1
i
aii
por
j=1
1
=
aii
⎛
⎜
⎝ bi −
j=1
j=i
n
j=1
j=i
aijx k j
⎞
obtido no passo
⎟
⎠ . (3.1)
No caso da fórmula de cinco pontos para o problema de Poisson, como a equação para cada ponto (i, j)
é dada por
o método de Jacobi é
−ui,j−1 − ui,j+1 + 4ui,j − ui−1,j − ui+1,j = h 2 fi,j
k
ui,j−1 + u k i−1,j + u k i+1,j + u k i,j+1 + h 2
fi,j . (3.2)
u k+1 1
i,j =
4
No caso especial da equação de Laplace (f = 0) com condição de fronteira de Dirichlet não-nula, o método
de Jacobi é simplesmente a propriedade do valor médio discreta
u k+1
i,j
1 k
= ui,j−1 + u
4
k i−1,j + u k i+1,j + u k
i,j+1 . (3.3)
Em outras palavras, calculados os valores de u em todos os pontos da malha na iteração anterior, o novo
valor de u em um ponto interior da malha nesta iteração é calculado através da média dos seus quatro
pontos vizinhos. Os valores iniciais de u nos pontos interiores da malha para a primeira iteração (isto é, o
chute inicial) podem ser atribuidos arbitrariamente ou através de algum argumento razoável; por exemplo,
podemos utilizar uma média ponderada dos valores de fronteira para o valor inicial em cada ponto interior
da malha, de acordo com a posição do ponto em relação aos pontos das quatro fronteiras discretizadas.
Em forma matricial, o algoritmo de Jacobi pode ser descrito da seguinte forma. Denotando por D = diag
(a11, . . . , ann) a matriz diagonal cujas entradas são as entradas diagonais de A, temos que
x k+1 = D −1 (D − A) x k + b
(3.4)
ou
x k+1 = D −1 Cx k + b
onde C = D − A é a matriz consistindo dos elementos restantes de A fora da diagonal principal.
(3.5)

Rodney Josué Biezuner 33
3.1.2 Método de Gauss-Seidel
Um método iterativo que converge cerca de duas vezes mais rápido que o método de Jacobi (na maioria
das aplicações) é o método de Gauss-Seidel (desenvolvido inicialmente por Gauss em 1819 para resolver
sistemas de equações lineares que apareciam no seu método de quadrados mínimos e obtendo sua forma final
em 1874 por Seidel), onde os valores de x são atualizados dentro de cada iteração, sem esperar pela próxima.
Em outras palavras, obtido o valor de x k+1
i este é usado no lugar de xk i no cálculo seguinte de xk+1 i+1 . No
sistema Ax = b em que aii = 0 para todo i, como antes isolamos cada xi na i-ésima equação mas desta vez
escrevemos
xi = 1
⎛
⎞
i−1
n
⎝bi − aijxj − ⎠ .
Então definimos
pois os valores x k+1
1
x k+1
i
aii
⎛
1
=
aii
j=1
i−1
⎝bi −
j=1
aijx k+1
j
j=i+1
−
aijxj
n
j=i+1
aijx k j
⎞
⎠ (3.6)
, . . . , x k+1
i−1 já foram computados nesta iteração, enquanto que os valores xk i+1 , . . . , xk n são
fornecidos pela iteração anterior.
Por exemplo, no caso da equação de Laplace, poderíamos utilizar a fórmula
u k+1
i,j
1 k+1
= ui,j−1 + uk+1 i−1,j
4
+ uki+1,j + u k
i,j+1
assumindo que os pontos da malha são percorridos na ordem lexicográfica, de modo que quando vamos
calcular o valor de u no ponto i, j na iteração k + 1, nesta mesma iteração já calculamos os valores de u em
i − 1, j e em i, j − 1, e usamos estes valores para calcular u k+1
i,j ao invés dos valores u k i,j−1 e uk i−1,j obtidos
na iteração anterior.
Em forma matricial, o algoritmo de Gauss-Seidel pode ser descrito da seguinte forma. Dada uma matriz
A, existe uma única decomposição
A = D − L − U (3.8)
onde D é uma matriz diagonal, L é uma matriz estritamente triangular inferior e U é uma matriz estritamente
triangular superior; de fato, D = diag (a11, . . . , ann) é a parte diagonal de A, −L é a parte estritamente
triangular inferior de A e −U é a parte estritamente triangular superior de A. Então o algoritmo de Gauss-
Seidel pode ser definido por
x k+1 = D −1 Lx k+1 + Ux k + b
(3.9)
ou
donde
(D − L) x k+1 = Ux k + b,
(3.7)
x k+1 = (D − L) −1 Ux k + b . (3.10)
3.1 Exemplo. Existem matrizes para as quais o método de Jacobi converge e o método de Gauss-Seidel
diverge, e vice-versa. Veja o Exercício 3.1.
3.1.3 Método SOR
O processo de corrigir uma equação através da modificação de uma variável é às vezes chamado de relaxamento.
Antes da correção, a equação não é verdadeira; como um conjunto de partes que não se ajustam,
ela está em estado de tensão. A correção de uma variável relaxa a tensão. O método de Gauss-Seidel efetua
relaxamento sucessivo, ou seja, passa de equação para equação, relaxando uma depois da outra. [Watkins]
Por este motivo, os métodos de Jacobi e de Gauss-Seidel são também chamados métodos de relaxamento.
Em muitos casos, a convergência pode ser substancialmente acelerada através de sobrerelaxamento. Isso

Rodney Josué Biezuner 34
significa que ao invés de fazer uma correção para a qual a equação é satisfeita exatamente, nós fazemos
uma correção maior. No caso mais simples, escolhe-se um fator de relaxamento ω > 1 que sobrecorrige por
aquele fator em cada passo (se mover um passo na direção de x k para x k+1 é bom, mover naquela direção
ω > 1 passos é melhor). Este é o chamado método de sobrerelaxamento sucessivo (SOR, successive
overrelaxation; desenvolvido em 1950 por Young): usando o método de Gauss-Seidel obtemos
x k+1
⎛
1 i−1
i = ⎝bi − aijx
aii
k+1
j −
n
aijx k ⎞
⎠
j ;
daí tomamos
Isso pode ser resumido em
x k+1
i
= xk i + ω
⎡
x k+1
i
⎣ 1
aii
j=1
= xk i + ω x k+1
i
⎛
i−1
⎝bi −
j=1
aijx k+1
j
j=i+1
− xk
i .
−
n
j=i+1
⎞
aijx k⎠ j − x k i
⎤
⎦ . (3.11)
Quando ω = 1, o método SOR é exatamente o método de Gauss-Seidel. Um fator ω < 1 (subrelaxamento)
normalmente diminui a velocidade de convergência.
Para a maioria dos problemas, o melhor valor para o fator de relaxamento é desconhecido. Para a matriz
de discretização obtida a partir da fórmula de cinco pontos, é sabido que o valor ótimo de ω é, como veremos
na próxima seção,
ω =
2
. (3.12)
1 + sen (πh)
Em forma matricial, o método SOR pode ser descrito da seguinte forma. Como antes, dada uma matriz
A escrevemos
A = D − L − U (3.13)
onde D é uma matriz diagonal, L é uma matriz estritamente triangular inferior e U é uma matriz estritamente
triangular superior. Então, escrevendo o algoritmo SOR na forma
= aiix k ⎡
i−1
i + ω ⎣bi −
−
⎤
n
⎦ ,
temos
aiix k+1
i
j=1
aijx k+1
j
j=i
aijx k j
Dx k+1 = Dx k + ω Lx k+1 + (U − D) x k + b
ou
1
D − L x
ω k+1
1 − ω
= D + U x
ω k + b,
donde
x k+1 =
(3.14)
−1
1
1 − ω
D − L
D + U x
ω ω k
+ b . (3.15)
3.1.4 Comparação da Velocidade de Convergência dos Três Métodos no Problema
Modelo
A tabela a seguir foi extraída de [Watkins], págs. 533 e 542. Os métodos introduzidos acima foram usados
para resolver o sistema linear Ax = b onde A é a matriz de discretização obtida a partir da fórmula dos

Rodney Josué Biezuner 35
cinco pontos do laplaciano no quadrado unitário Ω = (0, 1) 2 e b é estabelecido pela condição de fronteira de
Dirichlet dada por
⎧
⎪⎨
g (x, y) =
⎪⎩
0
y
(x − 1) sen x
x (2 − x)
se x = 0,
se x = 1,
se y = 0,
se y = 1,
ou seja, para resolver o problema discretizado
−∆dud = 0 em Ωd,
sobre ∂Ωd.
As iterações foram interrompidas quando
ud = gd
u k+1 − u k 2
|u k+1 | 2
< 10 −8 .
O número de iterações necessárias para convergir de acordo com esta margem de tolerância, para três refinamentos
possíveis da malha (correspondentes a matrizes de dimensões n = 81, 361 e 1521, respectivamente),
de acordo com cada método e para diferentes valores de ω no caso do método SOR é apresentado na tabela
abaixo.
h = 0.1 h = 0.05 h = 0.025
Jacobi 299 1090 3908
SOR (ω = 0.8) 235 845 3018
Gauss-Seidel 160 581 2082
SOR (ω = 1.4) 67 262 955
SOR (ω = 1.6) 42 151 577
SOR (ω = 1.7) 57 96 412
SOR (ω = 1.8) 86 89 252
SOR (ω = 1.9) 176 180 179
SOR (ω = 2.0) ∞ ∞ ∞
Vemos que o método de Gauss-Seidel é cerca de duas vezes mais rápido para convergir que o método de
Jacobi e que dependendo da escolha de ω, o método SOR pode ser até dez vezes mais rápido que o método
de Gauss-Seidel para a malha mais refinada. Subrelaxamento não ajuda e para ω = 2 o método SOR é
divergente.
3.1.5 Método de Jacobi Amortecido
O método de Gauss-Seidel pode ser sobrerelaxado através de um parâmetro ω > 1 para obter um método
que converge mais rápido. Já o método de Jacobi não pode em geral ser sobrerelaxado, porque o método
obtido não converge. Ele pode no entanto ser subrelaxado através de um parâmetro ω < 1 para obter um
método convergente, se bem que mais vagaroso. A vantagem de se utilizar um tal método é que para certos
valores de ω ele é um ótimo suavizador de erro (em um sentido que será explicado mais tarde), enquanto
que o método de Jacobi usual não possui esta propriedade. Assim, o método de Jacobi amortecido pode ser
usado em métodos multigrid, como veremos mais tarde.
Pelo método de Jacobi usual obtemos
⎛
⎞
x k+1
i
1
=
aii
⎜
⎝ bi −
n
j=1
j=i
aijx k j
⎟
⎠ ,

Rodney Josué Biezuner 36
e tomamos
ou seja,
x k+1
i
x k+1
i
= xk ⎢
i + ω ⎢
1
⎣
= xk i + ω x k+1
i
⎡
aii
⎛
⎜
⎝ bi −
n
j=1
j=i
− xk
i ,
⎞
⎟
aijx k j ⎠ − xki ⎤
⎥
⎦ . (3.16)
Este método é conhecido como método de Jacobi amortecido, método de Jacobi ponderado ou ainda
método de relaxamento simultâneo (diferente do método de relaxamento sucessivo, baseado no método de
Gauss-Seidel, em que cada variável é substituída sucessivamente dentro da mesma iteração à medida que
ela é atualizada; no método de Jacobi, as variáveis são todas substituídas simultameamente na próxima
iteração).
Em forma matricial, o método de Jacobi amortecido pode ser descrito da seguinte forma. Denotando por
D a parte diagonal de A, temos
⎛
⎞
temos
aiix k+1
i
= aiix k i + ω
⎝bi −
n
j=1
aijx k j
Dx k+1 = Dx k + ω b − Ax k
ou
1
ω D
x k+1
1
= D − A x
ω k + ωb,
donde
x k+1 =
⎠ ,
(3.17)
1
ω D
−1
1
D − A x
ω k
+ b . (3.18)
Em contraste com o método SOR, que converge em geral para 0 < ω < 2, o método de Jacobi amortecido
converge para 0 < ω 1 (veja a próxima seção).
3.2 Análise de Convergência dos Métodos Iterativos Lineares
Os métodos iterativos básicos são casos especiais de uma classe geral de métodos chamados métodos iterativos
lineares:
3.2 Definição. Um método iterativo linear para resolver o sistema Ax = b é um método da forma
x k+1 = Rx k + Nb
onde R e N são matrizes dadas. A matriz R é chamada a matriz de iteração do método.
Em geral, um método iterativo linear para resolver o sistema linear
envolve a decomposição da matriz A na forma
Ax = b
A = B − C, (3.19)
onde B é necessariamente uma matriz invertível, e em seguida a resolução iterativa do sistema de equações
Bx k+1 = Cx k + b (3.20)

Rodney Josué Biezuner 37
ou, mais explicitamente,
x k+1 = B −1 Cx k + b .
Na notação da definição, temos que a matriz de iteração é
e
R = B −1 C = B −1 (B − A) = I − B −1 A (3.21)
N = B −1 . (3.22)
Se x k → x, então Bx = Cx + b, donde Ax = b. Do ponto de vista prático, é importante que a matriz B
seja “fácil de resolver” (mesmo que a inversa de B não seja efetivamente calculada), como nos exemplos da
seção anterior:
B C R
Jacobi D D − A D−1 (D − A)
Jacobi amortecido
1
ω D
1
D − A
ω
1
ω D
−1
1
D − A
ω
Gauss-Seidel D − L U (D − L) −1 U
−1
1 1 − ω
1
1 − ω
SOR
D − L D + U D − L
D + U
ω ω ω ω
Para obter uma convergência rápida também gostaríamos que B ≈ A e C ≈ 0. Deste ponto de vista, o ideal
seria B = A e C = 0 (convergência em uma iteração), mas isso viola em geral o critério que B seja “fácil
de resolver”. Um compromisso é necessário: B deve aproximar A o melhor possível sem se tornar muito
complicada.
3.2.1 Convergência dos Métodos Iterativos Lineares
3.3 Definição. Para métodos iterativos em geral, o erro algébrico é definido por
enquanto que o erro residual é dado por
e k = x − x k , (3.23)
r k = b − Ax k . (3.24)
O erro algébrico tem interesse puramente teórico (para provar que determinado método iterativo converge,
precisamos mostrar que o erro algébrico tende a zero), já que ele só pode ser calculado uma vez que se
conhece a solução exata, e se este for o caso obviamente não há necessidade de resolver o sistema. Já o erro
residual pode ser usado como critério de parada para o método iterativo. O erro algébrico e o erro residual
estão relacionados através da expressão:
Ae k = r k , (3.25)
pois Ae k = Ax − Ax k = b − Ax k = r k .
Para os métodos iterativos lineares, como
segue que
Be k+1 = Bx − Bx k+1 = Ax + Cx − Cx k − b = C x − x k = Ce k ,
e k+1 = B −1 C e k

Rodney Josué Biezuner 38
ou
e k+1 = Re k . (3.26)
Por este motivo, a matriz de iteração também é chamada de matriz de propagação do erro. Segue de (3.26)
que
e k = R k e 0 , (3.27)
de modo que o erro converge para 0, independentemente do chute inicial x 0 , se e somente se R k → 0. Isso
ocorre se e somente se existe alguma norma matricial · tal que R < 1. Obter uma norma matricial
que satisfaz esta propriedade, no entanto, é difícil. Vamos obter uma condição necessária e suficiente para
R k → 0 em termos do raio espectral da matriz de iteração, que é em geral um pouco mais fácil de calcular.
Antes, para motivar o resultado, suponha que R seja uma matriz diagonalizável com λ1, . . . , λn os seus
autovalores e {v1, . . . , vn} uma correspondente base de autovetores. Escrevendo o erro inicial como uma
combinação linear dos autovetores, temos
Logo,
de modo que
e 0 =
n
aivi.
i=1
e k = R k e 0 =
e k
n
i=1
aiλ k i vi,
n
|ai| |λi| k |vi| .
i=1
Como |λi| k → 0 se e somente se |λi| < 1, concluímos que e k → 0 qualquer que seja o erro inicial (isto é,
qualquer que seja o chute inicial), se e somente se
ρ (R) = max
1in |λi| < 1 .
3.4 Lema. Se A ∈ Mn (C) e · é qualquer norma matricial, então
ρ (A) A .
Prova. Seja λ um autovalor qualquer de A e x um autovetor não-nulo associado a λ, de modo que
Ax = λx.
Considere a matriz X ∈ Mn (C) cujas colunas são todas iguais ao vetor x. Temos também
de modo que
donde
AX = λX
|λ| X = AX A X ,
|λ| A
para todo autovalor λ de A. Como existe um autovalor λ de A tal que ρ (A) = |λ|, isso prova o resultado.
3.5 Lema. Seja A ∈ Mn (C) e ε > 0 dado. Então existe uma norma matricial · tal que
ρ (A) A ρ (A) + ε. (3.28)

Rodney Josué Biezuner 39
Prova. Toda matriz complexa A é triangularizável através de uma matriz unitária U isto é, isto é, existe
uma matriz triangular T e uma matriz U que satisfaz U ∗ U = UU ∗ = I (veja [Hoffman-Kunze]) tais que
A = U ∗ T U;
T é chamada a forma triangular ou forma normal de Schur de A. Seja então
⎡
λ1
⎢
T = ⎢
⎣
a12
λ2
a22
a23
λ3
. . .
. . .
. . .
. ..
a1n
a2n
a3n
.
⎤
⎥
⎦
a forma triangular de A. Para t ∈ R arbitrário, considere a matriz diagonal
⎡
t
⎢ t
Dt = ⎢
⎣
2
. ..
tn ⎤
⎥
⎦ .
Temos
DtT D −1
t
⎡
⎢
= ⎢
⎣
λn
λ1 a12t −1 a22t −2 . . . . . . a1nt −n+1
λ2 a23t −1 . . . . . . a2nt −n+2
Logo, para t > 0 suficientemente grande, a matriz DtT D −1
t
λ3 . . . . . . a3nt−n+3 . ..
.
.
λn−1 an−1,nt−1 tem a propriedade que a soma dos valores
absolutos de elementos fora da diagonal principal é menor que ε. Em particular, se ·L denota a norma do
máximo das somas das linhas, podemos garantir que
ρ (A) + ε
L
DtT D −1
t
para t suficientemente grande. Portanto, fixado um tal t, se definirmos uma norma por
A := DtUAU ∗ D −1
t = L U ∗ D −1
−1 ∗ −1
t AU Dt ,
L
teremos
Pelo lema anterior, ρ (A) A.
A = DtUAU ∗ D −1
t = L DtT D −1
t
λn
ρ (A) + ε.
L
3.6 Lema. Seja A ∈ Mn (C). Se existe alguma norma matricial · tal que A < 1, então
Prova. Se A < 1, então
A k → 0.
A k A k → 0.
⎤
⎥ .
⎥
⎦

Rodney Josué Biezuner 40
3.7 Proposição. Seja A ∈ Mn (C). Então
se e somente se
A k → 0
ρ (A) < 1.
Prova. Se existe algum autovalor λ de A tal que |λ| 1 e x é um autovetor não-nulo correspondente, então
A k x = λ k x
não converge para 0. Reciprocamente, se ρ (A) < 1, então pelo Lema 3.5 existe uma norma matricial · tal
que A < 1, logo A k → 0 pelo lema anterior.
Finalmente obtemos uma condição necessária e suficiente para um método iterativo linear convergir:
3.8 Corolário. Seja R a matriz de iteração de um método iterativo linear. Então
se e somente se
e k → 0
ρ (R) < 1.
Em outras palavras, um método iterativo linear é convergente independentemente da escolha do chute
inicial se e somente se todos os autovalores da matriz de iteração têm valor absoluto menor que 1.
Portanto, a análise da convergência de um determinado método iterativo linear passa pela análise dos autovalores
de sua matriz de iteração R. Como esta última depende da matriz de coeficientes A do sistema
linear, a convergência ou não de qualquer um dos métodos iterativos lineares vai depender da matriz A.
3.2.2 Velocidade de Convergência dos Métodos Iterativos Lineares
O raio espectral também dá informação sobre a velocidade de convergência. Se nós tivermos dois métodos
iterativos lineares diferentes, isto é, duas maneiras diferentes de decompor a matriz A:
A = B1 − C1 = B2 − C2,
então o segundo método convergirá mais rápido se e somente se
ρ (R2) < ρ (R1) .
Em particular, a velocidade de convergência relativa dos métodos iterativos lineares também vai depender
da matriz A: para certas matrizes um determinado método é superior ao outro, enquanto que para outras
matrizes o contrário é verdadeiro.
Vamos analisar a velocidade de convergência dos métodos iterativos com maior precisão. Novamente à
título de motivação, suponha que R é uma matriz diagonalizável com seu maior autovalor sendo um autovalor
simples. Ordene os autovalores de R na forma
|λ1| > |λ2| . . . |λn|
e seja {v1, . . . , vn} uma correspondente base de autovetores. Escrevendo de novo
donde
e 0 =
n
aivi,
i=1
e k = R k e 0 =
n
i=1
aiλ k i vi,

Rodney Josué Biezuner 41
segue que
e k = λ k 1
a1v1 +
Como k λi
→ 0,
λ1
n
i=2
ai
λi
a taxa de convergência é determinada por |λ1| k . Para k grande, temos
Portanto, e k+1
e k ≈ λ k 1a1v1.
λ1
k
vi
.
|e k | = |λ1| = ρ (R) . (3.29)
Em outras palavras, a convergência é linear com taxa de convergência igual ao raio espectral. Se a1 =
0 a convergência será mais rápida, pois dependerá do módulo do segundo autovalor, mas é obviamente
extremamente raro que o erro inicial satisfaça esta condição, isto é, que ele não tenha nenhuma componente
na direção do primeiro autovetor. Para o caso geral, precisamos do seguinte resultado:
3.9 Proposição. Seja A ∈ Mn (C) e · uma norma matricial. Então
ρ (A) = lim A k 1/k .
Prova. Como os autovalores da matriz A k são as k-ésimas potências dos autovalores de A (este resultado
pode ser mais facilmente visto a partir da forma triangular de A), temos que
donde
Por outro lado, dado ε > 0, a matriz
ρ (A) k = ρ A k A k ,
ρ (A) A k 1/k .
B =
1
ρ (A) + ε A
tem raio espectral menor que 1, logo B k → 0. Portanto, existe algum N = N (ε, A) tal que
B k < 1,
para todo k > N. Logo, A k < (ρ (A) + ε) k ,
donde A k 1/k < ρ (A) + ε
para todo k > N.
3.10 Definição. A taxa média de convergência de um método iterativo linear com matriz de iteração
R é definida como sendo
Rk (R) = − log R 10
k 1/k = − 1
k log
R 10
k (3.30)
e a taxa assintótica de convergência é dada por
R∞ (R) = lim
k→∞ Rk (R) . (3.31)

Rodney Josué Biezuner 42
3.11 Corolário. Seja R a matriz de iteração de um método iterativo linear. Então a taxa assintótica de
convergência do método é dada por
Prova. Pois
R∞ (R) = − lim
k→∞ log 10
R∞ (R) = − log 10 ρ (R) . (3.32)
R k 1/k
= − log10 lim R k 1/k = − log10 ρ (R) .
A taxa assintótica de convergência mede o aumento no número de casas decimais corretas na solução por
iteração. De fato, usando a norma matricial do Lema 3.5 e medindo as normas dos vetores de acordo, temos
donde
ou
Assim, se
teremos
e k+1
|e k | =
− log 10
R k+1 e 0
|R k e 0 |
e k+1
k→∞
R = ρ (R) + ε,
|e k | = − log 10 ρ (R) + O (ε)
log e 10
k
− log e 10
k+1 = R∞ (R) + O (ε) . (3.33)
e k = O 10 −p ,
e k+1 = O 10 −q ,
q − p ≈ R∞ (R) ,
isto é, reduzimos R∞ (R) ≈ q − p casas decimais no erro. Visto de outra forma, como
donde
ou
e k+m
|e k | =
R k+m e 0
− log 10
|R k e 0 | Rm = ρ (R) m + O (ε) ,
e k+m
|e k | ≈ −m log 10 ρ (R) ,
m = log
e 10
k+m / ek
log10 ρ (R)
é o número de iterações necessárias para diminuir o erro de um número prescrito de casas decimais.
3.2.3 Convergência para Matrizes Simétricas Positivas Definidas
(3.34)
Para matrizes reais simétricas positivas definidas é mais fácil provar a convergência dos métodos iterativos
lineares. Temos o seguinte resultado básico a seguir. Antes precisamos da seguinte definição:
3.12 Definição. Introduzimos uma ordenação parcial em Mn definindo
se
para todo x ∈ C n .
A B
〈Ax, x〉 〈Bx, x〉

Rodney Josué Biezuner 43
Em particular, se A é uma matriz positiva definida, segue que A εI para algum ε (o menor autovalor de
A) e denotamos este fato por
A > 0.
Lembramos que se A é uma matriz simétrica positiva definida e P é uma matriz invertível, então B = P t AP
também é uma matriz simétrica positiva definida, pois
e
B t = P t AP t = P t A t P t t = P t AP = B
〈Bx, x〉 = P t AP x, x = 〈AP x, P x〉 .
3.13 Teorema. Seja A uma matriz simétrica positiva definida e seja A = B −C com B invertível. Então o
método iterativo linear com matriz de iteração R = B −1 C converge se e somente se a matriz simétrica
B t + C é positiva definida.
Prova. Para ver que B t + C é simétrica, escreva B t + C = B t + B − A e note que
B t + C t = B t + B − A t = B + B t − A = B t + B − A = B t + C.
Medimos a norma do erro através da norma induzida por A
|x| A := 〈Ax, x〉 1/2
e consideraremos a norma matricial · A induzida por esta norma. Se provarmos que
o método convergirá. Temos
R A < 1,
R 2
A = B −1 C 2
B
= sup
A
x=0
−1Cx 2 A
|x| 2
−1 −1 t −t −1 AB Cx, B Cx C B AB Cx, x
= sup
= sup
. (3.35)
A
x=0 〈Ax, x〉
x=0 〈Ax, x〉
Observe que C t B −t AB −1 C é uma matriz simétrica positiva definida, pois
C t B −t AB −1 C = B t − A B −t AB −1 (B − A) = I − AB −t A I − B −1 A
= I − B −1 A t A I − B −1 A .
Portanto, para provar que R A < 1, basta mostrar que
Continuando o desenvolvimento da expressão em outra direção, temos
C t B −t AB −1 C = I − AB −t A I − B −1 A
C t B −t AB −1 C < A. (3.36)
= A − AB −t A + AB −1 A − AB −t AB −1 A
= A − AB −t B + B t − A B −1 A
= A − B −1 A t B t + C B −1 A.
de modo que (3.36) vale se e somente se B t + C é positiva definida.

Rodney Josué Biezuner 44
3.3 Convergência dos Métodos Iterativos Lineares para Matrizes
de Discretização
3.3.1 Convergência do Método de Jacobi
3.14 Teorema. Se A é uma matriz irredutível, diagonalmente dominante tal que |aii| > n
|aij| para pelo
menos alguma linha i, então o método de Jacobi converge.
Prova. Seja D a parte diagonal da matriz A e R = D −1 (D − A) = I − D −1 A a matriz de iteração do
método de Jacobi para A. Suponha por absurdo que exista um autovalor λ de R tal que |λ| 1. Como
λ det λ −1 R − I = det (R − λI) = 0, temos
det I − λ −1 R = 0.
Por outro lado, observe que I − λ−1R também é irredutível, pois
Rij = I − D −1 A
ij =
0 se i = j,
se i = j,
− aij
aii
−1
I − λ R ij =
1 se i = j,
se i = j,
−1
aij
λ
aii
de modo que, onde A se anula, I −λ −1 R também se anula. Além disso, I −λ −1 R é diagonalmente dominante
e estritamente dominante nas linhas onde A é, pois |λ| −1 1, I − λ −1 R
n
I − λ −1 R
j=1
j=i
ij
= |λ|−1
|aii|
n
j=1
j=i
|aij| 1
|aii|
ii
= 1 e
n
|aij| .
Mas, pela Proposição 2.36, isso implica que I − λ −1 R é invertível, uma contradição.
O Teorema 3.14 mostra que o método de Jacobi converge para as matrizes de discretização obtidas através
dos esquemas de diferenças finitas do Capítulo 1.
Através do Teorema 3.14, fomos capazes de provar a convergência do método de Jacobi para as matrizes de
discretização sem calcular explicitamente os seus raios espectrais. Para analizar a velocidade de convergência
do método de Jacobi, no entanto, é necessário obter os raios espectrais destas matrizes. Vamos fazer isso para
as matrizes de discretização obtidas a partir da fórmula de três pontos unidimensional e a partir da fórmula
de cinco pontos bidimensional. Para isso, precisaremos obter os autovalores destas matrizes de discretização.
No caso da fórmula de três pontos unidimensional, lembrando que as autofunções para o problema de
Dirichlet do laplaciano no intervalo [0, 1] são as funções trigonométricas
Uj (x) = sen jπx,
isso sugere que os autovetores uj da matriz A sejam os vetores de coordenadas
Uj (x1) , Uj (x2) , . . . , Uj (xn−2) , Uj (xn−1) = Uj (h) , Uj (2h) , . . . , Uj ((n − 2) h) , Uj ((n − 1) h) ,
ou seja, como h = 1/n, os vetores
uj = sen jπ
2jπ (n − 2) jπ (n − 1) jπ
, sen , . . . , sen , sen .
n n n
n
Usando identidades trigonométricas, vamos verificar que isso de fato acontece:
j=1
j=i
j=1
j=i

Rodney Josué Biezuner 45
3.15 Lema. Os n − 1 autovalores da matriz de discretização A da fórmula dos três pontos unidimensional
são
λj = 2
h2
1 − cos jπ
=
n
4 jπ
sen2
h2 2n
(3.37)
e os autovetores correspondentes são
uj = sen jπ
n
j = 1, . . . , n − 1.
Prova. Temos
⎡
2 −1
⎢
−1
⎢
⎣
2
−1
−1
. ..
. ..
pois
. ..
. .. −1
−1 2 −1
−1 2
2 sen jπ
n
− sen 2jπ
n
⎡
⎤
⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎦ ⎢
⎣
sen
, sen 2jπ
n
sen jπ
n
sen 2jπ
n
.
.
(n − 2) jπ
sen
n
(n − 1) jπ
n
= 2 sen jπ
n
(n − 2) jπ
, . . . , sen , sen
n
(n − 1) jπ
n
(3.38)
⎤ ⎡
⎥ ⎢
2 sen
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ = ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎦ ⎣
jπ 2jπ
− sen
n n
− sen jπ
⎤
⎥
2jπ 3jπ
⎥
+ 2 sen − sen ⎥
n n n
⎥
.
⎥
.
⎥
(n − 3) jπ (n − 2) jπ (n − 1) jπ ⎥
− sen + 2 sen − sen ⎥
n
n
n ⎥
(n − 2) jπ (n − 1) jπ ⎦
− sen + 2 sen
n
n
= 2 1 − cos jπ
⎡
⎢
sen
⎢
⎢
n ⎢
⎣
jπ
n
sen 2jπ
⎤
⎥
n
⎥
. ⎥
. ⎥ ,
⎥
(n − 2) jπ ⎥
sen ⎥
n ⎥
(n − 1) jπ ⎦
sen
n
− 2 sen jπ
n
cos jπ
n
= 2 1 − cos jπ
sen
n
jπ
n ,
(n − k − 1) jπ (n − k) jπ (n − k + 1) jπ
− sen + 2 sen − sen
n
n
n
(n − k) jπ
= − sen
−
n
jπ
(n − k) jπ (n − k) jπ
+ 2 sen − sen
+
n
n
n
jπ
n
(n − k) jπ
= − sen cos
n
jπ (n − k) jπ
+ cos sen
n n
jπ (n − k) jπ
+ 2 sen
n n
(n − k) jπ
− sen cos
n
jπ (n − k) jπ
− cos sen
n n
jπ
n
= 2 1 − cos jπ
(n − k) jπ
sen ,
n n

Rodney Josué Biezuner 46
e
(n − 2) jπ (n − 1) jπ
− sen + 2 sen
n
n
(n − 1) jπ
= − sen
−
n
jπ
(n − 1) jπ
+ 2 sen
n
n
(n − 1) jπ
= − sen cos
n
jπ (n − 1) jπ
+ cos sen
n n
jπ
n
(n − 1) jπ
= − sen cos
n
jπ (n − 1) jπ
− sen cos
n n
jπ
n
= 2 1 − cos jπ
(n − 1) jπ
sen ,
n n
onde na penúltima identidade usamos o fato que
porque
cos
(n − 1) jπ
n
sen jπ
n
= − sen (n − 1) jπ
n
+ 2 sen (n − 1) jπ
n
+ 2 sen (n − 1) jπ
n
cos jπ
n
(n − 1) jπ
0 = sen jπ = sen
+
n
jπ
(n − 1) jπ
= sen cos
n
n
jπ (n − 1) jπ
+ cos sen
n n
jπ
n .
No caso da fórmula de cinco pontos bidimensional, lembrando que as autofunções de Dirichlet do laplaciano
no quadrado unitário [0, 1] × [0, 1] são as funções
Ukl (x, y) = sen kπx sen lπy,
isso sugere que os autovetores ukl da matriz A na ordem lexicográfica são os vetores de coordenadas
ou seja,
ou seja, como h = 1/n, os vetores
ukl =
Ukl (x1, y1) , Ukl (x2, y1) , . . . , Ukl (xn−1, y1) ,
Ukl (x1, y2) , Ukl (x2, y2) , . . . , Ukl (xn−1, y2) ,
.
.
Ukl (x1, yn−1) , Ukl (x2, yn−1) , . . . , Ukl (xn−1, yn−1)
Ukl (h, h) , Ukl (2h, h) , . . . , Ukl ((n − 1) h, h) ,
Ukl (h, 2h) , Ukl (2h, 2h) , . . . , Ukl ((n − 1) h, 2h) ,
.
Ukl (h, (n − 1) h) , Ukl (2h, (n − 1) h) , . . . , Ukl ((n − 1) h, (n − 1) h) ,
sen kπ
n
sen kπ
n
. . . ,
sen kπ
n
lπ 2kπ
sen , sen
m n
2lπ 2kπ
sen , sen
n n
(n − 1) lπ
sen , sen
n
2kπ
n
lπ (n − 1) kπ
sen , . . . , sen sen
n n
lπ
n ,
2lπ (n − 1) kπ
sen , . . . , sen sen
n n
2lπ
n ,
(n − 1) lπ (n − 1) kπ
sen , . . . , sen sen
n
n
(n − 1) lπ
.
n

Rodney Josué Biezuner 47
3.16 Lema. Os (n − 1) 2 autovalores da matriz de discretização A da fórmula dos cinco pontos bidimensional
são
λkl = 2
h2
2 − cos kπ
lπ
− cos =
n n
4
h2
2 kπ lπ
sen + sen2
2n 2n
(3.39)
e os autovetores correspondentes são
ukl =
sen kπ
n
sen kπ
n
. . . ,
sen kπ
n
lπ 2kπ
sen , sen
n n
2lπ 2kπ
sen , sen
n n
(n − 1) lπ
sen , sen
n
2kπ
n
k = 1, . . . , n − 1, l = 1, . . . , m − 1.
lπ (n − 1) kπ
sen , . . . , sen sen
n n
lπ
n ,
2lπ (n − 1) kπ
sen , . . . , sen
n n
(n − 1) lπ (n − 1) kπ
sen , . . . , sen sen
n
n
sen 2lπ
, (3.40)
n
(n − 1) lπ
,
n
Prova. Embora a demonstração deste lema possa ser feita de maneira análoga à do lema anterior, usando
identidades trigonométricas, daremos uma demonstração diferente. Lembrando que as autofunções e os
autovalores de Dirichlet do laplaciano no retângulo são facilmente obtidos através do método de separação
de variáveis, encontraremos os autovalores da matriz A usando um método de separação de variáveis discreto
para achar os autovalores do laplaciano discreto dado pela fórmula dos cinco pontos:
− ui,j−1 + ui−1,j − 4ui,j + ui+1,j + ui,j+1
h 2 = λui,j. (3.41)
Em particular, este método não depende da maneira como os pontos da malha são ordenados (não depende
da matriz A usada para representar o laplaciano discreto). Como no método de separação de variáveis
contínuo, assumimos que as soluções da equação discreta acima são produtos da forma
ui,j = F (i) G (j) , (3.42)
onde F e G são funções de uma variável inteira. Substituindo esta expressão na equação de Helmholtz
discreta, obtemos
F (i) G (j − 1) + F (i − 1) G (j) − 4F (i) G (j) + F (i + 1) G (j) + F (i) G (j + 1) = −λh 2 F (i) G (j) .
Dividindo esta equação por F (i) G (j), segue que
F (i − 1) − 2F (i) + F (i + 1)
F (i)
+ G (j − 1) − 2G (j) + G (j + 1)
G (j)
= −λh 2 .
Separando as variáveis, concluímos que cada um dos quocientes acima é independente de i ou de j, isto é,
eles são constantes:
onde as constantes α, β estão relacionadas pela identidade
F (i − 1) − 2F (i) + F (i + 1)
= A,
F (i)
(3.43)
G (j − 1) − 2G (j) + G (j + 1)
= B,
G (j)
(3.44)
A + B = −λh 2 . (3.45)

Rodney Josué Biezuner 48
Estas equações podem ser escritas como fórmulas de recorrência (análogas às equações diferenciais ordinárias
obtidas no método de separação de variáveis contínuo)
F (i + 1) − (A + 2) F (i) + F (i − 1) = 0,
G (j − 1) − (B + 2) G (j) + G (j + 1) = 0.
Para resolvê-las, é mais conveniente trabalhar com as constantes
Desta forma, as equações para F e G tornam-se
2α = A + 2,
2β = B + 2.
F (i − 1) − 2αF (i) + F (i + 1) = 0, (3.46)
G (j − 1) − 2βG (j) + G (j + 1) = 0. (3.47)
Vamos resolver a equação para F , já que a equação para G é idêntica. Substituindo em (3.46) uma solução
da forma
F (i) = z i
(3.48)
obtemos
z i−1 − 2αz i + z i+1 = 0,
donde, dividindo por z i−1 extraímos a equação quadrática (análoga à equação indicial)
As duas raízes são
z 2 − 2αz + 1 = 0. (3.49)
z± = α ± α 2 − 1,
com z+ + z− = 2α e z+z− = 1. Portanto, a solução geral para a equação (3.46) é
F (i) = c1z i + + c2z i −
para algumas constantes c1, c2. Para determinarmos estas constantes e também α, aplicamos as condições
de fronteira, que implicam
F (0) = F (n) = 0.
A primeira destas por sua vez implica que c1 = −c2, logo
F (i) = c z i + − z i −
. (3.50)
Como a equação para F é homogênea, a constante c é arbitrária. Aplicando a segunda, segue que
ou, como z+z− = 1,
z n + = z n −,
z 2n
+ = 1
Conseqüentemente, z+ é uma 2n-ésima raiz complexa de 1:
z+ = e ijπ/n
(3.51)
para algum inteiro 1 k 2n − 1, onde i = √ −1. Como z− = 1/z+, podemos restringir 0 k n − 1 e
(3.50) produz todas as soluções não-triviais F de (3.46).

Rodney Josué Biezuner 49
Portanto,
e, escolhendo c = 1/2,
Analogamente,
e
Segue que os autovalores são
α = z+ + z−
2
= eiπk/n + e −iπk/n
2
= cos kπ
, 0 k n − 1,
n
Fk (i) = e iπki/n − e −iπki/n = sen ikπ
n .
β = cos lπ
, 0 l n − 1,
n
Gl (j) = sen jlπ
n .
λkl = 2
h2
2 − cos kπ
lπ
− cos
n n
e as coordenadas das autofunções associadas são dadas por
(ukl) i,j = Fk (i) Gl (j) = sen ikπ
n
sen jlπ
m .
3.17 Teorema. Seja A a matriz de discretização obtida a partir da fórmula de três pontos unidimensional
ou a partir da fórmula de cinco pontos bidimensional. Seja R = D −1 (D − A) a matriz de iteração do
método de Jacobi. Então
ρ (R) = cos π
. (3.52)
n
Prova. Vamos provar para a fórmula de cinco pontos bidimensional; o argumento para a fórmula de três
pontos unidimensional é análogo e fica deixado como exercício. Para o método de Jacobi, a matriz de
discretização x k+1 = Rx k + D −1 b é obtida através da fórmula:
Já vimos no Lema 3.16 que
com
Daí segue que
Logo
para
u k+1
i,j
1 k
= ui,j−1 + u
4
k i,j+1 + u k i−1,j + u k
i+1,j .
−u kl
i−1,j − u kl
i+1,j + 4u kl
i,j − u kl
i,j−1 − u kl
i,j+1 = λklh 2 u kl
i,j
λkl = 2
h2
2 − cos kπ
lπ
− cos .
n n
u kl
i,j−1 + u kl
i,j+1 + u kl
i−1,j + u kl
i+1,j = 4 − λklh 2 u kl
i,j
µlk = 1 − 1
4 λklh 2 = 1 − 1
2
1 kl
ui,j−1 + u
4
kl
i,j+1 + u kl
i−1,j + u kl
i+1,j = µlku kl
i,j
2 − cos kπ
lπ
− cos =
n n
1
cos
2
kπ
lπ
+ cos .
n n
Estes são os autovalores da matriz de iteração de Jacobi para a matriz de discretização obtida a partir da
fórmula de cinco pontos (observe que elas possuem os mesmos autovetores; no entanto R possui autovalores
nulos). Segue que o máximo autovalor ocorre quando k = l = 1, logo
ρ (R) = cos π
n .

Rodney Josué Biezuner 50
Para o quadrado unitário temos
ρ (R) = cos (πh) . (3.53)
Vemos em particular que ρ (R) → 1 quando h → 0, de modo que a velocidade de convergência do método
de Jacobi vai ficando cada vez menor para malhas mais refinadas. Podemos dizer mais usando a expansão
da função cosseno em torno da origem
se h é pequeno podemos aproximar
cos x = 1 − 1
2 x2 + O x 4 ;
cos (πh) ≈ 1 − π2
2 h2 ,
de modo que ρ (R) → 1 quadraticamente quando h → 0. Em outras palavras, para uma malha duas vezes
mais refinada (isto é, h reduzido pela metade), o método de Jacobi é cerca de quatro vezes mais vagaroso
em média (consulte novamente a tabela no final da seção anterior). A tabela abaixo mostra os valores do
raio espectral para alguns valores de h:
h 0.1 0.05 0.025
ρ (R) 0.9511 0.9877 0.9969
Para h = 0.025 (correspondente a uma matriz de tamanho n = 39 × 39 = 1521), temos
R∞ (R) = − log 10 (0.9969) = 0.0013484,
de modo que para reduzir o erro pelo fator de uma casa decimal precisamos de
iterações.
m = log 10 0.1
log 10 ρ (R)
1
= −
log10 ρ (R) =
1
≈ 742
0.00135
3.3.2 Convergência do Método de Gauss-Seidel
3.18 Teorema. Se A é uma matriz irredutível, diagonalmente dominante tal que |aii| > n
|aij| para pelo
menos alguma linha i, então o método de Gauss-Seidel converge.
Prova. Sejam D a parte diagonal, −L a parte triangular inferior estrita e −U a parte triangular superior
estrita da matriz A, e seja R = (D − L) −1 U a matriz de iteração do método de Gauss-Seidel para A.
Escrevemos
R = (D − L) −1 U = D I − D −1 L −1 U
ou
j=1
j=i
R = I − D −1 L −1 D −1 U. (3.54)
Suponha por absurdo que exista um autovalor λ de R tal que |λ| 1; como na demonstração do Teorema
3.9, temos
Agora, observando que
det I − λ −1 R
= det I − λ −1
−1 −1 −1
I − D L D U = 0.
det I − D −1 L = 1

Rodney Josué Biezuner 51
porque I − D−1L é uma matriz triangular inferior com apenas 1’s na diagonal principal, escrevemos
0 = det I − λ −1
−1 −1 −1
I − D L D U
= det I − D −1 L
det I − λ −1
−1 −1 −1
I − D L D U
I −1
= det − D L
I − λ −1
−1 −1 −1
I − D L D U
Por outro lado,
= det I − D −1 L − λ −1 D −1 U .
D −1 A = I − D −1 L − D −1 U
é irredutível, diagonalmente dominante e estritamente dominante nas linhas onde A é porque
−1
D A ij =
1 se i = j,
aij
se i = j.
aii
Logo, a matriz I − D −1 L − λ −1 D −1 U também satisfaz estas propriedades, pois I, −D −1 L e −D −1 U são
respectivamente a parte diagonal, a parte triangular inferior estrita e a parte triangular superior estrita da
matriz D −1 A, e multiplicar a parte triangular inferior estrita pelo número λ −1 cujo módulo é menor que ou
igual a 1 não alterará a dominância diagonal (na verdade só tende a melhorá-la) nem acrescentará zeros à
matriz. A Proposição 2.16 implica então que I − D −1 L − λ −1 D −1 U é invertível, um absurdo.
Usando o Teorema 3.18, concluímos que o método de Gauss-Seidel converge para as matrizes de discretização
obtidas através dos esquemas de diferenças finitas do Capítulo 1. Para analizar a velocidade de convergência
do método de Gauss-Seidel, vamos obter os raios espectrais para as matrizes de discretização obtidas a partir
da fórmula de três pontos unidimensional e a partir da fórmula de cinco pontos bidimensional.
3.19 Teorema. Seja A a matriz de discretização obtida a partir da fórmula de três pontos unidimensional
ou a partir da fórmula de cinco pontos bidimensional. Seja R = (D − L) −1 U a matriz de iteração do
método de Gauss-Seidel. Então
2 π
ρ (R) = cos . (3.55)
n
Prova. Para obter o raio espectral da matriz de iteração R, queremos encontrar os autovalores µ de R:
ou seja,
Ru = (D − L) −1 Uu = µu,
Uu = µ (D − L) u
(um problema de autovalor generalizado). No caso da matriz de discretização da fórmula de cinco pontos,
isso significa encontrar µ tal que
Para os autovalores não-nulos, podemos fazer a substituição
ui,j+1 + ui+1,j = µ (4ui,j − ui,j−1 − ui−1,j) . (3.56)
ui,j = µ i+j
2 vi,j (3.57)
para transformar a equação de autovalor naquela que aparece no método de Jacobi. Temos
µ i+j+1
2 vi,j + µ i+j+1
2 vi+1,j = µ 4µ i+j
2 vi,j − µ i+j−1
2 vi,j−1 − µ i+j−1
2 vi−1,j
= 4µ i+j+2
2 vi,j − µ i+j+1
2 vi,j−1 − µ i+j+1
2 vi−1,j,

Rodney Josué Biezuner 52
de modo que, dividindo por µ i+j+1
2 , obtemos
vi−1,j + vi+1,j + vi,j−1 + vi,j+1 = µ 1/2 4vi,j.
Portanto os autovalores da matriz de iteração de Gauss-Seidel para esta matriz são exatamente os quadrados
dos autovalores da matriz de iteração de Jacobi (e os autovetores são os mesmos):
µlk = 1
cos
4
kπ
2 lπ
+ cos .
n n
Portanto, o máximo autovalor ocorre quando k = l = 1 e
2 π
ρ (R) = cos
n .
O argumento para a fórmula de três pontos é análogo.
Para o quadrado unitário temos
ρ (R) = cos 2 (πh) ,
e usando
cos 2 x =
se h é pequeno podemos aproximar
1 − 1
2 x2 + O x 4 2
= 1 − x 2 + O x 4 ,
cos 2 (πh) ≈ 1 − π 2 h 2 .
No método de Gauss-Seidel ainda temos ρ (R) → 1 quadraticamente quando h → 0, mas a sua velocidade
de convergência para a matriz de discretização de cinco pontos do quadrado unitário é duas vezes maior que
a do método de Jacobi. Para ver isso, faça a expansão do logaritmo em torno do ponto x = 1:
Segue que
3.3.3 Convergência do Método SOR
3.20 Teorema. Se o método SOR converge, então
log (1 + x) = x + O h 2 .
R∞ (RJacobi) = π2
2 h2 + O h 4 , (3.58)
R∞ (RGauss-Seidel) = π 2 h 2 + O h 4 . (3.59)
0 < ω < 2.
Prova. A matriz de iteração do método SOR é
−1
1
1 − ω
1
R = D − L
D + U =
ω ω
= I − ωD −1 L
−1 −1 1 − ω
ωD D + U
ω
ou
Se λ1, . . . , λn são os autovalores de R, então
ω D I − ωD −1 L −1
1 − ω
ω
D + U
R = I − ωD −1 L −1 (1 − ω) I + ωD −1 U . (3.60)
det R = λ1 . . . λn.

Rodney Josué Biezuner 53
Mas,
I −1 −1 −1
det R = det − ωD L (1 − ω) I + ωD U
= det I − ωD −1 L −1 −1
det (1 − ω) I + ωD U
= (1 − ω) n ,
já que I − ωD −1 L é uma matriz triangular inferior com apenas 1 na diagonal principal e (1 − ω) I + ωD −1 U
é uma matriz triangular superior com apenas 1 − ω na diagonal principal. Logo
λ1 . . . λn = (1 − ω) n .
Em particular, pelo menos um dos autovalores λj de R deve satisfazer
|λj| |1 − ω| .
Mas, se o método SOR converge, devemos ter também |λ| < 1 para todo autovalor λ de R. Logo
donde
|1 − ω| < 1,
0 < ω < 2.
3.21 Corolário. Se R é a matriz de iteração n × n para o método SOR, então
det R = (1 − ω) n .
Em particular, diferente das matrizes de iteração dos métodos de Jacobi e de Gauss-Seidel (para a matriz de
discretização de cinco pontos), zero não é um autovalor para a matriz de iteração do método SOR se ω = 1
(para nenhuma matriz).
3.22 Teorema. Se A é uma matriz irredutível, diagonalmente dominante tal que |aii| > n
|aij| para pelo
menos alguma linha i, então o método SOR converge se 0 < ω 1.
Prova. A demonstração é análoga à do Teorema 3.18. A matriz de iteração do método SOR é
R = I − ωD −1 L −1 (1 − ω) I + ωD −1 U .
Suponha por absurdo que exista um autovalor λ de R tal que |λ| 1; temos
Agora, observando que
det I − λ −1 R = det
j=1
j=i
I − λ −1 I − ωD −1 L −1 (1 − ω) I + ωD −1 U
= 0.
det I − ωD −1 L = 1
porque I − ωD −1 L é uma matriz triangular inferior com apenas 1’s na diagonal principal, escrevemos
0 = det
I − λ −1 I − ωD −1 L −1 (1 − ω) I + ωD −1 U
= det I − ωD −1 L det
= det
I − λ −1 I − ωD −1 L −1 (1 − ω) I + ωD −1 U
I − ωD −1 L
I − λ −1 I − ωD −1 L −1 (1 − ω) I + ωD −1 U
= det I − ωD −1 L − λ −1 (1 − ω) I + ωD −1 U
= det 1 − λ −1 (1 − ω) I − ωD −1 L − λ −1 ωD −1 U .

Rodney Josué Biezuner 54
Por outro lado, como vimos na demonstração do Teorema 3.18, a matriz
D −1 A = I − D −1 L − D −1 U
é irredutível, diagonalmente dominante e estritamente dominante nas linhas onde A é, logo a matriz
S = 1 − λ −1 (1 − ω) I − ωD −1 L − λ −1 ωD −1 U
também satisfaz estas propriedades. De fato, S tem zeros nas mesmas posições que I − D −1 L − D −1 U, logo
a sua irredutibilidade não é afetada. Além disso, pela dominância diagonal de D −1 A, sabemos que se
bij = D −1 L
ij ,
cij = D −1 U
ij .
então
i−1
1 |bij| +
j=1
Para provar a dominância diagonal de S, observamos que os valores que S possui na diagonal principal são
de modo que precisamos provar que
se 0 < ω 1 e |λ| 1. Provaremos que
1 − λ −1 (1 − ω) = 1 −
j=1
n
j=i+1
1 − ω
λ
|cij| .
λ + ω − 1
i−1
λ ω |bij| + ω
|λ|
λ + ω − 1
λ ω,
λ + ω − 1
ω
λ
|λ| .
λ + ω − 1
= ,
λ
Para isso, observe que como |λ| 1 basta provar a primeira desigualdade, a qual por sua vez é equivalente a
|λ + ω − 1| |λ| ω.
É fácil ver que esta desigualdade é válida quando λ ∈ R, pois
n
j=i+1
|cij|
|λ + ω − 1| = λ + ω − 1 λω porque λ − 1 λω − ω = ω (λ − 1) .
Para o caso geral em que λ ∈ C, fazemos cair no caso real escrevendo
|λ + ω − 1| 2 = |λ − (1 − ω)| 2 = |λ| 2 − 2 (Re λ) (1 − ω) + (1 − ω) 2
|λ| 2 − 2 |λ| (1 − ω) + (1 − ω) 2 = [|λ| − (1 − ω)] 2
= [|λ| + ω − 1] 2 |λ| 2 ω 2 .
O resultado acima continua valendo com desigualdade estrita nas linhas onde a desigualdade é estrita. A
Proposição 2.36 implica então que S é invertível, contradizendo det S = 0.
3.23 Teorema. Seja A uma matriz simétrica positiva definida. Então o método SOR converge se 0 < ω < 2.

Rodney Josué Biezuner 55
Prova. Usaremos o Teorema 3.13. Escrevendo A = D − L − U, temos L t = U porque A é simétrica e as
entradas diagonais de D positivas porque A é positiva definida. Para o método SOR temos
B = 1
1 − ω
D − L e C = D + U,
ω ω
logo
B t + C = 1
ω D − Lt 1 − ω 2 − ω
+ D + U =
ω ω D
é uma matriz simétrica positiva definida se 0 < ω < 2.
Na verdade, se as entradas diagonais de uma matriz simétrica são positivas, a condição de ser definida
positiva é equivalente à convergência do método SOR para 0 < ω < 2, como o próximo resultado mostra.
3.24 Teorema. Seja A uma matriz simétrica com entradas diagonais positivas. Então o método SOR
converge se e somente se A é positiva definida e 0 < ω < 2.
Prova. Assuma que A é positiva definida e que 0 < ω < 2. Seja
R = I − ωD −1 L −1 (1 − ω) I + ωD −1 U
a matriz de iteração do método SOR. Se λ é um autovalor de R e x um autovetor associado, temos Rx = λx,
donde (1 − ω) I + ωD −1 U x = λ I − ωD −1 L x.
Fazendo o produto interno canônico (hermitiano) de C n de ambos os lados com o vetor x, segue que
(1 − ω) 〈x, x〉 + ω x, D −1 Ux = λ 〈x, x〉 − ω x, D −1 Lx
Isolando λ,
λ = (1 − ω) 〈x, x〉 + ω x, D−1Ux
〈x, x〉 − ω 〈x, D−1 . (3.61)
Lx〉
Como A é simétrica, o produto de matrizes simétricas D −1 A = I − D −1 U − D −1 L também é; como
D −1 U, D −1 L são respectivamente a parte estritamente triangular superior e estritamente triangular inferior
de uma matriz simétrica, temos
D −1 U t = D −1 L.
Logo
e definindo
podemos escrever
x, D −1 Ux =
D
−1 t
U x, x = D −1 L x, x = 〈x, (D−1L) x〉,
z =
λ =
x, D −1 L x
〈x, x〉
,
(1 − ω) + ωz
. (3.62)
1 − ωz
Os argumentos acima assumem que o denominador é não-nulo. E, de fato, temos
Re z = 1
−1 −1
1 x, D L x x, D U x
(z + z) = +
2 2 〈x, x〉
〈x, x〉
= 1
−1 x, I − D A x
=
2 〈x, x〉
1
−1 x, D A x
1 −
.
2 〈x, x〉
= 1
−1 −1 x, D L + D U x
2 〈x, x〉

Rodney Josué Biezuner 56
e como A é positiva definida, D −1 A também é, o que implica
x, D −1 A x
〈x, x〉
donde
Re z < 1
2 .
de modo que a parte real do denominador 1 − ωz de λ é não-nula para 0 < ω < 2. Segue que
|λ| 2 = λλ =
[(1 − ω) + ωz] [(1 − ω) + ωz]
(1 − ωz) (1 − ωz)
> 0
= ω2 − 2ω 2 Re z − 2ω + 4ω Re z + 1 − 2ω Re z + ω 2 |z| 2
1 − 2ω Re z + ω 2 |z| 2
ω (2 − ω) (1 − 2 Re z)
= 1 −
1 − 2ω Re z + ω2 2 .
|z|
Como 0 < ω < 2 e Re z < 1
, temos
2
e concluímos que
ω (2 − ω) (1 − 2 Re z) > 0,
|λ| < 1
= (1 − ω)2 + 2ω (1 − ω) Re z + ω 2 |z| 2
1 − 2ω Re z + ω 2 |z| 2
para todo autovalor λ de R, logo o método SOR converge. A demonstração da recíproca (assim como uma
demonstração alternativa, variacional, deste teorema) pode ser vista em [Young].
Usando o Teorema 3.22, concluímos que o método SOR converge para as matrizes de discretização obtidas
através dos esquemas de diferenças finitas do Capítulo 1 se 0 < ω 1. Isso permite apenas subrelaxamento
do método de Gauss-Seidel, o que em geral reduz a velocidade de convergência. Por outro lado, usando o
Teorema 3.23 ou o Teorema 3.24, concluímos que o método SOR converge para as matrizes de discretização
obtidas a partir da fórmula de três pontos unidimensional e a partir da fórmula de cinco pontos bidimensional
se 0 < ω < 2, já que estas são matrizes simétricas, positivas definidas (já as matrizes de discretização obtidas
através de coordenadas polares ou pelo esquema de Shortley-Weller não são simétricas, em geral, como
vimos).
Em seguida fazemos uma análise da velocidade de convergência do método SOR para a matriz de discretização
da fórmula de cinco pontos, bem como obtemos o melhor valor do fator de relaxamento ω para
este caso.
3.25 Lema. Seja A a matriz de discretização obtida a partir da fórmula de três pontos unidimensional ou
a partir da fórmula de cinco pontos bidimensional. Se λ = 0 é um autovalor de RSOR, então existe
um autovalor λJ de RJ tal que
1 − ω − λ
λJ =
λ1/2 . (3.63)
ω2 Reciprocamente, se λJ é um autovalor de RJ e λ ∈ C satisfaz a equação acima, então λ é um autovalor
de RSOR.
Prova. Argumentamos como na demonstração do Teorema 3.13. Para obter o raio espectral da matriz de
iteração RSOR, queremos encontrar os autovalores λ de RSOR:
RSORu = I − ωD −1 L −1 (1 − ω) I + ωD −1 U u = λu,
ou seja, (1 − ω) I + ωD −1 U u = λ I − ωD −1 L u

Rodney Josué Biezuner 57
No caso da matriz de discretização da fórmula de cinco pontos, isso significa encontrar λ tal que
(1 − ω) ui,j + ω
4 ui,j+1 + ω
4 ui+1,j
= λ ui,j − ω
4 ui,j−1 − ω
4 ui−1,j
ou
1 − ω − λ
ui,j =
ω
1
4 (ui,j+1
Fazendo a substituição
+ ui+1,j + λui,j−1 + λui−1,j) . (3.64)
e dividindo por µ i+j+1
2 , segue que
ui,j = λ i+j
2 vi,j
vi−1,j + vi+1,j + vi,j−1 + vi,j+1 =
1 − ω − λ
λ 1/2 ω 4vi,j
e daí o resultado.
Resolvendo a equação (3.63) como uma equação quadrática em √ λ, vemos que as duas raízes λ± = λ±
podem ser escritas na forma
Denotaremos
e por λJ = ρ (RJ) o maior autovalor do método de Jacobi.
λ± = 1
−ωλJ ± ω
4
2λ2 2 J − 4 (ω − 1) . (3.65)
Λω,λJ = max (|λ+| , |λ−|) (3.66)
3.26 Proposição. Seja A a matriz de discretização obtida a partir da fórmula de três pontos unidimensional
ou a partir da fórmula de cinco pontos bidimensional. Então
Prova. Por definição,
De (3.65) segue que
Λω,λJ = 1
4
ρ (RSOR,ω) = Λ ω,λJ
ρ (RSOR,ω) = max Λω,λJ
λJ
.
ωλJ +
ω 2 λ 2
2
J − 4 (ω − 1)
.
2
(3.67)
Se 0 < ω 1, ω2λ 2
J − 4 (ω − 1) 0 e Λω,λJ é uma função crescente de λJ, logo o máximo é atingido em λJ.
Se ω > 1, defina
4 (ω − 1)
λc =
ω2 .
Se λJ > λc, ω 2 λ 2
J − 4 (ω − 1) > 0 e segue a conclusão como no caso anterior. Se λJ λc, então ω 2 λ 2
J −
4 (ω − 1) 0 e
onde i = √ −1, logo
Λω,λJ =
ωλJ +
= ω − 1,
ω2λ 2
J − 4 (ω − 1) = 4 (ω − 1) − ω2λ 2
Ji,
ω 2 λ 2
J − 4 (ω − 1)
e novamente Λω,λJ é uma função crescente de λJ.
2
=
ω 2 λ 2 J +
4 (ω − 1) − ω 2 λ 2
J
2

Rodney Josué Biezuner 58
Defina
ωótimo =
1 +
2
1 − λ 2
J
. (3.68)
Note que 1 < ωótimo < 2. Mostraremos que ωótimo é de fato o melhor valor para o fator de relaxamento no
método SOR. Antes precisamos do seguinte resultado:
3.27 Proposição. Seja A a matriz de discretização obtida a partir da fórmula de três pontos unidimensional
ou a partir da fórmula de cinco pontos bidimensional. Então
⎧
⎨ 1
ωλJ ρ (RSOR,ω) =
+ ω
⎩
4
2λ 2
2 J − 4 (ω − 1) se 0 < ω ωótimo,
(3.69)
ω − 1 se ωótimo ω < 2.
Prova. Temos ω 2 λ 2
J − 4 (ω − 1) 0 para 0 < ω < 2 se e somente se ω ωótimo. De fato, as raízes de
f (ω) = ω 2 λ 2
J − 4ω + 4 são
ω± =
4 ± 4 1 − λ 2
J
2λ 2
J
= 2
λ 2
1 ± 1 − λ
J
2
J
de modo que a raiz positiva de f é maior que 2, logo para que f (ω) 0 se 0 < ω < 2, devemos ter
ω 2
λ 2
1 − 1 − λ
J
2
J = 2
λ 2
1 − 1 − λ
J
2
J
=
1 +
1 +
2
.
1 − λ 2
J
O resultado segue então como na demonstração da proposição anterior.
1 − λ 2
J
3.28 Teorema. Seja A a matriz de discretização obtida a partir da fórmula de três pontos unidimensional
ou a partir da fórmula de cinco pontos bidimensional. Então o fator de relaxamento ótimo para o
método SOR é dado por
2
ωótimo =
1 + sen π
n
é o fator de relaxamento ótimo para o método SOR.
Prova. Se 0 < ω ωótimo, então ω 2 λ 2
J − 4 (ω − 1) 0 e
d
ωλJ + ω
dω
2λ 2
J − 4 (ω − 1) = λJ
Temos ωλ 2
J − 2 < 0, porque 0 < ω < 2 e λJ < 1, e
pois
ωλ 2
J − 2
2
=
ωλ 2
J − 2
= ω 2 λ 4
J − 4λ 2
λJ
> λJ
Jω + 4 > ω 2 λ 4
ω 2 λ 2
J − 4 (ω − 1)
ω2λ 2
J − 4 (ω − 1) + ωλ 2
ω2λ 2
J − 4 (ω − 1)
ω 2 λ 2
J − 4 (ω − 1),
J − 4λ 2
2 .
Jω + 4λ 2
J > ω 2 λ 4
J − 4λ 2
J − 2
.
J (ω − 1)
(3.70)

Rodney Josué Biezuner 59
Isso implica
d
ωλJ + ω
dω
2λ 2
J − 4 (ω − 1) < 0,
logo ρ (RSOR,ω) é decrescente de 0 até ωótimo. Para ωótimo ω < 2, ρ (RSOR,ω) = ω − 1 é claramente
crescente. Portanto, ρ (RSOR,ω) atinge o seu mínimo em ωótimo.
Pelo Teorema 3.15, temos
λJ = cos π
n ,
logo
ωótimo =
1 +
Para o quadrado unitário temos
e conseqüentemente
e usando
se h é pequeno podemos aproximar
2
1 − λ 2
J
ρ (RSOR,ω) =
ωótimo =
2
2
= =
π
1 + 1 − cos2 1 + sen
n
π .
n
2
1 + sen (πh)
2
1 − sen (πh)
− 1 =
1 + sen (πh) 1 + sen (πh) .
1 − x
1 + x = 1 − 2x + O x 2 ,
sen x = x + O x 3 ,
1 − sen (πh)
1 + sen (πh) ≈ 1 − 2πh + O h 2 .
Portanto, usando o valor ótimo de ω no método SOR, temos ρ (R) → 1 linearmente quando h → 0, um
resultado muito melhor que o obtido nos métodos de Jacobi e de Gauss-Seidel. Para uma comparação mais
precisa, usando
log (1 + x) = x + O h 2
temos que
Segue que
R∞ (RSOR) = 2πh + O h 2 . (3.71)
R∞ (RSOR)
R∞ (RGauss-Seidel)
2πh
≈
π2 2
=
h2 πh .
Em particular, se h = 0.025, temos ωótimo = 1. 8545 e R∞ (RSOR) /R∞ (RGauss-Seidel) = 25.5, isto é, o
método SOR é 25 vezes mais rápido que o método de Gauss-Seidel. Quanto mais refinada a malha, maior é
a diferença na velocidade de convergência entre os dois métodos.
3.3.4 Convergência do Método de Jacobi Amortecido
3.29 Teorema. Se o método de Jacobi converge, então o método de Jacobi amortecido converge para
0 < ω 1.

Rodney Josué Biezuner 60
Prova. Vamos escrever a matriz de iteração RJ,ω do método de Jacobi amortecido em função da matriz de
iteração do método de Jacobi RJ. Temos
de modo que
1
RJ,ω =
ω D
−1
1
D − A
ω
donde
Em particular,
se e somente se
Portanto, λJ é um autovalor de RJ se e somente se
RJ = D −1 (D − A)
= ωD −1
1
D − D + D − A = ωD
ω −1
1
D − D + ωD
ω −1 (D − A)
RJ,ω = (1 − ω) I + ωRJ. (3.72)
RJv = λv
[RJ,ω − (1 − ω) I] v = ωλv.
λJ,ω = ωλJ + 1 − ω (3.73)
é um autovalor de RJ,ω. Logo, se todo autovalor de RJ satisfaz |λJ| < 1 (isto é, ρ (RJ) < 1 equivalente ao
método de Jacobi convergir) e ω < 1, então
|λJ,ω| 2 = (ωλJ + 1 − ω) ωλJ + 1 − ω
= ω 2 |λJ| 2 + 2 Re λJω (1 − ω) + (1 − ω) 2
ω 2 |λJ| 2 + 2 |λJ| ω (1 − ω) + (1 − ω) 2
= (ω |λJ| + 1 − ω) 2
< 1.
Segue do Teorema 3.13 que o método de Jacobi amortecido converge para as matrizes de discretização do
Capítulo 1 se 0 < ω 1.
3.30 Corolário.
Para o quadrado unitário temos
Usando
se h é pequeno podemos aproximar
ρ (RJ,ω) = ω [ρ (RJ) − 1] + 1. (3.74)
ρ (RJ,ω) = ω [cos (πh) − 1] + 1. (3.75)
cos x = 1 − 1
2 x2 + O x 4 ,
log (1 + x) = x + O h 2 ,
ρ (RJ,ω) ≈ 1 − ω π2
2 h2 + O h 4 ,
R∞ (RJ,ω) ≈ ω π2
2 h2 .
Vemos que a velocidade de convergência do método de Jacobi amortecido é da mesma ordem que a do método
de Jacobi, um pouco pior para valores de ω próximos de 1 e muito pior para valores de ω próximos de 0.

Rodney Josué Biezuner 61
3.3.5 Resumo
3.4 Exercícios
Método ρ (R) R∞ (R)
Jacobi cos (πh)
π 2
2 h2 + O h 4
Gauss-Seidel cos 2 (πh) π 2 h 2 + O h 4
SOR ótimo 1 − 2πh + O h 2
2πh + O h 2
Jacobi amortecido 1 − ω π2
2 h2 + O h 4 ω π2
2 h2 + O h 4
3.1 Os métodos de Jacobi e Gauss-Seidel não são sempre comparáveis: existem sistemas lineares para as
quais o método de Jacobi converge, enquanto que o método de Gauss-Seidel não converge ou até mesmo
diverge, e vice-versa.
a) Verifique no computador que o método de Jacobi converge para o sistema linear
⎧
⎨
⎩
x + z = 2
−x + y = 0
x + 2y − 3z = 0
enquanto que o método de Gauss-Seidel não converge (observe que a solução exata deste sistema é
(1, 1, 1)).
b) Verifique no computador que o método de Gauss-Seidel converge se
⎧
⎨
⎩
2x + y + z = 4
x + 2y + z = 4
x + y + 2z = 4
enquanto que o método de Jacobi não converge, usando o vetor (0, 0, 0) como chute inicial (observe
que a solução exata deste sistema é (1, 1, 1)).
c) Justifique matematicamente o resultado de cada um dos ítens anteriores.

Capítulo 4
Métodos de Projeção
A maioria dos métodos iterativos práticos para a resolução de sistemas lineares grandes usa um processo
de projeção de uma forma ou outra. Um processo de projeção é uma maneira canônica de obter uma
aproximação para a solução do sistema linear dentro de um subespaço especificado. Neste capítulo veremos
a técnica descrita de maneira geral e uma aplicação detalhada para o caso unidimensional.
4.1 Teoria Geral
A idéia básica de uma técnica de projeção é extrair uma solução aproximada para a solução do sistema Ax = b
de um subespaço especificado K ⊂ R n , chamado o subespaço de busca. Se m = dim K, então em geral
são necessárias m restrições para obter esta aproximação. Uma maneira típica de descrever estas restrições
é impor m condições de ortogonalidade; um exemplo é exigir que o vetor residual r = b − Ax seja ortogonal
a m vetores linearmente independentes que geram um subespaço L, chamado o subespaço de restrições.
Muitos métodos matemáticos são baseados neste tipo de descrição, conhecida como as condições de Petrov-
Galerkin. Existem duas classes gerais de métodos de projeção: os métodos de projeção ortogonal, quando
L = K (e neste caso as condições de Petrov-Galerkin são chamadas simplesmente condições de Galerkin), e
os métodos de projeção oblíqua, quando L = K.
4.1 Definição. Seja A ∈ Mn (C) uma matriz invertível e K, L ⊂ R n dois subespaços vetoriais m-dimensionais.
Um método de projeção sobre o subespaço K ortogonal ao subespaço L é um processo que encontra
uma solução aproximada x em K para o sistema Ax = b tal que o vetor residual r = b − Ax é ortogonal
a L, ou seja,
encontrar x ∈ K tal que r = b − Ax ⊥ L. (4.1)
Se queremos explorar o conhecimento de um bom chute inicial x 0 para a solução, então a aproximação é
buscada no espaço afim x 0 + K. Neste caso, a técnica é redefinida como
Denotando
e o vetor resíduo inicial
encontrar x ∈ x 0 + K tal que r = b − Ax ⊥ L. (4.2)
x = x 0 + p
r 0 = b − Ax 0 ,
de modo que r = b − Ax = b − A x 0 + p = r 0 − Ap, a solução aproximada pode ser descrita como
x = x 0 + p, p ∈ K,
r 0 − Ap, w = 0 para todo w ∈ L.
O vetor p que está no subespaço de busca é chamado o vetor de busca.
62
(4.3)

Rodney Josué Biezuner 63
4.1.1 Representação Matricial
Sejam BK = {v1, . . . , vm} e BL = {w1, . . . , wm} bases para K e L, respectivamente. Construímos as matrizes
n × m
V = [v1 · · · vm] , (4.4)
W = [w1 · · · wm] ,
que tem estes vetores como colunas. Então a solução aproximada pode ser escrita na forma
x = x 0 + V y (4.5)
para algum vetor y ∈ R m , ou seja, p = V y. A condição de ortogonalidade r 0 − AV y, w = 0 para todo
w ∈ L também pode ser representada matricialmente na forma
para todo z ∈ R m , ou seja,
ou
(W z) T r 0 − AV y = z T W T r 0 − AV y = 0
W T r 0 − AV y = 0
W T AV y = W T r 0 . (4.6)
A partir daí, se assumirmos que a matriz m × m W T AV é invertível (o que não é garantido mesmo quando
A é invertível; veja Exercício 4.1), obtemos a seguinte expressão matricial para a solução aproximada:
x = x 0 + V W T AV −1 W T r 0 . (4.7)
Desta forma, um algoritmo típico para um método de projeção tem a forma
Algoritmo para um Método de Projeção
do until stop criterion
⎡
⎢
⎣
Selecione um par de subespaços K e L
Escolha bases BK = {v1, . . . , vn} e BL = {w1, . . . , wn} para K e L
r ← b − Ax;
y ← W T AV −1 W T r;
x ← x + V y;
end do
Em muitos algoritmos, a matriz W T AV não precisa ser formada, e muito menos sua inversa calculada, da
mesma forma que a matriz de iteração não precisava ser explicitamente calculada nos métodos iterativos
lineares.
A matriz W T AV é invertível se e somente se nenhum vetor do subespaço AK é ortogonal ao subespaço
L (Exercício 4.2). Duas condições independentes que garantem a invertibilidade de W T AV são dadas pela
proposição seguinte:
4.2 Proposição. Se A ∈ Mn (C) e os subespaços K, L ⊂ R n satisfazem qualquer uma das duas condições a
seguir
(i) A é positiva definida e L = K, ou
(ii) A é invertível e L = AK.
Ax = b
então a matriz W T AV é invertível quaisquer que sejam as bases V, W de K, L, respectivamente.

Rodney Josué Biezuner 64
Prova: (i) Como L = K, podemos escrever W = V P para alguma matriz m × m invertível P (Exercício
4.3). Então
W T AV = P T V T AV
Como A é positiva definida, segue que V T AV também é (Exercício 4.4); em particular, a matriz m × m
V T AV é invertível. Logo, sendo o produto de duas matrizes invertíveis, W T AV é invertível.
(ii) Neste caso, como L = AK, podemos escrever W = AV P para alguma matriz m × m invertível P .
Daí,
W T AV = P T (AV ) T AV.
Como A é invertível, a matriz n × m AV possui posto máximo, logo a matriz m × m (AV ) T AV é invertível
(Exercício 4.5). Novamente, sendo o produto de duas matrizes invertíveis, W T AV é invertível.
Em particular, se A é uma matriz simétrica e um método de projeção ortogonal é utilizado, podemos tomar
V = W e a matriz projetada V T AV também é simétrica; da mesma forma, se além disso A for positiva
definida, V T AV também será.
4.1.2 Minimização de Funcionais
A solução aproximada x do sistema Ax = b através de um método de projeção pode ser obtida como o ponto
de mínimo de um funcional quadrático associado à matriz A. Consideremos primeiro o caso em que A é uma
matriz simétrica positiva definida. Neste caso, a própria solução do sistema Ax = b é o minimizante de um
funcional quadrático associado à matriz A:
4.3 Teorema. (Método Variacional para a Resolução de Sistemas Lineares) Seja A ∈ Mn (R) uma matriz
simétrica positiva definida e b ∈ Rn . Então a solução do sistema Ax = b é o único ponto x que
minimiza o funcional quadrático
f (y) = 1
〈Ay, y〉 − 〈b, y〉 .
2
(4.8)
Prova: Uma matriz simétrica positiva definida é em particular invertível, logo existe uma única solução x
para o sistema Ax = b. Temos
Como A é positiva definida, segue que
e
se e somente se y = x. Portanto,
f (y) − f (x) = 1
1
〈Ay, y〉 − 〈b, y〉 − 〈Ax, x〉 + 〈b, x〉
2 2
= 1
1
〈Ay, y〉 − 〈Ax, y〉 − 〈Ax, x〉 + 〈Ax, x〉
2 2
= 1
1
〈Ay, y〉 − 〈Ax, y〉 + 〈Ax, x〉
2 2
= 1 1 1 1
〈Ay, y〉 − 〈Ax, y〉 − 〈Ax, y〉 + 〈Ax, x〉
2 2 2 2
= 1
1
〈A (y − x) , y〉 − 〈A (y − x) , x〉
2 2
= 1
〈A (y − x) , y − x〉 .
2
〈A (y − x) , y − x〉 0
〈A (y − x) , y − x〉 = 0
f (y) > f (x)

Rodney Josué Biezuner 65
para todo y = x e o mínimo de f ocorre em x.
Em muitos problemas, o funcional f tem um significado físico, correspondendo a um funcional de energia; o
minimizante deste funcional de energia corresponde a um estado de equilíbrio do sistema.
Observe que, definindo um produto interno a partir da matriz simétrica positiva definida A da maneira
usual por 〈v, w〉 A = 〈Av, w〉 e considerando a norma vetorial induzida vA = 〈v, v〉 1/2
A , chamada A-norma,
o funcional f pode ser escrito na forma (substituindo b = Ax)
f (y) = 1
2 y2 A − 〈x, y〉 A . (4.9)
O vetor de aproximação x de um método de projeção ortogonal sobre K a partir de um vetor inicial x 0 é
exatamente o minimizante da primeira parte deste funcional sobre o subespaço afim x 0 + K:
4.4 Proposição. Sejam A ∈ Mn (R) uma matriz simétrica positiva definida e L = K. Então x é o vetor de
aproximação de um método de projeção ortogonal sobre K a partir de um vetor inicial x 0 se e somente
se ele minimiza a A-norma do erro sobre x 0 + K, isto é, se e somente se
E (x) = min
y∈x0 E (y) .
+K
Prova: Seja x a solução exata do sistema Ax = b. Então a A-norma do erro é dada por
E (y) = x − y A .
Segue do lema da projeção ortogonal (ou lema da melhor aproximação) que x é um minimizante de E (y)
sobre o subespaço afim x 0 + K se e somente se x − x é A-ortogonal a K, ou seja, se e somente se
ou, equivalentemente,
〈A (x − x) , v〉 = 0 para todo v ∈ K,
〈b − Ax, v〉 = 0 para todo v ∈ K.
Esta é a condição de Galerkin que define o vetor de aproximação de um método de projeção ortogonal (veja
(4.2)).
Vamos considerar agora o caso de um método de projeção oblíqua em que L = AK.
4.5 Proposição. Sejam A ∈ Mn (C) uma matriz qualquer e L = AK. Então x é o vetor de aproximação
de um método de projeção oblíqua sobre K ortogonal a L a partir de um vetor inicial x 0 se e somente
se ele minimiza a 2-norma do resíduo sobre x 0 + K, isto é, se e somente se
R (x) = min
y∈x0 R (y) .
+K
Prova: Considere o sistema Ax = b. Então a 2-norma do resíduo é dada por
R (y) = b − Ay 2 .
Segue do lema da projeção ortogonal (ou lema da melhor aproximação) que x é um minimizante de R (y)
sobre o subespaço afim x 0 + K se e somente se b − Ax é ortogonal a AK = L, ou seja, se e somente se
〈b − Ax, w〉 = 0 para todo w ∈ L.
Esta é a condição de Petrov-Galerkin que define o vetor de aproximação de um método de projeção oblíqua
(veja (4.2)).

Rodney Josué Biezuner 66
4.1.3 Estimativa do Erro em Métodos de Projeção
Se nenhum vetor do subespaço K está próximo da solução exata x, então é impossível encontrar uma boa
aproximação x para x em K. Por outro lado, se existir algum vetor em K que está a uma pequena distância
ε de x, então podemos perguntar qual a melhor aproximação a x podemos encontrar em K. No que se segue
assumiremos x 0 = 0; em particular, o subespaço afim x 0 + K é o subespaço vetorial K.
Seja PK a projeção ortogonal sobre K, definida por
e Q L K
a projeção oblíqua sobre K e ortogonalmente a L, definida por
PKx ∈ K, x − PKx ⊥ K, (4.10)
Q L Kx ∈ K, x − Q L Kx ⊥ L. (4.11)
(Observe que se K = L (isto é, projeção ortogonal), temos Q K K = PK.) Então o problema de aproximação da
Definição 4.1 pode ser expresso na linguagem destes operadores como
Equivalentemente, definindo o operator Am : K −→ K por
ele pode ser expresso na forma
encontrar x ∈ K tal que Q L K (b − Ax) = 0. (4.12)
Am = Q L KAPK,
encontrar x ∈ K tal que Amx = Q L Kb, (4.13)
de modo que um problema n-dimensional é aproximado por um problema m-dimensional.
4.6 Proposição. Assuma x 0 = 0. Suponha que K é invariante por A e que b ∈ K. Então o vetor de
aproximação x de um método de projeção (ortogonal ou oblíqua) sobre K a partir do vetor inicial x 0
é a solução exata x.
Prova: Temos QL K (b − Ax) = 0. Como por hipótese Ax, b ∈ K, segue que QLK Ax = Ax e QLK b = b, logo
b − Ax = 0 e portanto x = x.
O mesmo resultado vale se x0 = 0 sob a hipótese adicional que o resíduo inicial r0 = b − Ax0 ∈ K.
A distância da solução exata x ao subespaço K, que pode ser escrita como (I − PK) x, desempenha um
papel fundamental na estimativa do erro da solução aproximada x ∈ K, já que a distância desta à solução
exata obviamente não pode ser menor que a distância de x a K. O próximo resultado fornece uma estimativa
superior para a norma do resíduo da solução exata com respeito ao operador aproximado Am.
4.7 Teorema. Assuma x 0 = 0 e b ∈ K. Denote
Então a solução exata x satisfaz a estimativa
isto é,
Prova: Como b ∈ K, segue que
γ = Q L KA (I − PK) .
b − Amx γ (I − PK) x ,
dist (Amx, b) γ dist (x, K) .
b − Amx = Q L K (b − APKx) = Q L KA (x − PKx) = Q L KA (I − PK) x.
Daí, já que I − PK é uma projeção e portanto satisfaz (I − PK) 2 = (I − PK), podemos escrever
b − Amx = Q L KA (I − PK) (I − PK) x γ (I − PK) x .

Rodney Josué Biezuner 67
4.2 Caso Unidimensional: Métodos de Descida
Nesta seção, A será sempre uma matriz real simétrica positiva definida.
Outra maneira de enxergar o resultado do Teorema 4.3 é observar que o gradiente do funcional f é
Se x é um ponto de mínimo temos ∇f (x) = 0, ou seja,
∇f (y) = Ay − b. (4.14)
Ax = b.
O método variacional sugerido pelo Teorema 4.3 é a base dos métodos iterativos de descida em geral, e do
método do gradiente conjugado em particular. A idéia é usar as idéias do cálculo diferencial para encontrar
o mínimo do funcional quadrático f.
4.2.1 Métodos de Descida
A filosofia dos métodos de descida é começar com um chute inicial x 0 e gerar uma seqüência de iterados
x 1 , x 2 , . . . , x k , . . . que satisfazem
f x k+1 f x k
ou, melhor ainda,
f x k+1 < f x k
de tal modo que x k convirja para o minimizador de f. Em outras palavras, em um método de descida
buscamos encontrar uma seqüência minimizante x k que convirja para a solução do sistema.
O passo de x k para x k+1 envolve dois ingredientes: (1) uma direção de busca e (2) um avanço de
comprimento especificado na direção de busca. Uma direção de busca significa a escolha de um vetor p k que
indicará a direção que avançaremos de x k para x k+1 . O comprimento do avanço é equivalente à escolha de
um escalar αk multiplicando o vetor p k . Assim,
x k+1 = x k + αkp k .
A escolha de αk é também chamada uma busca na reta, já que queremos escolher um ponto na reta
x k + αp k : α ∈ R
tal que
f x k + αp k f x k .
Idealmente, gostaríamos de escolher αk de tal modo que
f x k+1 = f x k + αkp k = min
α∈R f x k + αp k
Esta é chamada uma busca exata na reta. Para funcionais quadráticos, a busca exata na reta é trivial e
obtemos uma fórmula para o valor de αk, como veremos a seguir. Denotaremos o resíduo em cada iteração
por
r k = b − Ax k . (4.15)
4.7 Proposição. Seja αk ∈ R tal que
Então
f x k + αkp k = min
α∈R f x k + αp k .
αk =
p k , r k
〈pk , Apk . (4.16)
〉

Rodney Josué Biezuner 68
Prova: Considere o funcional
g é um polinômio quadrático em α, pois
g (α) = f x k + αp k .
g (α) = 1 k k
A x + αp
2
, x k + αp k − b, x k + αp k
= 1
2
k k
Ax , x − b, x k + α k k
Ap , x
2
+ α
2
= f x k + α Ax k , p k − b, p k + α2
2
= f x k − α r k , p k + α2
2
Ap k , p k ,
Ax k , p k + α2
Ap k , p k
2
Ap k , p k − α b, p k
portanto o mínimo de g é atingido no vértice −B/2A da parábola Y = AX 2 + BX + C.
Observe que αk = 0 se e somente se p k , r k = 0, isto é, a direção de busca é ortogonal ao resíduo. Como
gostaríamos sempre que possível de ter x k+1 = x k , devemos sempre escolher a direção de busca de forma a
não ser ortogonal a r k . Se esta escolha é feita, então teremos sempre f x k+1 < f x k .
4.8 Exemplo. (Método de Gauss-Seidel) Considere o método de descida em que as primeiras n direções de
busca p 1 , . . . , p n são os vetores e1, . . . , en da base canônica de R n , e isso é repetido a cada n iterações,
de modo que p k+n = ek para todo k = 1, . . . , n, com uma busca na reta exata executada em cada
iteração. Então cada grupo de n iterações corresponde a uma iteração do método de Gauss-Seidel.
4.9 Exemplo. (Método SOR) Usando as mesmas direções de busca do exemplo anterior, mas com x k+1 =
x k + ωαkp k , ω = 1, obtemos um método de descida em que as buscas nas retas são inexatas. Cada
grupo de n iterações corresponde a uma iteração do método SOR.
Observe que o método de descida é um método de projeção em que L e K são subespaços unidimensionais,
com K = p k e L um subespaço não ortogonal a K, em cada iteração k. Se o método de descida será um
método de projeção ortogonal ou oblíquo dependerá da escolha do vetor de direção de busca p k .
4.2.2 Método da Descida Mais Acentuada
Do Cálculo Diferencial, sabemos que a direção em que a função cresce a uma taxa mais rápida a partir de
um ponto é a direção do gradiente neste ponto. Esta observação é a base da escolha da direção de busca no
método da descida mais acentuada (também chamado método do gradiente). Em outras palavras, escolhemos
ou
p k = −∇f x k = b − Ax k
p k = r k . (4.17)
Como neste caso K = L = p k , o método da descida mais acentuada será um método de projeção ortogonal.
Buscar na direção da descida mais acentuada é uma idéia natural, mas que na prática não funciona sem
modificações. De fato, em alguns casos o método é de velocidade comparável à do método de Jacobi, como
na matriz de discretização da fórmula de cinco pontos aplicada ao problema descrito na primeira seção deste
capítulo [Watkins]:
∆x = 0.1 ∆x = 0.05 ∆x = 0.025
Jacobi 299 1090 3908
Descida Mais Acentuada 304 1114 4010
De fato, como as iterações do método de descida mais acentuada são bem mais custosas que as do método
de Jacobi, o primeiro é muito pior que este último.

Rodney Josué Biezuner 69
Para entender melhor o método da descida mais acentuada, porque ele pode ser lento e as modificações
que vamos fazer para torná-lo mais rápido levando ao método do gradiente conjugado a ser visto no próximo
capítulo, vamos entender o processo do ponto de vista geométrico. Como vimos na demonstração do Teorema
4.3, o funcional quadrático f é da forma
f (y) = 1
〈A (y − x) , (y − x)〉 + c (4.18)
2
onde c = f (x) é uma constante. Já que A é uma matriz simétrica, existe uma matriz ortogonal P tal que
P t AP é uma matriz diagonal D , cujos valores na diagonal principal são exatamente os autovalores positivos
de A. Nas coordenadas
z = P t (y − x) ,
o funcional f tem a forma
f (z) = 1
1
〈Dz, z〉 + c =
2 2
n
i=1
λiz 2 i + c. (4.19)
As curvas de nível do funcional f neste sistema de coordenadas são elipses (em R 2 , elipsóides em R 3 e
hiperelipsóides em R n ) centradas na origem com eixos paralelos aos eixos coordenados e f (0) = c é nível
mínimo de f; elipses correspondentes a menores valores de f estão dentro de elipses correspondentes a maiores
valores de f. Como P é uma aplicação ortogonal, as curvas de nível de f no sistema de coordenadas original
também são elipses, centradas em x, e uma reta de um ponto y até o ponto x corta elipses de níveis cada vez
menores até chegar ao mínimo da função f em x, centro de todas as elipses. O vetor gradiente é perpendicular
às curvas de nível, logo é perpendicular às elipses. Seguir a direção de descida mais acentuada equivale a
cortar a elipse que contém x k ortogonalmente na direção do interior da elipse até encontrar um ponto x k+1
situado em uma elipse que a reta tangencie, pois a partir daí a reta irá na direção de elipses com níveis
maiores, portanto este é o ponto da reta onde f atinge o seu mínimo. Em particular, vemos que a próxima
direção p k+1 é ortogonal à direção anterior p k , tangente a esta elipse (veja também o Corolário 4.12). Em
geral, a direção de descida mais acentuada não é a direção de x (quando bastaria uma iteração para atingir
a solução exata) a não ser que A seja um múltiplo escalar da identidade, de modo que todos os autovalores
de A são iguais e as elipses são círculos. Por outro lado, se os autovalores de A têm valores muito diferentes
uns dos outros, com alguns muito pequenos e alguns muito grandes, as elipses serão bastante excêntricas
e, dependendo do chute inicial, a convergência pode ser muito lenta. Matrizes com estas propriedades são
chamadas mal-condicionadas; para que o método de descida acentuada seja lento, a matriz A não precisa
ser muito mal-condicionada (veja a Definição 4.14 e a discussão que se segue).
Como vimos na seção anterior, os algoritmos de Gauss-Seidel e SOR podem ser encarados como algoritmos
de descida. A discussão no parágrafo anterior também pode ser usada para entender a relativa lentidão destes
algoritmos.
A seguir, provaremos a convergência do método da descida mais acentuada.
4.10 Lema. (Desigualdade de Kantorovich) Sejam A ∈ Mn (R) uma matriz simétrica positiva definida e
denote por λmax e λmin seu menor autovalor e seu maior autovalor, respectivamente. Então
para todo x = 0.
〈Ax, x〉 A −1 x, x
〈x, x〉 2
(λmin + λmax) 2
4λminλmax
Prova: Denote os autovalores de A por λ1 . . . λn, de modo que λmin = λ1 e λmax = λn. Como o
quociente à esquerda da desigualdade é homogêneo, basta provar a desigualdade para vetores x unitários.
Como A é simétrica, existem uma matriz diagonal D e uma matriz ortogonal P tais que A = P T DP . Segue
que
〈Ax, x〉 A −1 x, x = P T DP x, x P T D −1 P x, x = 〈DP x, P x〉 D −1 P x, P x .

Rodney Josué Biezuner 70
Denote y = P x = (y1, . . . , yn) e βi = y2 i . Então y também é um vetor unitário e
λ := 〈Dy, y〉 =
n
i=1
βiλi
é uma combinação convexa dos autovalores λi de A, ao passo que
é uma combinação convexa dos autovalores λ −1
i
µ := D −1 y, y =
µ 1
λ1
n
βi
λi
i=1
de A −1 . Consequentemente,
+ 1
−
λn
λ
. (4.20)
λ1λn
De fato, a função ϕ (t) = 1/t é convexa, logo o ponto (λ, µ), que é a combinação convexa de pontos localizados
no gráfico de ϕ, está localizado na região plana convexa limitada pelo gráfico de ϕ e o segmento de reta que
une os pontos extremos do gráfico (λ1, 1/λ1) e (λn, 1/λn), ou seja, o segmento de reta
t ↦−→ − 1
λ1λn
t + 1
λ1
+ 1
, λ1 t λn.
λn
Em particular, o ponto (λ, µ) está abaixo do ponto do segmento correspondente a t = λ.
Portanto,
〈Ax, x〉 A −1 x, x
1
= λµ λ +
λ1
1
−
λn
λ
.
λ1λn
O máximo da função quadrática
é atingido para t = (a + b) /2. Concluímos que
〈Ax, x〉 A −1 x, x λ1 + λn
2
1 1 t
t ↦−→ t + −
a b ab
1
λ1
+ 1
−
λn
λ1
+ λn
2λ1λn
= (λ1 + λn) 2
.
4λ1λn
4.11 Lema. Seja x k+1 = x k + αkp k obtido através de uma busca exata na reta. Então
e
Prova: Temos
r k+1 ⊥ p k
e k+1 ⊥A p k .
b − Ax k+1 = b − Ax k − αkAp k ,
de modo que a seqüência dos resíduos é dada pela fórmula
Logo,
k+1 k
r , p = r k+1 , p k k k
− αk Ap , p = r k , p k −
r k+1 = r k − αkAp k . (4.21)
k k p , r
〈pk , Apk k k
Ap , p
〉
= 0.

Rodney Josué Biezuner 71
A segunda relação de A-ortogonalidade segue diretamente da primeira relação de ortogonalidade; de fato,
lembrando que
Ae k+1 = r k+1 ,
temos e k+1 , p k
A = Ae k+1 , p k = r k+1 , p k = 0.
O significado geométrico deste resultado é que o mínimo do funcional f na reta xk + αkpk ocorre quando a
derivada direcional de f na direção de busca é zero, ou seja,
0 = ∂f k+1
x
∂pk
= ∇f x k+1 k+1
, pk = r , pk .
4.12 Corolário. No método da descida mais acentuada vale
e
r k+1 ⊥ r k
e k+1 ⊥A r k .
4.13 Teorema. Sejam A ∈ Mn (R) uma matriz simétrica positiva definida e denote por λmax e λmin seu
menor autovalor e seu maior autovalor, respectivamente. Então o erro algébrico do método da descida
mais acentuada satisfaz a estimativa
Em particular,
k+1
e
A λmax − λmin
k
e
λmax + λmin
.
A
e k A
λmax − λmin
λmax + λmin
k e 0 A
e portanto o método da descida mais acentuada converge qualquer que seja o chute inicial x 0 .
Prova: Temos
e k+1 = x − x k+1 = x − x k + αkr k = e k − αkr k .
Logo, pelo Corolário 4.12,
k+1
e 2
A = e k+1 , e k+1
A = e k+1 , e k k+1 k
− αk e , r
A
A = e k+1 , e k
A
= e k+1 , Ae k = e k+1 , r k .
Daí, usando a desigualdade de Kantorovich,
e k+1 2
A = e k − αkr k , r k = e k , r k − αk
= e k
k k
, r
k r , r
1 −
k k r , r
= e k
, Ae
k
1 −
= k
e 2
1 −
A
e k 2
A
= e k 2
A
〈rk , Ark 〉 〈ek , rk 〉
k k r , r
k k r , r
r k , r k
〈rk , Ark 〉 〈A−1rk , rk 〉
k k r , r
k k r , r
〈rk , Ark 〉 〈rk , A−1rk 〉
1 − 4λminλmax
(λmin + λmax) 2
λmax − λmin
λmax + λmin
2
.

Rodney Josué Biezuner 72
Observamos que o fator de convergência obtido no Teorema 4.13 é ótimo (veja Exercício 4.6).
Introduzimos o número de condição de uma matriz, que é uma medida do quão mal-comportada ela é.
4.14 Definição. Seja A ∈ Mn (R) uma matriz simétrica positiva definida. O número de condição de A é
definido por
κ (A) = λmax
.
λmin
Quanto menor o número de condição de A, isto é, quanto mais próximo de 1, mais próximos a esferas
são os elipsóides de nível do funcional f; reciprocamente, quando maior o número de condição de A, mais
excêntricos são estes. A constante do Teorema 4.13 pode ser mais convenientemente expressa em termos do
número de condição da matriz:
4.15 Corolário. Sejam A ∈ Mn (R) uma matriz simétrica positiva definida e denote por λmax e λmin seu
menor autovalor e seu maior autovalor, respectivamente. Então o erro algébrico do método da descida
mais acentuada satisfaz a estimativa
k+1
e
κ (A) − 1
k
e A κ (A) + 1
. A
Desta forma, vemos que quanto mais κ (A) é próximo de 1 maior é a velocidade de convergência do método
da descida acentuada; reciprocamente, quando maior κ (A), mais lento ele é.
Reunindo as informações obtidas, um algoritmo para o método da descida mais acentuada pode ser
apresentado da seguinte forma:
initialize x;
set b;
r ← b − Ax;
do ⎡ until stop criterion
compute Ar;
⎢ α ← 〈r, r〉 / 〈r, Ar〉 ;
⎣ x ← x + αr;
r ← r − αAr;
4.3 Exercícios
4.1 Considere a matriz invertível
A =
0 I
I I
onde I é a matriz identidade m × m, e seja V = W = {e1, . . . , em}. Verifique que W T AV é singular.
4.2 Verifique que a matriz W T AV é invertível se e somente se nenhum vetor do subespaço AK é ortogonal
ao subespaço L.
4.3 Sejam B1 = {v1, . . . , vm} e B2 = {w1, . . . , wm} duas bases para o subespaço K ⊂ R n e considere as
matrizes n × m V = [v1 · · · vm] e W = [w1 · · · wm]. Mostre que existe uma matriz m × m invertível P
tal que V = W P .
4.4 Mostre que se A é uma matriz positiva definida n × n e V é uma matriz n × m cujas colunas são
linearmente independentes, então a matriz m × m V T AV também é uma matriz positiva definida.
4.5 Mostre que se A é uma matriz n × m cujas colunas são linearmente independentes, então a matriz
m × m B T B é invertível.
,

Rodney Josué Biezuner 73
4.6 Verifique que a taxa de convergência para o método da descida mais acentuada obtida no Teorema 4.12
é ótima da seguinte maneira: se v1 e vn são os autovetores associados a λmin e λmax, respectivamente,
mostre que se e 0 = v1 + v2, então
e k+1 A = λmax − λmin
λmax + λmin
e k A .
4.7 O número de condição para uma matriz invertível A ∈ Mn (C) qualquer é definido por
κ (A) = A −1
2 A .
2
a) Mostre que se A é uma matriz simétrica positiva definida esta definição coincide com a Definição
4.14.
b) Verifique que κ (A) 1 para toda matriz A.
c) Considere o sistema Ax = b. Se y é uma aproximação de x com erro algébrico e = x − y e erro
residual r = b − Ay, mostre que
1 f2 e2 r2 κ (A)
κ (A) x2 f2 e2 .
x2 Esta desigualdade é ótima, no sentido de que a igualdade é atingida para certos valores de y. Ela
mostra que para uma matriz mal-condicionada (isto é, com um número de condição relativamente
alto), o erro residual pode ser muito pequeno ao mesmo tempo em que o erro algébrico pode ser muito
grande e vice-versa.

Capítulo 5
Métodos de Subespaços de Krylov
Os métodos de projeção deste capítulo estão entre os mais importantes e populares disponíveis. Eles estão
baseados na projeção sobre subespaços de Krylov, que são subespaços gerados por vetores da forma p (A) v
onde p é um polinômio.
5.1 Motivação
Como vimos ao estudar os métodos iterativos lineares para a resolução do sistema Ax = b, estes métodos
consistem em obter uma decomposição apropriada A = B − C da matriz do sistema, onde B é uma matriz
próxima da matriz original A mas fácil de resolver. Então o método iterativo pode ser descrito pela relação
de recorrência
x m+1 = I − B −1 A x m + B −1 b,
onde R = I − B −1 A é a matriz de iteração. A matriz mais fácil de resolver é
B = I,
exceto que esta matriz em geral está muito longe de A. Quando esta escolha é feita, obtemos a chamada
iteração de Richardson:
x m+1 = (I − A) x m + b = x m + b − Ax m
ou, simplesmente,
x m+1 = x m + r m . (5.1)
Assim, o método da iteração de Richardson consiste simplesmente em somar o resíduo da aproximação à
própria aproximação para obter a próxima aproximação. Na verdade, o método de iteração de Richardson
desempenha papel importante na teoria de convergência dos métodos iterativos: por exemplo, todo método
iterativo linear com decomposição A = B − C pode ser visto como a iteração de Richardson aplicada ao
sistema equivalente (precondicionado)
B −1 Ax = B −1 b.
A partir de (5.1) obtemos sua correspondente equação residual:
Através da iteração para trás desta equação obtemos
r m+1 = (I − A) r m . (5.2)
r m = (I − A) m r 0
(5.3)
= pm (A) r 0 , (5.4)
74

Rodney Josué Biezuner 75
ou seja, o m-ésimo resíduo é da forma pm (A) r 0 onde pm é um polinômio de grau m. Além disso, como
x m+1 = x m + r m = x m−1 + r m−1 + r m = . . . =
=
m
j=0
(I − A) j r 0 ,
m
r j
segue que as aproximação também são da forma qm (A) r 0 onde qm é um polinômio de grau igual a m.
Portanto, tanto os resíduos r0 , . . . , rm como as aproximações x0 , . . . , xm pertencem ao subespaço
0
Km+1 A, r = p (A) r 0 : p é um polinômio de grau menor que ou igual a m
= r 0 , Ar 0 , . . . , A m r 0 .
5.2 Subespaços de Krylov
5.1 Definição. Dada uma matriz A ∈ Mn (C) e um vetor v ∈ C n , definimos o subespaço de Krylov
Km (A, v) = v, Av, . . . , A m−1 v . (5.5)
Em outras palavras, Km (A, v) é o subespaço de todos os vetores que podem ser escritos na forma w = p (A) v,
onde p é um polinômio de grau menor que ou igual a m−1. Se não houver motivo para confusão denotaremos
o subespaço de Krylov Km (A, v) simplesmente por Km.
Como vimos no capítulo anterior, um método de projeção geral para resolver o sistema linear
Ax = b
extrai uma solução aproximada x m de um subespaço afim x 0 + Km de dimensão m através da imposição da
condição de Petrov-Galerkin
r m = b − Ax m ⊥ Lm.
Um método de subespaço de Krylov é um método de projeção para o qual o subespaço Km é o subespaço
de Krylov
0
Km A, r = r 0 , Ar 0 , . . . , A m−1 r 0 . (5.6)
As diferentes versões de métodos de subespaço de Krylov decorrem principalmente das diferentes escolhas
de Lm.
Lembramos alguns fatos de Álgebra Linear.
5.2 Definição. O polinômio mínimo de um vetor v com respeito à matriz A (também chamado o Aanulador
de v) é o polinômio mônico de menor grau p que anula v, isto é, tal que p (A) v = 0. O grau
do polinômio mínimo é chamado o grau de v com respeito a A.
É uma consequência do Teorema de Cayley-Hamilton que
grau v n.
5.3 Proposição. Seja d = grau v. Então Kd é invariante por A e Kd = Km para todo m d.
Além disso,
se e somente se m d. Portanto,
dim Km = m
dim Km = min {m, d} .
j=0

Rodney Josué Biezuner 76
Prova: Os vetores v, Av, . . . , A m−1 v formam uma base para Km se e somente se o único polinômio de grau
menor ou igual a m − 1 que anula v é o polinômio nulo.
Apesar dos vetores v, Av, . . . , A m−1 v formarem uma base para o subespaço de Krylov Km (quando m
grau v), esta é uma base mal-condicionada, no sentido que à medida que k aumenta o vetor A k v fica cada vez
mais próximo do autovetor associado ao maior autovalor de A, como veremos em detalhe quando estudarmos
o método de potências para obter autovalores de matrizes. Assim, para m grande os vetores v, Av, . . . , A m−1 v
tornam-se aproximadamente linearmente dependentes, o que torna-se um problema em aritmética de precisão
finita. Para obter uma base bem condicionada para o subespaço de Krylov é necessário usar um método de
ortogonalização, como veremos a seguir.
5.3 Algoritmo de Arnoldi
O método de Arnoldi é um método de projeção ortogonal em subespaços de Krylov, ou seja, Lm = Km =
0
Km A, r , aplicável para matrizes gerais, não necessariamente hermitianas. O procedimento foi introduzido
pela primeira vez em 1951 como uma maneira de calcular a forma de Hessenberg de matrizes densas. Arnoldi
sugeriu que os autovalores da forma de Hessenberg, obtida através de menos que n passos, eram boas
aproximações para alguns dos autovalores da matriz original. Posteriormente, verificou-se que isso conduz
a uma técnica eficiente para a aproximação dos autovalores de matrizes esparsas grandes, como veremos
em detalhes quando formos estudar métodos para a obtenção de autovalores de matrizes. Posteriormente o
método foi estendido para a solução de sistemas lineares esparsos grandes.
O algoritmo de Arnoldi , propriamente dito, é um procedimento para a construção de uma base ortonormal
para o subespaço de Krylov Km, já que, como observado antes, a base natural v, Av, . . . , Am−1v não é
bem condicionada. Simplesmente ortogonalizar esta base mal-condicionada também não é uma boa opção
numérica. No algoritmo de Arnoldi, o processo de ortogonalização de Gram-Schmidt é usado da seguinte
maneira. Inicialmente obtém-se o primeiro vetor unitário através da normalização do vetor v:
v1 = v
v .
Em seguida, calcula-se o vetor Av1 (ao invés de Av) e ortogonaliza-se este vetor com relação ao vetor v1
através do método de Gram-Schmidt:
w1 = Av1 − proj Av1 = Av1 − 〈Av1, v1〉 v1,
〈v1〉
v2 = w1
w1 .
Tendo sido obtido o vetor v2, calcula-se Av2 (ao invés de A 2 v = A (Av)) e ortogonaliza-se este vetor com
relação aos vetores v1, v2 através do método de Gram-Schmidt:
w2 = Av2 − proj Av2 = Av2 − 〈Av2, v1〉 v1 − 〈Av2, v2〉 v2,
〈v1,v2〉
v3 = w2
w2 .
No passo geral, tendo sido obtido o vetor vj no passo anterior, calcula-se e ortogonaliza-se este vetor com
relação aos vetores v1, . . . , vj obtidos nos passos anteriores através do método de Gram-Schmidt:
wj = Avj − proj
〈v1,...,vj〉
Avj = Avj −
j
〈Avj, vi〉 vi, (5.7)
i=1
vj+1 = wj
. (5.8)
wj

Rodney Josué Biezuner 77
Podemos resumir este procedimento no seguinte algoritmo:
Algoritmo de Arnoldi
Atribua v;
v1 ← v/ v2 ;
Para
⎡
j = 1, . . . , m faça:
Calcule hij = 〈Avj, vi〉 para i = 1, . . . , j;
⎢ Calcule wj = Avj −
⎢
⎣
j
hijvi;
i=1
hj+1,j = wj2 ;
Se hj+1,j = 0 então pare;
vj+1 ← wj/hj+1,j;
fim do laço
O algoritmo sofre um colapso se o vetor wj é nulo e o vetor vj+1 não pode mais ser calculado.
5.4 Proposição. Assuma que o algoritmo de Arnoldi não pára antes do m-ésimo passo. Então os vetores
v1, . . . , vm formam uma base ortonormal para o subespaço de Krylov
Km (A, v1) = v1, Av1, . . . , A m−1
v1
Prova: Os vetores v1, . . . , vm são ortonormais por construção, logo são linearmente independentes. Basta
então mostrar que v1, . . . , vm ∈ Km (A, v1) para concluir que eles formam uma base para Km (A, v1). Para
isso, basta mostrar que cada vetor vj é da forma qj−1 (A) v1 para algum polinômio qj−1 de grau j − 1. Isso
pode ser visto por indução. Se j = 1, temos q0 (t) ≡ 1. Assumindo o resultado verdadeiro para todos os
inteiros até j, considere vj+1. Temos
hj+1,jvj+1 = wj = Avj −
j
hijvi = Aqj−1 (A) v1 −
i=1
de modo que vj+1 = qj (A) v1 para qj = (1/hj+1,j)
j
hijqi−1 (A) v1,
i=1
tqj−1 (t) − j
hijqi−1 (t) , que é um polinômio de grau
j.
O significado do colapso do algoritmo de Arnoldi, quando o vetor vj+1 não pode ser mais calculado é
dado a seguir:
5.5 Proposição. O algoritmo de Arnoldi sofre um colapso no passo j, isto é hj+1,j = 0, se e somente se
o polinômio mínimo de v tem grau j. Além disso, neste caso o subespaço Kj é invariante por A e
portanto a solução obtida pelo método de projeção associado é exata.
Prova: Se o grau de v é j, então hj+1,j = 0, caso contrário vj+1 poderia ser definido e pela Proposição 5.4
Kj+1 teria dimensão j + 1 maior que o grau de v, contrariando a Proposição 5.3.
Reciprocamente, assuma hj+1,j = 0. Então pelas Proposições 5.3 e 5.4 o grau de v é d j. Mas pela
primeira parte desta demonstração, não podemos ter d < j, pois isso implicaria hd+1,d = 0 e o algoritmo já
teria entrado em colapso no passo d.
O restante do enunciado segue diretamente da Proposição 5.3 e da Proposição 4.6.
Por isso, tais colapsos são chamados colapsos sortudos. Infelizmente eles raramente ocorrem na prática, mas
mesmo quando isso não ocorre as iteradas obtidas aproximam a solução exata em um número relativamente
pequeno de iterações se comparado com os métodos lineares básicos.
Vamos agora representar o algoritmo de Arnoldi em uma forma matricial.
5.6 Definição. Dizemos que A = (aij) é uma matriz de Hessenberg se aij = 0 para todo i > j + 1
(matriz de Hessenberg superior) ou se aij = 0 para todo i < j − 1 (matriz de Hessenberg inferior).
i=1

Rodney Josué Biezuner 78
Assim, uma típica matriz de Hessenberg superior quadrada m × m é da forma
⎡
h11
⎢ h21 ⎢
0
⎢
0
H = ⎢ 0
⎢
.
⎢ .
⎢
⎣
.
.
h12
h22
h32
0
0
.
.
.
.
h13
h23
h33
h43
0
.
.
.
.
h14
h24
h34
h44
. ..
. ..
. . .
. . .
. . .
. ..
. ..
. ..
. ..
. ..
. ..
. ..
. . .
. . .
. . .
. . .
. ..
. ..
h1m
h2m
h3m
h4m
.
.
.
.
hm−1,m
⎤
⎥ ,
⎥
⎦
(5.9)
0 0 0 0 . . . 0 hm,m−1 hmm
ou seja, é uma matriz obtida a partir de uma matriz triangular superior em que a subdiagonal inferior é
preenchida. Similarmente, uma matriz de Hessenberg inferior quadrada é uma matriz obtida a partir de uma
matriz triangular inferior em que a subdiagonal superior é preenchida. Uma típica matriz de Hessenberg
superior (m + 1) × m é da forma
⎡
h11
⎢ h21 ⎢
0
⎢
0
⎢
H = ⎢ 0
⎢ .
⎢ .
⎢ .
⎢ .
⎣ 0
h12
h22
h32
0
0
.
.
0
h13
h23
h33
h43
0
.
.
0
h14
h24
h34
h44
. ..
. ..
0
. . .
. . .
. . .
. ..
. ..
. ..
. ..
. . .
. ..
. ..
. ..
0
. . .
. . .
. . .
. . .
. ..
. ..
hm,m−1
h1m
h2m
h3m
h4m
.
.
hm−1,m
hmm
⎤
⎥ .
⎥
⎦
(5.10)
0 0 0 0 0 0 0 hm+1,m
A partir daí, em uma matriz de Hessenberg superior n×m com n > m+1 todas as linhas i tais que i > m+1
são nulas.
5.7 Proposição. Denote por Vm a matriz n × m cujas colunas são os vetores v1, . . . , vm, por Hm a matriz
de Hessenberg (m + 1) × m cujas entradas não-nulas são os elementos hij definidos pelo algoritmo de
Arnoldi e por Hm a matriz m × m obtida de através da eliminação da última linha de Hm. Então
valem as seguintes relações:
AVm = VmHm + wme T m = Vm+1 Hm, (5.11)
V T m AVm = Hm. (5.12)
Prova: Se M é uma matriz, denotemos por (M) j a sua j-ésima coluna. Do algoritmo de Arnoldi temos,
para j = 1, . . . , m,
Por outro lado,
(AVm) j = Avj =
j
i=1
Vm+1 Hm
hijvi + wj =
kj
=
m+1
i=1
j
i=1
j+1
hijvi + hj+1,jvj+1 =
j+1
hijvi =
i=1
hijvi,
hijvi. (5.13)
i=1

Rodney Josué Biezuner 79
de modo que segue de (5.13) que
Vm+1 Hm
j
j+1
= hijvi = (AVm) j ,
logo AVm = Vm+1 Hm. Da mesma forma, para j = 1, . . . , m − 1,
de modo que
i=1
j+1
(VmHm) j =
i=1
wme T
m = 0,
j
hijvi,
VmHm + wme T
m j =
j+1
hijvi = (AVm) j
i=1
para j = 1, . . . , m − 1, enquanto que para j = m temos
de modo que
(VmHm) m =
m
himvi,
i=1
wme T
m m = wm = hj+1,jvm+1,
VmHm + wme T
m m =
m+1
i=1
hijvi = (AVm) m .
Portanto, AVm = VmHm + wme T m. Finalmente, multiplicando ambos os lados desta última relação por V T m e
usando o fato que os vetores v1, . . . , vm são ortonormais e wm é ortogonal a todos eles, segue que V T m Vm = I
e V T
m wmeT
T T
m = Vm wm em = 0, donde obtemos a última relação do enunciado desta proposição.
5.4 Implementação Prática: Métodos de Ortogonalização Estáveis
O algoritmo de Gram-Schmidt é numericamente instável: pequenos erros de arredondamento podem dar
origem a vetores muito longe de serem ortogonais (veja Exercício 5.1). Na implementação prática do algoritmo
de Arnoldi é necessário considerar métodos de ortogonalização numericamente estáveis.
5.4.1 Método de Gram-Schmidt Modificado (MGS)
O método de Gram-Schmidt modificado (MGS) é uma modificação pequena do método de Gram-
Schmidt que produz um algoritmo de ortogonalização estável. Na ausência de erros de arredondamento,
eles produzem os mesmos vetores. No algoritmo de Gram-Schmidt clássico, dada uma base {u1, . . . , um} de
um subespaço vetorial, uma vez calculados os vetores ortonormais v1, . . . , vj−1 correspondentes, os escalares
hij = 〈uj, vi〉, i = 1, . . . , j −1 são todos calculados simultaneamente para produzir o próximo vetor ortogonal
unitário vj
j−1
wj = uj − hijvi, (5.14)
i=1
vj = wj
. (5.15)
wj

Rodney Josué Biezuner 80
No método modificado, assim que o primeiro vetor ortogonal v1 = u1 é obtido, todos os vetores u2, . . . , um
são atualizados através do escalar h1i = 〈ui, v1〉:
v 1 i = ui − h1iv1, i = 2, . . . , m.
Assim, os vetores v1 2, . . . , v1 m já são ortogonais a v1. Em particular, podemos tomar v2 = v1 2/ v1
2 . Uma
2
:
vez obtido v2, todos os vetores v1 3, . . . , v1 m são atualizados através dos escalares h2i = v1 i , v2
v 2 i = v 1 i − h2iv2, i = 3, . . . , m.
Assim, os vetores v2 3, . . . , v2 m são ortogonais a v1 e v2. Em particular, tomamos v3 = v2 3/ v2
3 e continuamos o
processo até o fim. Em geral, no passo j, uma vez obtido o vetor unitário vj, ortogonal aos vetores ortonormais
v1, . . . , vj−1, os vetores v j−1
j+1 , . . . , vj−1 m que já eram ortogonais aos vetores v1, . . . , vj−1, são atualizados através
dos escalares hji =
e tomamos
v j−1
j
, vj
para produzir vetores v j
j+1 , . . . , vj m ortogonais a v1, . . . , vj−1, vj:
v j
i
= vj−1
i − hjivj, i = j + 1, . . . , m, (5.16)
vj+1 = vj j+1
v j
. (5.17)
j+1
.
Em aritmética exata, os algoritmos de Gram-Schmidt e de Gram-Schmidt modificado são equivalentes;
além disso, eles têm o mesmo custo computacional (2m2n flops) e de armazenamento ((m + 1) n). Para
entender porque o MGS é mais estável, observe que os dois métodos são idênticos no cálculo de v1 e v2. A
primeira diferença surge no cálculo de v3. No método de Gram-Schmidt clássico (GS) temos
com
w GS
3 = v3 − h13v1 − h23v2
h13 = 〈u3, v1〉 e h23 = 〈u3, v2〉 .
O termo h23v2 é a componente de u3 na direção de v2. Quando este componente é removido de u3, obtemos
um vetor ortogonal a v2, desde que o escalar h23 seja calculado com exatidão. No método MGS primeiro
calculamos
v 1 3 = u3 − h13v1
e depois
com
Daí,
w MGS
3
v 2 3 = v 1 3 − h23v2,
h13 = 〈u3, v1〉 = h13 e h23 = v 1
3, v2 .
= v 2 3 = u3 − h13v1 − h23v2 = u3 − h13v1 − h23v2
Em princípio, u3 e v 1 3 = u3 − h13v1 têm as mesmas componentes na direção de v2, já que v1 é ortogonal
a v2, e não faria diferença usar h23 ou h23. Na prática, os vetores v1 e v2 não são exatamente ortogonais,
por causa de erros de arredondamento, portanto o termo h13v1 tem uma pequena componente na direção de
v2. Além disso, erros de arredondamento também ocorrem na subtração de h13v1 de u3, portanto este vetor
diferença também tem uma componente na direção de v2. O método de Gram-Schmidt clássico ignora estes
erros, enquanto que o método modificado, trabalhando com o vetor v 1 3 ao invés de u3, leva estes erros em
conta e os corrige no cálculo de h23.

Rodney Josué Biezuner 81
Para obter um algoritmo computacionalmente implementável para o MGS, observe que enquanto que no
método de Gram-Schmidt clássico, uma vez obtidos os vetores ortonormais v1, . . . , vj−1 obtemos o próximo
vetor ortogonal unitário vj fazendo
wj = uj −
vj = wj
wj ,
no método de Gram-Schmidt modificado fazemos
v j−2
j
v j−1
j
j
projvi uj,
i=1
v 1 j = uj − proj v1 uj,
v 2 j = v 1 j − proj v2 v1 j ,
v 3 j = v 2 j − proj v3 v 2 j ,
.
. (5.18)
= vj−3 j
= vj−2 j
vj = vj−1 j
v j−1
.
j
− projvj−2 vj−3 j ,
− projvj−1 vj−2 j ,
Usando o MGS, o algoritmo de Arnoldi tem o seguinte aspecto. Obtém-se o primeiro vetor unitário
através da normalização do vetor v:
v1 = v
v .
Em seguida, calcula-se o vetor Av1 e ortogonaliza-se este vetor com relação ao vetor v1:
v 1 2 = Av1 − proj v1 Av1 = Av1 − 〈Av1, v1〉 v1,
v2 = v1 2
v 1 2 .
Como já observado anteriormente, até aqui o MGS é idêntico ao método de Gram-Schmidt clássico. Tendo
sido obtido o vetor v2, calcula-se Av2 e ortogonaliza-se este vetor primeiro com relação ao vetor v1 e depois
o vetor resultante é ortogonalizado com relação ao vetor v2:
v 1 3 = Av2 − projv1 Av2 = Av2 − 〈Av2, v1〉 v1,
v 2 3 = v 1 3 − projv2 v 1 3 = v 1 3 − v 1
3, v2 v2,
v3 = v2 3
v 2 3 .
No passo geral, tendo sido obtido o vetor vj no passo anterior, calcula-se Avj e ortogonaliza-se este vetor
com relação ao primeiro vetor v1; em seguida o vetor resultante é ortogonalizado com relação ao vetor v2, e

Rodney Josué Biezuner 82
assim por diante, até que o vetor resultante do passo anterior seja ortogonalizado com relação ao vetor vj:
v 1 j = Avj − projv1 Avj = Avj − 〈Avj, v1〉 v1,
v2,
v j−1
j
v 2 j = v 1 j − proj v2 v1 j = v 1 j − v 1 j , v2
.
= vj−2 j − projvj−1 vj−2 j
v j
j = vj−1 j − projvj vj−1 j
vj+1 = vj j
v j
.
j
= vj−2 j
= vj−1 j −
Podemos resumir este procedimento no seguinte algoritmo:
−
v j−2
j
v j−1
j
Algoritmo de Arnoldi MGS
Atribua v;
v1 ← v/ v2 ;
Para ⎡ j = 1, . . . , m faça
Calcule wj = Avj;
⎢ Para
i = 1, . . . , j faça
⎢ hij ⎢ ← 〈wj, vi〉 ;
⎢ wj ⎢ ← wj − hijvi
⎢ fim do laço
⎢ hj+1,j ⎢ = wj2 ;
⎣ Se hj+1,j = 0 então pare;
vj+1 ← wj/hj+1,j;
fim do laço
, vj
vj−1, (5.19)
vj,
Embora o MGS seja mais estável, em situações onde os erros de cancelamento podem ser muito severos
nos passos de ortogonalização é necessário considerar métodos ainda mais estáveis.
, vj−1
5.4.2 Método de Gram-Schmidt Modificado com Reortogonalização (MGSR)
que deve
ser
ortogonal aos vetores w1, . . . , wj−1. Isso pode ser verificado diretamente, calculando os produtos internos
v (j−1)
j , wi e verificando se eles são próximos de 0 dentro de uma margem de tolerância pre-estabelecida. Se
temos que nos dar a este trabalho, é melhor aproveitar os cálculos destes produtos internos e fazer logo uma
segunda ortogonalização. Assim no primeiro loop do algoritmo MGS anterior acrescentamos um segundo
loop: ⎡
Calcule wj = Avj;
⎢ Para
i = 1, . . . , j faça
⎢ hij ⎢ ← 〈wj, vi〉 ;
⎢ wj ⎢ ← wj − hijvi
⎢ Para ⎡ i = 1, . . . , j faça
⎢ γ ← 〈wj, vi〉 ;
⎢ ⎣ wj ⎢ ← wj − γvi;
⎢ hij ⎢ ← hij + γ;
⎢ fim do laço
⎢ hj+1,j ⎢ = wj2 ;
⎣ Se hj+1,j = 0 então pare;
vj+1 ← wj/hj+1,j;
Uma melhoria simples é recorrer à ortogonalização dupla. Ou seja, no passo j obtemos o vetor v (j−1)
j

Rodney Josué Biezuner 83
Ortogonalizações adicionais são supérfluas: duas ortogonalizações são suficientes para fazer o vetor wj ortogonal
aos vetores w1, . . . , wj−1 na precisão de máquina (veja [Watkins], p. 233, ou [Saad], p. 156).
GS MGS MGSR
Flops 2m 2 n 2m 2 n 4m 2 n
Armazenagem (m + 1) n (m + 1) n (m + 1) n
5.5 Método de Arnoldi para Sistemas Lineares
Dado um chute inicial x0 para a solução do sistema linear Ax = b, o método de Arnoldi para sistemas
lineares é um método de projeção ortogonal em que
0
K = L = Km A, r = r 0 , Ar 0 , A 2 r 0 , . . . , A m−1 r 0
em que r 0 = b−Ax 0 . Portanto, o método busca uma solução aproximada x m ∈ x 0 +Km impondo a condição
de Galerkin
r m = b − Ax m ⊥ Km.
De acordo com o capítulo anterior, se Vm = [v1 · · · vm] é uma matriz cujas colunas formam uma base
ortonormal para Km, obtidas através do algoritmo de Arnoldi, temos
com
x m = x 0 + Vmy m
y m = V T −1 T
m AVm Vm r 0 = H −1
m V T m r 0 = H −1
m V T
r m
0
v1 = r 0 H −1
m V T m (v1)
= r 0 H −1
m (e1) .
Baseados nestas observações, temos então o seguinte método de Arnoldi para sistemas lineares, chamado
método da ortogonalização completa (ou FOM de full orthogonalization method):
Algoritmo de Arnoldi para Sistemas Lineares FOM
Inicialize x 0 ;
Calcule r 0 = b − Ax 0 ;
Calcule β = r 0 2 ;
v1 ← r 0 /β;
Inicialize a matriz Hm = (hij) m×m = 0;
Para ⎡ j = 1, . . . , m faça
Calcule wj = Avj;
⎢ Para i = 1, . . . , j faça
⎢ hij ⎢ ← 〈wj, vi〉 ;
⎢ wj ⎢ ← wj − hijvi
⎢ fim do laço
⎢ hj+1,j ⎢ = wj2 ;
⎣ Se hj+1,j = 0 tome m := j e saia do laço;
vj+1 ← wj/hj+1,j;
fim do laço
Calcule ym = βH −1
m (e1) ; //não é necessário encontrar H−1 m
Calcule xm = x0 + Vmym .
Este algoritmo pode ser também obtido diretamente. A condição de Galerkin r m ⊥ Km
A, r 0 é equivalente
a
V T m (b − Ax m ) = 0

Rodney Josué Biezuner 84
ou
V T m Ax m = V T m b
Escolhendo o chute inicial x 0 = 0 para simplificar, temos que b = r 0 = r 0 v1, donde
V T m Ax m = r 0 V T m v1 = r 0 e1.
Como xm
0 ∈ Km A, r , podemos escrever xm = Vmym para algum vetor ym ∈ Rm . Logo
V T m AVmy m = r 0 e1,
0 que pode ser interpretado como o sistema Ax = b projetado no subespaço Km A, r . Usando o fato que
V T m AVm = Hm, segue que
H m y m = 0
r e1. (5.20)
Resolvendo este sistema obtemos y m e daí a aproximação
x m = Vmy m . (5.21)
Como em geral m ≪ n, este sistema é bem mais fácil de resolver que o sistema original, possibilitando
o uso de métodos diretos. De fato, embora a matriz de Hessenberg seja uma matriz densa, como ela é
quase triangular uma decomposição QR passa a ser competitiva com a decomposição LU e é indicada (para
matrizes gerais, o custo da decomposição LU é a metade do custo da decomposição QR). Maiores detalhes
serão fornecidos na próxima seção.
O algoritmo depende do parâmetro m que em geral deve ser selecionado dinamicamente. Em geral, m é
progressivamente aumentado até que o resíduo r m é menor que alguma tolerância previamente estabelecida.
Ao invés de calcular o resíduo diretamente, podemos obter a norma do resíduo de maneira menos custosa
através do seguinte resultado:
5.8 Proposição. O resíduo calculado através do método de Arnoldi FOM satisfaz
logo
Em particular, os resíduos são ortogonais.
Prova: Temos, pela Proposição 5.7,
r m = −hm+1,m 〈em, y m 〉 v m+1 ,
r m
2 = hm+1,m e T my m (5.22)
r m = b − Ax m = b − A x 0 + Vmy m
= r 0 − AVmy m
= r 0 v1 − VmHm + wme T m
y m
= r 0 v1 − VmHmy m − wme T m
m y
= r 0
v1 − Vm r 0 e1 − hm+1,mv m+1 e T my m
= −hm+1,m 〈em, y m 〉 v m+1 .

Rodney Josué Biezuner 85
5.6 Decomposição QR via MGS
Lembramos que uma decomposição QR de uma matriz A é uma fatorização
A = QR (5.23)
onde Q é uma matriz ortogonal (no caso real, unitária no caso complexo) e R é uma matriz triangular superior.
Usando esta decomposição, podemos resolver o sistema linear Ax = b da seguinte maneira. Multiplicando
ambos os lados da equação por Q T obtemos
Q T Ax = Q T b,
de modo que o sistema original é equivalente ao sistema
Rx = Q T b (5.24)
cuja matriz de coeficientes é uma matriz triangular superior, logo pode ser resolvido por substituição.
Para calcular a decomposição QR de uma matriz, um dos métodos que podem ser usados é o próprio
MGS. Outros métodos serão vistos no capítulo sobre autovalores. Para facilitar a compreensão, veremos
primeiro como fazer a decomposição QR usando o método de Gram-Schmidt modificado. No que se segue
assumiremos que A é uma matriz n×m cujas m colunas são linearmente independentes. Escrevendo a matriz
A em colunas
A =
A1 A2 · · · Am , (5.25)
aplicamos o método de Gram-Schmidt às colunas de A, obtendo
Resolvendo em termos de Aj, podemos escrever
com
Assim, tomando
e
j−1
wj = Aj − 〈Aj, vi〉 vi, (5.26)
i=1
vj = wj
. (5.27)
wj
j−1
Aj = rijvi + wj vj =
⎡
⎢
R = ⎢
⎣
i=1
j
i=1
rijvi
(5.28)
rij = 〈Aj, vi〉 , (5.29)
rjj = wj . (5.30)
Q = v1 v2 · · · vm
r11 r12 r13 . . . r1m
0 r22 r23 . . . r2m
0
0
0
0
r33
0
. . .
. ..
r3m
.
. . .
. .. . .. .
0 0 0 . . . 0 rmm
⎤
⎥
⎦
(5.31)
(5.32)

Rodney Josué Biezuner 86
segue que
A1 A2 · · · Am
= v1 v2 · · · vm
⎡
r11
⎢
0
⎢
⎢
0
⎢ 0
⎢ .
⎣ .
r12
r22
0
0
.
.
r13
r23
r33
0
.
.
. . .
. . .
. . .
. ..
. .. . ..
r1m
r2m
r3m
.
.
.
⎤
⎥ ,
⎥
⎦
(5.33)
0 0 0 . . . 0 rmm
ou seja, A = QR.
Devido aos problemas da instabilidade do método de Gram-Schmidt clássico, é melhor usar o método de
Gram-Schmidt modificado para fazer a decomposição QR de uma matriz. Resolvendo o j-ésimo passo do
MGS
em termos de Aj, denotando
segue que
onde definimos
v j−2
j
v j−1
j
v 1 j = Aj − 〈Aj, v1〉 v1,
v 2 j = v 1 j − v 1 j , v2
v 3 j = v 2 j − v 2 j , v3
.
= vj−3 j
−
v2,
v3,
v j−3
j
= vj−2 j −
v j−2
j
vj = vj−1 j
v j−1
,
Aj = v 1 j + 〈Aj, v1〉 v1
= v 2 j + v 1 j , v2
= v 3 j + v 2
j , v3 v3 + v 1 j , v2
. . .
= v j−1
j
+
j−1
i=1
= v j−1
j−1
vj +
=
j
j
i=1
rijvi,
j
, vj−2 vj−2,
, vj−1 vj−1,
v 0 j = Aj, (5.34)
v2 + 〈Aj, v1〉 v1
v2 + 〈Aj, v1〉 v1
i−1
vj , vi vi
i=1
i−1
vj , vi vi
(5.35)
rij = v i−1
j , vi se i = 1, . . . , j − 1, (5.36)
rjj = v j−1
. (5.37)
Assim, se Q e R são definidas como em (5.31) e (5.32), novamente nós temos A = QR.
j

Rodney Josué Biezuner 87
5.7 Algoritmo de Lanczos e Método do Gradiente Conjugado
O algoritmo de Lanczos pode ser visto como uma simplificação do método de Arnoldi para matrizes simétricas.
Quando a matriz A é simétrica, a matriz de Hessenberg Hm torna-se uma matriz tridiagonal simétrica, pois
Hm = V T m AVm e uma matriz de Hessenberg simétrica é necessariamente tridiagonal. Isso leva a uma
recorrência de três termos no processo de Arnoldi e a recorrências curtas para algoritmos de solução tais
como o FOM.
A notação padrão para descrever o algoritmo de Lanczos é obtida tomando
αj = hjj,
βj = hj−1,j
de modo que a matriz de Hessenberg Hm resultante tem a forma
⎡
⎢
Tm = ⎢
⎣
α1 β2
β2 α2 β3
. .. . ..
. ..
βm−1 αm−1 βm
(na notação padrão do algoritmo de Lanczos, a matriz de Hessenberg Hm é denotada por Tm, para enfatizar
a sua tridiagonalidade). Isto leva à seguinte variação MGS do método de Arnoldi (FOM):
βm
Algoritmo de Lanczos com MGS
Inicialize x0 ;
Calcule r0 = b − Ax0 ;
Calcule β = r0 ;
2
v1 ← r0 /β;
Inicialize β1 = 0, v0 ≡ 0;
Para ⎡ j = 1, . . . , m faça
wj ← Avj − βjvj−1;
⎢ αj ⎢ ← 〈wj, vi〉 ;
⎢ wj ⎢ ← wj − αjvj;
⎢ βj+1 ⎢ ← wj ;
⎣ Se βj+1 = 0 então pare;
vj+1 ← wj/ βj+1;
fim do laço
Atribua a matriz Tm = tridiag (βi, αi, βi+1);
Atribua a matriz Vm = [v1 · · · vm] ;
αm
Calcule ym = T −1
m (βe1) ; //não é necessário encontrar T −1
m
Calcule xm = x0 + Vmym .
Este algoritmo pode ser consideravelmente simplificado, através da obtenção de uma fórmula de recorrência
de três termos, levando ao método do gradiente conjugado. Primeiro, fazemos uma decomposição LU da
matriz tridiagonal Tm = LmUm sem pivôs:
⎡
1
⎢ µ2 ⎢ 1
⎢
Tm = µ3 ⎢ 1
⎢
⎣
. ..
Lm
⎤
⎡
. ..
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎦ ⎢
⎣
µm 1
η1 β2
η2 β3
η3
Um
⎤
⎥
⎦
. ..
. .. βm
ηm
⎤
⎥
⎦
(5.38)

Rodney Josué Biezuner 88
onde os coeficientes das matrizes bidiagonais Lm e Um podem ser obtidas através da seguinte fórmula de
recorrência:
isto é,
η1 = α1,
µ2 = β2η −1
1 ,
η2 = α2 − µ2β2,
µ3 = β3η −1
2 ,
.
µm = βmη −1
m−1 ,
ηm = αm − µmβm,
µj = βjη −1
j−1 , (5.39)
ηj = αj − µjβj. (5.40)
(Observe que ηj = 0 para todo j porque Tm é simétrica, positiva definida.) A solução aproximada é dada
então por
Definindo
segue que
x m = x 0 + VmU −1
m L −1
m (βe1) . (5.41)
Pm = VmU −1
m , (5.42)
z m = L −1
m (βe1) , (5.43)
x m = x 0 + Pmz m . (5.44)
Por causa da estrutura triangular superior bidiagonal de Um, Pm pode ser atualizada facilmente. De fato,
escreva Pm em colunas:
Pm = p1 p2 · · · pm
.
Da relação PmUm = Vm segue que
donde
βmpm−1 + ηmpm = vm,
pm = η −1
m (vm − βmpm−1) . (5.45)
Além disso, por causa da estrutura triangular inferior bidiagonal com diagonal unitária de Um, da relação
Lmz m = βe1 segue que
µmz m j−1 + z m j = 0
para j > 1, e portanto podemos escrever (lembrando que zm é um vetor de Rm assim como ym )
z m
m−1 z
=
ζm
com
Assim,
(5.46)
ζ m = −µmζ m−1 . (5.47)
x m = x 0 + Pm−1 pm
z m−1
ζ m
= x 0 + Pm−1z m−1 + ζ m pm,

Rodney Josué Biezuner 89
donde
x m = x m−1 + ζ m pm. (5.48)
Isso dá a seguinte versão direta para o algoritmo de Lanczos para sistemas lineares:
Algoritmo de Lanczos Direto
Inicialize x 0 ;
Calcule r 0 = b − Ax 0 ;
Calcule ζ 1 = β = r 0 2 ;
v1 ← r 0 /β;
Inicialize β1 = µ1 ≡ 0;
Inicialize p0 ≡ 0;
Para
⎡
m = 1, 2, . . . , até limite de tolerância faça
⎢
⎣
w ← Avm − βmvm−1;
αm ← 〈w, vm〉 ;
Se m > 1 então
µm ← βm/ηm−1;
ζ m ← −µmζ m−1 ;
ηm ← αm − µmβm;
pm ← (vm − βmpm−1) /ηm;
x m ← x m−1 + ζ m pm;
w ← w − αmvm;
βm+1 ← w ;
Se βm+1 = 0 então pare;
vm+1 ← w/ βm+1;
fim do laço
Este algoritmo ainda pode ser consideravelmente simplificado. O resultado, uma fórmula tripla de
recorrência, extremamente simples e que não envolve o cálculo da base ortonormal {v1, . . . , vm}, é o chamado
método do gradiente conjugado (CG). Para obtê-lo, observamos primeiramente que os vetores pm são
A-conjugados (isto é, A-ortogonais):
5.9 Proposição.
para todos i = j.
Prova: Para provar isso, basta mostrar que
é uma matriz diagonal. Isso segue de
〈pi, pj〉 A = 〈Api, pj〉 = 0 (5.49)
P T mAPm
P T mAPm = U −T
m V T m AVmU −1
m
= U −T
m TmU −1
m
= U −T
m Lm
e do fato que U −T
m Lm é uma matriz triangular inferior (a inversa de uma matriz triangular superior é uma
matriz triangular superior e o produto de duas matrizes triangulares inferiores é uma matriz triangular
inferior) que é simétrica.
Usando a notação padrão do método do gradiente conjugado (ou seja, agora os escalares αm, βm terão
um significado completamente diferente do anterior), reescrevemos (5.48) na forma
x m+1 = x m + αmp m , (5.50)

Rodney Josué Biezuner 90
de modo que os resíduos satisfazem
r m+1 = r m − αmAp m . (5.51)
Como os resíduos são ortogonais (Proposição 5.8), segue que 〈r m − αmAp m , r m 〉 = 0, donde
Reescrevemos também (5.45) na forma
αm = 〈rm , rm 〉
〈Apm , rm . (5.52)
〉
p m+1 = r m+1 + βmp m ; (5.53)
para isso usamos a Proposição 5.8 e fazemos uma mudança de escala nos vetores p m (isso não altera a
validade de (5.50), em que assumimos os vetores p m tomados já com a mudança de escala; assim os vetores
p m do algoritmo do gradiente conjugado considerado aqui também são diferentes dos vetores considerados
acima no algoritmo de Lanczos, sendo múltiplos adequados destes). Daí, como
r m+1 + βmp m , Ap m = p m+1 , Ap m = 0,
segue que
Observe porém que
enquanto que de (5.51) temos
βm = −
Ap m , r m+1
〈Ap m , p m 〉 .
〈Ap m , r m 〉 = Ap m , p m − βmp m−1 = 〈Ap m , p m 〉 , (5.54)
Ap m = −α −1 m+1 m
m r − r .
Portanto, usando a ortogonalidade dos resíduos, podemos escrever
βm = −
Ap m , r m+1
〈Ap m , r m 〉 =
r m+1 , r m+1
〈r m , r m 〉
Além disso, usando (5.54) também podemos reescrever (5.52) na forma
. (5.55)
αm = 〈rm , rm 〉
〈Apm , pm . (5.56)
〉
Estas últimas fórmulas para αm e βm são muito mais convenientes para o algoritmo do gradiente conjugado:
Algoritmo do Gradiente Conjugado
Inicialize x0 ;
Atribua b;
r ← b − Ax0 ;
p ← r;
current 〈r, r〉 ← r0 , r0 ;
Atribua o limite de tolerância e o número máximo de iterações;
N = 0; //número de iterações.
Faça até que o limite de tolerância seja atingido
ou
⎡
até o número máximo de iterações
Calcule Ap;
⎢ α ← current 〈r, r〉 / 〈p, Ap〉 ;
⎢ x ← x + αp;
⎢ r ← r − αAp;
⎢ β ← 〈r, r〉 /current 〈r, r〉 ;
⎢ p ← r + βp;
⎣ current 〈r, r〉 ← 〈r, r〉 ;
N + +;
fim do laço

Rodney Josué Biezuner 91
5.8 Método do Gradiente Conjugado como um Método de Descida
O método do gradiente conjugado é uma das mais conhecidas e usadas técnicas iterativas para resolver sistemas
lineares envolvendo matrizes simétricas esparsas, dada sua eficiência e simplicidade de implementação.
Como vimos na seção anterior, ele é matematicamente equivalente ao FOM. No que se segue, veremos uma
descrição alternativa do método CG, em que ele é visto como uma modificação do método de descida mais
acentuada (método do gradiente).
Os métodos iterativos lineares básicos e os métodos de descida que vimos anteriormente são limitados
pela sua falta de memória, no sentido de que apenas informação sobre x k é usada para obter x k+1 . Toda a
informação sobre as iterações anteriores é perdida. O método do gradiente conjugado é uma variação simples
do método da descida mais acentuada que funciona melhor porque a informação obtida através das iterações
anteriores é utilizada.
Para entender como isso funciona, observe que depois de m iterações x k+1 = x k + αkp k de um método
de descida temos
x m = x 0 + α0p 0 + α1p 1 + . . . + αm−1p m−1 ,
de modo que x m está no subespaço afim gerado pelo chute inicial x 0 e pelos vetores p 0 , p 1 , . . . , p m−1 .
Enquanto o método da descida mais acentuada minimiza o funcional quadrático de energia f associado ao
sistema Ax = b apenas ao longo das m retas x k +αkp k , cuja união constitui apenas um pequeno subconjunto
do subespaço afim m-dimensional x 0 + p 0 , p 1 , . . . , p m−1 , o método do gradiente conjugado minimiza f sobre
todo o subespaço afim x 0 + p 0 , p 1 , . . . , p m−1 .
Para definir as direções de busca do método do gradiente conjugado (que é, antes de mais nada, um método
de descida), começamos dando uma prova mais simples da Proposição 4.4 que não utiliza a linguagem de
métodos de projeção:
5.10 Teorema. Seja A ∈ Mn (R) uma matriz simétrica positiva definida e b ∈ R n . Então, o funcional
quadrático de energia associado ao sistema Ax = b pode ser escrito na forma
f (y) = 1
2 e2
1
A −
2 x2 A . (5.57)
onde e = x − y é o erro algébrico. Em particular, minimizar o funcional quadrático f é equivalente a
minimizar a A-norma do erro.
Prova: Pela regra do paralelogramo, temos
donde
ou
Logo,
x + y 2
A + x − y2 A = 2 x2 A + 2 y2 A ,
2 y 2
A = x − y2 A + x2 A + 2 〈y, x〉 A + y2 A − 2 x2 A
= x − y 2
A + 2 〈y, x〉 A − x2 A + y2 A ,
y 2
A − 2 〈y, x〉 A = x − y2 A − x2 A .
Em um método de descida, depois de m iterações temos:
f (y) = 1
2 y2 A − 〈y, x〉 1
A =
2 e2
1
A −
2 x2 A . (5.58)
e m = x − x m
= x − x 0 − α0p 0 + α1p 1 + . . . + αm−1p m−1
= e 0 m−1
−
αip i .
i=0

Rodney Josué Biezuner 92
Minimizar e m A é portanto equivalente a minimizar
e0 m−1
− αip
i=0
i
,
A
o que por sua vez é equivalente a encontrar a melhor aproximação do vetor e 0 no subespaço Wm =
p 0 , p 1 , . . . , p m−1 . Esta é dada pelo lema da melhor aproximação, que enunciamos em detalhe por co-
modidade:
5.11 Proposição. (Lema da Melhor Aproximação) Sejam A ∈ Mn (R) uma matriz simétrica positiva
definida, v ∈ R n e W um subsespaço de R n . Então existe um único w ∈ W tal que
v − w A = min
z∈W v − z A .
O vetor w é caracterizado pela condição v − w ⊥A W .
Segue deste resultado que emA é minimizado quando escolhemos p = m−1
αip
i=0
i ∈ Wm tal que em = e0 − p
satisfaz
e m ⊥A p i para i = 1, . . . , m − 1. (5.59)
Nosso objetivo então é desenvolver um método em que o erro a cada passo é conjugado com todas as direções
de busca anteriores. Como fazer isso? Pelo Lema 4.11, cujo enunciado repetimos a seguir como Proposição
5.12 para facilitar a consulta, sabemos que em qualquer método de descida em que a busca na reta é exata
satisfaz automaticamente e m ⊥A p m−1 , isto é, (5.59) é válido para a última iteração (o erro da iteração
presente é A-ortogonal à direção de busca da iteração anterior):
5.12 Proposição. Seja x m+1 = x m + αmp m obtido através de uma busca na reta exata. Então
e
r m+1 ⊥ p m
e m+1 ⊥A p m .
Fazendo uma busca exata na reta x 0 + tp 0 obtemos o escalar α0 e
Pela Proposição 5.12 segue que e 1 ⊥A p 0 . Como
x 1 = x 0 + α0p 0
e 2 = x − x 2 = x − x 1 − α1p 1 = e 1 − α1p 1 ,
para que tenhamos e 2 ⊥A p 0 é necessário escolher p 1 conjugado a p 0 . Se isso foi feito, fazendo em seguida
uma busca exata na reta x 1 + tp 1 obtemos o escalar α1,
x 1 = x 0 + α0p 0
e, pela Proposição 5.12, e 2 ⊥A p 1 . No m-ésimo passo, como
ou seja,
e m = x − x m = x − x m−1 − αm−1p m−1
e m = e m−1 − αm−1p m−1 , (5.60)
para que o erro e m seja conjugado aos vetores p 0 , . . . , p m−2 basta escolher a direção de busca p m conjugada
a p 0 , . . . , p m−1 ; para assegurar que e m também seja conjugado ao vetor p m−1 , basta fazer uma busca exata

Rodney Josué Biezuner 93
na reta x m−1 + tp m−1 . Assim, uma condição necessária para obter (5.59) é escolher as direções de busca de
tal forma que
p i ⊥A p j para todos i = j. (5.61)
Um método com estas características é chamado um método de direções conjugadas. Estes resultados
são resumidos na proposição a seguir:
5.13 Teorema. Se um método emprega direções de busca conjugadas e performa buscas na reta exatas,
então
e m ⊥A p i
para i = 1, . . . , m − 1,
para todo m. Conseqüentemente
onde Wm = p 0 , p 1 , . . . , p m−1 .
e m
A = min 0
e − pA ,
p∈Wm
Prova: A demonstração é por indução. Para m = 1, temos e 1 ⊥A p 0 pela Proposição 5.12 porque a busca
na reta é exata. Em seguida, assuma e m ⊥A p i para i = 1, . . . , m − 1; queremos mostrar que e m+1 ⊥A p i
para i = 1, . . . , m. Como
e m+1 = e m − αmp m ,
para i = 1, . . . , m − 1 temos
e m+1 , p i
A = e m − αmp m , p i
A = e m , p i
A
m i
− αm p , p
= 0 − 0 = 0
A
porque as direções de busca são conjugadas. e m+1 ⊥A p m segue novamente da Proposição 5.12.
Quando a direção inicial é dada pelo vetor gradiente de f, como na primeira iteração do método da descida
mais acentuada, obtemos o método do gradiente conjugado. As direções subseqüentes são escolhidas através
de A-ortogonalizar o resíduo (ou vetor gradiente de f, que é a direção de busca em cada iteração do método
da descida mais acentuada) com todas as direções de busca anteriores, o que pode ser feito simplesmente
utilizando-se o algoritmo de Gram-Schmidt que no método do gradiente conjugado produz o mesmo resultado
que um método mais estável como o MGS, como veremos. Dado um chute inicial p 0 , a primeira direção é
ou seja, a direção inicial é o primeiro resíduo:
p 0 = −∇f x 0 = b − Ax 0 = r 0
Depois de m passos com direções de busca conjugadas p 0 , . . . , p m , escolhemos
p m+1 = r m+1 −
onde os cmi são dados pelo algoritmo de Gram-Schmidt:
cmi =
p 0 = r 0 . (5.62)
m
i=0
r m+1 , p i
〈p i , p i 〉 A
cmip i
A
(5.63)
. (5.64)
de forma que p m+1 ⊥A p i para todos i = 1, . . . , m. Felizmente, como veremos a seguir depois de algum
trabalho preliminar (Corolário 5.17), cmi = 0 para todo i exceto i = m, o que torna necessário que apenas
a direção de busca mais recente p m seja armazenada na memória do computador, o que garante que a
implementação do gradiente conjugado é eficiente:
p m+1 = r m+1 −
r m+1 , p m
A
〈pm , pm p
〉 A
m = r m+1 −
r m+1 , Ap m
〈p m , Ap m 〉 pm
(5.65)

Rodney Josué Biezuner 94
ou, definindo
temos que
βm = −
r m+1 , Ap m
〈p m , Ap m 〉
, (5.66)
p m+1 = r m+1 + βmp m . (5.67)
Esta é a modificação do método do gradiente conjugado em relação ao método da descida mais acentuada,
no qual tomamos p m+1 = r m+1 .
Podemos obter uma expressão mais simples para o escalar βm, em função apenas dos resíduos. Com
efeito, temos m+1 m+1
r , r = r m+1 , r m m+1 m
− αm r , Ap m+1 m
= −αm r , Ap
porque os resíduos obtidos através do método do gradiente conjugado são mutualmente ortogonais (veja
Corolário 5.16), logo
Temos
β = −
r m+1 , Ap m
porque p m−1 , r m = 0 pela Proposição 5.12, logo
Portanto
r m+1 , r m+1
〈pm , Apm 〉 =
αm 〈pm , Apm 〉 .
αm = 〈pm , rm 〉
〈pm , Apm 〉 =
m m−1 m r + βp , r
〈pm , Apm =
〉
〈rm , rm 〉
〈pm , Apm 〉 ,
αm = 〈rm , rm 〉
〈pm , Apm . (5.68)
〉
β =
r m+1 , r m+1
〈r m , r m 〉
. (5.69)
Podemos obter um algoritmo ainda mais eficiente para o método do gradiente conjugado se observarmos que
para calcular o resíduo r m+1 = b − Ax m+1 em cada iteração não é necessário calcular Ax m+1 explicitamente;
de fato, como vimos na demonstração da Proposição 5.12, temos r m+1 = r m −αmAp m . Desta forma, obtemos
o mesmo algoritmo do gradiente conjugado obtido na seção anterior a partir do algoritmo de Lanczos.
5.8.1 Convergência do Método do Gradiente Conjugado em Aritmética Exata
Vamos agora provar uma série de resultados com o objetivo principal de demonstrar o fato mencionado
acima que cmi = 0 para todo i = 1, . . . , m − 1 e também que o método do gradiente conjugado converge em
aritmética exata em precisas n iterações se a matriz A tem tamanho n.
5.14 Teorema. Depois de j iterações do algoritmo do gradiente conjugado (com rm = 0 em cada iteração),
temos 0 1 j−1
p , p , . . . , p = r 0 , r 1 , . . . , r j−1 0
= Kj A, r .
Prova: A demonstração é por indução. O resultado é trivial para j = 0, pois p0 = r0 . Assuma o resultado
válido para j − 1. Em primeiro lugar, mostraremos que
0 1 j
r , r , . . . , r 0
⊂ Kj+1 A, r . (5.70)
Em vista da hipótese de indução, basta mostrar que rj ∈ Kj+1
rj−1
0 ∈ Kj A, r ⊂ Kj+1
também por hipótese de indução, pj−1
0 ∈ Kj+1 A, r , logo
Ap j−1 ∈ Kj
A, r 0 . Como r j = r j−1 − αj−1Ap j−1 e
A, r 0 por hipótese de indução, basta provar que Ap j−1 ∈ Kj+1
0
A, Ar = Ar 0 , A 2 r 0 , . . . , A j r 0 ⊂ r 0 , Ar 0 , A 2 r 0 , . . . , A j r 0 0
= Kj+1 A, r .
A, r 0 . Mas,

Rodney Josué Biezuner 95
Em seguida, mostraremos que
p 0 , p 1 , . . . , p j ⊂ r 0 , r 1 , . . . , r j . (5.71)
Por hipótese de indução, basta provar que pj ∈ r0 , r1 , . . . , rj . Isso segue de (5.63) e da hipótese de indução.
Até aqui provamos que
0 1 j
p , p , . . . , p ⊂ r 0 , r 1 , . . . , r j 0
⊂ Kj+1 A, r . (5.72)
Para provar que eles são iguais, basta mostrar que eles têm a mesma dimensão. Isso decorre de
e
dim r 0 , r 1 , . . . , r j j + 1,
0
dim Kj+1 A, r j + 1
dim p 0 , p 1 , . . . , p j = j + 1,
o último porque os vetores p 0 , p 1 , . . . , p j são vetores não-nulos A-ortogonais.
5.15 Corolário. Depois de j iterações do algoritmo do gradiente conjugado, temos
0
A, r
para todo j.
e j ⊥A Kj
Prova: Segue imediatamente do teorema anterior e do Teorema 5.13.
5.16 Corolário. Depois de j iterações do algoritmo do gradiente conjugado, temos
r j 0
⊥ Kj A, r
para todo j.
Prova: Em vista do Teorema 5.14, basta provar que r j ⊥ p 0 , p 1 , . . . , p j−1 para todo j. Como Ae j+1 = r j+1 ,
j+1 i
r , p = Ae j+1 , p i = e j+1 , p i
= 0 A
para todo i = 1, . . . , j − 1, como vimos na demonstração do Teorema 5.13.
5.17 Corolário. cmi = 0 para todo i = 1, . . . , m − 1.
Prova: Temos que provar que r m+1 , p i
A = r m+1 , Ap i = 0
para todos i = 1, . . . , m − 1. Pelo Teorema 5.14, pi ∈ p0 , p1 , . . . , pi = r0 , Ar0 , . . . , Air
0 = Ki+1 A, r ,
logo
e o resultado segue do corolário anterior.
Ap i ∈ Ar 0 , A 2 r 0 , . . . , A i+1 r 0
⊂ Ki+2 A, r 0
⊂ Km+1 A, r
5.18 Teorema. Seja A ∈ Mn (R) uma matriz simétrica positiva definida. Então o método do gradiente
conjugado converge em n iterações.
Prova: Se fizemos n − 1 iterações para obter x, pelo Corolário 5.16 os vetores r 0 , r 1 , . . . , r n−1 formam uma
base ortogonal para R n . Depois de mais uma iteração, de acordo com este mesmo corolário o resíduo r n
satisfaz r n ⊥ r 0 , r 1 , . . . , r n−1 = R n , logo r n = 0.

Rodney Josué Biezuner 96
5.9 Velocidade de Convergência do Método do Gradiente Conjugado
Na maioria das aplicações o método do gradiente conjugado converge ainda mais rápido do que as n iterações
previstas pelo Teorema 5.18, se apenas uma boa aproximação é requerida. Para obter uma estimativa da
velocidade de convergência do método do gradiente conjugado, precisamos desenvolver algumas ferramentas
teóricas antes.
5.9.1 Polinômios de Chebyshev
Polinômios de Chebyshev são provavelmente os mais úteis polinômios na Teoria de Aproximação, a área
que se ocupa em determinar como melhor aproximar funções através de funções mais simples (tais como
polinômios). Os polinômios de Chebyshev do primeiro tipo surgiram inicialmente como soluções da equação
de Chebyshev: 1 − x 2 y ′′ − xy ′ + n 2 y = 0
5.19 Definição. O polinômio de Chebyshev do primeiro tipo de grau k é o polinômio de grau k Ck :
[−1, 1] −→ R definido por
Ck (t) = cos k cos −1 t .
Que Ck é de fato um polinômio de grau k pode ser visto através da seguinte fórmula de recorrência:
5.20 Proposição. Vale a seguinte fórmula de recorrência de três termos para os polinômios de Chebyshev
C0 (t) = 1,
C1 (t) = t,
Ck+1 (t) = 2tCk (t) − Ck−1 (t) .
(5.73)
Em particular, Ck (t) é um polinômio real de grau k, Ck (t) é uma função par se k é par e uma função
ímpar se k é ímpar.
Prova: Usando a identidade trigonométrica
segue que
cos [(k + 1) θ] + cos [(k − 1) θ] = 2 cos θ cos kθ,
Ck+1 (t) + Ck−1 (t) = cos [(k + 1) arccos t] + cos [(k − 1) arccos t]
= 2 cos (arccos t) cos [k arccos t]
= 2tCk (t) .
A fórmula de recorrência da Proposição 5.20 permite estender naturalmente o domínio dos polinômios de
Chebyshev à reta toda. Isso também pode ser feito estendendo a definição trigonométrica:
−1
cosh k cosh t se t 1,
Ck (t) =
(−1) k cosh k cosh −1 |t|
(5.74)
se t −1.
De fato, usando a identidade trigonométrica hiperbólica
cosh [(k + 1) θ] + cosh [(k − 1) θ] = 2 cosh θ cosh kθ,

Rodney Josué Biezuner 97
vemos que vale a mesma fórmula de recorrência da Definição 5.19. O polinômio de Chebyshev Ck (t) possui
k raízes simples, todas localizadas no intervalo [−1, 1] dadas por
2j − 1
tj = cos
2k π
, j = 1, . . . , k,
como pode ser verificado diretamente da definição. Em particular, os polinômios de Chebyshev não se anulam
fora deste intervalo. Observe também que |Ck (t)| 1 para t ∈ [−1, 1]. À título de informação, eles formam
uma base ortogonal no espaço de funções apropriado no sentido que
1
dt
Ck (t) Cl (t) √
−1
1 − t2 =
⎧
⎨ 0 se k = l,
π se k = l = 0,
⎩
π/2 se k = l = 0.
5.21 Proposição. Se |t| 1, vale
Ck (t) = 1
2
Prova: Como resultado de (5.74), segue que
Por outro lado,
e
logo
Ck (t) = cosh k cosh −1 t = 1
2
= 1
e
2
cosh−1 t k +
t + t2 k
− 1 + t + t2
−k
− 1 .
e k cosh−1 t + e −k cosh −1 t
e cosh−1 t −k
.
e x = cosh x + sinh x
cosh 2 x − sinh 2 x = 1,
e cosh−1
t −1 −1
= cosh cosh t + sinh cosh t
cosh 2 cosh −1 t − 1
= t +
= t + t 2 − 1,
donde segue o resultado.
Em particular, para valores grandes de k pode-se usar a aproximação
Ck (t) 1
t +
2
t2 k − 1 .
para |t| 1. No que se segue denotaremos o subespaço de todos os polinômios reais de grau menor ou igual
a k por Pk [x]. O seguinte teorema é um importante resultado em Teoria da Aproximação:
5.22 Teorema. Seja [a, b] ⊂ R um intervalo não vazio e c /∈ [a, b]. Então o mínimo
é atingido pelo polinômio
µk = min
Ck (x) :=
p∈Pk[x]
p(c)=1
Ck
Ck
max
x∈[a,b]
|p (x)|
x − b
1 + 2
b − a
.
c − b
1 + 2
b − a

Rodney Josué Biezuner 98
Consequentemente,
Prova: Denote por
o ponto médio do intervalo [a, b]. Então
µk =
Ck
m :=
1
c − b
. (5.75)
1 + 2
b − a
a + b
2
x − b b − a + 2x − 2b
1 + 2 = =
b − a b − a
2x − (a + b)
x − m
= 2
b − a .
Assim, se c /∈ [a, b] então 2
c − m
b − a
> 1
b − a
de modo que o denominador na expressão de Ck (x) nunca se anula. Por outro lado, se x ∈ [a, b] então
− m
2x
b − a 1.
Como
max
t∈[−1,1] |Ck (t)| = 1,
segue (5.75).
Portanto, para provar que o mínimo é atingido pelo polinômio Ck, precisamos mostrar que se pk ∈ Pk [x]
é tal que p (c) = 1 e
max |p (x)| µk,
x∈[a,b]
então pk = Ck. De fato, pela definição trigonométrica dos polinômios de Chebyshev, Ck (t) atinge os valores
±1 alternadamente nos pontos
j
tj = cos
k π
, j = 0, 1, . . . , k.
Correspondentemente, Ck (x) atinge os valores ±µk nos pontos
xj = 1
j
a + b + (b − a) cos
2
k π
, j = 0, 1, . . . , k
dentro do intervalo [a, b]. Como
|pk (xj)| µk =
Ck (xj) ,
concluímos que o polinômio diferença rk = Ck − pk de grau menor ou igual a k satisfaz
rk (xj) 0 se j é par,
rk (xj) 0 se j é ímpar.
Pelo teorema do valor intermediário, rk possui pelo menos uma raiz em cada subintervalo [xj, xj+1]. Mesmo
quando as raízes de rk em [xj−1, xj] e [xj, xj+1] coincidem, ou seja, xj é uma raiz de rk, esta é uma raiz de
multiplicidade 2 (pois r ′ k (xj) = 0, isto é, xj também é uma raiz da derivada de rk). Consequentemente, o
polinômio rk tem pelo menos k raízes em [a, b]. Mas, como
rk (c) = Ck (c) − pk (c) = 1 − 1 = 0,
c /∈ [a, b] é a (k + 1)-ésima raiz de rk. Isso constitui uma contradição, a menos que rk ≡ 0, o que implica
pk = Ck.

Rodney Josué Biezuner 99
5.9.2 Velocidade de Convergência do CG
5.23 Lema. Seja A ∈ Mn (R) uma matriz simétrica positiva definida. Então o erro algébrico do método do
gradiente conjugado satisfaz
e k =
A
min
p (A) e 0 .
A
p∈Pk[x]
p(0)=1
Prova: Pelos Teoremas 5.13 e 5.14, o método do gradiente conjugado minimiza a A-norma do erro no
subespaço afim e0
0 + Kk A, r
0 . Mas Kk A, r é o conjunto de todos os vetores da forma q (A) r0 onde
q é um polinômio de grau menor ou igual a k − 1, enquanto que r0 = Ae0 . Portanto, o subespaço afim
e0
0 + Kk A, r consiste de todos os vetores da forma e0 + q (A) Ae0 , ou seja, de todos os vetores na forma
p (A) e 0 onde p é um polinômio de grau menor ou igual a k tal que p (0) = 1.
5.24 Teorema. Seja A ∈ Mn (R) uma matriz simétrica positiva definida. Então o erro algébrico do método
do gradiente conjugado satisfaz
e k k
κ (A) − 1 e
2
A
κ (A) + 1
0 . (5.76)
A
Prova: Denote por λ1 . . . λn os autovalores de A e por v1, . . . , vn uma base A-ortonormal de autovetores
correspondentes. Escrevendo
e 0 n
= aivi,
segue que
Assim,
p (A) e 0 2
A =
n
a 2 i p (λi) 2
i=1
p (A) e 0 =
donde, pelo lema anterior, e k A min
i=1
n
aip (λi) vi.
i=1
2
max p (λi)
1in
p∈Pk[x]
p(0)=1
e 0 2
A
max
x∈[λ1,λn] p (x) 0
e . A
Segue agora do Lema 5.22 que e k A µ e 0 A
onde
µ =
=
Ck
Ck
1
1 − 2
λn
λn − λ1
1
,
κ (A) + 1
κ (A) − 1
=
Ck
1
− λn
+ λ1
=
λn − λ1
max p (x)2
x∈[λ1,λn]
Ck
1
λn + λ1
λn − λ1
e 0 2
A ,
(para obter a última igualdade usamos a simetria dos polinômios de Chebyshev, como visto na Proposição
5.20, e a sua positividade no intervalo [1, +∞) que decorre diretamente da fórmula da Proposição 5.21). Pela
Proposição 5.21 e o comentário que se segue, temos
κ (A) + 1
Ck
κ (A) − 1
1
⎛
⎝
κ (A) + 1
2 κ (A) − 1 +
⎞k
κ 2 (A) + 1
− 1⎠
,
κ (A) − 1

Rodney Josué Biezuner 100
donde
e k ⎛
2 ⎝
κ (A) + 1
A κ (A) − 1 +
⎛
κ (A) + 1 +
= 2 ⎝
κ 2 (A) + 1
κ (A) − 1
⎞
− 1⎠
−k
e 0 A
(κ (A) + 1) 2 − (κ (A) − 1) 2
κ (A) − 1
κ (A) + 1 + 2
= 2
−k κ (A) e
κ (A) − 1
0 A
⎛ κ ⎞
2
⎜
(A) + 1
= 2 ⎝κ
κ
⎟
⎠
(A) + 1 (A) − 1
= 2
κ (A) − 1
κ (A) + 1
k e 0 A .
−k
e 0 A
⎞
⎠
−k
e 0 A
Esta estimativa é bem melhor que a estimativa do método da descida mais acentuada (o número de condição
é subtituido aqui pela sua raiz quadrada), mostrando que o método do gradiente conjugado é bem mais
rápido. Por outro lado, como naquele método, a velocidade de convergência do método CG dependerá
fortemente da boa ou má condicionalidade da matriz A.
Uma comparação entre a velocidade de convergência dos métodos de gradiente para a matriz de discretização
da fórmula de cinco pontos aplicada ao mesmo problema do Capítulo 3 (Seção 3.1.4) é dada na
tabela a seguir [Watkins]. O tamanho das matrizes usadas é indicado na linha superior da tabela e o número
de iterações necessárias para obter um erro algébrico menor normalizado menor que igual a 10 −8 é dado
para cada método.
n = 81 n = 361 n = 1521
Descida Mais Acentuada 304 1114 4010
Gradiente Conjugado 29 60 118
No caso desta matriz de discretização temos
κ (A) =
2 (n − 1) π
sen
2n
π
sen2 2n
2 π π∆x
= cot = cot2
2n 2 ≈
de modo que
κ (A) − 1 1 − π∆x/2
≈ ≈ 1 − π∆x,
κ (A) + 1 1 + π∆x/2
4
π 2 ∆x 2
o que dá uma velocidade de convergência para o método do gradiente conjugado duas vezes maior que a
do método SOR com o fator de relaxamento ótimo. No entanto, deve-se ter em mente que enquanto que a
taxa de covergência que obtivemos para o método SOR é precisa, a estimativa de erro (5.76) do Teorema
5.24 para o método do gradiente conjugado é apenas um limitante superior grosseiro e pode ser melhorada
(veja [Watkins] para algumas estimativas melhoradas). De fato, embora a taxa de convergência assintótica
(5.76) dependa apenas do número de condição, e portanto apenas dos autovalores extremais, a convergência
do método do gradiente conjugado é influenciada pelo espectro inteiro, como o próximo resultado ilustra:

Rodney Josué Biezuner 101
5.25 Teorema. Seja A ∈ Mn (R) uma matriz simétrica positiva definida com apenas m autovalores distintos.
Então o método do gradiente conjugado converge em m iterações.
Prova: Sejam λ1, . . . , λm os m autovalores distintos de A. Seja
p (x) = a (x − λ1) . . . (x − λm)
um polinômio de grau m onde a é escolhido de tal forma a produzir p (0) = 1. Como p (λi) = 0 para todo i,
pela demonstração do Teorema 5.24 (e usando a mesma notação de lá) segue que
p (A) e 0 =
n
aip (λi) vi = 0.
i=1
Logo, pelo Lema 5.23, temos que e m = 0.
Mesmo se isso não ocorre, se os autovalores de A não estão distribuídos uniformemente em [λmin, λmax] mas
se acumulam em subintervalos de [λmin, λmax], pode-se obter melhores taxas de convergência do que (5.76)
(veja [Hackbusch] e [Watkins]).
5.10 Exercícios
5.1 Considere os vetores
v1 =
⎡
⎢
⎣
1
ε
0
0
⎤
⎥
⎦ , v2 =
⎡
⎢
⎣
1
0
ε
0
⎤
⎥
⎦ e v3 =
onde ε ≪ 1. Estes vetores são aproximadamente linearmente independentes.
a) Use o método de Gram-Schmidt clássico para ortogonalizar estes vetores, usando a aproximação
1 + ε 2 = 1 (um computador faria erros de arredondamento adicionais). Verifique que 〈w2, w3〉 = 1/2 e
portanto estes vetores estão muito longe de serem ortogonais.
b) Use o método de Gram-Schmidt modificado para ortogonalizar estes vetores, também usando a
aproximação 1 + ε 2 = 1. Verifique que 〈w2, w3〉 = 0 e que 〈w1, w2〉 = −ε/ √ 2, 〈w1, w3〉 = −ε/ √ 6;
portanto estes vetores estão muito próximos de serem ortogonais.
5.2 Mostre que os algoritmos de Gram-Schmidt clássico e modificado são matematicamente equivalentes
em aritmética exata, isto é, produzem os mesmos vetores.
5.3 Prove que os vetores v1, . . . , vm gerados pelo algoritmo de Arnoldi com MGS formam uma base ortonormal
para o subespaço de Krylov Km (A, v).
5.4 Prove que o inversa de uma matriz triangular superior é uma matriz triangular superior. Prove a
afirmativa equivalente para matrizes triangulares inferiores.
5.5 Prove que o produto de matrizes triangulares superiores é uma matriz triangular superior. Prove a
afirmativa equivalente para matrizes triangulares inferiores.
⎡
⎢
⎣
1
0
0
ε
⎤
⎥
⎦ ,

Capítulo 6
O Problema do Autovalor
Por causa do teorema de Abel com respeito à inexistência de uma fórmula para calcular as raízes de um
polinômio de grau maior ou igual a 5, não existem métodos diretos para calcular autovalores. Todo método
para calcular autovalores é necessariamente um método iterativo.
De fato, dado um polinômio mônico
p (z) = z n + an−1z n−1 + . . . + a1z + a0,
seu determinante é igual a (−1) n vezes o determinante da matriz
⎡
−z
⎢
1
⎢
⎣
−z
1 −z
1 −z
. .. . ..
−a0
−a1
−a2
.
.
−an−1
⎤
⎥ ,
⎥
⎦
1 −z − an−1
logo as raízes de p são os autovalores da matriz
⎡
0
⎢
1
⎢
⎣
0
1 0
1 0
. .. . ..
−a0
−a1
−a2
.
−an−1
⎤
⎥ .
⎥
⎦
1 −an−1
Portanto, o problema de encontrar as raízes de um polinômio é equivalente ao problema de encontrar os
autovalores de uma matriz.
6.1 Caracterização Variacional dos Autovalores de uma Matriz
Simétrica: Quociente de Rayleigh
Os autovalores de uma matriz simétrica podem ser caracterizados variacionalmente.
6.1 Definição. Seja A ∈ Mn (R) uma matriz simétrica. Dado x ∈ R n , o quociente
r (x) =
102
〈Ax, x〉
x 2

Rodney Josué Biezuner 103
é chamado o quociente de Rayleigh de x. A função r : R n −→ R é chamada o funcional de
Rayleigh (ou também o quociente de Rayleigh).
6.2 Teorema. (Princípio de Rayleigh) Seja A ∈ Mn (R) uma matriz simétrica. Se x é um ponto crítico do
funcional de Rayleigh, então x é um autovetor de A e r (x) é o autovalor correspondente.
Prova: Escrevendo
Temos
de modo que
Portanto,
r (x) =
aijxixj
i,j=1
x
i,j=1
2 i
2 x
∂r
(x) =
∂xk
2
aikxi − 2xk aijxixj
i=1
i,j=1
x 4 = 2
∇r (x) = 2
2 [Ax − r (x) x] .
x
∇r (x) = 0 se e somente se Ax = r (x) x.
x 2 [(Ax) k − r (x) xk] ,
6.3 Corolário. O quociente de Rayleigh é uma aproximação de segunda ordem para os autovalores de A,
ou seja, se v é um autovetor de A, segue que
r (x) − r (v) = O x − v 2
quando x → v
Prova: Segue da fórmula de Taylor, já que ∇r (v) = 0.
Podemos obter uma descrição geométrica mais precisa dos pontos críticos do funcional de Rayleigh:
6.4 Teorema. (Princípio de Rayleigh) Seja A ∈ Mn (R) uma matriz simétrica. Sejam λ1 . . . λn os
autovalores de A, de modo que λ1 é o menor autovalor de A e λn é o maior autovalor de A. Então
e
λ1 = min
x∈R n
〈Ax, x〉
x
x=0
2
λn = max
x∈R n
〈Ax, x〉
x
x=0
2
Prova: Seja B = {v1, . . . , vn} uma base ortonormal de autovetores de A correspondentes aos autovalores
λ1, . . . , λn. Então, para todo x = n
xivi temos
λ1 x 2 =
n
i=1
n
i=1
i=1
λ1x 2 i
λix 2 i =
i=1
n
λixixj 〈vi, vj〉 =
i,j=1
n
n
= λixivi,
= 〈Ax, x〉 .
j=1
xjvj
i=1
n
〈λixivi, xjvj〉
i,j=1
n
n
= xiAvi,
j=1
xjvj
=
A
n
i=1
xivi
,
n
j=1
xjvj
(6.1)
(6.2)

Rodney Josué Biezuner 104
Portanto, para todo x ∈ R n , x = 0, vale
λ1
〈Ax, x〉
2 .
x
O mínimo é atingido em x = v1 ou em qualquer outro autovetor de A associado a λ1. Da mesma forma,
obtemos
λn x 2 n
= λnx 2 n
i λix 2 i = 〈Ax, x〉 .
i=1
Os outros autovalores de A, λ2, . . . , λn−1, são pontos de sela e podem ser encontrado através de um
princípio de minimax:
6.5 Teorema. (Princípio de Minimax para Autovalores) Seja A ∈ Mn (R) uma matriz simétrica. Sejam
λ1 . . . λn os autovalores de A. Então
⎛
⎞
λj = min
i=1
W ⊂R n subespaço
dim W =j
⎝ max
x∈W
x=1
Prova: Seja W ⊂ R n um subespaço de dimensão j. Primeiro mostraremos que
max 〈Ax, x〉 λj.
x∈W
x=1
〈Ax, x〉 ⎠ . (6.3)
Seja B = {v1, . . . , vn} uma base ortonormal de autovetores de A correspondentes aos autovalores λ1, . . . , λn.
Seja Z = 〈v1, . . . , vj−1〉. Como Z ⊥ = 〈vj, . . . , vn〉, temos
de modo que
n dim W + Z ⊥ = dim W + dim Z ⊥ − dim W ∩ Z ⊥ = j + n − (j − 1) − dim W ∩ Z ⊥ ,
dim W ∩ Z ⊥ 1
e existe um vetor x ∈ W ∩ Z⊥ tal que x = 1. Escrevendo x = n
xkvk, temos x = n
|xk| 2 = 1, donde
n
n
〈Ax, x〉 = xkAvk,
=
k=j
n
k=j
l=j
λk |xk| 2 λj
xlvl
k=j
k=j
n
n
= xkλkvk,
n
|xk| 2 = λj.
k=j
l=j
xlvl
=
k=j
n
λkxkxl 〈vk, vl〉
Para completar a demonstração, devemos encontrar um subespaço W ⊂ R n de dimensão j tal que
〈Ax, x〉 λj para todo x ∈ W com x = 1. Tomemos W = 〈v1, . . . , vj〉. Temos
j
〈Ax, x〉 = xkAvk,
=
k=1
j
k=1
O minimax é atingido em vj.
j
l=1
λk |xk| 2 λj
xlvl
j
= xkλkvk,
k=1
j
|xk| 2 = λj.
k=1
j
l=1
xlvl
=
k,l=j
j
λkxkxl 〈vk, vl〉
k,l=1

Rodney Josué Biezuner 105
6.2 Método das Potências
O método das potências ou método das iterações é o algoritmo mais simples para o cálculo de autovalores
de matrizes, mas ele pode encontrar apenas o maior autovalor (em módulo) de uma matriz A ∈ Mn (C),
chamado o autovalor dominante de A, desde que haja apenas um. Para simplificar a exposição, suponha
que A é uma matriz diagonalizável cujo maior autovalor (em módulo) é um autovalor simples (isto é, seu
autoespaço associado tem dimensão 1). Ordene os autovalores de A na forma
|λ1| > |λ2| . . . |λn|
e seja {v1, . . . , vn} uma base correspondente de autovetores. Assim, λ1 é o autovalor dominante de A e
v1 um autovetor dominante. Quando A tem um autovalor dominante, este e um correspondente autovetor
dominante podem ser encontrados através do método das potências, que consiste essencialmente em tomar
um vetor v0 arbitrário e considerar as potências
v0, Av0, A 2 v0, . . . , A k v0, . . . (6.4)
É essencial que o vetor v0 possua uma componente na direção do autovetor dominante v1. Este não é a
priori conhecido, mas se a escolha é arbitrária há grande probabilidade que isso ocorra na prática. De fato,
para quase todas as escolhas de v0 devemos ter
v0 =
n
i=1
com a1 = 0; raramente uma escolha aleatória de v0 produzirá um vetor no subespaço 〈v2, . . . , vn〉. Temos
então
A k n
v0 = aiλvi,
donde escrevemos
A k v0 = λ k 1
a1v1 +
i=1
aivi
n
i=2
ai
λi
Embora Ak
v0
→ ∞ se λ1 > 1 e Ak
v0
→ 0 se λ1 < 1, como
λi
λ1
k → 0,
para todo i = 2, . . . , n, segue que a sequência reescalada
A k v0
λ k 1
→ a1v1
converge para um autovetor dominante. No entanto, como o autovalor λ1 não é conhecido a priori, é
impossível trabalhar com esta sequência. Portanto, trabalhamos ao invés com a sequência normalizada
wk = Ak v0
A k v0
onde · é uma norma qualquer (por exemplo, a norma do máximo), que converge para um autovetor
dominante unitário.
λ1
k
vi
.
(6.5)

Rodney Josué Biezuner 106
6.6 Proposição. Seja A ∈ Mn (C) uma matriz diagonalizável e assuma que o seu autovalor dominante λ1
é simples. Dado um vetor arbitrário v0 ∈ C n que possui uma componente não-nula no autoespaço
associado a λ1, defina a sequência
onde
Então
w0 = v0,
wk+1 = Awk
.
αk
αk = Awk .
wk → v1,
αk → λ1,
onde v1 é um autovetor dominante unitário. Além disso, a taxa assintótica de convergência é
λ2
O
.
Se A é uma matriz simétrica real e definirmos
então
com taxa assintótica de convergência
Prova: Temos
λ1
µk = 〈Awk, wk〉 ,
O
µk → λ1
λ2
λ1
wk = Akv0 ,
αk
2
.
onde αk = α1 . . . αk é simplesmente o escalar apropriado que normaliza o vetor A k v0, isto é, αk = A k v0
Escrevendo
segue que
Como
wk = λk 1
αk
a1v1 +
v0 =
a1v1 +
n
i=2
ai
n
aivi,
i=1
n
i=2
λi
λ1
ai
k
λi
λ1
k
vi
vi → a1v1
e wk sendo uma sequência unitária possui uma subsequência convergente, concluímos que wk converge para
um vetor unitário na direção de v1.
Como
Awk = αkwk,
tomando o limite em ambos os lados concluímos que
Av1 = (lim αk) v1,
.
.

Rodney Josué Biezuner 107
logo lim αk = λ1.
Finalmente, a taxa assintótica de convergência segue de
n
k
λi
ai vi
n
k λi
n
|ai|
vi |ai| vi
i=2
λ1
i=2
λ1
i=2
λ2
λ1
k
C (v0)
O caso A simétrico segue do Corolário 6.3.
Vemos que a velocidade de convergência do método das potências pode ser muito lenta se a diferença entre
o maior e o segundo maior autovalores não for muito grande, uma situação frequentemente encontrada na
prática. O método das potências funciona mesmo quando o autovalor dominante não é simples, desde que
não existam outros autovalores de A diferentes do autovalor dominante que tenham o mesmo valor em
módulo, isto é quando existe apenas um autovalor dominante (Exercício 6.1). É claro que o método não vai
produzir uma base para o autoespaço dominante, apenas um autovetor deste autoespaço, correspondente ao
vetor unitário na direção da componente do vetor inicial. Quando existem vários autovalores dominantes, o
método não pode ser aplicado. Em particular, o método não pode ser aplicado a matrizes reais que possuem
um autovalor dominante complexo, já que neste caso o seu conjugado também é um autovalor dominante.
Esta situação ocorre também com matrizes ortogonais, já que todos os autovalores de uma matriz ortogonal
tem norma 1.
Se A não é diagonalizável, o autovalor dominante de A ainda pode ser encontrado pelo método das
potências (desde que não haja mais de um autovalor dominante, como observado no parágrafo anterior),
como discutido no Exercício 6.2.
6.2.1 Método das Potências Inverso
O método das potência permite apenas encontrar o autovalor dominante. Para obter o menor autovalor
de A, podemos aplicar o método das potências à matriz inversa A −1 , pois se λ é o menor autovalor de A,
1/λ será o maior autovalor de A −1 . Este método é chamado método das potências inverso ou iteração
inversa (quando o método das potências é chamado iteração direta).
6.2.2 Método das Potências com Deslocamento
Teoricamente, o método das potências poderia ser aplicado diretamente para encontrar todos os autovalores
de A. Por exemplo, para encontrar λ2 e um autovetor associado, uma vez encontrado o autovetor associado
ao primeiro autovalor, bastaria tomar um novo vetor inicial que não tivesse componentes na direção do
autovetor dominante (ou autoespaço dominante; veja Exercício 6.1), mas apenas na direção de v2. Isso seria
fácil de conseguir se os autovetores de A fosse ortogonais (por exemplo, se A é simétrica): bastaria tomar
um vetor inicial aleatório v0, com componentes na direção de todos os autovetores de A, e subtrair dele a
sua componente ortogonal na direção do autovetor dominante. Na notação da seção anterior, bastaria tomar
v0 = v0 − a1v1 =
n
aivi,
e proceder desta maneira até encontrar todos os autovalores de A (desde que não haja autovalores distintos
mas iguais em módulo). Na prática isso não funciona, porque erros de arredondamento apareceriam
imediatamente:
n
Av0 = ελ1v1 + aiλivi;
ao invés de obter λ2 e um autovetor associado, voltaríamos a obter λ1 e um autovetor dominante.
Para encontrar os demais autovalores da matriz A, observe que se A tem autovalores λ1, . . . , λn, então
A − σI tem autovalores λ1 − σ, . . . , λn − σ. O escalar σ é chamado um deslocamento. Podemos então aplicar
i=2
i=2
λ2
λ1
k
.

Rodney Josué Biezuner 108
o método das potências à matriz (A − σI) −1 , pois os autovalores de A são
de modo que o autovalor dominante de (A − σI) −1 é
1 1
, . . . ,
λ1 − σ λn − σ ,
1
λi − σ
onde λi é o autovalor de A mais próximo de σ. Assim, podemos encontrar todos os autovalores de A
variando o deslocamento σ. Este método é chamado método das potências com deslocamento ou
iteração com deslocamento. Ele é particularmente eficiente quando possuímos boas estimativas para os
autovalores de A (estimativas grosseiras podem ser obtidas através do teorema dos discos de Gershgorin).
Como já observado anteriormente, a convergência do método das potências direto será lenta quando λ1 e
λ2 forem muito próximos. No caso do método das potências com deslocamento, uma escolha cuidadosa do
deslocamento σ pode aumentar substancialmente a velocidade de convergência. Com efeito, observe que
neste caso temos (para simplificar a compreensão, novamente supomos A diagonalizável e, adicionalmente,
que todos os autovalores são simples):
donde
(A − σI) −1
k 1
v0 =
λi − σ
(A − σI) −1 k
v0 −
1
λi − σ
⎡
k ⎢
⎣aivi +
k
aivi
de modo que a taxa assintótica de convergência é dada por
λi
− σ
− σ
λi
n
j=1
j=i
ai
k λi − σ
λj − σ
n
λi
|ai|
− σ
λj
− σ
j=1
j=i
⎛
⎜
⎜
⎝
k
vj
|vj|
⎤
⎥
⎦
⎞
n
⎟ λi
|ai| |vj| ⎟
− σ
⎠ − σ
onde λi é o autovalor mais próximo a λi. Tomando o deslocamento σ significantemente mais próximo de λi
do que de λi , podemos obter
λi
− σ
− σ ≪ 1,
λi
acelerando a convergência do método.
É importante observar que tanto na iteração inversa, quanto na iteração com deslocamento, em nenhum
momento é necessário calcular a inversa A−1 explicitamente, o que consumiria muito tempo e recursos.
Embora as iteradas satisfazem
wk+1 = 1
(A − σI) −1 wk,
basta resolver o sistema
σk+1
(A − σI) wk+1 = wk
j=1
j=i
λi
k
(6.6)

Rodney Josué Biezuner 109
e então tomar
wk+1 = 1
wk+1.
σk+1
Além disso, apesar de A − λI ser uma matriz singular quando λ é um autovalor de A, e portanto tomar um
deslocamento σ muito próximo a λ produz uma matriz A − σI muito mal condicionada, isso não atrapalha
a eficência da iteração com deslocamento em nada (veja [Parlett]).
Finalmente, notamos que se os autovalores de uma matriz já são conhecidos, o método padrão para
encontrar os autovetores de A é o método das potências com deslocamento, já que os deslocamentos podem
ser escolhido arbitrariamente próximos dos autovalores, tornando a convergência muito rápida.
6.2.3 Iteração do Quociente de Rayleigh
Quando a matriz A é simétrica, combinando a iteração inversa e o quociente de Rayleigh é possível obter
um método extremamente rápido, de tal forma que depois de 2 ou 3 passos o número de dígitos corretos no
autovalor triplica a cada iteração. A idéia é não manter o valor de deslocamento constante, mas atualizá-lo
a cada iteração com uma aproximação melhor do autovalor dada pelo quociente de Rayleigh. O algoritmo
para a iteração do quociente de Rayleigh é o seguinte:
Iteração do Quociente de Rayleigh
Atribua v 0 ;
v 0 ← v 0 / v 0 ;
λ 0 = 〈Av0, v0〉 ;
⎡
Para k = 0, 1, 2, . . ., até limite de tolerância
⎣
Resolva A − λ k I w = v k ;
v k+1 ← w/ w ;
λ k+1 ← Av k+1 , v k+1 ;
fim do laço
Vamos verificar que a convergência da iteração de Rayleigh é cúbica:
6.7 Proposição. Seja A ∈ Mn (R) uma matriz simétrica e assuma que o autovalor λi é simples. Dado um
vetor arbitrário v 0 ∈ R n que possui uma componente não-nula no autoespaço associado a λi, tome
λ 0 = Av 0 , v 0 e defina a sequência
v k+1 =
A − λ k I −1 v k
(A − λ k I) −1 v k
λ k+1 = Av k+1 , v k+1 .
Então v k converge para um autovetor unitário vi associado a λi e λ k → λi com uma taxa de con-
vergência que satisfaz
v k+1 − vi
e
λ k+1
− λi
= O
Prova: Pelo Corolário 6.3,
λ k − λi
,
v k
= O − (±vi) 3
= O
λ k
− λi
3
.
v k
− vi
2
.
Pelas estimativas para a iteração inversa com deslocamento obtidas na subseção anterior, temos
v k+1
λi
− vi
C
− λ
k
v
k
− vi
.
λi − λk

Rodney Josué Biezuner 110
Como λk está próximo de λi, podemos substituir λi − λk por λi
v k+1
− vi
= O λ k
− λi
v k
− vi
= O
− λi
no denominador, de modo que
v k+1
− vi
3
.
As constantes implícitas no símbolo O são uniformes para vizinhanças suficientemente pequenas de λi e vi.
Para obter a taxa de convergência para os autovalores, use o resultado obtido e o Corolário 6.3 duas vezes
escrevendo
λ k+1 v − λi
= O
k+1
− vi
2
v = O
k
− vi
6
λ = O
k
− λi
3
.
Este resultado vale mesmo quando o autovalor não é simples (Exercício 6.3).
No caso em que A não é simétrica, a iteração do quociente de Rayleigh ainda pode ser usada, mas
a convergência é apenas quadrática (veja [Watkins]). Para uma análise mais rigorosa da convergência do
método das potências e todas as suas variações, inclusive a iteração do quociente de Rayleigh, veja [Parlett].
6.3 Algoritmo QR
O algoritmo QR (não confundir com a decomposição QR) é o algoritmo preferido para encontrar todos os
autovalores de uma matriz não-simétrica densa. O algoritmo básico QR pode ser descrito da seguinte forma.
Seja A ∈ Mn (C) uma matriz cujos autovalores queremos calcular. Começando com
A0 = A, (6.7)
definimos iterativamente uma sequência de matrizes A1, A2, . . ., recursivamente da seguinte maneira. Primeiro
fazemos a decomposição QR da matriz obtida no passo anterior:
Em seguida definimos
Observe que, como
Ak−1 = QkRk. (6.8)
Ak = RkQk. (6.9)
Ak = Q ∗ kAk−1Qk, (6.10)
todas as matrizes da sequência, que denominaremos sequência QR, possuem os mesmos autovalores. Veremos
mais tarde que o algortimo QR é simplesmente uma implementação de um procedimento conhecido como
iteração simultânea, o qual é uma extensão natural do método das potências. Consequentemente, pode ser
mostrado que a sequência QR converge, sob certas condições, para uma matriz triangular superior na forma
⎡
⎤
λ1 ∗ · · · ∗
⎢
. ..
. ⎥
λ2 ⎢
. ⎥
⎢
⎣
. ⎥
.. ∗ ⎦
onde os autovalores da diagonal principal aparecem em ordem descrescente de magnitude. Em particular,
como as matrizes da sequência QR são semelhantes, se A é hermitiana então a sequência converge para uma
matriz diagonal.
O algoritmo básico QR é ineficiente para uso prático. Cada decomposição QR custa 4
3n3 flops e cada
multiplicação matricial custa O n3 flops. Além disso, a convergência para a forma triangular é muito
vagarosa, de forma que um número muito grande de passos é necessário antes que se atinja um limite de
tolerância razoável. No que se segue, veremos procedimentos para diminuir os custos das decomposições
QR e aumentar a velocidade de convergência do método. O primeiro procedimento, reduzir a matriz à sua
λn

Rodney Josué Biezuner 111
forma de Hessenberg, reduz cada passo no algoritmo QR a um custo de O n 2 flops para uma matriz geral
e O (n) para uma matriz hermitiana. O segundo procedimento, deflação e deslocamento usando o quociente
de Rayleigh, reduz o número de iterações necessárias para produzir convergência na precisão da máquina a
O (n) iterações. Assim o custo total do algoritmo QR na sua implementação mais eficiente será O n 3 flops
para matrizes gerais e O n 2 flops para matrizes hermitianas.
6.3.1 Redução de uma matriz a sua forma de Hessenberg
O custo das decomposições QR é reduzido drasticamente se reduzirmos a matriz A à sua forma de Hessenberg
antes de começar as iterações QR, já que o custo de uma decomposição QR para matrizes de Hessenberg
é O n 2 ; se além disso a matriz for Hermitiana, ou seja, tridiagonal, o custo é apenas O (n). Também o
custo da multiplicação, de uma matriz de Hessenberg superior por uma matriz triangular, é reduzido para
O n 2 . Essa redução funciona porque o algoritmo QR preserva a forma de Hessenberg, de modo que todas
as matrizes da sequência QR são de Hessenberg assim como os fatores Q:
6.8 Proposição. Seja H ∈ Mn (C) uma matriz de Hessenberg superior. Então toda matriz da sequência
QR é também uma matriz de Hessenberg superior. Além disso, os fatores Qk da decomposição Ak−1 =
QkRk também são Hessenberg superiores.
Prova: Assuma A invertível, de modo que todas as matrizes da sequência QR são invertíveis; em particular,
os fatores Qk, Rk também são invertíveis. Suponha por indução que Ak−1 é uma matriz de Hessenberg
superior. Seja Ak−1 = QkRk uma decomposição QR de Ak−1. Afirmamos que
Qk = Ak−1R −1
k
é uma matriz de Hessenberg superior. De fato, como a inversa de uma matriz triangular superior é uma
matriz triangular superior, Qk é o produto de uma matriz de Hessenberg superior e de uma matriz triangular
superior, logo também é uma matriz de Hessenberg superior. Segue que Ak = RkQk é o produto de uma
matriz triangular superior e uma matriz de Hessenberg superior, logo também é uma matriz de Hessenberg
superior.
O caso geral, em que A é singular, é um pouco mais difícil. De fato, não é verdade que toda decomposição
QR de uma matriz de Hessenberg superior vai produzir um fator Q Hessenberg superior. Mas é possível
provar que é sempre possível escolher a decomposição QR de tal forma que o fator Q produzido é Hessenberg
superior (veja [Watkins]).
Antes de descrever o algoritmo que transforma uma matriz geral em uma matriz de Hessenberg superior
(o custo da transformação será de 10
3 n3 flops) vamos introduzir o conceito de refletores de Householder que
são usados para introduzir zeros abaixo da subdiagonal inferior.
No que se segue assumiremos sempre a norma vetorial como sendo a norma euclidiana.
6.9 Definição. Seja u ∈ R n um vetor unitário. Então o operador Q : R n −→ R n definido por
Q = I − 2uu T
é chamado um refletor de Householder (ou simplesmente um refletor).
A proposição a seguir resume as propriedades que caracterizam uma reflexão:
6.10 Proposição. Sejam u ∈ R n um vetor unitário e Q = I − 2uu T um refletor. Então
(i) Qu = −u.
(ii) Qv = v para todo v ⊥ u.
(iii) Q = Q T ( Q é simétrico).
(6.11)

Rodney Josué Biezuner 112
(iv) Q T = Q −1 ( Q é ortogonal).
(v) Q −1 = Q ( Q é uma involução).
Prova: (i) Usando o fato que u T u = 〈u, u〉 = 1, temos
(ii) Usando o fato que u T v = 〈u, v〉 = 0, temos
(iii)
(iv),(v) Usando (iii) segue que
Qu = u − 2 uu T u = u − 2u u T u = u − 2u = −u
Qv = v − 2 uu T v = u − 2u u T v = u − 0 = u.
Q T = I − 2uu T T = I − 2 u T T u T = I − 2uu T = Q.
QQ T = QQ = I − 2uu T I − 2uu T = I − 4uu T + 4uu T uu T
= I − 4uu T + 4u u T u u T = I − 4uu T + 4uu T
= I.
Em outras palavras Q = I − 2uu T leva cada vetor x ∈ R n em sua reflexão com relação ao hiperplano
H = {v : 〈u, v〉 = 0} ortogonal a u.
A possibilidade do uso de refletores para criar zeros em matrizes segue do seguinte resultado:
6.11 Teorema. Sejam x, y ∈ R n tais que x = y mas x = y. Então existe um único refletor tal que
Qx = y.
Prova: (Existência) Para encontrar um vetor u tal que I − 2uu T x = y, primeiro notamos que o hiperplano
de reflexão bisecta o ângulo entre x e y, de modo que o vetor x − y deve ser perpendicular a este plano.
Portanto, nosso candidato é
u =
De fato, de (i) e (ii) da proposição anterior, temos
pois
Logo,
x − y
. (6.12)
x − y
Q (x − y) = y − x,
Q (x + y) = x + y,
〈x − y, x + y〉 = 〈x, x〉 + 〈x, y〉 − 〈y, x〉 − 〈y, y〉 = x 2 − y 2 = 0.
Qx = 1
1
[Q (x − y) + Q (x + y)] = [y − x + x + y] = y.
2 2
6.12 Corolário. Seja x ∈ Rn um vetor não nulo. Então existe um refletor Q tal que
⎡
⎢
Q ⎢
⎣
x1
x2
.
.
⎤
⎥
⎦ =
⎡
∗
⎢ 0
⎢ .
⎣ .
0
⎤
⎥
⎦ .
xn

Rodney Josué Biezuner 113
Prova: Escolha y = (± x , 0, . . . , 0) no teorema anterior, com o sinal escolhido de tal forma a garantir que
x = y.
No caso complexo, basta tomar
Q = I − 2uu ∗
(6.13)
e temos resultados análogos, bastando substituir simétrico ortogonal por hermitiano unitário.
Vamos agora descrever o algoritmo para reduzir uma matriz geral A à forma de Hessenberg. Cada passo
introduz os zeros nas posições desejadas de cada coluna, da primeira até a última, em um total de n−2 passos
(já que evidentemente não há necessidade de transformar as últimas 2 colunas da matriz para colocá-la na
forma de Hessenberg). Primeiro faça uma partição por blocos de A na forma
a11 c
A =
T
b A
Seja Q1 : Fn−1 −→ Fn−1 um refletor (onde F = R ou C) tal que
⎡ ⎤
τ1
⎢
Q1b
⎢ 0 ⎥
= ⎢
⎣ .
⎥
. ⎦
0
onde |τ1| = b e τ1b1 < 0. Defina o refletor Q1 : F n −→ F n
e tome
Então
T 1 0
Q1 =
0 Q1
⎡
⎢
A1/2 = Q1A = ⎢
⎣
A1 = Q1AQ −1
1 = Q1AQ1 = A 1/2Q1 =
⎡
⎢
⎣
a11
τ1
0
.
0
a11
τ1
0
.
.
0
c T Q1
c T
Q1 A
Q1 A Q1
⎤
⎤
⎥
⎦
⎡
⎥ ⎢
⎥ ⎢
⎥ ⎢
⎥ = ⎢
⎥ ⎢
⎦ ⎣
a11 ∗ · · · ∗
Este é o fim do primeiro passo: a matriz A1, semelhante à matriz A através de uma matriz ortogonal, tem
zeros na primeira coluna abaixo do primeiro elemento da subdiagonal.
O segundo passo cria zeros na segunda coluna de A1, isto é, na primeira coluna de A1, nas posições
desejadas. Assim, usamos um refletor Q2 : Fn−2 −→ Fn−2 exatamente como no primeiro passo, exceto que
usamos A1 ao invés de A, e definimos
⎡
⎢
Q2 = ⎢
⎣
1 0
0 1
0 0
. .
. .
0 0
0 · · · 0
0 · · · 0
Q2
⎤
⎥
⎦
τ1
0
.
0
A1
⎤
⎥ .
⎥
⎦

Rodney Josué Biezuner 114
e
Daí,
⎡
⎢
A3/2 = Q2A1 = ⎢
⎣
a11 ∗ ∗ · · · ∗
τ1 ∗ ∗ · · · ∗
0
.
.
0
A2 = Q2A1Q −1
2 = Q2A1Q2 = A 3/2Q2 =
τ2
.
.
0
⎡
⎢
⎣
Q2 A1
⎤
⎥ .
⎥
⎦
a11 ∗ ∗ · · · ∗
τ1
0
∗ ∗ · · · ∗
.
0
τ2
.
0
Q2 A1 Q2
Procedemos desta forma em n−2 passos até encontrar uma matriz de Hessenberg An−2 semelhante à matriz
original A através de uma matriz ortogonal Q = Qn−2 . . . Q2Q1.
6.3.2 Aceleração do algoritmo QR
Ordene os autovalores de A na forma
|λ1| |λ2| . . . |λn| .
Considere uma sequência (Ak) de iteradas do algoritmo QR tal que cada matriz Ak é de Hessenberg superior.
Denote
⎡
⎤
⎢
Ak = ⎢
⎣
ak 11 ak 12 ak 13 ak 14 . . . . . . ak 1n
ak 21 ak 22 ak 23 ak 24 . . . . . . ak 2n
0 ak 32 ak 33 ak 34 . . . . . . ak 3n
0 0 ak 43 ak . ..
44
. . . ak 4n
0 0 0
.
.
.
.
.
.
.
.
.
.
.
.
. ..
. ..
. ..
. ..
. ..
. ..
. ..
. ..
. ..
.
.
.
.
. .. a k n−1,n
0 0 0 0 . . . 0 a k n,n−1 a k nn
No algoritmo QR as entradas subdiagonais (ou a maioria delas) convergem para 0 quando n → ∞. Mais
precisamente, como veremos mais tarde, se
então
|λi| > |λi+1| ,
a k i+1,i → 0 com taxa de convergência
λi+1
λi
⎥ .
⎥
⎦
, i = 1, . . . , n − 1.
Portanto, uma maneira de acelerar a convergência do algoritmo é decrescer os quocientes |λi+1/λi|. Um modo
de fazer isso é através do uso de um deslocamento, como no método das potências. A matriz deslocada A−σI
tem autovalores
|λ1 − σ| |λ2 − σ| . . . |λn − σ|
e as taxas de convergência associadas são
λi+1
− σ
λi − σ , i = 1, . . . , n − 1.
⎤
⎥ .
⎥
⎦

Rodney Josué Biezuner 115
Assim, se escolhermos σ suficientemente próximo de um autovalor arbitrário que chamaremos λn após reordenar
os índices (e assumindo λn−1 = λn), aplicando o algoritmo QR a A − σI observaremos que a
(A − σI) k
n,n−1 converge para 0 rapidamente. Uma vez que (A − σI)k n,n−1 seja suficientemente pequeno, esta
entrada pode ser considerado 0 na prática e, adicionando σI à iterada (A − σI) k do algoritmo QR, obtemos
⎡
⎢
Ak = ⎢
⎣
Ak
0
.
0
0 · · · 0 a k nn
com a k nn uma boa aproximação para λn. Os autovalores restantes de Ak são os autovalores de Ak. Podemos
então aplicar o algoritmo QR à matriz Ak, que tem ordem um a menos que a ordem de A. Continuando
desta forma, usaremos o algoritmo QR em matrizes cada vez menores até obter todos os autovalores de A.
Este processo, em que o tamanho da matriz é reduzido cada vez que um autovalor é encontrado, é chamado
deflação.
O próprio algoritmo QR pode ser usado para obter os valores para os deslocamentos σ, já que depois
de algumas iterações a matriz está próxima da forma triangular e os valores na diagonal principal estão
próximos aos autovalores de A. De fato, as entradas na diagonal principal são quocientes de Rayleigh, já
que
a k ii = e T i Akei = 〈Akei, ei〉 .
Assim, o deslocamento pode ser modificado em cada iteração, como no método da iteração do quociente de
Rayleigh, usando-se
de modo que
λi+1 − σk
λi − σk
σk = a k nn
⎤
⎥
⎦ .
→ 0 quando k → ∞
e obtemos uma taxa de convergência melhor que linear. De fato, veremos que, como no método da iteração
do quociente de Rayleigh, este algoritmo QR com deslocamento dado pelo quociente de Rayleigh
possui convergência quadrática em geral e cúbica para matrizes hermitianas.
Na prática, depois de apenas uma iteração QR já é seguro usar σ1 = a 1 nn. O único efeito dessa escolha é
que a ordem dos autovalores obtidos no processo não é necessariamente crescente.
O deslocamento dado pelo quociente de Rayleigh pode falhar às vezes, por exemplo quando o deslocamento
obtido está a mesma distância de dois autovalores distintos, fazendo com que o método tenha dificuldade
de “decidir” qual autovalor aproximar. Para evitar esta situação, é preferível usar o deslocamento de
Wilkinson, que é definido como sendo o autovalor da submatriz 2 × 2
a k n−1,n−1
a k n,n−1
ak n−1,n
ak nn
que está mais próximo de a k nn. Ele é fácil de calcular porque é a raiz de um polinômio do segundo grau. É
possível provar para matrizes simétricas tridiagonais o algoritmo QR com deslocamento de Wilkinson sempre
converge. Além disso, como estamos usando maior informação para obter o deslocamento, a taxa convergência
no mínimo igual à do algoritmo QR usando o deslocamento dado pelo quociente de Rayleigh e muitas vezes
melhor. Em geral, existem apenas casos muito especiais de matrizes para as quais o deslocamento de
Wilkinson falha. A experiência tem mostrado que são necessárias apenas 5 ou 9 iterações do algoritmo
QR para obter uma aproximação satisfatória para o primeiro autovalor e de 3 a 5 iterações em média para
os autovalores restantes (às vezes menos); para matrizes hermitianas, 2 ou 3 iterações em média bastam.
O deslocamento de Wilkinson tem a vantagem inicial de que pode ser usado para aproximar autovalores
complexos de matrizes reais, já que ele pode ser um número complexo, enquanto que o quociente de Rayleigh

Rodney Josué Biezuner 116
de uma matriz real sempre é um valor real. Para maiores detalhes sobre as informações contidas este parágrafo
veja [Watkins].
Por fim, às vezes ocorre durante as iterações do algoritmo QR que um elemento da subdiagonal inferior
localizado próximo ao meio da matriz é suficientemente próximo de 0. Neste caso a matriz Ak tem a forma
em blocos
B11 B12
0 B22
e o problema pode ser quebrado em dois, aplicando o algoritmo QR aos blocos B11 e B22 separadamente.
Como o custo de uma iteração QR de Hessenberg é O n 2 , dividindo o tamanho da matriz pela metade
implica numa diminuição do custo por um fator de 4.
6.3.3 Implementação prática do algoritmo QR
Veja [Watkins].
6.4 Iteração de subespaços e iteração simultânea
No método das potências ou iteração direta, ao invés de iterarmos apenas um vetor, podemos considerar a
iteração de um subespaço inteiro: se S ⊂ F n (onde F = R ou C), consideramos as iteradas
S, AS, A 2 S, . . .
Cada iterada A k S é um subespaço de F n que pode ser caracterizado por
A k S = A k x : x ∈ S .
Como no método da iteração direta as iteradas convergem para o autovetor dominante, esperamos que estes
subespaços iterados convirjam para um autoespaço. Para verificar isso, precisamos definir uma noção de
distância entre subespaços vetoriais.
6.13 Definição. Dados dois subespaços S, T ⊂ F n , a distância entre eles é definida por
dist (S, T ) = sen θ
onde θ é o maior ângulo principal entre S e T . Dizemos que uma sequência de subespaços {Sk}
converge para S se dist (Sk, S) → 0 e denotamos este fato por Sk → S.
6.14 Teorema. Seja A ∈ Mn (F) diagonalizável com autovalores
|λ1| |λ2| . . . |λn|
e uma correspondente base de autovetores {v1, . . . , vn}. Suponha que |λm| > |λm+1| para algum m.
Sejam
Tm = 〈v1, . . . , vm〉 ,
Um = 〈vm+1, . . . , vn〉 .
Seja S um subespaço vetorial de dimensão m tal que S ∩ Um = {0}. Então existe uma constante C
tal que
dist A k
λm+1
S, Tm C
Em particular, A k S → Tm linearmente com taxa de convergência |λm+1/λm|.
λm

Rodney Josué Biezuner 117
Prova: Uma demonstração rigorosa deste teorema está além dos propósitos deste curso. Daremos apenas
algumas idéias para justificar o resultado.
Em primeiro lugar, observe que dim A k S = m para todo k. De fato, temos
ker A k ⊂ Um. (6.14)
Isso pode ser facilmente visto escrevendo os vetores em coordenadas: dado um vetor v = n
i=1 aivi, temos
A k v =
n
i=1
aiλ k i vi,
de modo que A k v = 0 implica a1 = . . . = am = 0 pois v1, . . . , vn são linearmente independentes e λ1, . . . , λm
são não nulos, já que |λ1| . . . |λm| > |λm+1| 0. Daí, (6.14) juntamente com dim S = m e S ∩Um = {0}
implicam imediatamente que dim A k S = m para todo k.
Agora, seja v ∈ S um vetor não nulo. Escrevendo
v =
n
i=1
segue de S∩Um = {0} que pelo menos um dos escalares a1, . . . , am é não nulo (assim, a condição S∩Um = {0}
é equivalente a exigir no método das potências que o vetor inicial tenha uma componente na direção do
autovetor dominante; aqui exigimos que cada vetor do subespaço tenha uma componente no autoespaço
dominante). Temos
A k v
λ k m
=
m
i=1
ai
λi
λm
k
vi +
aivi
n
i=m+1
ai
λi
λm
k
vi.
As componentes do vetor “normalizado” Akv/λk m no subespaço Um tendem a zero quando k aumenta com
taxa de convergência |λm+1/λm| ou melhor (dependendo dos valores de am+1, . . . , an), consequentemente o
vetor limite está no subespaço Tm. Como cada subsespaço AkS tem dimensão m, o limite dos subespaços
não pode ser um subespaço próprio de Tm.
Observe que a condição S ∩ Um = {0} ocorre quase sempre para uma escolha aleatória do subespaço mdimensional
S (por exemplo, no caso de R3 a escolha aleatória de uma reta e um plano quase sempre resultará
que o único ponto em que eles se interceptam é a origem).
Para fazer a iteração de subespaços na prática, deve-se escolher uma base para S e iterar todos os
vetores desta base simultaneamente. No processo de iterar o subespaço, devemos obviamente ortonormalizar
a base do subespaço AkS em cada passo da iteração, usando um algoritmo robusto tal como o MGS com
reortogonalização. Este processo todo é chamado iteração simultânea.
Em notação matricial, a iteração simultânea pode ser descrita da seguinte maneira. Seja S um subespaço
de dimensão m com base v1, . . . , vm. Utilizando um algoritmo robusto, encontramos uma base ortonormal
q1, . . . , qm. Formamos então uma matriz inicial n × m com colunas ortonormais:
.
Em cada passo k da iteração, calculamos
Q0 = q 0 1 · · · q 0 m
Bk = AQk
e fazemos a decomposição QR de Bk para obter uma base ortonormal para o subespaço A k S: se
Bk = Qk+1Rk+1,
então as colunas ortonormais de Qk+1 formam uma base ortonormal para A k S. No limite, teremos que as
colunas das matrizes Qk convergem para os m autovetores dominantes (nas condições do teorema anterior).

Rodney Josué Biezuner 118
6.4.1 Equivalência entre o Algoritmo QR e Iteração Simultânea
O algoritmo QR puro é equivalente à iteração simultânea aplicada à matriz identidade, isto é, tomando
Q0 = I. Ou seja, se na iteração simultânea
⎡
Q0 = I,
⎣ Bk−1 = AQk−1, (6.15)
Bk−1 = QkRk, definirmos
e, reciprocamente, no algoritmo QR ⎡
definirmos
segue que
Ak = Q ∗
kAQ k, (6.16)
Rk = Rk · · · R1
⎣ A0 = A,
Ak−1 = QkRk,
Ak = RkQk,
(6.17)
(6.18)
Qk = Q1 · · · Qk, (6.19)
Rk = Rk · · · R1
(6.20)
Ak = Ak, (6.21)
Q k = Qk, (6.22)
Rk = Rk. (6.23)
De fato, afirmamos que as matrizes Q k, Rk e as matrizes Qk, Rk são ambas caracterizadas como sendo a
decomposição QR (portanto única) da matriz A k , a k-ésima potência de A:
A k = Q kRk = Qk Rk. (6.24)
A verificação de todos estes fatos segue por indução. O caso k = 0 é imediato, já que B0 = A. Como
hipótese de indução, assumimos
donde
Daí, no caso da iteração simultânea temos
enquanto que no algoritmo QR temos
Ak−1 = Ak−1,
A k−1 = Qk−1 Rk−1 = Q k−1Rk−1,
Q k−1 = Qk−1,
Rk−1 = Rk−1.
A k = AA k−1 = AQ k−1Rk−1 = Q kRkRk−1 = Q kRk,
A k = AA k−1 = A Qk−1 Rk−1 = Qk−1Ak−1 Rk−1 = Qk−1QkRk Rk−1 = Qk Rk.

Rodney Josué Biezuner 119
Portanto,
donde
A k = Q kRk = Qk Rk
Q k = Qk,
Rk = Rk.
Finalmente, pelo algoritmo QR podemos escrever (como em (6.10))
donde, pela hipótese de indução,
Ak = Q ∗ kAk−1Qk,
Ak = Q ∗ kAk−1Qk = Q ∗ kQ ∗
k−1AQ k−1Qk = Q ∗ k Q ∗ k−1A Qk−1Qk
= Q ∗ kQ ∗ k−1 · · · Q ∗ 1AQ1 · · · Qk−1Qk = Q ∗ kA Qk
= Ak.
6.4.2 Convergência do Algoritmo QR
Por simplicidade considere A simétrica. A relação
A k = Qk Rk = (Q1 · · · Qk) (Rk · · · R1)
explica porque o algoritmo QR encontra os autovetores de A: ele constrói bases ortonormais para o espaço
coluna das potências sucessivas A k (e as colunas de A k são A k e1, . . . , A k en). A relação
Ak = Q t kA Qk
explica porque o algoritmo QR encontra os autovalores de A: os elementos da diagonal de Ak são os quocientes
de Rayleigh correspondentes às colunas de Qk, isto é, aos autovetores de A. Como os autovetores de A são
ortogonais e A-ortogonais, os elementos fora da diagonal principal também convergem para 0.
6.5 Método de Arnoldi e Algoritmo de Lanczos
Para matrizes esparsas, não simétricas, o método de Arnoldi é o método mais usado para encontrar os
autovalores e autovetores, e para matrizes simétricas esparsas o método escolhido é o algoritmo de Lanczos.
Na Proposição 5.7 vimos que no método de Arnoldi obtemos
onde
AQm = Qm+1 Hm
Qm = q1 . . . qm
,
Qm+1 = q1 . . . qm qm+1
,
(6.25)
são matrizes com colunas ortonormais e Hm é uma matriz de Hessenberg superior (m + 1) × m (na notação
daquela proposição, a matriz Qm é denotada por Vm). Como naquela proposição, denote por Hm a matriz
de Hessenberg superior quadrada obtida através de Hm quando suprimimos a última linha desta. Segue que
AQm = QmHm + qm+1 0 . . . 0 hm+1,m

Rodney Josué Biezuner 120
ou
AQm = QmHm + qm+1hm+1,me t m. (6.26)
Como vimos no capítulo anterior, se q, Aq, . . . , A m q são linearmente independentes, então hm+1,m = 0. Se
eles são linearmente dependentes, então hm+1,m = 0 e
AQm = QmHm. (6.27)
6.15 Proposição. Sejam A ∈ Mn (F) e q1, . . . , qm ∈ Fn linearmente independentes. Sejam S = 〈q1, . . . , qm〉
e considere a matriz n × m
Q = q1 . . . qm
.
Então S é invariante sob A se e somente se existe algum B ∈ Mm (F) tal que
AQ = QB.
Além disso, todo autovalor de B é um autovalor de A com autovetor correspondente em S.
Prova. Se existe tal B, então
Aqj =
m
qibij ∈ S.
i=1
Reciprocamente, se S é invariante sob A, então para cada índice j = 1, . . . , m existem escalares bij tais que
Aqj =
m
i=1
Defina B = (bij). Se w é um autovetor de B com autovalor λ, então v = Qw ∈ S é um autovetor de A com
autovalor λ.
Portanto, os autovalores da matriz de Hessenberg Hm são também autovalores de A. Se m não é muito
grande, podemos então usar o algoritmo QR para encontrar os autovalores de Hm. Na prática, dificilmente
obteremos hm+1,m = 0 exatamente, mas se hm+1,m é próximo de zero podemos esperar que estamos próximos
de um subespaço invariante e, portanto, que os autovalores de Hm estão próximos aos autovalores de A:
6.16 Teorema. Sejam Qm, Hm e hm+1,m gerados pelo método de Arnoldi. Seja λ um autovalor de Hm
com autovetor unitário x. Seja v = Qmx. Então
onde xm denota a última componente de x.
bijqi.
Av − λv = |hm+1,m| |xm|
O método de Arnoldi em geral obtém os autovalores periféricos. Os autovalores interiores podem ser encontradas
através da estratégia do deslocamento.
Quando A é simétrica, como vimos no capítulo anterior Hm é uma matriz tridiagonal Tm que pode ser
obtida através de uma fórmula de recorrência.
Veja [Watkins] para detalhes sobre implementações eficientes do método de Arnoldi e algoritmo de Lanczos
para encontrar autovalores e autovetores de matrizes esparsas.
6.6 O Problema de Autovalor Simétrico
Para matrizes simétricas, existem algoritmos bem mais eficiente que o algoritmo QR. Veja [Parlett],
[Trefethen-Bau], entre outros.

Rodney Josué Biezuner 121
6.7 Exercícios
6.1 Suponha que A ∈ Mn (C) é uma matriz diagonalizável tal que nenhum autovalor de A diferente do
autovalor dominante λ1 tem módulo igual a A. Em outras palavras, se r é a dimensão do autoespaço
associado a λ1, ou autovalores de A satisfazem
com
|λ1| = . . . = |λr| > |λ2| . . . |λn|
λ1 = . . . = λr.
Mostre que o método das potências pode ser aplicado a A para encontrar λ1 e um autovetor unitário
no autoespaço associado a λ1.
6.2 Usando a forma canônica de Jordan, mostre que a hipótese de A ser diagonalizável pode ser removida
da hipótese do exercício anterior decompondo o vetor inicial v0 como a soma de um vetor na direção
do autovetor dominante v1 e de vetores principais nos subespaços de Jordan da matriz.
6.3 Prove a Proposição 6.7 sem assumir que o autovalor é simples.
6.4 Prove que o produto de uma matriz triangular superior e uma matriz de Hessenberg superior é uma
matriz de Hessenberg superior. O que se pode dizer sobre o produto de duas matrizes de Hessenberg
superiores?
6.5 Prove a unicidade do refletor na Proposição 6.11.

Referências Bibliográficas
[BHM] William L. BRIGGS, Van Emden HENSON e Steve F. McCORMICK, A Multigrid
Tutorial, 2nd. Ed., SIAM, 2000.
[Demmel] James W. DEMMEL, Applied Numerical Linear Algebra, SIAM, 1997.
[Hackbusch] W. HACKBUSCH, Iterative Solutions of Large Sparse Systems of Equations, Applied
Mathematical Sciences 95, Springer-Verlag, 1994.
[Hoffman-Kunze] K. HOFFMAN e R. KUNZE, Linear Algebra, 2nd. Ed., Prentice Hall, 1971.
[Horn-Johnson] Roger A. HORN e Charles R. JOHNSON, Matrix Analysis, Cambridge University
Press, 1985.
[Komzsik] Louis KOMZSIK, The Lanczos Method: evolution and application, SIAM, 2003.
[Kreyszig] KREYSZIG, E., Introductory Functional Analysis with Applications, John Wiley &
Sons, 1978.
[Mak] Ronald MAK, Java Number Cruncher: the Java Programmer’s Guide to Numerical
Computing, Prentice Hall, 2003.
[Meurant] Gérard MEURANT, The Lanczos and Conjugate Gradient Algorithms: from theory
to finite precision computations, SIAM, 2006.
[Parlett] Beresford N. PARLETT, The Symmetric Eigenvalue Problem, SIAM, 1998.
[Saad] Yousef SAAD, Iterative Methods for Sparse Linear Systems, 2nd Ed., SIAM, 2003.
[Stoer-Bulirsch] Josef STOER e Roland BULIRSCH, Introduction to Numerical Analysis, 3rd Ed.,
Springer, 2002.
[Strang] Gilbert STRANG, Linear Algebra and its Applications, 3rd Ed., Harcourt Brace Jovanovich,
1988.
[Trefethen-Bau] Lloyd N. TREFETHEN e David BAU, Numerical Linear Algebra, SIAM, 1997.
[van der Vorst] Henk A. van der VORST, Iterative Krylov Methods for Large Linear Systems, Cambridge
University Press, 2003.
[Watkins] David S. WATKINS, Fundamentals of Matrix Computations, 2nd Ed., John Wiley &
Sons, 2002.
[Young] David M. YOUNG, Iterative Solutions of Large Linear Systems, Academic Press,
1971.
122