Algoritmos e complexidade Notas de aula - Arquivo Escolar

4. Algoritmos gulosos
Proposição 4.4
O conjunto das folhas de cada árvore binária corresponde com um código livre
de prefixo.
Prova. Dado uma árvore binária com as folhas representando códigos, nenhum
código pode ser prefixo de outro: senão ocorreria como nó interno.
Qual o melhor código?
• A teoria de informação (Shannon) fornece um limite.
• A quantidade de informação contido num símbolo que ocorre com freqüência
f é
− log 2 f,
logo o número médio de bits transmitidos (para um número grande de
símbolos) é
H = − fi log 2 fi.
• H é um limite inferior para qualquer código.
• Nem sempre é possível atingir esse limite. Com
A = 1/3, B = 2/3; H ≈ 0.92b
mas o código ótimo precisa ao menos 1b por símbolo.
• Nosso exemplo: H ≈ 1.92.
Como achar o melhor código?
92
• Observação 1: Uma solução ótima é uma árvore completa.
• 1
•
∗
•
0
1
• •
⇒ • 1
•
0
1
• •
• Observação 2: Em uma solução ótima, os dois símbolos com menor
freqüência ocorrem como irmãos no nível mais alto. Logo: Podemos
substituir eles com um nó cujo freqüência é a soma dos dois.