Wykład 12 - kodowanie różnicowe - MARS

Kodowanie rónicowe
Plan
1. Zasada
2. Podstawowy algorytm
3. Kodowanie adaptacyjne
4. Zastosowania

Kodowanie rónicowe – zasada
Jako kwantyzacji – szeroko przedziału – wariancja,
rozpito danych
Obrazy, dwiki – korelacja w danych
Wykorzystanie korelacji – kwantyzacja wektorowa.
Problem – złoona implementacja
Bezstratna kompresja predykcyjna – poprawa stopnia
kompresji
Kompresja stratna – zamiast wartoci cigu próbek
bierzemy cig rónic. To daje zmniejszenie rozpitoci
danych, zmniejszenie wariancji – pozwala na zmniejszenie
szerokoci kwantyzacji, czyli popraw jej jakoci.

Kodowanie rónicowe – zasada c.d.
Przesyłanie informacji poprzez przesyłanie rónic –
kodowanie rónicowe.
Przykład 1
Sygnał harmoniczny, próbkowany z czstoci 30 próbek/cykl
y i
i
= sin(2π
)
30
Kwantyzacja 4-poziomowa:
Cig rónic:
d
n
= y
n
− y
n −1
2π
i
≈ cos( 2π
)
30 30
Kwantyzacja rónic:
∆ =
y
− y
4
max min
=
0.5
d
∆ =
max
− d
4
min
=
2π
2
30 4
≈ 0.1

Kodowanie rónicowe – zasada c.d.
• Przykład 2

Podstawowy algorytm
Wariant 1 – obliczamy cig rónic, kwantyzujemy. To
bdzie podstawa do wyznaczenia rekonstrukcji.
Przykład:
• cig danych:
6.2
9.7
13.2
5.9
8
7.4
4.2
1.8
2.5
3.7
5.3
6.4
• cig rónic:
6.2
3.5
3.5
-7.3
2.1
x n
1.1
-0.6
-3.2
-2.4
0.7
1.2
1.6
d n
2.0
• kwantyzacja cigu rónic (kwantyzator 7-poziomowy):
D n
6.0
4.0
4.0
-6.0
2.0
0.0
-4.0
-2.0
0.0
2.0
2.0

Podstawowy algorytm – c.d.
• Rekonstrukcja, błdy rekonstrukcji:
X n
• Problem – błdy rekonstrukcji znacznie wiksze od oczekiwanych
6.0 10.0 14.0 8.0 10.0 10.0 6.0 4.0 4.0 6.0 8.0 10.0
e n
0.2 -0.3 -0.8 -2.1 -2.0 -2.6 -1.8 -2.2 -1.5 -2.3 -3.7 -3.4
Analiza wariantu 1:
d 1 =x 1 -x 0 , D 1 =d 1 +q 1 , X 1 =X 0 +D 1 = x 0 +x 1 -x 0 +q 1 = x 1 +q 1
d 2 =x 2 -x 1 , D 2 =d 2 +q 2 , X 2 =X 1 +D 2 = x 1 +q 1 +x 2 -x 1 +q 2 = x 2 +q 1 +q 2
d 3 =x 3 -x 2 , D 3 =d 3 +q 3 , X 3 =X 2 +D 3 = x 2 +q 1 +q 2 +x 3 -x 2 +q 3 = x 3 +q 1 +q 2 +q 3
Wniosek – wariant 1 powoduje kumulacj błdów
X
n
=
x
n
+
n
k = 1
q
k
Koder i dekoder korzystaj z innych informacji
Wariant 2: d n = x n – X n-1

Podstawowy algorytm – c.d.
Analiza wariantu 2:
d 1 =x 1 -X 0 , D 1 =d 1 +q 1 , X 1 =X 0 +D 1 = X 0 +x 1 -X 0 +q 1 = x 1 +q 1
d 2 =x 2 -X 1 , D 2 =d 2 +q 2 , X 2 =X 1 +D 2 = X 1 +x 2 -X 1 +q 2 = x 2 +q 2
d 3 =x 3 -X 2 , D 3 =d 3 +q 3 , X 3 =X 2 +D 3 = X 2 +x 3 -X 2 +q 3 = x 3 +q 3
ogólnie:
X n = x n + q n
Przykład numeryczny
6.2 9.7 13.2 5.9 8.0 7.4 4.2 1.8 2.5 3.7 5.3 6.4
d n
6.2 3.7 3.2 -8.1 0 -0.6 -3.8 -2.2 0.5 1.7 1.3 0.4
D n
6 4 4 -6 0 0 -4 -2 0 2 2 0
X n
6 10 14 8 8 8 4 2 2 4 6 6
e n
0.2 -0.3 -0.8 -2.1 0.0 -0.6 0.2 -0.2 0.5 -0.3 -0.7 0.4
x n
Wariant 1: sigma 2 = 51.52; wariant 2: sigma 2 = 6.61

Podstawowy algorytm – c.d.
Przykład: funkcja harmoniczna
Wariant 1: krok kwant. = 0.1
Wariant 2: krok kwant. = 0.2
Schemat podstawowego algorytmu

Modyfikacje. Ogólny algorytm DPCM
Kompresja maksymalna, gdy rónice jak najmniejsze
Lepsze oszacowanie x n ni X n-1 moe da pewna inna
funkcja zmiennych zrekonstruowanych
Uogólnienie algorytmu podstawowego – zamiast bloku
opóniajcego – predyktor
Na wyjciu predyktora: p n = f(X n-1 , X n-2 , ..., X 0 )

Okrelenie predyktora
Algorytm DPCM – wypracowany pod koniec lat 40-tych w
Bell Labs.
Powszechnie stosowany w systemach telefonicznych
Podstawowe podsystemy: predyktor i kwantyzator
Projektowanie predyktora
Dobór funkcji predyktora, by zminimalizowa rónice:
σ = E[(
x − p
2
d
W ogólnym przypadku – bardzo trudno rozwizywalne
Zwykle stosuje si 2 załoenia upraszczajce:
n
n
)
2
1. Delikatne załoenie kwantyzacyjne – długo kroku kwantyzacji
tak mała, e moemy zastpi X k przez x k
2. Predyktor jest funkcj liniow:
p
n
=
N
i=
1
a
i
X
n−i
]
N – rzd predyktora

Okrelenie predyktora – przypadek liniowy
Problem: znale {a i }, i=1,..N by zminimalizowa
σ
2
d
Warunki:
N
= E
xn
− ai
X
i=
1
∂σ
∂a
2
d
i
=
0
N −i
2
Wykorzystujc delikatne załoenie kwantyzacyjne i
stacjonarno mamy:
N
i = 1
N
i = 1
....
a
a
i
i
R
R
xx
xx
( i
( i
−
−
1) =
2 ) =
R
R
xx
xx
(1)
( 2 )
gdzie:
R
xx
+
( k ) = E [ x
i
x
i k
funkcja autokorelacji zmiennej x n
]
N
i = 1
a
i
R
xx
( i
−
N
)
=
R
xx
( N
)

Predyktor liniowy - przykład
N
a i
Stos. Var.
1
0.66
2.04/1.63
2
0.569
0.096
3.37
3
0.577
-0.025
0.204
6.28
Pełny układ DPCM – specyfikacja
kwantyzatora. Zakładamy:
• rozkład reszt – Laplace
• kwantyzator równomierny
• szeroko kwantyzacji – zalena od
dyspersji

Predyktor liniowy – przykład c.d.
Kwantyz.
N
SNR
SPER
4-poziom.
Bez
2.43
0
1
3.37
2.65
2
8.35
5.90
3
8.75
6.10
8-poziom.
Bez
3.65
0
1 3.87 2.74
2 9.81 6.37
3 10.16 6.71
SPER
1. Wyrana poprawa przy zmianie z N=1 na N=2
= M
i = 1
M
i = 1
( x
i
x
2
i
− p
i
)
2
2. Wysycenie dla N>2
3. Zniekształcenie w obszarach małego sygnału

Adaptacyjne DPCM
Czsto dane róni si w rónych obszarach – cho s
lokalnie stacjonarne, to nie s globalnie stacjonarne.
Moliwe rozwizanie – adaptacja układu
Typy adaptacji:
Tylko adaptacja kwantyzatora (z ustalonym predyktorem)
Adaptacja predyktora łcznie z adaptacj kwantyzatora
Kwantyzacja adaptacyjna w DPCM
Adaptacja w przód (podział na bloki, estymacja parametrów
kwantyzatora, przekazanie parametrów dodatkowych). Problem –
kwantyzator w ptli sprzenia zwrotnego, kłopot z wejciem, które
mogłoby by uyte do wyznaczenia parametrów adaptacji
Adaptacja wstecz – bardziej popularna, zwykle odmiana
kwantyzatora Jayanta

Predykcja adaptacyjna w DPCM
DPCM – APF (adaptive prediction-forward)
Podział danych na bloki (dla mowy próbkowanej z f=8 kHz – 128
próbek/blok, 16 ms; dla obrazów – 8 x 8 pikseli)
Wyliczenie współczynników autokorelacji a nastpnie parametrów
predyktora dla bloku
Kwantyzacja parametrów przedyktora z wysok redni bitow,
przesłanie ich odbiorcy
Wada: konieczno buforowania danych, opónienie w transmisji.
Gdy konieczno wielu połcze – narastanie opónienia.
DPCM – APB (adaptive prediction-backward)
Równania Wienera-Hopfa wyprowadzone przy załoeniu
stacjonarnoci danych

Predykcja adaptacyjna w DPCM
– Rezygnujemy z załoenia o stacjonarnoci, próba znalezienia
algebraicznej reguły adaptacji
– Prosty przypadek – predyktor rzdu 1. Kwadratowa zaleno
kwadratu reszty od a 1 :
d
2
n
2
= ( xn
− pn
) = ( xn
− a1
X
n−1
)
2
– Pochodna kwadratu reszty po a 1 – ujemna na lewo, dodatnia na
prawo od wartoci optymalnej; ronie z odchyleniem od
optymalnoci.
– Postulat – korekta proporcjonalna do pochodnej:
a
∂d
2
( n + 1) ( n )
n ( n )
1
= a1
− α = a1
+ α D
n
X
n −1
∂a1
– Uogólnienie na przypadek wyszego rzdu:
a
n+
1)
j
= a + α D
( n )
j
n
X
(
Algorytm LMS
n−
j

Modulacja delta
Prosta odmiana schematu DPCM z jednobitowym
kwantyzatorem (rónica kodowana jaki – lub +)
Gdy rónica odbiega od – wzrost zniekształcenia. Aby
temu zapobiec:
Dua czstotliwo próbkowania (f p >> 2 f max )
Adaptacja kroku kwantyzatora
Rodzaje zniekształce
Słabo zmienne wejcie – obszar ziarnisty (artefakt duej czstoci
próbkowania i sposobu kwantyzacji) konieczno filtrowania
Szybko zmienne wejcie – obszar przecionych zboczy (obszar
nadmiaru)

Modulacja delta – c.d.
DM – kwantyzator
ustalony
DM – kwantyzator
adaptacyjny

Modulacja delta – adaptacja
CFDM (Constant Factor Delta Modulation)
Zasada: w obszarze ziarnistym zmniejszamy szeroko, w obszarze
nadmiaru – zwikszamy
Jak ustali w jakim obszarze si znajdujemy?
W obszarze ziarnistym znak wyjcia kwantyzatora naprzemienny,
w obszarze nadmiaru – stały
Realizacja adaptacji:
s n = 1 gdy D n > 0, s n = -1 gdy D n < 0
∆
n
M1∆
=
M
2∆
n−1
n−1
,
,
s
= s
≠ s
n−1
n−1
M1 = 1/M2 = M > 1 (na ogół M

Modulacja delta – adaptacja – c.d.
System z pamici 2: rozwaamy s n , s n-1 , s n-2
Moliwe przypadki:
1. System włanie przeniósł si do obszaru ziarnistego:
sn
− 2
= sn
− 1
≠ sn,
M = 0.4
2. System cały czas w obszarze ziarnistym
s ≠ s ≠ s , M 0.9
n − 2 n − 1 n
=
3. System włanie wszedł w obszar nadmiaru
sn
− 2
≠ sn
− 1
= sn,
M = 1.5
4. System cały czas w obszarze nadmiaru
s
n −
2
= sn
− 1
= sn,
M = 2.0
Zastosowanie: prom kosmiczny, DM z pamici 7.

Zastosowania
Bardzo popularne w kodowaniu mowy
Uywane powszechnie w
Systemach telefonicznych
Systemach poczty głosowej
Aplikacjach multimedialnych
Standardy przemysłowe opisane w zaleceniach ITU-T:
G.721
G.723
G.726
G.722
Kodowanie obrazów – rzadziej stosowane

Zastosowania – kodowanie obrazów
Lewy: kodowanie rónicowe 1bpp, SNR = 22.33 dB
Kwantyzator 4 poziomowy, predyktor:
p[
j,
k ]
X [ j,
k − 1] dla k > 0
= X [ j − 1, k ] dla k = 0, j >
128 dla k = 0, j = 0
0
Prawy: JPEG 1bpp, SNR = 32.52
JPEG wyranie lepszy

Zastosowania – kodowanie obrazów
Zmiana predyktora – dla kadego piksela obliczamy:
p
p
p
1
2
3
p[
= ( X [ j − 1, k ] + X [ j,
k − 1]) / 2
= ( X [ j − 1, k − 1] + X [ j,
k − 1])
= ( X [ j − 1, k − 1] +
j,
k ] = mediana
{ p
1
X [ j − 1, k ])
, p , p }
2
3
/ 2
/ 2
To poprawia SNR do 29.20 dB.

Podsumowanie
DPCM daje gorsze wyniki kompresji ni kwantyzacja
wektorowa, ale jest prostsze w implementacji
Wyjtkowo dobrze nadaje si do kodowania mowy;
standardy przemysłowe
Budowa: predyktor + kwantyzator
Moliwo adaptacji kwantyzatora lub predyktora i
kwantyzatora