6. Codage et traitement de la vidéo - IUT d'Arles

Imagerie Numérique
Représentation et codage des images
6. Codage et traitement
S. Thon
E. Remy
IUT de Provence
de la vidéo
7/01/2003

1. Principe de l’animation
Une animation est constituée par une suite d’images
décomposant le mouvement.
��Il Il s’agit s agit donc d’un d un échantillonnage chantillonnage temporel du
mouvement.
09/12/2004 2

��Notre Notre cerveau a l’impression l impression d’un d un mouvement continu
grâce à la persistance rétinienne r tinienne.
Ce temps de persistance de l’image l image sur la rétine r tine est
d’environ environ 1/10ème 1/10 me de seconde.
Mouvement d’un stylo devant une caméra
réglée sur 10 images par seconde
09/12/2004 3

Cinéma : 24 images/seconde
Télévision : 25 images/seconde (entrelacement)
Si l’échantillonnage est insuffisant, le mouvement
sera haché hach et peu réaliste. r aliste.
09/12/2004 4

2. Codage de l’animation
Comme pour les images fixes il y a deux types
de codage d’animations :
�� Bitmap
�� Vectoriel
09/12/2004 5

2.1 Animation bitmap
Définition
C’est une succession d’images fixes, stockée dans un
fichier.
Ces images sont des tableaux de pixels
(éventuellement compressés), affichés les uns après
les autres selon une vitesse prédéfinie (ex ( ex: : 24 images
par seconde).
09/12/2004 6

Formats d’animations bitmaps
Il existe de nombreux formats d’animations bitmap,
pouvant éventuellement être compressés (voir plus loin) :
�� AVI
�� QuickTime
�� …
09/12/2004 7

Audio Video Interleave (AVI)
Format d'archivage de données audio/vidéo élaboré par
Microsoft.
Ce n'est pas une norme de codage (compression)
audio/vidéo en soi, c'est simplement une norme qui
permet de stocker du son et/ou de la vidéo dans un
même fichier. On dit que c'est un format
d’"encapsulation".
La norme AVI indique simplement en entête (au début
du fichier) quel codec le lecteur multimédia devra
utiliser pour traduire les données, et obtenir ainsi une
séquence audio/vidéo lisible. On trouve aussi dans
cette entête des informations relatives au document
comme la résolution, la durée, etc.
09/12/2004 8

Il est cependant possible de créer des fichiers AVI
n'utilisant pas de codec spécifique, le fichier contiendra
simplement des données non-compressées
non compressées, , on appelle
cela le format "RAW" (données brutes).
�� Garantit un stockage de données sans perte de
qualité.
��Attention, Attention, ce procédé crée des fichiers très lourds.
09/12/2004 9

QuickTime (MOV, QT, QTX, QTR, QT3)
Format d'encapsulation analogue au format AVI mais
développé par la firme Apple.
Cependant cette norme peut embarquer autre chose
que des données audio/vidéo, par exemple un format
de réalité virtuelle créé par Apple (QuickTime
( QuickTime VR).
Ce format est lisible sur la majorité des plates-formes.
plates formes.
09/12/2004 10

Avantages et inconvénients du format bitmap
�� Accès facile (tableaux de pixels)
�� Affichage facile
�� Taille importante des fichiers
�� Problème de changement d’échelle
09/12/2004 11

2.2 Animation vectorielle
Même principe que pour les images vectorielles fixes :
les formes sont décrites par des objets géométriques
(cercles, rectangles, polygones, …)
Animation facile : il suffit de modifier les coordonnées
de ces formes.
Les formats d’animation vectoriels sont rares.
�� Flash
09/12/2004 12

Flash (.swf (. swf, , .fla, .exe . exe)
Format d'animation vectorielle interactive développ d veloppé par
Macromedia. Macromedia.
Logiciel de création cr ation : Shockwave Flash. Flash
�� Format léger l ger �� téléchargement chargement rapide, pouvant
même se faire sous forme de flux (streaming ( streaming) ) :
possible de lire le contenu du document durant
son téléchargement.
t chargement.
�� Lecture : player indépendant ind pendant ou intégration int gration dans
une page web au moyen d’un d un plugin. plugin
�� possibilité possibilit d'intégrer d'int grer du son et de définir d finir des
évènements nements interactifs (�� ( jeux). jeux)
�� Exemple : vache.swf
09/12/2004 13

Avantages et inconvénients du format vectoriel
�� Fichiers très compacts
�� Mise à l’échelle sans perte de qualité
�� Animation très facile
�� Ne peut représenter que des objets graphiquement
simples, pas de scène réelle
�� dessin animé
anim
09/12/2004 14

3. Compression d’animation bitmap
3.1 Pourquoi compresser
�� Les images fixes sont coûteuses en stockage.
�� Les vidéos le sont encore plus, car il s’agit d’une
succession d’images fixes.
Ex:
vidéo de 1 min à 24 fps, fps,
640x480 pixels, 16 millions de couleurs :
(640 x 480 x 3) x 1 x 60 x 24 = 1,2 Go
(sans compter les données sonores !)
09/12/2004 15

Débit
Pour exprimer la quantité d’informations transmise lors
de la lecture d’une vidéo on parle de débits exprimés
soit en octets ou en bits par seconde.
Ex:
vidéo à 24 fps, fps,
640x480 pixels, 16 millions de couleurs :
(640 x 480 x 3) x 24 = 20,4 Mo/s
Modem : 5 Ko/s
ADSL : 64 Ko/s
Lecteur CD 50x : 7,3 Mo/s
09/12/2004 16

Débits bits très tr s important réclam r clamés s en vidéo. vid o.
�� indispensable de compresser les données donn es
sur le support de stockage et de les
décompresser compresser lors de la lecture.
�� Pour stockage
�� Pour diffusion en direct (« streaming »)
�� Pour lecture fluide (Disque dur, CDROM)
09/12/2004 17

Note :
La décompression d compression doit être suffisamment rapide pour
ne pas ralentir le flux (ici, il faut pouvoir décompresser
d compresser
24 images par seconde, ainsi que le son).
La durée de compression est moins importante, car on
peut très bien réaliser la compression du film original en
plusieurs heures si nécessaire.
Lorsque les durées de compression et de
décompression sont très différentes, on parle de codec
asymétrique.
09/12/2004 18

Codec
Les systèmes de COmpression/DECompression
(codec codec) ) ont pour but de réduire suffisamment le flux de
données pour permettre à la séquence de passer au
travers du support prévu.
Chaque Codec a ses particularités qui le rend plus ou
moins bien adapté aux supports visés.
09/12/2004 19

On distingue 2 grandes familles de codec :
�� Sans perte (lossless lossless)
�� Avec pertes (lossy lossy)
09/12/2004 20

3.2 Compression sans perte
Les données sont compressées (LZW, RLE, …), mais à
la restitution on retrouve exactement l’original sans
aucune altération.
�� Qualité d’image parfaite.
�� Compression peu efficace.
Formats de compression sans perte :
�� GIF
�� MNG
09/12/2004 21

GIF (Graphics ( Graphics Interchange Format)
Supporte une fonction d'animation image par image.
Une durée dur e d'affichage individuelle (en millisecondes)
peut être attribuée attribu e à chaque image.
Ne compresse (avec méthode m thode LZW) que les
différences diff rences entre deux images successives.
09/12/2004 22

MNG (Multiple image Network Graphics) Graphics
Extension du format PNG : « Multiple PNG »…
Format d'image qui vise à remplacer le vieillissant et
propriétaire propri taire format GIF. GIF
Peu répandu r pandu pour le momment, momment,
contrairement au PNG
(fixes) ou au GIF animées. anim es.
09/12/2004 23

3.3 Compression avec pertes
La vidéo non compressée ou compressée sans perte est
trop volumineuse.
�� Algorithmes de codage avec pertes tirant parti des
caractéristiques caract ristiques psychosensorielles de l’œ l’œil
il humain pour
se débarrasser d barrasser des informations qui ne sont pas perçues per ues
ou qui sont redondantes.
09/12/2004 24

Il existe de nombreuses méthodes de compression avec
perte :
�� Cinepak
�� Indeo
�� Real Video
�� MPEG
�� …
Ces différentes méthodes se distinguent par leurs taux
de compression et la qualité d’image résultante.
Nous n’aborderons que la compression de type MPEG.
09/12/2004 25

MPEG
MPEG (Moving ( Moving Pictures Experts Group) Group)
est un groupe
de l'ISO (International ( International Standards Organization). Organization).
Ce
groupe développe d veloppe les standards pour la vidéo vid o et le son.
Citons en particulier :
�� MPEG-1 MPEG 1 (VCD)
�� MPEG-2 MPEG 2 (DVD)
�� MPEG-4 MPEG 4 (DivX3 ;-), ; ), DivX 4 et 5, XviD, XviD,
etc)
etc
09/12/2004 26

MPEG 1
Standard de compression destinée destin e aux vidéos vid os de faible
résolution solution (352 x 240 x 30 t/s aux USA, 325 x 288 x 25
t/s en Europe), avec un son de qualité qualit CD. Son débit d bit ne
dépasse passe pas 1.15 Mbits/s. La qualité qualit est très tr s moyenne,
proche du format VHS (ce format est en voie de
disparition).
Le MPEG-1 MPEG 1 est capable d'être diffusé diffus sous forme de
flux (streaming ( streaming), ), ce qui permet de visualiser de la vidéo vid o
durant son téléchargement. t chargement. Le format MPEG-1 MPEG 1 est le
format utilisé utilis dans les CD-Vid CD Vidéo o (VCD), un média m dia en
perdition depuis l'arrivée l'arriv e du DVD.
09/12/2004 27

MPEG 2
Pour la vidéo vid o numérique num rique de qualité qualit TV (800x600x30 t/s).
Débit bit compris entre 4 et 9 Mbits/s.
�� Télévision vision numérique num rique (satellite)
�� SVCD (Super VCD)
�� DVD-vid DVD vidéo
Qualité Qualit proche des standards vidéo vid o professionnels (très (tr s
supérieur sup rieur au VHS) et permet la diffusion avec la
résolution solution 720 x 576 (norme télévisuelle).
t visuelle).
09/12/2004 28

MPEG 3
Le MPEG-3, MPEG 3, destiné destin à la télévision t vision haute définition, d finition, est
tombé tomb en désu d suétude tude (à ( ne pas confondre avec le format
audio MP3 qui est la contraction de MPEG Audio Layer-3). Layer 3).
09/12/2004 29

MPEG 4
Autorise des taux de compression très tr s élev levés s pour une
qualité qualit remarquable.
On considère consid re à l'heure actuelle que c'est le must de la
compression vidéo vid o d’un d un point de vue qualité qualit /
compression.
09/12/2004 30

Il existe des formats utilisant le MPEG-4 MPEG 4 comme l'ASF
ou le WMV (tous deux de Microsoft), mais la plupart du
temps le MPEG-4 MPEG 4 est encapsulé encapsul dans un fichier AVI ou
MOV à l'aide d'un codec MPEG-4 MPEG 4 (DivX, XviD, XviD,
3ivx, …)
La compression MPEG-4 MPEG 4 est de plus en plus répandu r pandu
sur Internet car elle génère g re des fichiers « légers gers ».
09/12/2004 31

La compression de type MPEG opère en deux
étapes :
1) réduction des informations par sous
échantillonnage de la couleur.
2) réduction des informations redondantes.
09/12/2004 32

1) réduction des informations par sous
échantillonnage de la couleur
La numérisation de la vidéo s'effectue avec le modèle
YUV :
Y : luminance
(Y = 0,3 R + 0,59 V + 0,11 B)
U : différence de couleur exprimée à partir du bleu
(Db Db = B - Y = - 0,3 R - 0,59 V + 0,89 B )
V : différence de couleur exprimée à partir du rouge
(Dr = R - Y = 0,7 R - 0,59 V - 0,11 B)
09/12/2004 33

Le modèle YUV permet de séparer la luminance Y de la
chrominance (U et V).
L’œil est plus sensible à l’intensité lumineuse qu’aux
informations colorées.
�� On conserve Y mais on compresse U et V avec pertes.
On n ne code les composantes couleurs :
�� Qu’une colonne sur 2 (YUV 4:2:2) mais chaque ligne
�� Qu’une colonne sur 4 (YUV 4:1:1) mais chaque ligne
�� Qu’une colonne sur 2 mais seulement 1 ligne sur 2 en
entrelaçant (YUV 4:2:0)
09/12/2004 34

On utilise la notation Y:U:V pour indiquer les
proportions respectives de Y, de U et de V. Ainsi la
qualité “broadcast “ broadcast” ” (diffusion TV) utilise la proportion
4:2:2 ce qui indique que pour 4 Y on a 2 U et 2 V, soit
au total 8 valeurs pour 4 pixels RVB d’origine.
YUV 4:4:4
«Brut» obtenu à
partir de RVB
YUV 4:2:2
YUV 4:1:1
YUV 4:2:0
09/12/2004 35

2) réduction des informations redondantes
Redondance spatiale
Une image, prise indépendamment des autres,
présente des zones uniformes plus ou moins grandes
dans lesquelles les pixels ont des valeurs très voisines,
voire semblables : c’est la redondance spatiale. spatiale
�� En l'éliminant par codage, il est possible de réduire la
quantité d’informations à transmettre.
09/12/2004 36

Redondance temporelle
Dans une séquence vidéo, la différence entre une
image et la suivante est relativement faible, sauf lors
d’un changement de plan : c’est la redondance
temporelle. temporelle
Autrement dit, la position d’un bloc de pixels varie
généralement peu d’une image à l’autre. C’est cette
variation qui est codée par compensation de
mouvement et prédiction. prédiction.
09/12/2004 37

Pour tirer parti de ces redondances, les images ne sont
pas traitées et compressées de la même façon.
Une séquence vidéo MPEG est composée de trois
types d’images :
�� Les images Intra (I) )
�� Les images Prédictives (P)
�� Les images Bidirectionnelles (B)
09/12/2004 38

Les images Intra
Ces images, dites intra-trame intra trame, , sont codées intégralement,
sans aucune référence aux images voisines de la
séquence vidéo.
C’est la redondance spatiale qui est exploitée et éliminée
à l’aide d’une Transformation en Cosinus Discret (DCT)
sur des blocs de 8x8 pixels.
Cette étape est semblable à la compression JPEG.
09/12/2004 39

Compression similaire à JPEG (utilisation de DCT)
� présence des mêmes artefacts
09/12/2004 40

Les images Intra constituent les images de référence à
partir desquelles est réalisé le décodage.
�� Permet d’é d’éviter
viter une dégradation d gradation progressive de
l’image image au cours du temps.
�� Permet de se positionner rapidement à n’importe
quel endroit du film, sans avoir à tout recalculer
depuis le début.
09/12/2004 41

Les images Prédictives
Elles exploitent à la fois la redondance spatiale et la
redondance temporelle des images d’une séquence
vidéo.
Elles utilisent des informations des images I ou P
précédentes et effectuent une «compensation de
mouvement» (des pixels d’une image à la suivante) pour
déterminer les pixels qui les constituent.
On joue sur le fait qu’il y a de grandes ressemblances
(=redondance successives.
d’information) entre deux images
09/12/2004 42

Les images Bidirectionnelles
Comme les images P, elles examinent les images I ou P
précédentes, mais elles examinent aussi les images
suivantes.
09/12/2004 43

Mouvement de caméra
Étude de la redondance temporelle par blocs
� problème lors de travellings, lorsqu’un bloc change
complètement d’une image à l’autre.
� Problème lors de séquences très rapide sur DVD,
télévision numérique, caméscope DV, …
09/12/2004 44

Ces trois types d’images d images sont organisés organis s selon
différentes diff rentes combinaisons pour constituer l’animation.
l animation.
Ces combinaisons seront plus ou moins efficaces en
terme de taux de compression et de qualité qualit d’image. image.
Une vidéo vid o MPEG commence toujours par une image I.
Par ex :
I P P B P P I P P …
(plus ou moins paramétrable)
param trable)
09/12/2004 45

Autres apports du MPEG 4
Par rapport aux 2 autres versions de la norme, il est
maintenant possible de représenter aussi bien des
objets naturels (films ou photos tirés du monde réel)
que synthétiques (objets virtuels 2D et 3D).
Ces 2 grandes familles peuvent cohabiter ensemble
pour fournir une solution de réalité virtuelle ou de réalité
augmentée.
augmentée
09/12/2004 46

A venir…
�� MPEG-7 MPEG
�� MPEG-21 MPEG 21
�� …
09/12/2004 47

Les fichiers vidéo au format MPEG sont
reconnaissables à leurs extensions :
�� ".mpg ". mpg" " ".mpeg ". mpeg" " et ".mpv ". mpv" " pour des fichier
contenant de la vidéo au format MPEG-1 MPEG 1 ou 2 ;
�� ".dat ". dat" " pour des données MPEG-1 MPEG 1 contenues dans
un VCD ;
�� ".vob ". vob" " pour des données MPEG-2 MPEG 2 contenues dans
un DVD-Vidéo DVD Vidéo ;
�� ".mov ". mov" " ".avi ". avi" " ".asf ". asf" " ".wmv ". wmv" " pour du MPEG-4 MPEG 4
(même si ".avi ". avi" " ou ".mov ". mov" " ne contient pas
forcément du MPEG-4). MPEG 4).
09/12/2004 48

DV
Le format DV existe pour la norme PAL (Europe) et
NTSC (USA et Japon). Suivant ces normes, on a :
Dimensions
Fréquence
Couleurs
Bits par pixel
Compression
DV PAL
720x576
25 fps
YUV 4:2:0
YUV 4:1:1
09/12/2004 49
12
5:1 DVC/DCT
DV NTSC
720x480
30 fps

PAL avant compression :
720 x 576 x 25 x 12 = 14,8 Mo/s
PAL après compression (rapport 5:1) :
�� 3 Mo/s
Le DV utilise une compression DCT (Discrete ( Discrete Cosinus
Transform) Transform)
de rapport 5:1
A cette compression vidéo s'ajoute une compression
par codage des couleurs (��12 ( 12 bits/pixel au lieu de 24).
09/12/2004 50

Le codage DV PAL des couleurs en YUV 4:2:0 permet
de réduire à 12 bits par pixels le codage couleur au lieu
des 24 bits normalement nécessaires :
Normalement : 24 bits par pixels.
On traite par groupe de 4 pixels, donc
4 pixels -> > 4x24 bits = 96 bits.
Réduction 4:2:0 pour un groupe de 4 pixels :
Y:4x8 + U:1x8 + V:1x8 bits = 48 bits.
Soit 48/4 = 12 bits par pixel
09/12/2004 51

4. Streaming
Le streaming consiste à diffuser un média m dia (audio et/ou
vidéo) vid o) en continu sous forme de flux, comme une onde
radio.
On l'utilise par exemple pour diffuser des émissions missions de
télévision vision ou de radio sur internet.
�� logiciels spécifiques
sp cifiques
�� serveur haut débit d bit pour que plusieurs personnes
puissent visionner la vidéo vid o en même temps.
09/12/2004 52

Formats les plus répandus r pandus :
�� Windows Media
�� Real Media
On peut créer cr er des fichiers vidéo vid o sous ce format pour les
conserver ou les mettre en ligne.
�� Flash
09/12/2004 53

Windows Media (ASF, WMV)
Format audio/vidéo audio/vid o développ d veloppé pour Internet par
Microsoft. Il utilise la norme MPEG-4. MPEG 4.
Advanced Streaming Format (ASF) : basé bas sur la
norme MPEG-4 MPEG 4 V2.
�� Advanced
�� Windows Media Vidéo Vid (WMV) : basé bas sur la norme
MPEG-4 MPEG 4 V3 (plus moderne).
09/12/2004 54

RealMedia (RM, RAM, RPM)
Format audio/vidéo créé par RealNetworks.
RealNetworks
On peut créer des fichiers vidéo sous ce format pour les
conserver ou les mettre en ligne.
Le format RealMedia est lisible sur les plates-formes plates formes les
plus courantes (Linux, MacOS, MacOS,
Windows, Solaris, Solaris,
etc.)
a l’aide d’un lecteur gratuit fournit par Real.
Real
09/12/2004 55