Architecture pour le traitemement du signal et des images

INSA de Lyon
Département Génie Electrique
5GE Travaux Pratiques
Architecture pour
le traitemement du signal et des images
Version Finale
Lyon, le 20 décembre 2012
Thomas Grenier
Olivier Bernard
Dominique Tournier
Philippe Delachartre

2 / 17

TABLE DES FIGURES TABLE DES MATIÈRES
Table des matières
Table des figures
3 / 17

1 Introduction
1.1 Que vais je faire ?
1 INTRODUCTION
Le but de cette séance de TP est d’appréhender les spécificités des architectures modernes de
traitement du signal et des images.
Dans un premier temps, vous aller prendre en main la plateforme (système informatique, logiciels
et la carte Mistral OMAP35x EVM).
Dans un second temps il s’agira d’observer les différences entre les architectures classiques et
celles optimisées pour le traitement du signal. Les observations iront de l’infrastructure électronique
à la programmation.
Enfin, on s’attardera sur l’architecture logicielle permettant de tirer profit de l’architecture
adaptée.
1.2 Pré-requis
La programmation en langage C serra utilisée tout au long de ce TP (IF1). Il est nécessaire
d’avoir une connaissance minimale du fonctionnement de linux et des commandes élémentaires
(ls, cd, exécution d’un programme) lancées dans un terminal (IF4 et autres). Il est nécessaire de
connaitre l’architecture des processeurs (IF2 et IF3) et le traitement du signal (TS). Enfin, un
minimum de connaissances en réseau (adresse IP, protocoles FTP, NFS, telnet) vous fera gagner
du temps. Sinon référez vous aux cours, au net et à l’enseignant.
1.3 Vocabulaire
Le PC est équipé d’un système d’exploitation (Windows) dans lequel on créera une machine
virtuelle. L’environnement de la machine virutelle est optimisé pour les développements informatiques
de la carte (compilateur, librairies, échange de fichiers).
Le système d’exploitation virtualisé est Linux Ubuntu 10.04 LTS. On parlera de système virtuel
ou de machine virtuelle Linux.
Lors des développements, la carte "OMAP35x EVM " sera dite la cible (ou target) et par
opposition, la machine virtuelle Linux sera dite l’hôte (host en anglais) 1 .
1.4 Conventions
Voici quelques conventions de présentation pour la suite du document.
➥ Ceci correspond à une remarque importante
☞ Ceci correspond à une manipulation à réaliser
✍ Ceci correspond à une question dont il faut noter la réponse
1. En virtualisation, le terme hôte est donné au système d’exploitation hébergeant les machines virtuelles. Ici on ne
s’intéresse pas à la virtualisation mais à la compilation croisée d’une cible (la carte evm) par un système hôte (machine
linux).
4 / 17

2 MATÉRIEL
2 Matériel
2.1 La carte
La plateforme est constituée d’un PC et d’une carte OMAP35x EVM 2 . Cette carte est à base
d’un processeur OMAP3 de Texas Instrument et est composée de nombreux périphériques (voir la
figure ?? et ??).
Le processeur n’est pas facilement visible sur cette carte car masqué par le système de protection.La
figure ?? est une photo de la carte processeur de l’OMAP35x EVM. Le processeur est
plus petit qu’une pièce de 1 euro (merci de ne pas vérifier et de prêter attention au symbole dans
le triangle en bas à gauche de la figure ??).
FIGURE 1 – La carte processeur et le processeur OMAP3530 au centre.
La figure ?? présente un diagramme des périphériques de la carte. Des périphériques de la
carte, peu vont être utilisés dans ce TP : l’écran tactile, le port Ethernet, le port UART 1/2 ,
l’audio et la vidéo.
☞
➥
Vérifier le cablage de la carte :
➀ un cable Ethernet (bleu) entre la carte et le PC,
➁ un cable série (RS-232, gris) entre la carte UART 1/2 et le PC,
➂ mettre l’interrupteur SW2 sur la position centrale (figure ??),
➃ brancher l’alimentation.
Une et une seule led doit être allumée. Si plusieurs led s’allument,
vérifier la position de SW2.
Si aucune led ne s’allume (à coté de l’interrupteur SW2), vérifier l’alimentation
du réseau puis appeler un enseignant.
Cette carte dispose de nombreuse séquences de démarrage (bootsequence) différentes (par
exemple par mémoire flash, ou carte SD, ou réseau, etc). Le choix de la séquence est fixé par la
valeur des interrupteurs "SW4 DIP". La figure ?? donne les positions de la séquence de démarrage
2. evm signifie Evaluation Module
5 / 17

2.1 La carte 2 MATÉRIEL
FIGURE 2 – Vue de face de la carte OMAP35x EVM.
FIGURE 3 – Vue de derrière de la carte OMAP35x EVM.
6 / 17

2 MATÉRIEL 2.1 La carte
FIGURE 4 – Diagramme fonctionnel de la carte.
7 / 17

2.2 Ordinateur 2 MATÉRIEL
utilisée dans ce TP.
➥ Ne pas piloter les interrupteurs SW4 DIP...
☞ ... Mais vérifier que SW4 est dans la position décrite à la figure ??
FIGURE 5 – Position des interrupteurs SW4.
Le document OMAP35x EVM Hardware User Guide.pdf, disponible sur M :/TP_DSP/Doc
sous windows ou /media/sf_Doc sur la machine virtuelle, détaille les rôles et caractéristiques électriques
de chaque
✍
A quel type de boot correspond la configuration utilisée dans ce TP et
illustrée par la figure ?? ?
Nous analyserons plus tard la séquence de démarrage et l’architecture du processeur.
2.2 Ordinateur
Le PC permet de programmer la carte, compiler les programmes et de déboguer. On verra
aussi qu’il partage des fichiers avec la carte dont les fichiers de démarrage.
☞ Démarrer le PC et ouvrez la session useradmin.
La figure ?? présente l’organisation du système informatique. Le système windows :
– héberge une machine virtuelle Linux
– permet l’utilisation de la sonde XDS-560 (non utilisée, peut être non présente...)
– permet de naviguer par mis les documents et sur internet
La carte OMAP35x EVM est reliée au PC par une liaison RS-232 et par une connexion Ethernet.
La connexion série RS-232 permet de communiquer avec la carte et d’interrompre la séquence
de démarrage. La communication (protocole IP) par le câble Ethernet est initiée dès le démarrage
de la carte (u-boot). La carte obtient une adresse IP (dhcp), charge le noyau uImage (tftp), exécute
ce noyau, puis monte son système de fichier linux (nfs). Les services (dhcp, tftp et nfs) ainsi que
les fichiers systèmes sont fournis par la machine virtuelle.
Tout le monde peut modifier la machine virtuelle. Mais pour être sûr de partir d’un état
8 / 17

2 MATÉRIEL 2.3 Machine virtuelle Linux
FIGURE 6 – Organisation et interactions du PC avec la carte.
(a) (b)
FIGURE 7 – (a) Icône de VirtualBox, (b) Instantané sous VirtualBox, la flèche rouge indique le
bouton permettant de restaurer l’instantané.
"stable", un instantané a été créé. Cet instantané fige l’état de la machine.
☞
Démarrer la machine virtuelle : double cliquer sur l’icône de VirtualBox
(OMAP) (figure ??a). L’instantané ”TPv5-2off” est restauré.
La machine virtuelle Linux démarre.
☞
Voici le compte à utiliser pour s’identifier dans la machine Linux :
– identifiant ou utilisateur : user
– mot de passe : insage
2.3 Machine virtuelle Linux
Les services nécessaires au démarrage de la carte OMAP35x EVM sont tous opérationnels au
démarrage de la machine virtuelle Linux.
Pour surveiller et interagir au démarrage de la carte, il faut lire et écrire sur le port série COM1
9 / 17

2.4 Système de fichiers 2 MATÉRIEL
ou /dev/ttyS0. Le logiciel CuteCom sous linux permet d’effectuer ceci.
☞
➀ Lancer le logiciel Cutecom (icône sur le bureau)
➁ Vérifier les valeurs des paramètres de communication suivants
– vitesse : 115200 bauds
– port : /dev/ttyS0
– nombre de bits de données : 8
– bit de stop : 1
– pas de bit de parité
– ouvrir en lecture et écriture
➂ Ouvrir le périphérique (cliquer sur ”Open Device”)
Le logiciel écoute maintenant le port série. Il faut démarrer la carte.
☞
Pour démarrer la carte, placer l’interrupteur SW2 sur la position droite :
”DC IN”.
La carte OMAP35x EVM démarre. Il est possible de la redémarrer grâce aux trois boutons
reset présents en bas à droite sur la carte.
Dans la fenêtre du logiciel Cutecom, les informations de démarrage de la carte s’affichent.
✍ Noter l’adresse IP de la carte OMAP35x EVM (la cible)
☞
Sur la machine hôte, lancer dans un terminal linux (ou console), la commande
:
$ telnet IP-de-la-cible
Si l’adresse IP est correcte, on obtient dans le terminal la même invite d’identification que sous
Cutecom. Vous communiquez ainsi avec la cible à partir de l’hôte comme s’il s’agissait d’un autre
ordinateur.
☞
Via telnet lancé sur l’hôte, s’identifier sur la cible en tant qu’utilisateur
root (il n’y a pas de mot de passe).
2.4 Système de fichiers
La carte et la machine virtuelle fonctionnent. La machine virtuelle partage avec la carte des
fichiers, notamment le système de fichiers de la carte, ceci grâce au protocole NFS.
✍ Qu’est ce que le protocole NFS ?
Le système de fichier correspond à l’ensemble des fichiers nécessaires au fonctionnement
du système d’exploitation (fichier de configuration, répertoires standard, drivers, ...). L’intérêt de
partager des fichiers entre la cible et l’hôte est de pouvoir facilement échanger des programmes ou
10 / 17

2 MATÉRIEL 2.4 Système de fichiers
des données entre la machine virtuelle et la carte.
☞
✍
✍
Dans la fenêtre de sortie de Cutecom, retrouver et analyser la ligne
KernelCommandLine.
A quoi correspond la commande :
n f sroot = 192.168.1.100 : /opt/evm f ilesystem ?
Sur la cible, lister (commande ls) le contenu du répertoire ”/opt”. Sur la
machine hôte, où se trouve ce répertoire ”/opt” de la cible ?
De manière général, où se trouve sur l’hôte le système de fichiers utilisé
par la cible ?
☞ Vérifier que l’ajout d’un fichier sur l’hôte est vu par la cible.
Sous linux, la commande df permet d’afficher la taille et l’occupation des disques. Vérifions
que vous avez tout compris...
✍
✍
Exécuter la commande df sur l’hôte. A quoi correspondent les lignes
/media/sf Doc, /media/sf SDK et /media/sf tmp. Pourquoi ont elles la
même taille ? Vérifier cette valeure ?
Exécuter la commande df sur la cible. A quoi correspond la ligne / ?
Pourquoi les valeurs sont les mêmes que pour /opt de l’hôte ?
Il ne faut pas si méprendre : les programmes exécutés sur la cible et sur l’hôte ne sont pas les
même et ceci à cause des architectures différentes des processeurs (prochaine partie). Pour vous
en convaincre, exécutons un programme personnel.
✍
✍
Sur la cible exécuter le fichier /opt/TP/??/toto grace à la commande :
# /opt/TP/??/toto
Que fait ce programme ?
Exécuter ce programme sur l’hôte. Pourquoi le programme ne fonctionne
pas ?
A ce stade, la plateforme fonctionne et vous avez toutes les informations pour passer à l’étude
de l’architecture et exécuter vos programmes sur la cible.
11 / 17

3 Etude de l’architecture
Dans cette partie, le but est d’étudier l’architecture de l’OMAP3530.
3.1 Optimisations pour le traitement du signal
3 ETUDE DE L’ARCHITECTURE
Une grande partie du traitement numérique du signal et des images repose sur la notion de
produit scalaire. En effet, une Discrete Fourier Transform ou Discret Cosine Transform, un produit
de convolution, un filtrage IIR, un réseau de neurones, ... peuvent se mettre sous la forme :
N−1
s[k] =
∑
n=0
w[n].e[ f (n,k)] (1)
où w est une fonction de pondération 3 , e est un signal, et f est une fonction dépendant de k et
ou de n réalisant souvent une soustraction ou une addition entre les deux indices. Par exemple un
filtrage FIR d’un signal e par les coefficients du filtre w s’écrit :
N−1
s[k] =
∑
n=0
et une FFT ( j est l’unité imaginaire j 2 = −1) :
N−1
S[k] =
∑
n=0
w[n].e[n − k] (2)
e[n].exp(−2. j.π.k.n/N) (3)
D’un point de vu informatique, l’opération élémentaire (i.e. qui sera répétée en boucle) du
produit scalaire est s = w[i].e[ j] + s. Si on cherche à améliorer les performances 4 d’un calculateur
dédié au traitement du signal, ceci conduit aux conclusions suivantes :
– un calculateur doit disposer d’opérations de multiplications et d’addition très rapides. Il faut
aussi que les opérandes manipulées soient de tailles adaptées (nombre de bits) pour éviter
les dépassements de capacité et les problèmes de précision.
– les opérations de multiplication et d’addition sont d’un enjeu majeur, il serait même bien de
créer une opération réalisant successivement une multiplication puis une addition.
– les accès à la mémoire sont nombreux : il s’agit d’accéder à 2 tableaux simultanément, il
faudra tirer profit des différents bus de données et d’adresses présents.
– incrémentation des indices : l’utilisation de pointeurs semble tout indiqué pour gérer les
accès aux tableaux. Le passage à l’élément suivant se faisant par incrémentation (ou décrémentation)
d’un pointeur. Cette opération d’addition (simple) pourrait se faire automatiquement
à chaque itération.
– gestion du nombre de répétitions : lors d’un filtrage on connait le nombre d’itération il
faudrait prévoir une instruction permettant de répéter un nombre donner de fois une ou un
groupe d’instructions.
3.2 OMAP3530
Quid de l’OMAP ?
3. w peut dépendre de k et de n
4. Vitesse, capacité de calcul, précisions, consommation en énergie, encombrement... sont les enjeux de l’optimisation
de l’architecture
12 / 17

3 ETUDE DE L’ARCHITECTURE 3.2 OMAP3530
OMAP signifie Open Multimedia Applications Plateform et a été développé par Texas Instrument.
Il s’agit d’un SoC (System on Chips) propriétaire destiné aux systèmes embarqués multimédia
portables et mobiles comme les tablettes, les mini PC portables, les smartphones, les lecteurs
multimédia ou les consoles de jeux portables 5 .
Les OMAP intégrent généralement un processeur à usage général (general purpose processor)
basé sur une architecture ARM et un ou plusieurs co-processeurs spécialisés tel qu’un DSP. Les
DSP sont des processeurs spécialisés dans le traitement du signal. Leur architecture est optimisée
pour satisfaire la quasi totalité des conclusions du paragraphe précédent.
L’OMAP utilsé dans ce TP est l’OMAP 3530. Il s’agit d’un processeur de la famille OMAP3
(la famille OMAP5 est attendue pour fin 2012). Le diagramme par blocs de l’OMAP3530 est
donné sur la figure ??. Elle détaille l’ensemble des co-processeurs intégrés, les différentes mémoires
et les largeures des bus de données.
5. http ://en.wikipedia.org/wiki/OMAP
(a)
FIGURE 8 – Diagramme en blocs de l’OMAP3530.
13 / 17

3.3 Compilation 3 ETUDE DE L’ARCHITECTURE
✍ Quelle est la référence du GPP présent dans l’OMAP ?
✍ Quelle est la référence du DSP présent dans l’OMAP ?
✍ S’agit t’il d’un DSP à virgule fixe ou flottante ?
3.3 Compilation
3.3.1 Compilation C pour l’OMAP
Commençons par un rappel sur la compilation en langage C. Voici un programme simple
"monprog.c" :
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
☞
➀ Sur l’hôte, ouvrir le fichier ”/home/user/TP/??/monprog.c”
➁ Ouvrir un terminal et se déplacer dans le répertoire
”/home/user/TP/??” (commande ”cd”...).
➂ Compiler monprog.c en tapant dans le terminal :
$ gcc monprog.c -o monprog LINUX
➃ Exécuter le programme en tapant dans le terminal la commande :
$ ./monprog LINUX
Le fichier exécutable est compilé pour le système de l’hôte. Nous allons maintenant compiler
le même fichier c mais cette fois-ci pour qu’il puisse être exécuté sur l’OMAP35x EVM. Il ne s’agit
plus d’utiliser le compilateur gcc mais un compilateur adapté à l’architecture de la cible. On parle
de cross compiler ou de compilateur croisé. CodeSourcery fourni un tel compilateur pour le GPP
14 / 17

3 ETUDE DE L’ARCHITECTURE 3.3 Compilation
(ARM) de l’OMAP.
☞
➀ Dans le même terminal que précédemment, compiler le programme
pour la cible avec la commande :
$ arm-none-linux-gnueabi-gcc monprog.c -o monprog GPP
➁ Copier monprog GPP dans le répertoire :
/opt/evm filesystem/opt/TP/??,
➂ Exécuter le programme sur la cible.
Nous venons de compiler un programme très simple. Quand les taches de compilation se
compliquent (nombreux fichiers, librairies, instructions particulières, cross compilation, ... ) il est
avantageux d’utiliser le moteur de production make. Lorsqu’il est appelé, ce logiciel va lire le
fichier de configuration Makefile présent dans le répertoire courant. Ce fichier contient l’ensemble
des taches à réaliser ainsi que la liste des fichiers, des librairies et des options à utiliser.
Un fichier Makefile est présent dans le répertoire "/home/user/TP/??". Il permet de compiler
le fichier .c pour linux, le GPP et le DSP et d’installer les fichiers pour l’omap dans le répertoire
/opt/evm_filesystem/opt/TP/??.
☞
Sur l’hôte dans le répertoire ”/home/user/TP/??”
➀ Ouvrir le fichier Makefile.
➁ Construire l’exécutable pour le GPP avec la commande :
$ make gpp
➂ Grâce à la commande suivante, copier cet exécutable dans le
répertoire /opt/evm filesystem/opt/TP/?? :
$ make gpp install
➃ Vérifier que l’exécutable produit fonctionne.
➄ En analysant le fichier Makefile, faire de même pour la compilation
la cible linux.
✍ Un fichier est inclus au Makefile, à quoi sert il ?
3.3.2 Projet GPP + DSP
Comment exécuter du code sur le DSP ? Il faut passer par le GPP et une zone partagée en
mémoire. On part du programme précédent (monprog.c) mais on le compile cette fois pour le
15 / 17

3.3 Compilation 3 ETUDE DE L’ARCHITECTURE
DSP.
☞
➥
Sur l’hôte dans le répertoire ”/home/user/TP/??”
➀ Construire l’exécutable pour le DSP avec la commande :
$ make dsp
➁ Installer cet exécutable dans le répertoire
/opt/evm filesystem/opt/TP/?? :
$ make dsp install
➂ Vérifier que l’exécutable produit fonctionne.
Pour l’exécution de monprog dsp, l’affichage ne se fera qu’à la fin : après
le premier message ”Hello...”, entrer les 2 valeurs.
✍ Comparer les tailles des trois exécutables produits. Conclusion ?
Pour le traitement du son : premier exemple : "loop-thru" on copie l’entrée audio sur la sortie.
☞
➥
➀ A l’aide de gedit, ouvrir le script
”/opt/TP/A/audio loopthru pipe.sh”.
➁ Sur la cible exécuter ce script :
# sh /opt/TP/A/audio loopthru pipe.sh
➂ Avec le gbf et l’oscilloscope, préparer un signal sinus d’amplitude
50mV.
➃ Connecter à Audio In ce signal et observer en voie 2 Audio Out.
Attention à ne pas envoyer un fort signal. Toujours vérifier qu’il n’y ai pas
de saturation en sortie !
✍ Conclusions ? (niveau, bande passante, ...)
Pour quitter le programme sur la cible appuyer sur "ctrl + c". Ce script est un enchainement
d’instruction linux utilisant la bibliothèque de gestion du son ALSA. Après avoir configurer les
entrées et les sorties, on copie ce qui rentre sur la sortie via un "pipe" logiciel. Un programme
en C utilisant la même bibliothèque mais implémentant les transferts mémoires (memcpy) a été
16 / 17

3 ETUDE DE L’ARCHITECTURE 3.3 Compilation
implémenté : app.
☞
➥
Sur l’hôte et dans un terminal, aller dans le répertoire :
/home/user/workshop TG/dvsdk-ex/FromWS.
Entrer la commande make clean, puis make debug puis make install.
Exécuter le programme app ainsi compilé et installé sur le système de
fichier de la cible.
Si le programme app plante (segfault), il y a une incompatibilité de
mémoire entre le programme et la configuration actuelle. Pour reconfigurer
les modules de gestion mémoire, lancer sur la cible les deux
commandes suivantes :
➀ # /etc/init.d/loadmodule-rc stop
➁ # /etc/init.d/loadmodule-rc startpool
✍ Observez vous des différences par rapport au script ?
☞
Executer sur la cible les programmes cfft dsp et cfft arm. ils se trouvent
dans le répertoire :
”/usr/share/ti/c6run-apps/examples/c6runapp/emqbit”.
✍ Conclusion ?
3.3.3 Désassemblage et débogage : GPPSide
La mise au point d’un programme ne peut se faire sans un outils de débogage. Il y a dans
l’OMAP deux coeurs (le GPP et le DSP). Nous allons d’abord déboguer le GPP (l’arm) avec le
logiciel Eclipse.
17 / 17

4 Applications
4.1 Lecture et affichage d’une vidéo
Un décodeur de vidéo est disponible sur la cible. Il s’agit du programme decode.
☞
4 APPLICATIONS
Commencer par reconfigurer les modules de gestion mémoire : sur la
cible exécuter les deux commandes suivantes :
➀ # /etc/init.d/loadmodule-rc stop
➁ # /etc/init.d/loadmodule-rc start87
Le programme decode se trouve dans /usr/share/ti/dvsdk-demo et les videos dans /usr/share/ti/data/video.
Il faut executer le programme decode à partir du répertoire /usr/share/ti/dvsdk-demo
afin que les liens sur les codecs GPP et DSP se fassent.
☞ Lire une video ”.m4v”.
✍ Donner les lignes utilisées pour lire une vidéo m4v
✍ Occupation du GPP et du DSP pendant la lecture ?
18 / 17