Projet Robin: proposition de compte rendu de la réunion de lanc
Projet Robin: proposition de compte rendu de la réunion de lanc
Projet Robin: proposition de compte rendu de la réunion de lanc
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
appelé combien il pouvait contribuer à fédérer une communauté.<br />
Une présentation <strong>de</strong> Jim Crowley lui a fait suite, mettant l'accent sur l'importance<br />
<strong>de</strong> <strong>la</strong> performance. Il a insisté sur <strong>la</strong> nécessité d’avoir <strong>de</strong>s objectifs c<strong>la</strong>irs, d’ambition<br />
moyenne, qui permettent d’aboutir à <strong>de</strong>s mesures c<strong>la</strong>ires et significatives <strong>de</strong> problèmes<br />
réels (l’évaluation doit être guidée par le besoin, le marché). Il a également soulevé<br />
l'importance <strong>de</strong> procé<strong>de</strong>r à une évaluation en cycles, qui permet d'avoir un retour critique<br />
sur les procédures et les annotations et d'affiner les règles du jeu. Enfin, il a abordé le<br />
sujet <strong>de</strong> <strong>la</strong> publication <strong>de</strong>s métriques utilisées et <strong>de</strong> quelques données.<br />
Khalid Choukri a ensuite pris <strong>la</strong> parole pour nous faire part <strong>de</strong> son expérience au<br />
sein <strong>de</strong> Techno<strong>la</strong>ngue. Il a abordé le sujet <strong>de</strong> <strong>la</strong> capitalisation <strong>de</strong>s outils <strong>de</strong> production <strong>de</strong><br />
données annotées et <strong>la</strong> distribution (sous certaines conditions, cf<br />
http://www.techno<strong>la</strong>ngue.net/) <strong>de</strong> "packs d'évaluation" après les campagnes contenant les<br />
données et les métriques.<br />
Par <strong>la</strong> suite, Gérard Giraudon et Jean Pierre Coquerez nous ont fait part <strong>de</strong> leur<br />
analyse critique sur le projet. Gérard Giraudon a soulevé <strong>de</strong>s questions sur ce qu'on<br />
attendait <strong>de</strong> l’évaluation et commenté les points suivants :<br />
– Evaluation d’algorithmes ou <strong>de</strong> systèmes <strong>de</strong> vision ? il s’agit pour lui d’une question<br />
clé.<br />
– Reproductibilité, nombre <strong>de</strong> paramètres, prévision <strong>de</strong>s erreurs...<br />
– Utilisabilité (expert, étudiant, importance <strong>de</strong> l'homme dans <strong>la</strong> boucle)<br />
– Interchangeabilité dans le cas <strong>de</strong> <strong>la</strong> prise en <strong>compte</strong> dans une chaîne <strong>de</strong> traitement en<br />
vision.<br />
Jean Pierre Coquerez a souligné les défis:<br />
– La diversité <strong>de</strong>s bases, <strong>de</strong>s objectifs, <strong>de</strong>s applications...<br />
– La généricité: ce qui est trop général va être sans intérêt, mais ce qui est trop restrictif<br />
ne trouvera pas <strong>de</strong> marché.<br />
– Les attentes spécifiques <strong>de</strong>s fournisseurs <strong>de</strong>s bases, qui peuvent biaiser une application<br />
plus générale. Un soin particulier doit être apporté à leur création.<br />
Après que Frédéric Jurie ait rappelé les objectifs du projet, les évaluateurs ont pris<br />
<strong>la</strong> parole pour faire part <strong>de</strong> leurs différentes expériences d'évaluations.<br />
Stéphane Herbin <strong>de</strong> l'ONERA a présenté <strong>la</strong> nécessité <strong>de</strong> définir le contexte, d'avoir<br />
un formalisme homogène, <strong>de</strong> définir <strong>de</strong>s métriques et <strong>de</strong>s épreuves c<strong>la</strong>ires. Les différentes<br />
questions suivants son intervention ont amené à conclure qu'établir un glossaire <strong>de</strong>s<br />
termes employés serait une bonne chose.<br />
La présentation d'Emmanuel d'Angelo était axée sur le projet AUT-1, un projet<br />
d'évaluation d'algorithmes <strong>de</strong> suivi <strong>de</strong> route dans un chemin peu structuré. A travers cette<br />
présentation il a tracé le bi<strong>la</strong>n <strong>de</strong> ce projet en indiquant qu'il était nécessaire d'avoir une<br />
parfaite maîtrise <strong>de</strong> <strong>la</strong> base <strong>de</strong> données, <strong>de</strong> possé<strong>de</strong>r <strong>de</strong>s algorithmes « moulinettes » pour<br />
formater les entrées/sorties et <strong>de</strong> bien définir les métriques.<br />
Ces présentations ont exprimé le besoin <strong>de</strong> bien connaître <strong>la</strong> finalité visée par<br />
chaque base image, afin <strong>de</strong> définir au mieux les épreuves associées.<br />
Une table ron<strong>de</strong> a suivi afin d'avoir les opinions <strong>de</strong> chacun sur <strong>de</strong>s points<br />
essentiels du projet :<br />
– L'accord <strong>de</strong> consortium: concernant le problème <strong>de</strong> <strong>la</strong> confi<strong>de</strong>ntialité <strong>de</strong>s bases images,