Perception pour la robotique
Télécharger en PDF- Responsable de l'UE : Xavier Clady & Anis Sabani ()
- Code UE :
- Volumes horaires / étu : 12 h Cours, 16 h TP
- Nombre de crédits de l'UE/EC : 3 ECTS
- Parcours-type : ROBOT (option) SI MeDH
- Semestre où l'enseignement est proposé : S1 S2 S3 S4
- Langue d'enseignement : Français Anglais
- Public concerné : Département SDI Autre (préciser) : ENSAM
- Localisation : Campus PMC Autre (préciser) :
Thématique
Afin de mener des actions autonomes, un robot a besoin de systèmes avancés de perception artificielle. Cet enseignement a pour objectif d'en présenter aux étudiants les méthodologies, des plus classiques aux plus récentes dans ce domaine. Tout d'abord, une des principales modalités employées (capteurs de vision) seront abordées de manière approfondie, du fait qu'elle est des plus complexes mais aussi des plus informatives. Les autres modalités (capteurs actifs tels que les lasers à balayage, capteurs proprioceptifs, ie IMU,...) seront également considérés, notamment au travers de la fusion de données multi-sources et/ou multi-capteurs. Nous y examinerons certains fondamentaux théoriques (géométrie des capteurs de vision pour la métrologie, extraction et représentation des informations pour la reconnaissance de formes,…), soit sous forme de rappels par rapport à des notions déjà vues de manière approfondies dans d’autres UEs du Parcours Robotique soit sous forme de compléments, mais surtout nous verrons leurs mises en œuvre pratiques dans des architectures logicielles « haut-niveau » pour des applications indispensables en robotique autonome, telles que la détection, la localisation, le suivi ou l'identification d'objets, de lieux, de personnes ou d'actions/comportements. Un certain focus sera mis sur leur application en odométrie, comme élément de base d’applications fondamentales en robotique mobile : localisation, cartographie 2D/3D, SLAM. D’une manière générale, l’UE s’appliquera à ce que les étudiants aient toutes les connaissances théoriques et pratiques pour le choix et la mise en œuvre d'un système, d’une stratégie et d’une architecture perceptifs au sein d'un robot autonome, de sa modélisation jusqu'à son exploitation pour une tâche donnée.
Mots-clés :
Prérequis
Afin de suivre cette UE, doivent être acquis précédemment :
- Bases de traitement des images (convolution 2D, filtres, feuillage, etc) - cf UE Image1
- Bases de traitement du signal et du son (convolution 1D, filtres, etc) - cf UE Son1
- Bases de la représentation d’état (Equation de mouvement)
- Probabilité et estimation (cf UE Estimation Theory and Parametric Identification)
- Algèbre (calcul matriciel)
Acquis d'apprentissage visés (AAV)
À l'issue de cette UE, les étudiantes ou étudiants seront capables de :
- Connaître certains éléments fondamentaux en Image & Vidéo fréquemment utilisés en Robotique : Extraction (segmentation avancée des images ou des vidéos, détection et caractérisation de points d'intérêt 2D/2D+t/3D,...) et représentations des informations visuelles (modèles d'apparence, sac de mots visuels,...), et applications en robotique (détection, localisation et/ou reconnaissance de lieux, de personnes, d'objets ou d'actions/comportements).
- Savoir manipuler certaines notions fondamentales en Vision par Ordinateur : Géométrie projective, Modèle et calibrage simple de caméra, Vision stéréoscopique/3D, Odométrie Visuelle.
- Connaître les différentes stratégies conventionnelles pour la fusion de données multi-modales, et ses applications en robotique ; en particulier, mettant en oeuvre des capteurs extéroceptives (caméra, microphones, laser,…) et proprioceptives (IMU).
- Mise en oeuvre d’un système d’odométrie visuelle utilisant la géométrie projective
- Intégration d’un système, une stratégie et d’une architecture perceptifs utilisant des données multi-modales (caméra, laser, IMU) pour la localisation incrémentale d’un robot mobile
Séquencement et modalités de l'enseignement (indicatif)
| Semaine | C/TD/TP | Contenu | Préparation | AAV associé(s) |
|---|---|---|---|---|
| S1 | CM1-2 (2x2h) | Capteurs en robotique, fusion multi-capteurs | AAV3 | |
| S2 | CM3-4 (2X2h) | Modèle de caméras et calibration, géométrie projective | AAV2 | |
| S3 | CM-6 (2X2h) | Stéréovision, points d'intérêts, odométrie | AAV1, AAV2, AAV3 | |
| S4 | TP1 (4h) | Odométrie visuelle pour drône volant utilisant la géométrie projective (1er partie ) | AAV1-4 | |
| S5 | TP2 (4h) | Odométrie visuelle pour drône volant utilisant la géométrie projective (2ème partie) | AAV1-4 | |
| S6 | TP3 (4h) | Fusion de capteurs pour la localisation de robots mobiles à roues (1ère partie) | AAV1-3, AAV5 | |
| S7 | TP4 (4h) | Fusion de capteurs pour la localisation de robots mobiles à roues (2ème partie) | AAV1-3, AAV5 |
Modalités d'évaluation des acquis d'apprentissage (1ère session)
| Semaine | Indiv/collectif | Présentiel/distanciel | Type d'examen | AAV évalué(s) | Barème % |
|---|---|---|---|---|---|
| S4 | Individuel | Présentiel | Quiz | AAV1-3 | 30% |
| S8 | Individuel | Présentiel | Écrit | AAV1-5 | 70% |
2nde session
| Session | Indiv/collectif | Présentiel/distanciel | Type d'examen | AAV évalué(s) | Barème % |
|---|---|---|---|---|---|
Références bibliographiques
- Artificial Intelligence : A modern Approach, S. Russel and P. Norvig, Prentice Hall, 1995.
- Multiple view geometry, Richard Hartley and Andrew Zisserman, Cambridge University Press
- Local invariant feature detectors: A survey. T. Tuytelaars and K. Mikolajczyk, Foundations and Trends in Computer Graphics and Vision, vol. 3, no. 3, pp. 177–280, 2007.
- Kalman Filter for Robot Vision: A Survey, Chen, S.Y., IEEE Transactions on Industrial Electronics, Volume: 59 , Issue: 11, pp 4409 - 4420, Nov. 2012
- A comprehensive review of current local features for computer vision, J. Li and N. M. Allinson, Neurocomputing, vol. 71, pp. 1771–1787, 2008.
Date de génération de la fiche d'UE : 06/10/2026
