Analyse multimodale du comportement humain
Télécharger en PDF- Responsable de l'UE : Mohamed CHETOUANI (mohamed.chetouani@sorbonne-universite.fr )
- Code UE :
- Volumes horaires / étu : 10 h Cours, 4 h TD, 16 h TP
- Nombre de crédits de l'UE/EC : 3 ECTS
- Parcours-type : ROBOT (option) SI (option) MeDH (option)
- Semestre où l'enseignement est proposé : S1 S2 S3 S4
- Langue d'enseignement : Français Anglais
- Public concerné : Département SDI Autre (préciser) :
- Localisation : Campus PMC Autre (préciser) :
Thématique
Collecte de données multimodales : capteurs, éthique, protection des données Modélisation humaine : comportement humain Apprentissage de représentations multimodales Modalités visuelles et textuelles, modalités audio et temporelles Modalités physiologiques : EEG, EMG, ECG, oculométrie, pupillométrie, réponse galvanique cutanée, respiration Fusion multimodale : méthodes et architectures Alignement et ancrage multimodaux Modèles de base multimodaux
Mots-clés : Apprentissage automatique multimodal, fusion multimodale, IA centrée sur l'humain
Prérequis
Afin de suivre cette UE, doivent être acquis précédemment :
- Principes fondamentaux de l'apprentissage automatique (apprentissage supervisé, apprentissage par renforcement)
- Principes fondamentaux du traitement du signal (représentation dans le domaine fréquentiel)
Acquis d'apprentissage visés (AAV)
À l'issue de cette UE, les étudiantes ou étudiants seront capables de :
- Comprendre les principes éthiques fondamentaux de la recherche expérimentale avec des participants humains.
- Explorer les méthodes et modèles d'IA pour le traitement multimodal du signal.
- Analyser les données issues de capteurs portables et réaliser des analyses statistiques pour la détection comportementale.
- Développer des systèmes multimodaux pour l'analyse du comportement humain.
Séquencement et modalités de l'enseignement (indicatif)
| Semaine | C/TD/TP | Contenu | Préparation | AAV associé(s) |
|---|---|---|---|---|
| S1 | C (2h) | Introduction to multimodal data collection, ethical and legal framework, sensors, experiments | AAV1 | |
| S2 | TD (2h) | Ethical workshop | AAV1 | |
| S3 | C (2h) | Multimodal representations: audio, video, and text | AAV2 | |
| S4 | C (2h) | Multimodal representations: physiological signals, EEG, EMG, ECG, eye tracking, pupillometry, GSR, and respiration | AAV3 | |
| S5 | TP (4h) | Representation learning and fusion | AAV2 | |
| S6 | C (2h) | Multimodal foundation models | AAV2 | |
| S7 | C (2h) | Multimodal foundation models | AAV2 | |
| S8 | TP (4h) | Multimodal foundation models | AAV2 | |
| S9 | ||||
| S10 | TP (4h) | Final Project — Multimodal Learning | AAV4 | |
| S11 | ||||
| S12 | TP (4h) | Final Project — Multimodal Learning | AAV4 | |
| S13 | ||||
| S15 | TD (2h) | Final project presentation | AAV4 |
Modalités d'évaluation des acquis d'apprentissage (1ère session)
| Semaine | Indiv/collectif | Présentiel/distanciel | Type d'examen | AAV évalué(s) | Barème % |
|---|---|---|---|---|---|
| S15 | Collectif | Présentiel | Autre | AAV1-AAV4 | 80% |
| S6 | Individuel | Présentiel | TP | AAV2 | 20% |
2nde session
| Session | Indiv/collectif | Présentiel/distanciel | Type d'examen | AAV évalué(s) | Barème % |
|---|---|---|---|---|---|
| 2 | Collectif | Présentiel | Écrit | AAV 1-10 | 50% |
| 1 | Collectif | Présentiel | Quiz | AAV1-8 | 50% |
Date de génération de la fiche d'UE : 06/10/2026
