Aller au contenu

Remise à Niveau: Deep Learning & Reinforcement Learning

PDF icon Télécharger en PDF

  • Responsable de l'UE : Louis Annabi Occelli (annabi@isir.upmc.fr)
  • Code UE :
  • Volumes horaires / étu : 14 h Cours, 2 h TD, 12 h TP
  • Nombre de crédits de l'UE/EC : 3 ECTS
  • Parcours-type : ROBOT (option) SI (option) MeDH (option)
  • Semestre où l'enseignement est proposé : S1 S2 S3 S4
  • Langue d'enseignement : Français Anglais
  • Public concerné : Département SDI Autre (préciser) : ENSAM et étudiants juste recrutés
  • Localisation : Campus PMC Autre (préciser) :

Thématique

Cette UE vise à former les étudiants et étudiantes à l'apprentissage profond et à l'apprentissage par renforcement. Un premier bloc fondamental se concentre sur l'apprentissage profond (réseaux de neurones, backpropagation, architectures classiques). Un deuxième bloc propose une introduction à l'apprentissage par renforcement.

Mots-clés : Apprentissage profond, apprentissage par renforcement

Prérequis

Afin de suivre cette UE, doivent être acquis précédemment :

  • Installer et utiliser un environnement de programmation (langage, ide)
  • Préparer les données pour l'apprentissage
  • Elaborer un protocole expérimental adéquat pour évaluer les performances d'un modèle

Acquis d'apprentissage visés (AAV)

À l'issue de cette UE, les étudiantes ou étudiants seront capables de :

  1. Choisir le paradigme adapté à la tâche et aux données (supervisé, non supervisé, renforcement)
  2. Choisir une architecture de réseaux de neurones adaptée à la tâche, aux données, aux ressources (MLP, RNN, CNN)
  3. Choisir le processus d'apprentissage (fonction de coût, algorithme d'optimisation, initialisation)
  4. Dimensionner un réseau (nombre de couches et de neurones)
  5. Représenter graphiquement un réseau de neurones
  6. Lister les méta-paramètres d'un algorithme (pour de l'apprentissage profond ou de l'apprentissage par renforcement)
  7. Implémenter les algorithmes fondamentaux (descente de gradient, rétro-propagation, programmation dynamique, temporal difference learning, ...)
  8. Maîtriser une librairie haut niveau dédiée à l'apprentissage profond (pytorch ou tensorflow)
  9. Réaliser l'apprentissage défini dans la phase de conception en optimisant des fonctions de pertes multiples associées
  10. Reproduire des apprentissages et des résultats expérimentaux
  11. Contrôler et interpréter les résultats obtenus pour assurer un apprentissage optimal

Séquencement et modalités de l'enseignement (indicatif)

Semaine C/TD/TP Contenu Préparation AAV associé(s)
S1 C1 Rétropropagation, perceptron, MLP, fonction d'activation   1, 7
S2 TP1 Implémentation de la rétropropagation   7, 9, 10, 11
S3 C2 Optimiseurs, généralisation, initialisation, normalisation, régularisation   1, 3, 4, 6
S4 TP2 Optimiseurs, amélioration de la vitesse et de la généralisation sur une tâche de classification   4, 8, 9, 10, 11
S5 C3 Biais d'induction, CNN, RNN   1, 2, 4, 5, 6
S6 TP3 CNN, RNN   4, 8, 9, 10, 11
S7 C4 Fonctions de perte, apprentissage non-supervisé, AE, VAE, GAN   1, 3, 5, 6
S8 TP4 AE et VAE   8, 9, 10, 11
S9 C5 MDP, programmation dynamique   1, 6
S10 C6 RL tabulaire, TD(0), Q-learning, SARSA   1, 6
S11 TD1 TD sur les cours C5 et C6   7
S12 TP5 Q-learning   7, 10, 11
S13 C7 Introduction à l'apprentissage par renforcement profond, DQN, DDPG   1, 6
S14 TP6 DQN   7, 8, 10, 11

Déroulement de l'UE

"L’UE se déroule en 2 séquences successives :

  • Séquence 1 : apprentissage profond

  • Séquence 2 : apprentissage par renforcement"

Modalités d'évaluation des acquis d'apprentissage (1ère session)

Semaine Indiv/collectif Présentiel/distanciel Type d'examen AAV évalué(s) Barème %

2nde session

Session Indiv/collectif Présentiel/distanciel Type d'examen AAV évalué(s) Barème %

Logo SDI Date de génération de la fiche d'UE : 06/10/2026 Logo SDI