Aller au contenu

Deep Learning et introduction au Reinforcement Learning

PDF icon Télécharger en PDF

  • Responsable de l'UE : Louis Annabi (annabi@isir.upmc.fr)
  • Code UE : UM4RBI20-DL
  • Volumes horaires / étu : 14 h Cours, 2 h TD, 12 h TP
  • Nombre de crédits de l'UE/EC : 3 ECTS
  • Parcours-type :
  • Semestre où l'enseignement est proposé : S1 S2 S3 S4
  • Langue d'enseignement : Français Anglais
  • Public concerné : Département SDI Autre (préciser) :
  • Localisation : Campus PMC Autre (préciser) :

Thématique

Cette UE vise à former les étudiants et étudiantes à l'apprentissage automatique avec un focus sur l'apprentissage profond. Un premier bloc fondamental se concentre sur l'apprentissage profond (réseaux de neurones, backpropagation, architectures classiques). Un deuxième bloc propose une introduction à deux autres paradigmes d'apprentissage: l'apprentissage par renforcement et l'apprentissage non - et auto - supervisé.

Mots-clés : Apprentissage profond. Architectures neuronales classiques : CNN, RNN, Auto-encodeurs. Introduction à l'apprentissage par renforcement.

Prérequis

Afin de suivre cette UE, doivent être acquis précédemment :

  • Mathématiques : Algèbre linéaire, calcul vectoriel et matriciel, optimisation numérique de fonctions continues à plusieurs variables, calcul différentiel, probabilités
  • Informatique : Installer et utiliser un environnement de programmation (langage, ide), utiliser un environnement virtuel et un logiciel de gestion de version de code
  • Apprentissage machine : Connaitre les concepts et méthodes fondementaux de l'apprentissage machine. Préparer les données pour l'apprentissage. Elaborer un protocole expérimental adéquat pour évaluer les performances d'un modèle.

Acquis d'apprentissage visés (AAV)

À l'issue de cette UE, les étudiantes ou étudiants seront capables de :

  1. Analyser un problème : Choisir une architecture de réseaux de neurones adaptée à la tâche, aux données, aux ressources (MLP, RNN, CNN)
  2. Analyser un problème : Représenter graphiquement un réseau de neurones
  3. Conception : Implémenter les algorithmes fondamentaux (descente de gradient, rétro-propagation, programmation dynamique, temporal difference learning, ...)
  4. Conception: Spécifier les méta-paramètres pour optimiser l’apprentissage des paramètres du réseau
  5. Conception: Choisir le processus d'apprentissage (fonction de coût, algorithme d'optimisation, initialisation)
  6. Mise en oeuvre: Maîtriser une librairie haut niveau dédiée à l'apprentissage profond (pytorch ou tensorflow)
  7. Mise en oeuvre: Réaliser l'apprentissage défini dans la phase de conception en optimisant des fonctions de pertes multiples associées
  8. Mise en oeuvre: Reproduire des apprentissages et des résultats expérimentaux
  9. Evaluation: Contrôler et interpréter les résultats obtenus pour assurer un apprentissage optimal
  10. Evaluation: Diagnostiquer les causes d’un comportement sous-optimal du réseau afin de proposer des solutions y remédiant

Séquencement et modalités de l'enseignement (indicatif)

Semaine C/TD/TP Contenu Préparation AAV associé(s)
S1 C1 + C2 + TP1 Rétro-propagation, intro au DL TP portant sur le cours C1 2, 3, 5, 6
S2 C3 + TP2 + TP3 Les réseaux de neurones convolutifs TP portant sur le cours C2 TP portant sur le cours C3 1, 2, 4, 6, 8, 9, 10
S3 C4 + TP4 Les réseaux de neurones récurrents TP portant sur le cours C4 1, 2, 4, 6, 8, 9, 10
S4 C5 + TP5 Introduction au RL tabulaire TP portant sur le cours C5 3, 7, 9, 10
S5 C6 + TP6 Introduction au deep RL TP portant sur le cours C6 3, 5, 6, 7, 9, 10
S6 C7 + TP7 Apprentissage non - et auto - supervisé TP portant sur le cours C7 1, 2, 3, 4, 5, 6, 7, 9, 10

Déroulement de l'UE

L’UE se déroule en 2 séquences successives :

  • Séquence 1 : apprentissage profond (réseaux de neurones, rétropropagation, architectures classiques) [C1-4, TP1-4, TD1-2, Quiz 1-2]

  • Séquence 2 : autres paradigmes (apprentissage par renforcement et apprentissage non - et auto - supervisé) [C5-7, TP5-6, Quiz 3]

Modalités d'évaluation des acquis d'apprentissage (1ère session)

Semaine Indiv/collectif Présentiel/distanciel Type d'examen AAV évalué(s) Barème %
S3 Individuel Présentiel Quiz 2, 3, 5 6%
S5 Individuel Présentiel Quiz 1, 2, 3, 4, 5 7%
S7 Individuel Présentiel Quiz 1, 3, 5 7%
S5 Individuel Présentiel TP 4, 5, 6, 7, 8, 9, 10 40%
S8 Individuel Présentiel Écrit 1, 2, 3, 4, 5, 9, 10 40%

2nde session

Session Indiv/collectif Présentiel/distanciel Type d'examen AAV évalué(s) Barème %
2 Individuel Présentiel Écrit 60%
1 Individuel Présentiel TP 4, 5, 6, 7, 8, 9, 10 40%

Logo SDI Date de génération de la fiche d'UE : 14/01/2026 Logo SDI