Leçon d'essai dans le cadre d'une procédure d'habilitation en Machine Learning

Résumé: Les bandits manchots (Multi-Armed Bandits, MABs) constituent un modèle mathématiques fondamental pour la prise de décision en situation d’incertitude, combinant exploration et exploitation afin de maximiser les récompenses au fil du temps. Cette présentation introduira les concepts de base des MABs stochastiques et montrera qu’ils apparaissent naturellement dans de nombreuses situations réelles, comme la publicité en ligne, les essais cliniques et les systèmes de recommandation. Nous explorerons ensuite les principaux algorithmes, tels que epsilon-greedy, UCB (Upper Confidence Bound) et Thompson Sampling, en mettant en évidence leurs forces respectives. Enfin, la présentation abordera la richesse du cadre des MABs en mettant en lumière plusieurs extensions du problème original, notamment les Restless bandits, les bandits contextuels et les Dueling bandits. L’objectif de cette leçon est de fournir aux participants une compréhension intuitive des problèmes de MAB, ainsi qu’une analyse théorique et des pistes pratiques pour concevoir des solutions efficaces.