Le cours amène les étudiants à acquérir les connaissances fondamentales en algèbre linéaire, probabilité et théorie de l'information et en optimisation afin de les préparer à aborder des sujets sur l'apprentissage automatique («machine-learning») et l’apprentissage profond («deep-learning») ainsi que l'optimisation avancée. Le contenue du cours sera divisé en 3 parties et les concepts présentés seront appliqués à des problèmes d'ingénierie concrets. Ainsi, dans la 1ère partie du cours sur l'algèbre linéaire, l'étudiant révisera en profondeur les éléments liés aux sous-espaces, aux valeurs propres et aux vecteurs propres, aux matrices symétriques définies, aux composantes principales et aux matrices de bas rang, aux quotients de Rayleigh et aux valeurs propres généralisées ainsi qu’aux normes et à la factorisation des matrices. Cette partie couvrira également les calculs avec de grandes matrices et la détection compressée. Dans la 2ième partie du cours, les probabilités et les statistiques ainsi que les bases de l'apprentissage automatique sont abordées. Cette partie mettra l'accent sur les distributions de probabilité, les moments, les cumulants et les inégalités statistiques, les matrices de covariance et les probabilités conjointes, l’algorithme des moindres carrés gaussiens multivariés et pondérés et enfin les chaînes de Markov. Cette partie couvrira également les estimateurs, le biais et la variance, l'estimation par maximum de vraisemblance, les statistiques bayésiennes, les algorithmes d'apprentissage supervisé, les algorithmes d'apprentissage non supervisé et l’approche du de gradient stochastique. Enfin, la 3ième partie sera consacrée à l'optimisation : traitement des problèmes de minimum (convexité et méthode de Newton), les multiplicateurs de Lagrange (dérivées du coût), la programmation linéaire, la théorie des jeux et la dualité et l’algorithme des directions alternées.
Horaire du cours aux sessions
automne 2024
