Cet ouvrage de Ian Goodfellow, Yoshua Bengio et Aaron Courville, est publié aux Editions Massot avec la collaboration de Quantmetry. Sa première parution originale date de 2016 sous le titre « Deep Learning ». Il a pour ambition de présenter le domaine d’une manière suffisamment détaillée pour servir de référence aux étudiants ou aux professionnels.
Plongeons-nous maintenant plus profondément dans ce livre !
Préfacé par Francis Bach de l’INRIA et ENS Paris, l’avant-propos de Jérémy Harroch et Nicolas Bousquet de Quantmetry précise que le processus de traduction a été réalisé presqu’entièrement grâce aux outils de la société allemande DeepL (spécialisée en traduction et utilisant de nombreux algorithmes d’apprentissage automatique).
Qui sont les auteurs ?
Ian Goodfellow, chercheur en Machine Learning, est actuellement directeur de l’apprentissage automatique chez Apple.
Après son master en informatique à l’Université de Stanford sous la supervision d’Andrew Ng (chercheur reconnu en Machine Learning et IA, co-fondateur de Google Brain), il prépara sa thèse à l’Université de Montréal sous la direction de Yoshua Bengio et Aaron Courville, qu’il présenta en 2014.
Ian Goodfellow également connu pour ses divers travaux sur les GAN (Generative Adversarial Networks) travailla ensuite pour Google et OpenAI.
Yoshua Bengio est co-récipiendaire du prix Turing 2018 aux côtés de Geoffrey Hinton et d’un certain Yann LeCun. Il a été récompensé pour ses travaux sur les réseaux de neurones et l’apprentissage prodond.
Aaron Courville est chercheur et professeur agrégé à l’Université de Montréal au département d’informatique et de recherche opérationnelle. Il est spécialisé en architectures profondes d’apprentissage.
Structure et contenu
Ce livre se décompose en 3 parties distinctes :
- Mathématiques appliquées et fondations de l’apprentissage automatique ;
- Réseaux profonds : pratiques modernes ;
- Recherche en apprentissage profond.
La première partie décrit les bases d’algèbre linéaire nécessaires à la compréhension du domaine scientifique. Il y a également des chapitres sur les probabilités (avec un rappel de la formule de Bayes), le calcul numérique et les fondamentaux de l’apprentissage automatique.
La deuxième partie permet ensuite de rentrer dans le cœur du domaine avec la description des différents types de réseaux (convolutifs, récurrents, récursifs), les techniques de régularisation et d’optimisation.
Enfin la troisième partie constitue un premier état de l’art sur les travaux de recherche actuels en apprentissage profond : modèles factoriels linéaires, auto-encodeurs, modèles probabilistes structurés et génératifs profonds, entre autres.
Commentaires
Ce livre est très dense et nécessite des connaissances préalables en mathématiques et en informatique. Mais il est aussi très complet et offre un panorama quasiment sans équivalent aujourd’hui.
Il constitue une bonne introduction (voire plus) au domaine de l’apprentissage profond. Mais comme toujours et quelque soit la discipline scientifique, il faut y consacrer du temps et expérimenter les différentes approches en fonction du contexte que l’on traite.
Je recommande de ne pas lire cet ouvrage en une passe mais d’y revenir régulièrement pour approfondir certains aspects théoriques. On pourra également le compléter avec d’autres sources plus pratiques (TensorFlow ou Keras par exemple).
Crédits photos : copyright © photo originale par Adèle Guillet (Quantmetry), retravaillée par Sophie Monnier et Luis Blanche (Quantmetry) grâce à l’outil DeepDream Generator de Google.