Python pour la data-science
Ce site web rend public le contenu du cours de deuxième année (Master 1) de l’ENSAE: Python pour la data-science
Tout est présent sur ce site web ! Des Notebooks Jupyter peuvent être récupérés
pour s’exercer. L’ensemble
des codes sources est stocké sur Github
L’accès à des bases de données de plus en plus riches permet
des modélisations de plus en plus raffinées. Cependant,
les modèles parcimonieux sont généralement préférables
aux modèles extrêmement riches pour obtenir de bonnes
performances sur un nouveau jeu de données (prédictions
out-of-sample). Les méthodes de sélection de variables,
notamment le LASSO,
permettent de sélectionner le signal le plus
pertinent dilué au milieu du bruit lorsqu’on a beaucoup d’information à
traiter.
Dans les entreprises et administrations, un nombre croissant
d’infrastructure se basent sur des clouds, qui sont des sessions
non persistentes où les données ne sont pas stockées dans les mêmes
serveurs que les machines qui exécutent du code. L’une des technologies
dominantes dans le domaine est un système de stockage nommé S3,
développé par Amazon.
Python, à travers plusieurs packages (notamment boto3, s3fs ou pyarrow),
permet d’utiliser ce système de stockage distant comme si on
accédait à des fichiers depuis son poste personnel. Cette révolution est
étroitement associée à l’émergence du format de
données Apache Parquet, format utilisable en
Python par le biais du package pyarrow
ou avec Spark et présentant
de nombreux avantages pour l’analyse de données (vitesse d’import, possibilité de traiter
des données plus volumineuses que la RAM…)
La programmation orientée objet (POO) est
l’un des atouts de Python. Elle permet
d’adapter des instructions à un type particulier
d’objet. En apparence plus complexe que la programmation
fonctionnelle évoquée précédemment, elle permet néanmoins
de bien rélféchir à la structure des objets utilisés. Ce
chapitre vise à quelques rappels sur la programmation orientée objet.
Le modèle Latent Dirichlet Allocation (LDA)
est un modèle probabiliste génératif qui permet
de décrire des collections de documents de texte ou d’autres types de données discrètes.
La LDA fait
partie d’une catégorie de modèles appelés “topic models”, qui cherchent à découvrir des structures
thématiques cachées dans des vastes archives de documents.
La hype autour du
modèle de génération d’image Dall-E a amené
une grande attention sur les modèles
autogénératifs de contenu. Dall-E est, à l’heure
actuelle, le modèle le plus célèbre de génération
d’image à partir de texte. Il est maintenant
possible de créer, depuis Python grâce à
l’implémentation de StableDiffusion,
soit-même
ses propres images rigolotes.
Faire preuve de méthode pour évaluer la qualité d’un modèle permet de proposer des prédictions plus robustes, ayant de meilleures performances sur un nouveau jeu de données (prédictions out-of-sample). Décomposer l’échantillon initial en sous-échantillons d’entraînement et de tests, faire de la validation croisée, utiliser les bonnes mesures de performances peut se faire, grâce à scikit, de manière relativement standardisée. Cette démarche scientifique est essentielle pour assurer la confiance dans la qualité d’un modèle, ce qu’a illustré récemment un cycle de séminaire de Princeton
Une documentation complète sur Python
Tout est disponible sur Github
Un dépôt reposant sur les dernières innovations de la conteneurisation pour assurer un contenu reproductible