Spark et Machine Learning

Apache Spark permet de traiter de très gros volumes de données et d’y entraîner des modèles de machine learning en répartissant les calculs sur plusieurs machines.

Cette formation vous apprend à manipuler les données avec PySpark et Spark SQL, puis à construire, évaluer et déployer des pipelines de machine learning avec Spark ML.

Les exercices sont réalisés en Python, sur des jeux de données de taille réaliste.

Bonne pratique de Python et du SQL. Des notions de statistiques et de machine learning (régression, classification) sont recommandées.

• Objectifs pédagogiques
  • Comprendre le calcul distribué et l’architecture de Spark
  • Manipuler de gros volumes avec les DataFrames et Spark SQL
  • Construire des pipelines de machine learning avec Spark ML
  • Optimiser et industrialiser les traitements
• Objectifs opérationnels
  • Charger, nettoyer et transformer des données avec PySpark
  • Préparer des variables (features) à grande échelle
  • Entraîner, évaluer et régler un modèle
  • Sauvegarder un pipeline et l’appliquer à de nouvelles données
  • Diagnostiquer un traitement lent dans l’interface Spark

PLAN PÉDAGOGIQUE

Jour 1

• Spark et le calcul distribué
  • Pourquoi distribuer les calculs : limites d’une seule machine
  • Architecture : driver, exécuteurs, partitions, tâches
  • Modes d’exécution : local, cluster, plateformes managées
• Manipuler les données
  • DataFrames : lecture de CSV, JSON, Parquet et Delta
  • Transformations, actions et évaluation paresseuse
  • Spark SQL, fonctions de fenêtrage et jointures
  • Travaux pratiques : préparation d’un jeu de données volumineux

Jour 2

• Machine learning avec Spark ML
  • Rappels : apprentissage supervisé et non supervisé
  • Transformers, estimators et pipelines
  • Préparation des variables : encodage, normalisation, assemblage
• Modèles et évaluation
  • Régression, classification, clustering
  • Validation croisée et recherche d’hyperparamètres
  • Métriques d’évaluation et interprétation
  • Travaux pratiques : un modèle de prédiction de bout en bout

Jour 3

• Performances
  • Partitionnement, cache et persistance
  • Lire l’interface Spark : étapes, mélanges (shuffles), déséquilibres
  • Bonnes pratiques d’écriture des traitements
• Industrialiser
  • Sauvegarder et recharger un pipeline
  • Suivi des expériences et des modèles (MLflow)
  • Traitements en flux avec Structured Streaming : principes
• Atelier de synthèse
  • De la donnée brute au modèle déployé en lot

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués

À la fin de la formation tous les participants recevront une attestation de formation

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Sessions inter-entreprises : nous consulter pour les prochaines dates (3 jours).

Cette formation peut être organisée en intra, pour votre seule équipe, en présentiel dans nos locaux. Pour ce faire, merci d’utiliser le formulaire de contact afin que nos équipes organisent avec vous une formation sur mesure selon vos disponibilités et vos besoins.

Délai d’accès : 2 à 4 semaines entre la demande et le début de la formation.

Inscription au plus tard 10 jours avant le début de la session, afin de garantir votre place ainsi qu’une préparation et un accueil de qualité.

Merci de nous contacter au 01 86 95 71 60 ou à l’adresse formation@adbi.fr