Databricks – Lakehouse et traitements Spark

Databricks est une plateforme lakehouse construite autour d’Apache Spark et de Delta Lake : ingénierie des données, analytique et machine learning y partagent les mêmes données.

Cette formation vous rend autonome pour construire des traitements de données fiables sur Databricks, de l’ingestion aux tables prêtes pour l’analyse, avec la gouvernance d’Unity Catalog.

Les travaux pratiques sont réalisés dans un espace de travail Databricks d’entraînement.

Pratique de Python ou du SQL. Des notions de traitement de données distribuées sont un plus.

• Objectifs pédagogiques
  • Comprendre l’architecture lakehouse et la place de Databricks
  • Traiter les données avec Spark et Delta Lake
  • Organiser les traitements en couches et les automatiser
  • Gouverner les données avec Unity Catalog
• Objectifs opérationnels
  • Utiliser les notebooks et les clusters
  • Lire, transformer et écrire des tables Delta
  • Mettre en œuvre une architecture médaillon
  • Planifier des traitements avec les Jobs
  • Gérer les droits et le lignage dans Unity Catalog

PLAN PÉDAGOGIQUE

Jour 1

• Découvrir Databricks
  • Le lakehouse : principes et bénéfices
  • Espace de travail, notebooks, clusters et entrepôts SQL
  • Databricks sur Azure, AWS et Google Cloud
• Spark et Delta Lake
  • DataFrames PySpark et Spark SQL
  • Tables Delta : transactions, historique, voyage dans le temps
  • MERGE, mises à jour et optimisation des fichiers
  • Travaux pratiques : premières tables Delta

Jour 2

• Construire des pipelines
  • Architecture médaillon : bronze, silver, gold
  • Ingestion incrémentale (Auto Loader)
  • Pipelines déclaratifs : principes
  • Jobs, dépendances et planification
• Gouvernance et exploitation
  • Unity Catalog : catalogues, schémas, droits, lignage
  • Coûts : dimensionnement et arrêt automatique des clusters
• Atelier de synthèse
  • Pipeline lakehouse de bout en bout

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués

À la fin de la formation tous les participants recevront une attestation de formation

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Sessions inter-entreprises : nous consulter pour les prochaines dates (2 jours).

Cette formation peut être organisée en intra, pour votre seule équipe, en présentiel dans nos locaux. Pour ce faire, merci d’utiliser le formulaire de contact afin que nos équipes organisent avec vous une formation sur mesure selon vos disponibilités et vos besoins.

Délai d’accès : 2 à 4 semaines entre la demande et le début de la formation.

Inscription au plus tard 10 jours avant le début de la session, afin de garantir votre place ainsi qu’une préparation et un accueil de qualité.

Merci de nous contacter au 01 86 95 71 60 ou à l’adresse formation@adbi.fr