FormationFOR-DEV-M6-A
Data Engineer
Concevoir, construire et exploiter les pipelines et infrastructures de données
- 35 heures — 5 jours
- 2 450 € HT
- Écoles & centres de formation
- Certification Qualiopi en cours de préparation

En bref
Le module alterne séquences théoriques et ateliers pratiques tout au long de chaque journée. Il couvre la modélisation des données, le SQL avancé et les entrepôts, les pipelines ETL/ELT et leur orchestration, le big data et le traitement distribué, les architectures modernes et la gouvernance. Le fil rouge des ateliers est SQL/Python/Airflow/Spark/Kafka, complété par un panorama étendu de l'écosystème.
Objectifs pédagogiques
- Comprendre le rôle du data engineer et l'architecture d'une plateforme de données
- Concevoir et modéliser des bases de données (relationnelles et NoSQL) et un entrepôt de données
- Construire des pipelines de données (ETL/ELT) et les orchestrer
- Comprendre les enjeux du big data et du traitement distribué (batch/streaming)
- Connaître les architectures modernes (data warehouse, data lake, lakehouse) et le cloud data
- Mettre en place qualité, gouvernance, sécurité et supervision des données
Public concerné
- Étudiants et apprenants des écoles et centres de formation partenaires
- Développeurs ou data analysts souhaitant s'orienter vers l'ingénierie des données
- Profils techniques visant des fonctions data engineering
Prérequis
Des bases de programmation (Python recommandé) et de SQL sont requises, ainsi qu'une aisance avec la ligne de commande. Des notions de bases de données et de data science facilitent la progression. Ces éléments sont validés par un formulaire en ligne et / ou un entretien préalable.
- Maîtriser les bases de la programmation (Python de préférence) et de SQL.
- Être à l'aise avec la ligne de commande et la manipulation de fichiers.
- Avoir des notions de bases de données et de data (modules Full-Stack et Data Scientist conseillés).
- Disposer d'une autonomie technique et d'une rigueur d'organisation.
Programme
Jour 1 — Le métier & modélisation des données
-
1h15
Métier & architecture data
Data engineer vs data scientist ; architecture d'une plateforme ; panorama de l'écosystème (bases, ETL, distribué, cloud).
Exposé interactif, schéma d'architecture, panorama d'outils.
Évaluation : Questions orales ; QCM sur l'écosystème.
-
2h00
Analyser une architecture
Identifier les composants d'une architecture data.
TP guidé, étude d'architecture, grille d'analyse.
Évaluation : Analyse d'architecture validée.
-
1h15
Modélisation des données
Relationnel (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra, Redis), normalisation, modélisation décisionnelle (étoile/flocon).
Exposé, panorama des bases, exemples de schémas.
Évaluation : QCM sur la modélisation.
-
2h00
Modéliser un schéma
Concevoir un schéma de données adapté à un cas.
TP, outil de modélisation, accompagnement.
Évaluation : Schéma de données validé.
Jour 2 — SQL avancé & entrepôts de données
-
1h15
SQL avancé
Jointures complexes, fonctions de fenêtrage, optimisation, index.
Exposé, exemples de requêtes, plans d'exécution.
Évaluation : Questions orales ; QCM.
-
2h15
Requêtes SQL avancées
Écrire des requêtes avancées sur un jeu de données.
TP guidé, base de données, requêtes progressives.
Évaluation : Requêtes avancées validées.
-
1h00
Entrepôts de données
Data warehouse, modélisation dimensionnelle, panorama (BigQuery, Snowflake, Redshift).
Exposé, schémas dimensionnels, panorama cloud.
Évaluation : QCM sur les entrepôts.
-
2h30
Mini-entrepôt
Construire et alimenter un mini-entrepôt de données.
TP, modélisation en étoile, chargement, requêtes.
Évaluation : Mini-entrepôt validé.
Jour 3 — Pipelines ETL/ELT & orchestration
-
1h15
Ingestion & ETL/ELT
Ingestion, ETL vs ELT, transformation, idempotence ; panorama (dbt, Talend, Fivetran, Airbyte, NiFi).
Exposé, schémas de pipelines, panorama d'outils.
Évaluation : Questions orales ; QCM.
-
2h15
Pipeline ETL
Construire un pipeline ETL (extraction → transformation → chargement).
TP guidé Python, sources et cible, accompagnement.
Évaluation : Pipeline ETL fonctionnel.
-
1h00
Orchestration de pipelines
Airflow (fil rouge), planification, dépendances ; alternatives Dagster, Prefect.
Exposé, notion de DAG, panorama des orchestrateurs.
Évaluation : QCM sur l'orchestration.
-
2h30
Orchestrer avec un DAG
Orchestrer un pipeline via un DAG (Airflow).
TP guidé Airflow, planification, gestion des dépendances.
Évaluation : DAG orchestré validé.
Jour 4 — Big data & traitement distribué
-
1h15
Enjeux du big data
Volume, vitesse, variété ; traitement distribué (Spark) ; héritage Hadoop/MapReduce, alternatives Flink, Dask.
Exposé, schémas distribués, panorama des moteurs.
Évaluation : Questions orales ; QCM.
-
2h15
Traitement distribué (Spark)
Traiter un gros volume en distribué (initiation Spark).
TP guidé Spark, jeu de données volumineux, accompagnement.
Évaluation : Traitement distribué validé.
-
1h00
Batch vs streaming
Batch vs temps réel ; Kafka (fil rouge), alternatives Pulsar, Kinesis, RabbitMQ.
Exposé, schéma streaming, panorama des bus de messages.
Évaluation : QCM sur batch/streaming.
-
2h30
Traitement batch & démo streaming
Mettre en place un traitement batch ; démonstration streaming.
TP batch, démonstration Kafka, revue collective.
Évaluation : Traitement batch validé.
Jour 5 — Architectures modernes, gouvernance & projet
-
1h00
Architectures modernes & cloud
Data warehouse / data lake / lakehouse ; formats ouverts (Delta Lake, Iceberg, Hudi) ; cloud (BigQuery, Snowflake, Redshift, Databricks, Synapse, Dataflow).
Exposé, schémas d'architectures, panorama cloud.
Évaluation : QCM sur les architectures.
-
2h00
Explorer une architecture cloud
Explorer une architecture cloud data (initiation).
TP guidé, environnement cloud d'initiation, accompagnement.
Évaluation : Exploration cloud validée.
-
1h00
Qualité & gouvernance
Qualité, gouvernance, sécurité, RGPD, supervision des données.
Exposé, bonnes pratiques, exemples de supervision.
Évaluation : QCM sur la gouvernance.
-
2h30
Pipeline data de bout en bout & restitution
Concevoir et présenter un pipeline data complet.
TP projet, présentations, revue collective, QCM final, enquête de satisfaction.
Évaluation : Évaluation sommative : pipeline data + QCM final.
Modalités et moyens pédagogiques
Formation en présentiel dans nos locaux ou dans vos locaux, en groupe restreint. Alternance d’apports théoriques, d’ateliers pratiques et de mises en situation.
16 Go de Ram recommandés
- Les stagiaires doivent disposer d'un PC avec le Wifi et 16 Go de RAM recommandés.
- Effectif adapté au format école / centre de formation.
- Parcours dédié aux écoles et centres de formation, établi sur devis.
Modalités d’évaluation
Évaluation des acquis en cours et en fin de formation, attestation de fin de formation remise à chaque stagiaire.
Accessibilité aux personnes en situation de handicap
Formation accessible aux personnes en situation de handicap. Contactez-nous avant l’inscription pour étudier les aménagements nécessaires.
Financement
Devis ou convention de formation sur demande. La certification Qualiopi est en cours de préparation : l’éligibilité aux financements OPCO sera ouverte après son obtention.
Audit de certification prévu au T1 2027. Aucune éligibilité OPCO avant l’obtention.