Training courseFOR-DEV-M6-A
Data Engineer
Concevoir, construire et exploiter les pipelines et infrastructures de données
- 35 heures — 5 jours
- 2 450 € HT
- Schools & training centres
- Qualiopi certification being prepared

Content currently available in French.
At a glance
Le module alterne séquences théoriques et ateliers pratiques tout au long de chaque journée. Il couvre la modélisation des données, le SQL avancé et les entrepôts, les pipelines ETL/ELT et leur orchestration, le big data et le traitement distribué, les architectures modernes et la gouvernance. Le fil rouge des ateliers est SQL/Python/Airflow/Spark/Kafka, complété par un panorama étendu de l'écosystème.
Learning objectives
- Comprendre le rôle du data engineer et l'architecture d'une plateforme de données
- Concevoir et modéliser des bases de données (relationnelles et NoSQL) et un entrepôt de données
- Construire des pipelines de données (ETL/ELT) et les orchestrer
- Comprendre les enjeux du big data et du traitement distribué (batch/streaming)
- Connaître les architectures modernes (data warehouse, data lake, lakehouse) et le cloud data
- Mettre en place qualité, gouvernance, sécurité et supervision des données
Target audience
- Étudiants et apprenants des écoles et centres de formation partenaires
- Développeurs ou data analysts souhaitant s'orienter vers l'ingénierie des données
- Profils techniques visant des fonctions data engineering
Prerequisites
Des bases de programmation (Python recommandé) et de SQL sont requises, ainsi qu'une aisance avec la ligne de commande. Des notions de bases de données et de data science facilitent la progression. Ces éléments sont validés par un formulaire en ligne et / ou un entretien préalable.
- Maîtriser les bases de la programmation (Python de préférence) et de SQL.
- Être à l'aise avec la ligne de commande et la manipulation de fichiers.
- Avoir des notions de bases de données et de data (modules Full-Stack et Data Scientist conseillés).
- Disposer d'une autonomie technique et d'une rigueur d'organisation.
Programme
Jour 1 — Le métier & modélisation des données
-
1h15
Métier & architecture data
Data engineer vs data scientist ; architecture d'une plateforme ; panorama de l'écosystème (bases, ETL, distribué, cloud).
Exposé interactif, schéma d'architecture, panorama d'outils.
Assessment : Questions orales ; QCM sur l'écosystème.
-
2h00
Analyser une architecture
Identifier les composants d'une architecture data.
TP guidé, étude d'architecture, grille d'analyse.
Assessment : Analyse d'architecture validée.
-
1h15
Modélisation des données
Relationnel (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra, Redis), normalisation, modélisation décisionnelle (étoile/flocon).
Exposé, panorama des bases, exemples de schémas.
Assessment : QCM sur la modélisation.
-
2h00
Modéliser un schéma
Concevoir un schéma de données adapté à un cas.
TP, outil de modélisation, accompagnement.
Assessment : Schéma de données validé.
Jour 2 — SQL avancé & entrepôts de données
-
1h15
SQL avancé
Jointures complexes, fonctions de fenêtrage, optimisation, index.
Exposé, exemples de requêtes, plans d'exécution.
Assessment : Questions orales ; QCM.
-
2h15
Requêtes SQL avancées
Écrire des requêtes avancées sur un jeu de données.
TP guidé, base de données, requêtes progressives.
Assessment : Requêtes avancées validées.
-
1h00
Entrepôts de données
Data warehouse, modélisation dimensionnelle, panorama (BigQuery, Snowflake, Redshift).
Exposé, schémas dimensionnels, panorama cloud.
Assessment : QCM sur les entrepôts.
-
2h30
Mini-entrepôt
Construire et alimenter un mini-entrepôt de données.
TP, modélisation en étoile, chargement, requêtes.
Assessment : Mini-entrepôt validé.
Jour 3 — Pipelines ETL/ELT & orchestration
-
1h15
Ingestion & ETL/ELT
Ingestion, ETL vs ELT, transformation, idempotence ; panorama (dbt, Talend, Fivetran, Airbyte, NiFi).
Exposé, schémas de pipelines, panorama d'outils.
Assessment : Questions orales ; QCM.
-
2h15
Pipeline ETL
Construire un pipeline ETL (extraction → transformation → chargement).
TP guidé Python, sources et cible, accompagnement.
Assessment : Pipeline ETL fonctionnel.
-
1h00
Orchestration de pipelines
Airflow (fil rouge), planification, dépendances ; alternatives Dagster, Prefect.
Exposé, notion de DAG, panorama des orchestrateurs.
Assessment : QCM sur l'orchestration.
-
2h30
Orchestrer avec un DAG
Orchestrer un pipeline via un DAG (Airflow).
TP guidé Airflow, planification, gestion des dépendances.
Assessment : DAG orchestré validé.
Jour 4 — Big data & traitement distribué
-
1h15
Enjeux du big data
Volume, vitesse, variété ; traitement distribué (Spark) ; héritage Hadoop/MapReduce, alternatives Flink, Dask.
Exposé, schémas distribués, panorama des moteurs.
Assessment : Questions orales ; QCM.
-
2h15
Traitement distribué (Spark)
Traiter un gros volume en distribué (initiation Spark).
TP guidé Spark, jeu de données volumineux, accompagnement.
Assessment : Traitement distribué validé.
-
1h00
Batch vs streaming
Batch vs temps réel ; Kafka (fil rouge), alternatives Pulsar, Kinesis, RabbitMQ.
Exposé, schéma streaming, panorama des bus de messages.
Assessment : QCM sur batch/streaming.
-
2h30
Traitement batch & démo streaming
Mettre en place un traitement batch ; démonstration streaming.
TP batch, démonstration Kafka, revue collective.
Assessment : Traitement batch validé.
Jour 5 — Architectures modernes, gouvernance & projet
-
1h00
Architectures modernes & cloud
Data warehouse / data lake / lakehouse ; formats ouverts (Delta Lake, Iceberg, Hudi) ; cloud (BigQuery, Snowflake, Redshift, Databricks, Synapse, Dataflow).
Exposé, schémas d'architectures, panorama cloud.
Assessment : QCM sur les architectures.
-
2h00
Explorer une architecture cloud
Explorer une architecture cloud data (initiation).
TP guidé, environnement cloud d'initiation, accompagnement.
Assessment : Exploration cloud validée.
-
1h00
Qualité & gouvernance
Qualité, gouvernance, sécurité, RGPD, supervision des données.
Exposé, bonnes pratiques, exemples de supervision.
Assessment : QCM sur la gouvernance.
-
2h30
Pipeline data de bout en bout & restitution
Concevoir et présenter un pipeline data complet.
TP projet, présentations, revue collective, QCM final, enquête de satisfaction.
Assessment : Évaluation sommative : pipeline data + QCM final.
Teaching methods and resources
In-person training at our premises or yours, in small groups. A mix of theory, hands-on workshops and practical scenarios.
16 Go de Ram recommandés
- Les stagiaires doivent disposer d'un PC avec le Wifi et 16 Go de RAM recommandés.
- Effectif adapté au format école / centre de formation.
- Parcours dédié aux écoles et centres de formation, établi sur devis.
Assessment methods
Learning outcomes are assessed during and at the end of the training; an attendance certificate is given to every learner.
Accessibility for people with disabilities
Training accessible to people with disabilities. Contact us before registering so we can study the adjustments needed.
Funding
Quote or training agreement on request. Qualiopi certification is being prepared: eligibility for OPCO funding will open once it is obtained.
Certification audit planned for T1 2027. No OPCO eligibility before it is obtained.