All training courses

Training courseFOR-DEV-M6-A

Data Engineer

Concevoir, construire et exploiter les pipelines et infrastructures de données

  • 35 heures — 5 jours
  • 2 450 € HT
  • Schools & training centres
  • Qualiopi certification being prepared
Tunnel of glowing particles evoking a stream of data

Content currently available in French.

At a glance

Le module alterne séquences théoriques et ateliers pratiques tout au long de chaque journée. Il couvre la modélisation des données, le SQL avancé et les entrepôts, les pipelines ETL/ELT et leur orchestration, le big data et le traitement distribué, les architectures modernes et la gouvernance. Le fil rouge des ateliers est SQL/Python/Airflow/Spark/Kafka, complété par un panorama étendu de l'écosystème.

Learning objectives

  • Comprendre le rôle du data engineer et l'architecture d'une plateforme de données
  • Concevoir et modéliser des bases de données (relationnelles et NoSQL) et un entrepôt de données
  • Construire des pipelines de données (ETL/ELT) et les orchestrer
  • Comprendre les enjeux du big data et du traitement distribué (batch/streaming)
  • Connaître les architectures modernes (data warehouse, data lake, lakehouse) et le cloud data
  • Mettre en place qualité, gouvernance, sécurité et supervision des données

Target audience

  • Étudiants et apprenants des écoles et centres de formation partenaires
  • Développeurs ou data analysts souhaitant s'orienter vers l'ingénierie des données
  • Profils techniques visant des fonctions data engineering

Prerequisites

Des bases de programmation (Python recommandé) et de SQL sont requises, ainsi qu'une aisance avec la ligne de commande. Des notions de bases de données et de data science facilitent la progression. Ces éléments sont validés par un formulaire en ligne et / ou un entretien préalable.

  • Maîtriser les bases de la programmation (Python de préférence) et de SQL.
  • Être à l'aise avec la ligne de commande et la manipulation de fichiers.
  • Avoir des notions de bases de données et de data (modules Full-Stack et Data Scientist conseillés).
  • Disposer d'une autonomie technique et d'une rigueur d'organisation.

Programme

Jour 1 — Le métier & modélisation des données
  1. Métier & architecture data

    Data engineer vs data scientist ; architecture d'une plateforme ; panorama de l'écosystème (bases, ETL, distribué, cloud).

    Exposé interactif, schéma d'architecture, panorama d'outils.

    Assessment : Questions orales ; QCM sur l'écosystème.

    1h15
  2. Analyser une architecture

    Identifier les composants d'une architecture data.

    TP guidé, étude d'architecture, grille d'analyse.

    Assessment : Analyse d'architecture validée.

    2h00
  3. Modélisation des données

    Relationnel (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra, Redis), normalisation, modélisation décisionnelle (étoile/flocon).

    Exposé, panorama des bases, exemples de schémas.

    Assessment : QCM sur la modélisation.

    1h15
  4. Modéliser un schéma

    Concevoir un schéma de données adapté à un cas.

    TP, outil de modélisation, accompagnement.

    Assessment : Schéma de données validé.

    2h00
Jour 2 — SQL avancé & entrepôts de données
  1. SQL avancé

    Jointures complexes, fonctions de fenêtrage, optimisation, index.

    Exposé, exemples de requêtes, plans d'exécution.

    Assessment : Questions orales ; QCM.

    1h15
  2. Requêtes SQL avancées

    Écrire des requêtes avancées sur un jeu de données.

    TP guidé, base de données, requêtes progressives.

    Assessment : Requêtes avancées validées.

    2h15
  3. Entrepôts de données

    Data warehouse, modélisation dimensionnelle, panorama (BigQuery, Snowflake, Redshift).

    Exposé, schémas dimensionnels, panorama cloud.

    Assessment : QCM sur les entrepôts.

    1h00
  4. Mini-entrepôt

    Construire et alimenter un mini-entrepôt de données.

    TP, modélisation en étoile, chargement, requêtes.

    Assessment : Mini-entrepôt validé.

    2h30
Jour 3 — Pipelines ETL/ELT & orchestration
  1. Ingestion & ETL/ELT

    Ingestion, ETL vs ELT, transformation, idempotence ; panorama (dbt, Talend, Fivetran, Airbyte, NiFi).

    Exposé, schémas de pipelines, panorama d'outils.

    Assessment : Questions orales ; QCM.

    1h15
  2. Pipeline ETL

    Construire un pipeline ETL (extraction → transformation → chargement).

    TP guidé Python, sources et cible, accompagnement.

    Assessment : Pipeline ETL fonctionnel.

    2h15
  3. Orchestration de pipelines

    Airflow (fil rouge), planification, dépendances ; alternatives Dagster, Prefect.

    Exposé, notion de DAG, panorama des orchestrateurs.

    Assessment : QCM sur l'orchestration.

    1h00
  4. Orchestrer avec un DAG

    Orchestrer un pipeline via un DAG (Airflow).

    TP guidé Airflow, planification, gestion des dépendances.

    Assessment : DAG orchestré validé.

    2h30
Jour 4 — Big data & traitement distribué
  1. Enjeux du big data

    Volume, vitesse, variété ; traitement distribué (Spark) ; héritage Hadoop/MapReduce, alternatives Flink, Dask.

    Exposé, schémas distribués, panorama des moteurs.

    Assessment : Questions orales ; QCM.

    1h15
  2. Traitement distribué (Spark)

    Traiter un gros volume en distribué (initiation Spark).

    TP guidé Spark, jeu de données volumineux, accompagnement.

    Assessment : Traitement distribué validé.

    2h15
  3. Batch vs streaming

    Batch vs temps réel ; Kafka (fil rouge), alternatives Pulsar, Kinesis, RabbitMQ.

    Exposé, schéma streaming, panorama des bus de messages.

    Assessment : QCM sur batch/streaming.

    1h00
  4. Traitement batch & démo streaming

    Mettre en place un traitement batch ; démonstration streaming.

    TP batch, démonstration Kafka, revue collective.

    Assessment : Traitement batch validé.

    2h30
Jour 5 — Architectures modernes, gouvernance & projet
  1. Architectures modernes & cloud

    Data warehouse / data lake / lakehouse ; formats ouverts (Delta Lake, Iceberg, Hudi) ; cloud (BigQuery, Snowflake, Redshift, Databricks, Synapse, Dataflow).

    Exposé, schémas d'architectures, panorama cloud.

    Assessment : QCM sur les architectures.

    1h00
  2. Explorer une architecture cloud

    Explorer une architecture cloud data (initiation).

    TP guidé, environnement cloud d'initiation, accompagnement.

    Assessment : Exploration cloud validée.

    2h00
  3. Qualité & gouvernance

    Qualité, gouvernance, sécurité, RGPD, supervision des données.

    Exposé, bonnes pratiques, exemples de supervision.

    Assessment : QCM sur la gouvernance.

    1h00
  4. Pipeline data de bout en bout & restitution

    Concevoir et présenter un pipeline data complet.

    TP projet, présentations, revue collective, QCM final, enquête de satisfaction.

    Assessment : Évaluation sommative : pipeline data + QCM final.

    2h30

Teaching methods and resources

In-person training at our premises or yours, in small groups. A mix of theory, hands-on workshops and practical scenarios.

Required equipment :

16 Go de Ram recommandés

  • Les stagiaires doivent disposer d'un PC avec le Wifi et 16 Go de RAM recommandés.
  • Effectif adapté au format école / centre de formation.
  • Parcours dédié aux écoles et centres de formation, établi sur devis.

Assessment methods

Learning outcomes are assessed during and at the end of the training; an attendance certificate is given to every learner.

Accessibility for people with disabilities

Training accessible to people with disabilities. Contact us before registering so we can study the adjustments needed.

Funding

Quote or training agreement on request. Qualiopi certification is being prepared: eligibility for OPCO funding will open once it is obtained.

Certification audit planned for T1 2027. No OPCO eligibility before it is obtained.

Share this article