FormaçãoFOR-DEV-M6-A
Data Engineer
Conceber, construir e explorar os pipelines e as infraestruturas de dados
- 35 horas — 5 dias
- 2 450 € s/ IVA
- Escolas e centros de formação
- Certificação Qualiopi em preparação

Em resumo
O módulo alterna sequências teóricas e oficinas práticas ao longo de cada dia. Abrange a modelização dos dados, o SQL avançado e os armazéns de dados, os pipelines ETL/ELT e a sua orquestração, o big data e o processamento distribuído, as arquiteturas modernas e a governação. O fio condutor das oficinas é SQL/Python/Airflow/Spark/Kafka, complementado por um panorama alargado do ecossistema.
Objetivos pedagógicos
- Compreender o papel do data engineer e a arquitetura de uma plataforma de dados
- Conceber e modelizar bases de dados (relacionais e NoSQL) e um armazém de dados
- Construir pipelines de dados (ETL/ELT) e orquestrá-los
- Compreender os desafios do big data e do processamento distribuído (batch/streaming)
- Conhecer as arquiteturas modernas (data warehouse, data lake, lakehouse) e o cloud de dados
- Implementar qualidade, governação, segurança e supervisão dos dados
Público-alvo
- Estudantes e formandos das escolas e centros de formação parceiros
- Programadores ou data analysts que queiram orientar-se para a engenharia de dados
- Perfis técnicos que visam funções de data engineering
Pré-requisitos
São exigidas bases de programação (Python recomendado) e de SQL, bem como à-vontade com a linha de comandos. Noções de bases de dados e de ciência de dados facilitam a progressão. Estes elementos são validados por um formulário online e / ou por uma entrevista prévia.
- Dominar as bases da programação (de preferência Python) e de SQL.
- Sentir-se à vontade com a linha de comandos e a manipulação de ficheiros.
- Ter noções de bases de dados e de dados (módulos Full-Stack e Data Scientist aconselhados).
- Ter autonomia técnica e rigor de organização.
Programa
Dia 1 — A profissão e a modelização dos dados
-
1h15
Profissão e arquitetura de dados
Data engineer vs data scientist; arquitetura de uma plataforma; panorama do ecossistema (bases de dados, ETL, distribuído, cloud).
Exposição interativa, esquema de arquitetura, panorama de ferramentas.
Avaliação : Perguntas orais; questionário de escolha múltipla sobre o ecossistema.
-
2h00
Analisar uma arquitetura
Identificar os componentes de uma arquitetura de dados.
Trabalho prático guiado, estudo de arquitetura, grelha de análise.
Avaliação : Análise de arquitetura validada.
-
1h15
Modelização dos dados
Relacional (PostgreSQL, MySQL), NoSQL (MongoDB, Cassandra, Redis), normalização, modelização decisional (estrela/floco de neve).
Exposição, panorama das bases de dados, exemplos de esquemas.
Avaliação : Questionário de escolha múltipla sobre a modelização.
-
2h00
Modelizar um esquema
Conceber um esquema de dados adaptado a um caso.
Trabalho prático, ferramenta de modelização, acompanhamento.
Avaliação : Esquema de dados validado.
Dia 2 — SQL avançado e armazéns de dados
-
1h15
SQL avançado
Junções complexas, funções de janela, otimização, índices.
Exposição, exemplos de consultas, planos de execução.
Avaliação : Perguntas orais; questionário de escolha múltipla.
-
2h15
Consultas SQL avançadas
Escrever consultas avançadas sobre um conjunto de dados.
Trabalho prático guiado, base de dados, consultas progressivas.
Avaliação : Consultas avançadas validadas.
-
1h00
Armazéns de dados
Data warehouse, modelização dimensional, panorama (BigQuery, Snowflake, Redshift).
Exposição, esquemas dimensionais, panorama cloud.
Avaliação : Questionário de escolha múltipla sobre os armazéns de dados.
-
2h30
Mini-armazém
Construir e alimentar um mini-armazém de dados.
Trabalho prático, modelização em estrela, carregamento, consultas.
Avaliação : Mini-armazém validado.
Dia 3 — Pipelines ETL/ELT e orquestração
-
1h15
Ingestão e ETL/ELT
Ingestão, ETL vs ELT, transformação, idempotência; panorama (dbt, Talend, Fivetran, Airbyte, NiFi).
Exposição, esquemas de pipelines, panorama de ferramentas.
Avaliação : Perguntas orais; questionário de escolha múltipla.
-
2h15
Pipeline ETL
Construir um pipeline ETL (extração → transformação → carregamento).
Trabalho prático guiado em Python, fontes e destino, acompanhamento.
Avaliação : Pipeline ETL funcional.
-
1h00
Orquestração de pipelines
Airflow (fio condutor), planeamento, dependências; alternativas Dagster, Prefect.
Exposição, noção de DAG, panorama dos orquestradores.
Avaliação : Questionário de escolha múltipla sobre a orquestração.
-
2h30
Orquestrar com um DAG
Orquestrar um pipeline através de um DAG (Airflow).
Trabalho prático guiado em Airflow, planeamento, gestão de dependências.
Avaliação : DAG orquestrado validado.
Dia 4 — Big data e processamento distribuído
-
1h15
Desafios do big data
Volume, velocidade, variedade; processamento distribuído (Spark); legado Hadoop/MapReduce, alternativas Flink, Dask.
Exposição, esquemas distribuídos, panorama dos motores.
Avaliação : Perguntas orais; questionário de escolha múltipla.
-
2h15
Processamento distribuído (Spark)
Tratar um grande volume de forma distribuída (iniciação ao Spark).
Trabalho prático guiado em Spark, conjunto de dados volumoso, acompanhamento.
Avaliação : Processamento distribuído validado.
-
1h00
Batch vs streaming
Batch vs tempo real; Kafka (fio condutor), alternativas Pulsar, Kinesis, RabbitMQ.
Exposição, esquema de streaming, panorama dos barramentos de mensagens.
Avaliação : Questionário de escolha múltipla sobre batch/streaming.
-
2h30
Processamento batch e demonstração de streaming
Implementar um processamento batch; demonstração de streaming.
Trabalho prático de batch, demonstração Kafka, revisão coletiva.
Avaliação : Processamento batch validado.
Dia 5 — Arquiteturas modernas, governação e projeto
-
1h00
Arquiteturas modernas e cloud
Data warehouse / data lake / lakehouse; formatos abertos (Delta Lake, Iceberg, Hudi); cloud (BigQuery, Snowflake, Redshift, Databricks, Synapse, Dataflow).
Exposição, esquemas de arquiteturas, panorama cloud.
Avaliação : Questionário de escolha múltipla sobre as arquiteturas.
-
2h00
Explorar uma arquitetura cloud
Explorar uma arquitetura cloud de dados (iniciação).
Trabalho prático guiado, ambiente cloud de iniciação, acompanhamento.
Avaliação : Exploração cloud validada.
-
1h00
Qualidade e governação
Qualidade, governação, segurança, RGPD, supervisão dos dados.
Exposição, boas práticas, exemplos de supervisão.
Avaliação : Questionário de escolha múltipla sobre a governação.
-
2h30
Pipeline de dados de ponta a ponta e apresentação de resultados
Conceber e apresentar um pipeline de dados completo.
Trabalho prático de projeto, apresentações, revisão coletiva, questionário final de escolha múltipla, inquérito de satisfação.
Avaliação : Avaliação sumativa: pipeline de dados + questionário final de escolha múltipla.
Modalidades e meios pedagógicos
Formação presencial nas nossas instalações ou nas suas, em grupo reduzido. Alternância de contributos teóricos, oficinas práticas e simulações.
16 GB de RAM recomendados
- Os formandos devem dispor de um PC com Wi-Fi e 16 GB de RAM recomendados.
- Efetivo adaptado ao formato escola / centro de formação.
- Percurso dedicado a escolas e centros de formação, estabelecido por orçamento.
Modalidades de avaliação
Avaliação das aprendizagens durante e no final da formação; certificado de conclusão entregue a cada formando.
Acessibilidade para pessoas com deficiência
Formação acessível a pessoas com deficiência. Contacte-nos antes da inscrição para estudarmos as adaptações necessárias.
Financiamento
Orçamento ou convenção de formação a pedido. A certificação Qualiopi está em preparação: a elegibilidade para financiamentos OPCO será aberta após a sua obtenção.
Auditoria de certificação prevista para T1 2027. Sem elegibilidade OPCO antes da sua obtenção.