A
ATLAS FMK
Governança de Pipelines Lakehouse
Nó Selecionado
Legenda do Pipeline
Pipelines SAS / EGPs (Volume de Tasks):
Crítico (20 a 30 tasks): Motores PDD IFRS9, 4966, Completo_2 e Risco
Alto (7 a 15 tasks): Transformações estruturantes (Base Origem, ETL MQ12)
Médio (3 a 6 tasks): Modelos e deduções (Motor Tributário, LGD, CCF)
Baixo (1 a 2 tasks): Ingestões simples, batimentos e validações
Fontes de Dados & Artefatos (Cards Neutros):
12 Inputs: 11 Pastas físicas de arquivos brutos Compass
10 Artefatos: Tabelas temporárias intermediárias (WORK / MAT)
10 Outputs: Relatórios finais, arquivos TXT/XLSX e saídas
Métricas & KPIs do Pipeline FMK
Estatísticas consolidadas de engenharia para os 20 projetos SAS EGP e modernização no Lakehouse.
52
Total de Nós
20
Pipelines (EGPs)
173
Tasks .SAS
77
Linhagens
75%
Paralelismo
Paralelismo & Otimização no Lakehouse FMK
Paralelismo é a capacidade de executar múltiplos pipelines SAS (EGPs) simultaneamente no Airflow/Databricks, sem que um precise aguardar a finalização do outro.
✓ Etapa 1 (8 EGPs / 28 scripts): 100% paralela — Ingestão de fontes independentes (Matera, Anadefi, Orbitall, VCS).
✓ Etapa 2 (7 EGPs / 72 scripts): 100% paralela — Transformações intermediárias e batimentos rodam simultaneamente.
✓ Etapa 3 (5 EGPs / 73 scripts): Sequencial crítica — Motor PDD IFRS9, 4966 e Tributário consolidam os resultados finais.
Ganho Comprovado: Redução de mais de 60% na janela total de processamento diário no Lakehouse FMK.
Distribuição de Complexidade (173 Scripts .SAS):
2 Críticos (51 scripts): PDD_COMPLETO (30) + PDD 4966 (21)
7 Estruturantes (81 scripts): Risco Mercado (28), Completo_2 (27), etc.
11 Simples (41 scripts): Ingestões e Batimentos auxiliares
Estrutura dos 52 Componentes do Ecossistema:
20 Pipelines (EGPs): 173 tasks SAS
12 Inputs: 11 Pastas físicas Compass
10 Artefatos: Tabelas intermediárias WORK/MAT
10 Outputs: Relatórios TXT/XLSX e Matera
Filtros Avançados
Tipo de Componente:
Complexidade (EGPs):
Camada Arquitetural:
Escala de Calor (Volume Tasks):
Crítico (20-30 tasks)
Alto (7-15 tasks)
Médio (3-6 tasks)
Baixo (1-2 tasks)
Rastreamento Ponta a Ponta (E2E)
Selecione um arquivo de entrada ou saída para auditar toda a propagação de dados no grafo.
Entradas (Inputs Compass):
Saídas (Outputs Lakehouse):
🚩 Painel de Flags & Anotações de Migração
Gerenciamento de pontos de atenção, dúvidas de regras SAS e validações do Lakehouse.
?