ETL da API VerdanaDesk
Pipeline de ETL que consome uma API externa, trata e modela os dados em um esquema dimensional preparado para consumo em BI.
Contexto
A VerdanaDesk expõe dados de atendimento via API REST. Sem um processo de ingestão estruturado, esses dados ficam limitados ao consumo pontual, sem histórico nem padronização.
Problema
Dados de atendimento disponíveis apenas via API, sem estrutura histórica nem modelagem preparada para análise.
Objetivo
Criar um pipeline de ETL que transforme os dados da API em um modelo dimensional, permitindo análises históricas confiáveis.
Arquitetura da solução
Camada de staging para os dados brutos da API, camada de transformação em Python/Pandas e camada final modelada em star schema, persistida via SQLAlchemy em PostgreSQL.
Pipeline
- 1API VerdanaDesk
- 2Extração (Requests)
- 3Staging
- 4Transformação
- 5Deduplicação
- 6Surrogate Keys
- 7Star Schema
- 8PostgreSQL
Modelagem
Modelagem dimensional (star schema) com tabelas fato de atendimentos e tabelas dimensão de clientes, agentes e tempo, usando surrogate keys para garantir integridade histórica.
Processo técnico
- Extração dos dados via requisições autenticadas à API (Requests)
- Staging dos dados brutos sem transformação
- Tratamento, deduplicação e padronização com Pandas
- Geração de surrogate keys e carga no modelo dimensional
- Persistência em PostgreSQL via SQLAlchemy
Insights
- Estrutura pronta para métricas de volume e tempo de atendimento
- Modelo preparado para conexão direta com Power BI
Resultados
Data warehouse simples, consistente e pronto para ser consumido por ferramentas de BI.
- Camada de staging isolada, facilitando reprocessamento
- Data warehouse dimensional consumível por ferramentas de BI
Confidencialidade
Capturas de tela não disponíveis publicamente.
Este projeto foi desenvolvido em contexto profissional e suas telas contêm dados sensíveis e confidenciais da empresa. Por isso, não exibo screenshots aqui. Posso explicar a solução, a arquitetura e os resultados em detalhe durante uma conversa.
Projetos relacionados
Pipeline ETL para Feedbacks Bancários utilizando IA e PostgreSQL
Pipeline completo de Customer Experience sobre feedbacks sintéticos de um banco fictício (45 registros): ETL em PostgreSQL, auditoria de dados, KPIs de CX, score de priorização por tipo e canal e dashboard interativo de 4 páginas.
A.X.E.L: assistente técnico com IA generativa local
Assistente para debug e otimização de Python e SQL, com interface de chat no navegador e na linha de comando, IA generativa local (Ollama) e arquitetura de Engenharia de Prompt em camadas.