Anos sustentando e evoluindo ETL, visualização e observabilidade de dados para operações diferentes, cada uma com a própria plataforma, com IA entrando nos últimos dois anos para tornar o dado mais fácil de perguntar.
Nem todo projeto de dado começa do zero. Grande parte do meu trabalho é sustentar e evoluir o que cada operação já tem, com a própria plataforma e o próprio histórico de decisão por trás dela. A pergunta nunca é qual ferramenta é a certa: é qual já está lá, e o que vale manter, substituir ou evoluir sem interromper quem depende dela.
Nos últimos dois anos isso ganhou uma camada de IA: um assistente virtual dentro do próprio portal, respondendo pergunta com base na informação real da operação, e monitoramento de infraestrutura em tempo real para quem depende de disponibilidade.
Lidero essa prática como um todo: decido qual plataforma sustentar, quando vale trocar de ferramenta, e onde a IA de fato acelera a decisão da operação. A prioridade é sempre o resultado que a operação precisa, não a tecnologia por trás dele.
Visão
Capacidades
Extração, transformação e carga
Pipelines completas de extração, transformação e carga a partir de múltiplas fontes: base relacional, arquivo, API e sistema legado. Carga full e incremental, com controle de histórico e versionamento, tratamento de erro, log e auditoria em cada execução, e toda a rotina automatizada por agendamento e orquestração de job.
Visualização
Sustentação e evolução de dashboard conforme o que cada operação já usa: modelo de dado, relacionamento entre fonte, automação de atualização e incorporação do relatório em portal e sistema que o usuário já acessa. A ferramenta muda; o raciocínio de dado por trás, não.
Observabilidade
Painel de monitoramento com métrica, log e série temporal de diversas fontes, alerta configurado por condição e controle de acesso granular com auditoria, para operação que depende de disponibilidade. A mesma disciplina vale para o que a IA faz: prompt, resposta, custo e latência também são série temporal, e também precisam de alarme.
IA aplicada ao dado
Assistente virtual de IA embutido no próprio portal de dado, com arquitetura de contexto e geração aumentada por recuperação para responder com base na informação real da operação, combinando modelo hospedado e modelo local conforme o caso de uso.
Dado bom não depende de ferramenta única. Depende de alguém que entenda o que já existe antes de propor o que trocar, e que saiba dizer não para mais uma plataforma quando a que já está lá ainda resolve.
Na sua operação, quantas plataformas de dado diferentes já existem, sem que ninguém tenha decidido isso de propósito?