No CDCCore Criamos uma API de métricas compatível com Prometheus
Um processo ativo não garante que a replicação esteja avançando. As métricas do CDCCore dão visibilidade ao caminho dos dados, da captura na origem à confirmação no destino.
Criamos uma API de métricas compatível com Prometheus porque um pipeline de CDC precisa dar visibilidade sobre o caminho dos dados, desde a captura na origem até a confirmação no destino.
Em produção, um consumidor pode continuar executando enquanto enfrenta falhas de escrita, reconexões frequentes ou mudanças de schema incompatíveis. Isso pode comprometer a atualização dos dados utilizados por outros sistemas, relatórios e decisões de negócio. Saber que o processo está ativo é apenas uma parte do monitoramento: precisamos acompanhar se a replicação está avançando.
No nosso projeto, expomos contadores de eventos recebidos e aplicados, transações confirmadas e com falha, reentregas, erros no destino e validações de schema. Coletados ao longo do tempo, esses indicadores permitem acompanhar a taxa de processamento e identificar comportamentos que merecem investigação.
Por exemplo: se continuam chegando eventos, mas as confirmações no destino deixam de crescer, temos um sinal para investigar o fluxo de aplicação. Esses contadores ajudam no diagnóstico; medir o atraso exato da replicação exige indicadores adicionais de tempo ou posição.
O endpoint /metrics/prometheus entrega essas informações em um formato padronizado, com nomes, tipos e labels. Isso facilita a coleta automática e permite construir dashboards e alertas, como avisos sobre aumento de falhas ou reconexões. Uma opção é usar Prometheus para coletar e armazenar as métricas e Grafana para visualizá-las. Documentação de integração com Grafana.
Também podemos aproveitar esse formato em ambientes que já utilizam Kibana. Nesse caso, o Elastic Agent, com a integração Prometheus, coleta o endpoint configurando o caminho /metrics/prometheus e envia os dados ao Elasticsearch. O Kibana passa a visualizar as métricas armazenadas, permitindo colocá-las em dashboards junto aos logs do CDC.
O Kibana não consulta diretamente esse endpoint: a integração faz a coleta e a ingestão. Esse caminho pode funcionar sem um servidor Prometheus intermediário. Documentação da integração Elastic.
Essa escolha facilita incorporar o CDC à infraestrutura de observabilidade da equipe e oferece evidências para detectar problemas, configurar alertas e entender o que aconteceu quando a replicação deixa de avançar como esperado.