O p99 foi para 60 s e nada ficou mais lento

Depois de um deploy, o p99 de um serviço virou uma linha reta em 60 segundos.

Pânico? Não. Ninguém tinha reclamado, e nenhum erro tinha aparecido.

O que aconteceu foi o seguinte: o deploy passou a instrumentar a espera da fila. O serviço fica escutando a fila por até 60 segundos e, se nada chega, volta a escutar.

• 99% dos spans de recebimento eram esperas vazias;
• eram cerca de 136 mil spans por dia só de "nada aconteceu";
• o processamento real continuava em 85 ms (p50) e 248 ms (p99).

A métrica não piorou. Ela passou a medir outra coisa.

O mesmo erro já tinha aparecido semanas antes, numa regra compartilhada: uma conexão ociosa de longa duração fixava o p99 em 60 segundos para todos os serviços.

A correção não exigiu deploy: bastou filtrar o span certo.

Duas lições de custo:

1. Mais instrumentação não é mais verdade. Cada span novo precisa responder a uma pergunta. Se não responde, é custo de ingestão sem retorno.
2. Antes de acionar o time por causa de um gráfico, pergunte: "o que mudou na forma de medir?". Nem sempre foi o sistema que mudou.

Você sabe quanto da sua telemetria é espera ociosa?