Escores de confiança gerados pelo próprio modelo e o benchmark DecisionPivot mostram por que um número convincente não autoriza sozinho uma decisão.
O agente devolve o diff, a classificação ou o "pode seguir" com um percentual alto. O time trata o número como sinal de segurança. O problema é que esse percentual costuma ser verbalização do modelo — não uma probabilidade calibrada contra frequência real de acerto. Em debate recente no Hacker News, a linha "não peça escore de confiança a um LLM" gerou dezenas de comentários justamente por isso: sem protocolo de calibração, o número é conforto, não evidência.
O paper DecisionPivot (arXiv:2610.28522, out 2026) ataca o ponto de frente. O benchmark tem 48 tarefas e cerca de 40 mil itens em sete papéis de decisão usados em sistemas com LLM: guardrails, verificação de saída, checagem de ferramenta de agente, classificações de raciocínio, etc. O track central traz 7.800 itens em 13 famílias geradas, organizados em grupos de contraste: o mesmo caso com um detalhe plantado que muda a resposta correta, verificado por solvers independentes. Acurácia de item sozinha não basta. O que interessa é se o modelo acerta o grupo inteiro, se ordena probabilidades de forma coerente e se as predições de alta confiança realmente erram menos.
Os resultados expõem o que scores agregados escondem. Dois modelos de 27B com diferença de 2,6 pontos no track de referência ficaram em 70,1% e 44,2% de acurácia em grupos de contraste. Em 2.400 pares binários, um decisor ordenou o membro positivo acima do negativo em 92,3% dos casos e acertou os dois membros em só 74,1%. Modelos com acurácia de item parecida divergem na confiabilidade das predições com probabilidade ≥ 0,90: um erra menos quando se declara muito confiante; outro declara confiança alta com mais frequência e erra mais nesses casos. Há também métricas de cobertura seletiva (quanto o sistema pode decidir sozinho mantendo taxa de erro limitada) e erro de calibração por bins de probabilidade.
Para quem usa agentes em roteamento, guardrail ou aprovação de saída, a implicação é operacional. "Confiança acima de 90%" só vira critério defensável se alguém mediu, no domínio do time, se esse limiar corresponde a erro aceitável. Sem isso, o número vira atalho para automatizar o que ainda precisava de revisão humana — ou de um segundo modelo, ou de um teste, ou de uma trilha de evidência. O DecisionPivot não resolve o pipeline de ninguém; mostra o tipo de pergunta que o pipeline precisa responder antes de tratar escore verbal como gate.
Quem ainda promove patch ou decisão só porque o agente "disse 95%" está usando um critério que o próprio modelo não validou.
Leia o artigo mais aprofundado clicando abaixo.
Autor da série de livros "Engenharia de Software Assistida por IA" (disponível na Amazon). Aprofunde-se no tema de forma estruturada — supervisão, auditoria e o que autoriza uma decisão do agente — pode consultar a série "Engenharia de Software Assistida por IA" clicando na imagem abaixo:
- Cupom de 30% OFF:
LEIA30. - Disponível também no Kindle Unlimited.
Referências
- Zhuang et al. DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems (arXiv:2610.28522, out 2026)
- Discussão HN sobre escores de confiança em LLM (out 2026)
Tags
#EngenhariaDeSoftware #IA #InteligenciaArtificial #SoftwareEngineering #Calibracao #Agentes #Auditoria #EngenhariaDeSoftwareAssistidaPorIA
Top comments (0)