
A IA Que Pega o Erro da IA: Como Uma Segunda IA Revisa os Textos do Blog, os Erros Que Ela Já Pegou e Onde Ela Falha
Entre na sua conta para curtir e guardar o que gostou.
A IA Que Pega o Erro da IA: Como Uma Segunda IA Revisa os Textos do Blog, os Erros Que Ela Já Pegou e Onde Ela Falha
Entre na sua conta para curtir e guardar o que gostou.
A IA Que Pega o Erro da IA: Como Uma Segunda IA Revisa os Textos do Blog, os Erros Que Ela Já Pegou e Onde Ela Falha
0:00 / 10:33
Os rascunhos do blog são escritos com o Claude, e toda frase com número ou data passa pelo Jev, uma segunda IA que só confere. Os erros reais que ela pegou em outubro, com a nota de cada frase, onde ela falha e como usar a ideia no seu trabalho.
Os rascunhos deste blog são escritos com a ajuda do Claude, a IA da Anthropic. E toda frase com número, data ou lei passa por uma segunda IA antes de chegar a você: o Jev, um modelo pequeno que não escreve nada, só responde "essa frase está sustentada pela fonte?". Em outubro, ele pegou uma afirmação falsa sobre mim, uma comparação errada de domínios e uma data trocada, entre outras.
Vou mostrar como funciona essa revisão, os erros reais que o Jev já pegou, com a nota que ele deu a cada frase, onde ele erra e o que nenhuma das duas IAs consegue ver. Se você usa IA para escrever qualquer coisa, do relatório ao post, a ideia serve para você também.
Por que uma IA para conferir outra
Como funciona a revisão, passo a passo
Os erros reais que ela pegou
Onde ela falha e como usar no seu trabalho
Por que uma IA conferindo outra
Porque quem escreve não é bom revisor do próprio texto, e isso vale para gente e para IA. Uma IA que escreve tende a completar a frase com o que soa certo. Uma segunda IA, com uma pergunta fechada e a fonte na mão, não tem esse viés: ela só diz se a frase cabe na fonte ou não.
O Claude é ótimo para escrever com fluidez, organizar ideias e pesquisar. Justamente por escrever bem, ele às vezes enfeita: põe um "nesta semana" onde era "na semana passada", um "o maior" onde era "o primeiro". O Jev faz o oposto: ele não sabe escrever um parágrafo, mas responde sim ou não com uma probabilidade, rápido e barato. Expliquei como ele funciona no post sobre como usar o Jev.
A IA que escreve não deve ser a mesma que confere. O revisor precisa ser outro, com a fonte na mão.
Como funciona a revisão
Antes de escrever, junto as fontes numa ficha de fatos. Depois que o rascunho fica pronto, um programa separa toda frase que tem número, data, porcentagem ou lei e pergunta ao Jev, frase por frase, se ela é sustentada pela ficha. Abaixo de 0,5, a frase volta para correção.
A ficha de fatos: cada dado do post, com a fonte e a data. Se não está na ficha, não pode estar no texto.
O rascunho: escrito com o Claude a partir da ficha.
O filtro: o programa separa as frases que afirmam algo verificável, as que têm número, data, porcentagem, lei, resolução ou portaria.
A pergunta ao Jev: "esta frase é sustentada pela ficha?". Ele devolve uma nota de 0 a 1.
A correção: abaixo de 0,5, a frase é reescrita, ganha a fonte que faltava ou sai.
O fechamento: um validador automático confere links e estrutura, e eu reviso no painel antes de publicar.
Cada revisão confere de 5 a 60 frases por post e custou, nas últimas semanas, entre US$ 0,0001 e US$ 0,0006. O Jev cobra US$ 0,042 por milhão de tokens e responde em cerca de 240 milissegundos. Os números completos estão no post sobre quanto o Jev custa num sistema de verdade.
Os erros reais que ela pegou
Estes são casos de outubro de 2026, com a frase como estava no rascunho, a nota que o Jev deu e o que virou. Nenhum deles chegou ao ar, e alguns teriam chegado sem essa segunda checagem, porque soavam perfeitamente plausíveis.
Post | O que o rascunho dizia | Nota | O problema e a correção |
|---|---|---|---|
ICANN e novos domínios | "a maior rodada de novos domínios em 14 anos" | 0,35 | A rodada de 2012 teve 1.930 pedidos, mais que os 1.615 de 2026. Virou "a primeira rodada desde 2012". |
Claude Opus 6 | "Eu deixo um alarme desse tipo no meu fluxo" | 0,32 | O alarme não existia. A frase saiu. |
Carro voador da Tesla | "mostram o que mudou nesta semana" | 0,11 | As notícias eram da semana anterior. Virou "em 13 de outubro". |
Gemini 4 Argon | "o post com 30 usos do Gemini funciona com ele" | 0,09 | Ninguém tinha testado. Virou "os prompts servem para testar o Argon". |
Um Claude para o seu trabalho | "o Max dá 5 ou 20 vezes a sessão do Pro, além de acesso prioritário" | 0,41 | O "acesso prioritário" não estava na fonte. Saiu. |
Decisions API contra o Jev | "ela respondeu 'não' com 99% de certeza" | 0,13 | A API tinha dado 1% de chance para "sim". Virou "deu 1% de chance de que sim". |
O caso que mais me chamou a atenção foi o do alarme. O rascunho afirmava, na minha voz, que eu tinha uma coisa que eu não tinha. Soava natural, combinava com o texto, e é exatamente o tipo de frase que um leitor acredita sem questionar. Foi o Jev que perguntou "de onde saiu isso?".
O da ICANN mostra o outro tipo de erro: o superlativo. "A maior rodada" parece um detalhe de estilo, mas é uma afirmação, e estava errada. Você pode ver os posts corrigidos: o da ICANN, o do Claude Opus 6 e o do carro voador da Tesla.
Onde a revisão falha
O Jev erra também, e de dois jeitos. Às vezes marca como suspeita uma frase que está certa, principalmente quando envolve datas. E às vezes deixa passar um erro que não tem número, porque o filtro nem manda essa frase para ele. Por isso a última palavra é sempre de uma pessoa.
Alarme falso: no post do Dia das Crianças, ele marcou como suspeitos os prompts de exemplo, como "Explique para uma criança de 8 anos...", que não afirmam fato nenhum.
Datas: no post do Opus 6, deu 0,08 a uma frase correta, a de que o Opus 5.5 aparece no catálogo em 21 de setembro e foi anunciado em 22. A documentação do Jev avisa que ele trata datas mal.
O ponto cego: no post do Dia das Crianças, uma frase dizia "um truque que funciona aqui em casa", inventando uma experiência minha. Não tinha número, então não passou pelo Jev. Foi pega na releitura e saiu.
Esse último é o erro mais perigoso de texto feito com IA: a experiência pessoal inventada. Ela não tem número para conferir, soa humana e dá credibilidade ao texto. A defesa é uma regra simples: experiência é só a que eu vivi, e ponto.
A outra IA que errou e foi pega
A revisão funciona nos dois sentidos. Num teste de outubro, comparei a Decisions API, da OpenAI, com o Jev em 65 julgamentos em português. A OpenAI acertou mais, mas errou uma soma simples: deu 1% de chance de que R$ 1.200 mais R$ 850 passem de R$ 2.000. O Jev deu 98%, a resposta certa.
E o Jev mostrou outra virtude: quando errou, errou com pouca certeza, com confiança de 0,60 e 0,69, o que permite mandar só os casos duvidosos para uma pessoa. Contei o teste inteiro no post da Decisions API contra o Jev. A lição é a mesma: nenhuma IA é confiável sozinha, mas duas IAs diferentes, cada uma no seu papel, erram menos juntas.
Como usar isso no seu trabalho
Você não precisa de programa nem de duas assinaturas para aplicar a ideia. O que importa é separar quem escreve de quem confere, e dar ao revisor a fonte e uma pergunta fechada. Dá para fazer até numa conversa comum com a IA.
Monte a ficha antes: liste os dados e as fontes que o texto pode usar.
Escreva com a IA a partir da ficha, pedindo para não acrescentar dado de fora.
Abra outra conversa, de preferência com outra IA, cole a ficha e o texto e peça: "liste cada frase que afirma um número, data ou fato que não está na ficha".
Revise você mesmo as frases de experiência pessoal e os superlativos ("o maior", "o primeiro", "o único").
Para quem faz isso em escala, num sistema com muitos textos ou relatórios, um modelo de decisão como o Jev deixa a checagem automática e quase de graça. Se você quer montar uma revisão assim no seu negócio, é o tipo de sistema que faço na consultoria técnica. E, para o outro lado, saber reconhecer o que foi feito por IA, veja o guia de como identificar conteúdo gerado por IA.
Perguntas frequentes
Uma IA consegue revisar o texto de outra IA?
Consegue, se tiver a fonte e uma pergunta fechada. No blog, o Jev confere cada frase com número ou data e diz se ela é sustentada pela ficha de fatos. Em outubro, ele pegou afirmações erradas, uma data trocada e uma frase falsa escrita na minha voz.
O que é o Jev?
É um modelo de IA da TypeSafe que não escreve texto: ele responde perguntas de sim ou não, escolha ou nota, com uma probabilidade. Custa US$ 0,042 por milhão de tokens de entrada e responde em cerca de 240 milissegundos.
Por que não usar a mesma IA para escrever e revisar?
Porque quem escreve tende a confirmar o próprio texto. Um revisor diferente, com a fonte na mão e uma pergunta fechada, não tem o mesmo viés e pega o que o escritor deixa passar.
Quanto custa revisar um post com o Jev?
Nas últimas semanas, entre US$ 0,0001 e US$ 0,0006 por post, conferindo de 5 a 60 frases. É uma fração de centavo de real.
A IA revisora erra?
Erra. O Jev às vezes marca como suspeita uma frase certa, principalmente com datas, e não vê erros em frases sem número, como uma experiência pessoal inventada. Por isso a última revisão é sempre de uma pessoa.
Os posts deste blog são escritos com IA?
Os rascunhos são escritos com a ajuda do Claude, a partir de uma ficha de fatos com as fontes. Depois, o Jev confere as frases com número e data, um validador confere links e estrutura, e eu reviso e publico.
Golber Dóriaquem escreve este blog
Receba os posts novos no seu email
IA aplicada ao trabalho, stack e o negócio de uma pessoa só, direto na sua caixa de entrada. Sem spam, e sair é um clique em qualquer email.