O estudo da Nature que dividiu a IA médica em dois lados

A indústria de tecnologia em saúde vendeu por anos uma promessa simples: modelos de IA treinados especificamente para medicina, ancorados em bases de evidência curadas, superariam os modelos de propósito geral. Um estudo publicado em junho na Nature Medicine testou a promessa e concluiu o contrário. Nas semanas seguintes, o estudo virou alvo de um pedido de retratação, de uma guerra pública nas redes e de um segundo trabalho que chegou ao resultado inverso.

Vale entender os dois lados, porque a discussão diz mais sobre como se mede IA médica do que sobre qual ferramenta é melhor.

O que o estudo fez

Pesquisadores da NYU Langone Health submeteram cinco sistemas ao mesmo conjunto de provas. De um lado, três modelos generalistas de fronteira: GPT-5.2, Gemini 3.1 Pro e Claude Opus 4.6. Do outro, duas ferramentas clínicas de peso: o OpenEvidence, avaliado em 3,5 bilhões de dólares, e o UpToDate Expert AI, referência institucional em hospitais americanos há décadas. Como aferição de realidade, incluíram um sexto participante: o resumo automático que o Google exibe no topo de qualquer busca.

Na prova de conhecimento puro, 500 questões no estilo do exame de licenciamento médico americano, o Gemini acertou 97,4% contra 89,6% do OpenEvidence e 88,4% do UpToDate. No HealthBench, que mede alinhamento com o julgamento de especialistas, o GPT marcou 88,0 pontos e as duas ferramentas clínicas ficaram na casa dos 61 a 63.

A etapa que os autores tratam como evidência principal foi outra. Os pesquisadores coletaram 100 perguntas que médicos do NYU Langone digitaram para uma IA durante o expediente. Não são vinhetas de prova, são dúvidas de plantão. Doze médicos avaliaram as respostas às cegas, sem saber a origem de cada uma, pontuando correção clínica, completude, segurança e clareza. Foram 1.800 anotações.

O resultado separou os sistemas em dois grupos: os três generalistas empatados no topo, e o OpenEvidence, o UpToDate e o resumo gratuito do Google empatados abaixo.

Três detalhes chamaram atenção. O UpToDate recusou responder 19% das perguntas, contra 1% a 6% dos demais. O OpenEvidence teve a pior nota em clareza, e os autores interpretam o dado da seguinte forma: a fraqueza não estava no conhecimento, estava na comunicação. E não houve diferença significativa entre nenhum sistema quanto a conteúdo danoso ou alucinação, ou seja, a vantagem dos generalistas não é de segurança, é de qualidade de resposta.

A hipótese dos autores

A arquitetura das ferramentas clínicas é fechada, então os autores só podem levantar hipótese.

Ambas provavelmente usam RAG, a técnica que busca trechos de uma base documental e os injeta no contexto antes da resposta. A intuição diz que ancorar a IA em literatura curada só melhora. A literatura citada diz outra coisa: quando o material recuperado é irrelevante ou mal integrado, ele compete com o conhecimento interno do modelo e degrada a resposta.

Os próprios autores qualificam a conclusão: é uma fotografia de um cenário em movimento, não uma ordenação permanente. E dizem que tarefas médicas profundamente subespecializadas ainda podem favorecer adaptação de domínio.

A briga que veio depois

Foi aqui que o assunto saiu do campo científico. A OpenEvidence pediu formalmente a retratação do estudo à Nature Medicine, em carta de 15 de junho, na qual também exigiu um pedido público de desculpas e uma revisão independente, alegando que o trabalho se apoia em métodos falhos. A revista não respondeu diretamente à demanda: o editor-chefe afirmou que a publicação acolhe o debate científico e apontou seu processo formal de contestação como o caminho adequado. O artigo segue publicado, sem retratação.

Antes da carta, a empresa respondeu com uma thread combativa nas redes alegando contaminação de dados, métricas mal representadas e conflito de interesse não declarado. A reação de médicos foi majoritariamente contra a OpenEvidence, com vários apontando que uma thread não substitui uma refutação publicada.

Parte das críticas se sustenta, e é justo registrar quais.

A contaminação é real e os próprios autores admitem: MedQA e HealthBench são públicos há anos e podem ter entrado no treino dos modelos de fronteira. É exatamente por isso que o artigo elege a etapa das perguntas reais como evidência principal.

A crítica mais forte veio de fora da empresa. As três etapas medem a mesma coisa: pergunta de turno único, isolada, sem prontuário anexado. O estudo mediu uma capacidade três vezes, não benchmarks médicos no plural. Junte-se a isso que a etapa decisiva tem 100 perguntas de um único hospital, sem descrição pública de como foram selecionadas e sem possibilidade de reprodução por terceiros.

E há um viés que quase ninguém comentou: as perguntas do estudo vieram de médicos que já usavam uma instância de GPT no hospital. Foram formuladas por gente acostumada a conversar com um modelo genérico. O jogo foi disputado em casa.

Sobre o conflito de interesse, a acusação de não declarado é falsa: o artigo informa, na seção de interesses concorrentes, que o autor sênior presta consultoria para o Google, cuja Gemini venceu todas as etapas. Isso merece peso na leitura, mas está lá, escrito.

O estudo que diz o contrário

Quinze dias depois, saiu a resposta que faltava. Um preprint publicado em 27 de junho, ainda sem revisão por pares, teve 149 médicos em exercício de 36 estados avaliando respostas a 620 perguntas reais de ponto de atendimento retiradas da plataforma da OpenEvidence, mais 187 questões do HealthBench, em cinco dimensões: acurácia, utilidade clínica, qualidade da fonte, verificabilidade e completude. A OpenEvidence venceu nas cinco, com margens de 25 a 39 pontos percentuais sobre os modelos genéricos, e os avaliadores foram pareados por especialidade.

O detalhe que fecha o raciocínio é a origem das perguntas. No estudo da Nature, elas foram colhidas de médicos que já usavam um modelo genérico no hospital. No preprint, foram colhidas de médicos usando a própria OpenEvidence. Em cada trabalho, as perguntas reais vieram da plataforma da ferramenta que acabou vencendo, e pergunta feita a um chatbot não se parece com pergunta feita a uma base de evidência. Cada lado jogou em casa e cada lado venceu em casa.

E a instabilidade não se limita a esses dois trabalhos. Existem outros estudos sobre o mesmo tema, e eles também discordam entre si, sempre pelo mesmo motivo: o tipo de pergunta usada.
Quando o teste é feito com perguntas clínicas abertas, do tipo que aparece na frente do paciente, a ferramenta especializada leva vantagem. Num estudo revisado por pares com 50 perguntas desse tipo, os modelos genéricos deram respostas relevantes e baseadas em evidência em apenas 2% a 10% das vezes, contra 24% da OpenEvidence.

Quando o teste é feito com questões difíceis de subespecialidade, a ordem se inverte. Num piloto com esse formato, a OpenEvidence ficou abaixo do melhor modelo genérico de raciocínio.
Não é que um estudo esteja certo e o outro errado. É que eles perguntaram coisas diferentes e, por isso, chegaram a respostas diferentes.

A leitura honesta não é que o genérico ganhou nem que o especializado ganhou. É que o vencedor muda com a tarefa, e que qualquer título que diga o contrário promete mais do que o dado entrega.

O que fica

Sobra do estudo uma frase que continua de pé mesmo depois de toda a briga: ferramentas clínicas carregam legitimidade institucional, mas legitimidade institucional não é desempenho. São coisas diferentes, e o mercado vinha comprando uma achando que levava a outra. Sobra também o alerta inverso, que a controvérsia deixou nítido: benchmark bonito também não é desempenho, e todo mundo que vende IA médica, nós inclusive, precisa lembrar disso.

Para quem constrói produto em saúde, a lição não é escolher lado. É reconhecer que a disputa está sendo travada no lugar errado. Enquanto duas empresas discutem quem responde melhor a uma pergunta isolada, o médico segue fazendo o percurso inteiro na mão.

Vale traduzir isso para o que acontece de fato num consultório. O médico consulta a ferramenta, recebe uma resposta excelente e volta para o começo: abre o prontuário, digita o que concluiu, abre o sistema de prescrição, digita de novo, procura o certificado digital, assina, imprime ou envia. A resposta foi ótima e ele perdeu os mesmos minutos que perdia antes. Esse é o buraco que nenhum dos dois estudos mediu, e é ali que o paciente sente a diferença, porque cada minuto gasto na tela é um minuto que não foi gasto olhando para ele.

É esse trecho do caminho que o GreenBook resolve. A consulta à inteligência clínica, o registro no prontuário e a prescrição assinada digitalmente acontecem no mesmo lugar, sem token, sem certificado avulso, sem troca de sistema. No GreenBook Pro, a consulta é transcrita em tempo real e vira registro estruturado enquanto o médico conversa, não depois. Os dois estudos perguntaram qual IA responde melhor. A pergunta que interessa ao médico é outra: o que acontece com a resposta depois que ela aparece na tela.

Há um outro detalhe do estudo que ninguém contestou. O resumo automático do Google, gratuito, sem treino médico, sem base curada, sem assinatura de 699 dólares ao ano, empatou com as duas maiores ferramentas de IA clínica do mundo na avaliação de médicos reais. Ele estava ali o tempo todo, no alto da tela, enquanto o setor discutia qual base de evidências comprar.

Greenbook. Inteligência artificial a favor da decisão clínica.
GREENBOOK REVELA. O MÉDICO DECIDE.

• Nota do editor: O GreenBook não foi incluído em nenhum dos estudos citados. Ambos testaram apenas ferramentas com base de usuários no mercado norte-americano. Registramos que o GreenBook alcançou o primeiro lugar mundial na categoria Care Consult do HealthBench Professional, da OpenAI, e registramos também, por coerência com o que está escrito acima, que o HealthBench é um dos benchmarks criticados neste debate, por ser mantido por uma das partes interessadas e por possível contaminação de dados. Nenhum benchmark isolado prova nada, inclusive os que nos favorecem. Ficamos à disposição para submeter o GreenBook ao protocolo completo do estudo, com perguntas clínicas reais e júri cego de médicos, e publicaremos o resultado independentemente do que ele mostrar. A leitura acima é a de quem constrói no setor, e o leitor deve considerar isso ao avaliar o texto.

Fontes

Estudo original: Vishwanath K. et al. General-purpose large language models outperform specialized clinical AI tools on medical benchmarks. Nature Medicine, 12 de junho de 2026. https://www.nature.com/articles/s41591-026-04431-5

Becker's Hospital Review, sobre o pedido de retratação enviado pela OpenEvidence em 15 de junho e a resposta do editor-chefe da Nature Medicine. https://www.beckershospitalreview.com/healthcare-information-technology/ai/chatgpt-gemini-claude-beat-clinical-ai-tools-study/

Sergei Polevikov, AI Health Uncut, sobre a resposta pública da OpenEvidence nas redes e a reação da comunidade médica. https://www.fixhealth.ai/p/openevidence-goes-hippocratic-ai

David Talby, AI in Healthcare, sobre o descompasso entre o título e o escopo do estudo, a limitação da etapa de perguntas reais e os estudos anteriores com resultados divergentes. https://www.talby.com/p/when-the-title-outruns-the-study

Becker's Hospital Review, sobre o preprint de 27 de junho com 149 médicos, 620 perguntas reais e vitória da OpenEvidence nas cinco dimensões. https://www.beckershospitalreview.com/healthcare-information-technology/ai/openevidence-beats-claude-gemini-gpt-5-5-in-new-physician-led-study/

Conjunto de dados Real-POCQi, com a descrição do protocolo de avaliação e dos avaliadores pareados por especialidade. https://huggingface.co/datasets/jjfenglab/Real-POCQi