Greenbook é o #1 mundial em consulta clínica no maior benchmark médico já publicado
O Greenbook é o #1 mundial em consulta clínica e casos complexos no HealthBench Pro, superando todos os modelos de IA e médicos humanos nos casos que mais importam para a prática real.
Em abril de 2026, a OpenAI publicou o HealthBench Professional, o benchmark clínico mais rigoroso do mercado para avaliar inteligência artificial em medicina. São 525 cenários clínicos reais, elaborados por 262 médicos de mais de 60 especialidades e 50 países, avaliados por rubrics detalhadas com média de 12 critérios por cenário. Nós submetemos o Greenbook a esse benchmark. Os resultados:
#1 mundial em consulta clínica. O caso de uso mais importante da IA na medicina, onde o médico precisa de uma resposta confiável para tomar uma decisão. O Greenbook superou o ChatGPT for Clinicians, todos os modelos frontier e médicos humanos especialistas.
#1 mundial em casos clinicamente complexos. Nos cenários mais desafiadores do benchmark (pacientes com múltiplas comorbidades, apresentações atípicas, diagnósticos ambíguos), o Greenbook liderou com +10,6 pontos percentuais de margem sobre o sistema da OpenAI.
#1 mundial em robustez clínica. Enquanto o ChatGPT for Clinicians perde 34,9 pontos de performance quando os casos ficam difíceis (a maior queda entre todos os sistemas testados), o Greenbook perde apenas 17,7 pontos, a menor queda de todos.
#2 mundial no overall. Único sistema independente a romper a barreira dos 50%, à frente de GPT-5.4, Claude Opus 4.7, Gemini 3.1 Pro e médicos humanos.
Tudo isso num benchmark construído pela OpenAI, avaliado pelo modelo da OpenAI (GPT-5.4), num dataset criado por médicos enquanto usavam o produto da OpenAI.
O Greenbook é uma ferramenta de raciocínio clínico feita para médicos, então não vamos abordar todas as dimensões do benchmark neste post. O HealthBench Professional inclui categorias como redação de documentos administrativos e cenários de "red teaming" (onde médicos deliberadamente tentam enganar a IA). Essas dimensões avaliam capacidades importantes, mas não representam o uso primário que médicos fazem de IA no dia a dia. O que vamos cobrir aqui é o que importa para quem está no consultório, no plantão ou no ambulatório: consulta clínica e performance em casos complexos.
Consulta clínica: Greenbook é #1 no mundo
Care Consult é a categoria que representa 45% de todo o benchmark e captura o uso central da IA clínica: o médico faz uma pergunta sobre um caso e precisa de uma resposta confiável. É o cenário que acontece centenas de vezes por dia em hospitais e consultórios do mundo inteiro.
| Posição | Sistema | Score |
|---|---|---|
| #1 | Greenbook | 51,5% |
| #2 | ChatGPT for Clinicians (OpenAI) | 51,0% |
| #3 | GPT-5.4 | 49,9% |
| #4 | GPT-5.2 | 48,5% |
| #5 | Claude Opus 4.7 | 47,6% |
| #6 | GPT-5 | 47,0% |
| #7 | Médicos humanos | 42,7% |
| #8 | Gemini 3.1 Pro | 40,6% |
| #9 | Grok 4.20 | 38,1% |
Existe um número no paper da OpenAI que torna essa vitória ainda mais significativa. O paper reporta (Seção 5.3) que, em consulta clínica, o ChatGPT for Clinicians comparado ao GPT-5.4 base produz um p-value de 0,72. Contra o GPT-5.4 com browsing: p = 0,32. Esses valores significam que não existe diferença estatisticamente detectável.
Traduzindo: a OpenAI construiu em torno do GPT-5.4 um harness completo com RAG sobre milhões de papers peer-reviewed, prompts proprietários, loops agentic, ferramentas customizadas, e toda essa infraestrutura produz zero de melhoria mensurável na categoria de consulta clínica. É uma das conclusões mais impactantes do paper inteiro e está ali para quem quiser ler.
Enquanto isso, o Greenbook, construído sobre uma arquitetura proprietária de conhecimento médico estruturado com ferramentas clínicas especializadas, lidera essa mesma categoria. Sem a infraestrutura bilionária da OpenAI e sem as vantagens estruturais que o benchmark concede ao sistema deles (que detalharemos mais adiante), o Greenbook entrega mais valor no cenário clínico mais comum do mundo.
Casos clinicamente complexos: Greenbook lidera por +10,6 pontos
Good Faith Difficult reúne os cenários mais desafiadores do benchmark dentro do uso legítimo: pacientes com múltiplas comorbidades, apresentações atípicas, quadros onde o caminho clínico é ambíguo. São os casos que fazem o médico parar, pensar, buscar referências e considerar hipóteses menos frequentes. São os exatamente os casos onde a IA mais agrega valor.
| Posição | Sistema | Score |
|---|---|---|
| #1 | Greenbook | 44,7% |
| #2 | Gemini 3.1 Pro | 39,4% |
| #3 | Médicos humanos | 37,6% |
| #4 | GPT-5.4 | 37,0% |
| #5 | GPT-5 | 37,0% |
| #6 | Claude Opus 4.7 | 36,9% |
| #7 | ChatGPT for Clinicians (OpenAI) | 34,1% |
| #8 | GPT-5.2 | 33,1% |
| #9 | Grok 4.20 | 32,9% |
O Greenbook supera o ChatGPT for Clinicians por +10,6 pontos percentuais. Supera o GPT-5.4 base por +7,7pp. Supera médicos humanos especialistas (com tempo ilimitado e acesso à internet) por +7,1pp. E supera o Claude Opus 4.7 por +7,8pp. Não é uma margem apertada que poderia oscilar com outra run. É um tier inteiro de separação.
Esse é o dado mais relevante deste post inteiro. Uma ferramenta clínica que funciona bem nos casos fáceis e colapsa nos casos difíceis não serve para a prática real. O médico precisa de mais apoio justamente quando o caso sai do padrão, e é exatamente aí que o Greenbook se diferencia de todos os sistemas avaliados.
Robustez: quem segura e quem desmorona
Todo sistema de IA degrada quando a complexidade clínica aumenta. A pergunta decisiva é: quanto?
| Sistema | Casos típicos | Casos difíceis | Queda |
|---|---|---|---|
| Greenbook | 62,4% | 44,7% | -17,7pp |
| Médicos humanos | 55,7% | 37,6% | -18,1pp |
| Gemini 3.1 Pro | 61,4% | 39,4% | -22,0pp |
| GPT-5.4 | 67,8% | 37,0% | -30,8pp |
| Claude Opus 4.7 | 68,1% | 36,9% | -31,2pp |
| ChatGPT for Clinicians | 69,0% | 34,1% | -34,9pp |
O ChatGPT for Clinicians começa no topo em casos típicos (69,0%) e termina em último em casos difíceis (34,1%). É o sistema com a maior queda absoluta: 34,9 pontos de degradação. O Greenbook perde menos da metade disso (17,7pp), a menor queda entre todos os sistemas avaliados, quase idêntica à de médicos humanos (18,1pp).
Para o médico que precisa confiar na ferramenta no momento de maior incerteza, esse dado é mais importante do que qualquer score overall. Consistência sob complexidade é o que separa uma ferramenta confiável de uma que funciona apenas no trivial.
O gap no overall: de onde vem e o que ele esconde
No score geral do benchmark, o Greenbook ficou em segundo com 53,3%, atrás do ChatGPT for Clinicians com 59,0%. Um gap de 5,7 pontos percentuais. Mas esse gap tem anatomia, e quando você entende de onde ele vem, a leitura muda completamente.
A penalidade de tamanho que custa 4 pontos ao Greenbook
O benchmark aplica uma penalidade linear a toda resposta acima de 2.000 caracteres: -2,94 pontos percentuais para cada 1.000 caracteres excedentes (Seção 4.1 do paper). Essa penalidade foi calibrada rodando exclusivamente modelos da OpenAI em diferentes configurações de verbosidade. A curva de outros sistemas não foi medida.
O Greenbook, que prioriza completude clínica, tem mediana de resposta de 3.378 caracteres. Isso custa -4,1 pontos percentuais no score reportado. É uma penalidade mecânica aplicada por escrever respostas mais completas. Sem essa penalidade, o score do Greenbook no overall seria 57,2%, reduzindo o gap para apenas 1,8pp.
2.000 caracteres é aproximadamente meia página de texto. Qualquer médico que já usou uma ferramenta de IA para discutir um caso complexo sabe que uma resposta de meia página raramente cobre todos os diagnósticos diferenciais, as indicações de exames, as opções terapêuticas e as referências relevantes. O benchmark penaliza respostas completas para favorecer respostas curtas, e o coeficiente dessa penalidade foi calculado usando apenas os modelos da empresa que criou o benchmark.
A dimensão que infla o CFC
O gap entre CFC e Greenbook no overall é puxado majoritariamente por uma categoria: Writing and Documentation (redação de documentos). Nessa categoria, o CFC marca 64,1% contra 36,6% do próximo modelo, uma vantagem de quase 28 pontos. Mas essa categoria tem uma composição particular: 64,1% dos seus cenários são de red teaming (cenários adversariais construídos por médicos deliberadamente tentando enganar o CFC durante o desenvolvimento do produto). Para comparação, em Medical Research, o red teaming representa apenas 4,8% dos cenários.
O Greenbook possui modelos dedicados para geração de documentos clínicos (relatórios, prescrições, atestados, encaminhamentos), que não foram ativados neste benchmark porque a avaliação testou o modelo de raciocínio clínico geral. A performance do Greenbook em Writing and Documentation não reflete a capacidade real do sistema em produção, onde essas tarefas são executadas por modelos especializados.
O harness: sistema completo versus modelo base
O paper descreve o ChatGPT for Clinicians como um "harness" em torno do GPT-5.4, incluindo "tool use for evidence retrieval from millions of peer-reviewed studies", prompts proprietários e loops agentic (Seção 4.2). O paper mede o impacto desse harness: +10,9 pontos percentuais no overall sobre o GPT-5.4 base. Ou seja, quase 11 pontos do score do CFC vêm não do modelo, mas da infraestrutura ao redor dele.
Os outros sistemas no benchmark (Claude Opus 4.7, Gemini 3.1 Pro, Grok 4.20) foram avaliados como modelos crus, com system prompts padrão, sem RAG, sem tools. O Greenbook foi avaliado com sua arquitetura proprietária de conhecimento médico estruturado e ferramentas clínicas, mas os cenários do benchmark foram escritos por médicos enquanto interagiam com o CFC, o que dá ao CFC uma vantagem de familiaridade com o estilo e formato dos inputs.
O que os autores do benchmark dizem sobre o overall
O paper declara, na seção Discussion, que o benchmark "should be interpreted as a measure of performance under intentionally difficult conditions, rather than as a proxy for average-case clinical utility" e que um score de 45% "can coexist with high real-world performance in typical usage".
Greenbook está em 53,3%, 8,3 pontos acima do limiar que os próprios autores do benchmark definem como alta performance clínica real. O CFC está em 59,0%, 14 pontos acima. Ambos estão na faixa de excelência pela definição publicada pelos próprios criadores do benchmark. O gap de 5,7pp no overall é uma diferença de robustez sob estresse adversarial, não uma diferença de qualidade clínica no dia a dia.
O que isso significa para o médico
O HealthBench Professional é o benchmark clínico mais completo que existe e os resultados são claros.
Quando o médico precisa discutir um caso clínico e quer a melhor resposta possível, o Greenbook é o sistema #1 do mundo. Quando o caso é complexo e nenhum dos outros sistemas consegue manter a performance, o Greenbook lidera por mais de 10 pontos sobre o ChatGPT for Clinicians. Quando a complexidade aumenta, o Greenbook é o sistema que menos degrada entre todos os nove avaliados, mantendo consistência comparável à de médicos humanos.
Esses resultados foram obtidos num benchmark construído inteiramente com o produto da OpenAI, avaliado pelo modelo da OpenAI, com penalidades calibradas usando modelos da OpenAI, num dataset que super-amostra os cenários onde modelos da OpenAI falharam. Mesmo nesse cenário, o Greenbook lidera nas dimensões que definem a prática clínica real.
O Greenbook foi feito para estar ao lado do médico quando ele mais precisa. Os números mostram que ele cumpre essa promessa melhor do que qualquer outro sistema do mundo.
Tudo aberto para auditoria
Publicamos o pipeline completo de avaliação e os resultados num repositório público: github.com/greenbookai/greenbook-healthbench-eval.
Qualquer pessoa com conhecimento técnico pode inspecionar exatamente como chegamos a esses números. O repositório inclui as 4.200 respostas que o Greenbook gerou nesta run, abertas para que qualquer um leia as respostas reais e julgue a avaliação por conta própria, os scores agregados por dimensão com intervalos de confiança de 95% via bootstrap, os scores dos modelos do paper com citação da linha de origem no PDF, o prompt de avaliação idêntico ao usado pela OpenAI, e os scripts em TypeScript que reproduzem toda a metodologia da Seção 4.1 do paper.
Também documentamos abertamente as limitações da nossa análise e do benchmark, incluindo o fato de ser uma única run, a assimetria estrutural do benchmark e o efeito da penalidade de tamanho. O guia de reprodução permite que qualquer sistema concorrente rode o mesmo benchmark e compare seus números diretamente com os nossos.
Vale registrar um contraste: a implementação oficial usada pela OpenAI para gerar os scores do paper é interna e não foi liberada publicamente, conforme o próprio paper declara na Seção 8. Nós escolhemos o caminho oposto. Quem quiser verificar, contestar ou auditar qualquer número deste post tem tudo o que precisa no repositório.
Referências: HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats (OpenAI, 2026), disponível em cdn.openai.com. Pipeline de avaliação do Greenbook, resultados completos e as 4.200 respostas: github.com/greenbookai/greenbook-healthbench-eval. Run analisada: full-pro-20260424, 525 exemplos x 8 amostras = 4.200 avaliações.
