IA da OpenAI passa em residência de medicina na USP e gabarita matemática no vestibular do ITA

O novo modelo de inteligência artificial da OpenAI, o o1, acertou 82% das questões da prova qualificatória para o curso de residência na Faculdade de Medicina da USP e gabaritou a desafiadora seção de matemática do vestibular do ITA (Instituto Tecnológico de Aeronáutica).

O modelo acertou 98 das 120 questões da prova da Fuvest para prosseguir os estudos em medicina. O resultado garantiria acesso a todas as residências de acesso direto, em que os alunos entram logo após concluir a graduação, a fim de se especializarem.

O teste tem questões das cinco grandes áreas da medicina: clínica, cirurgia, pediatria, obstetrícia e ginecologia, além de medicina preventiva. De acordo com o especialista em educação em saúde Matheus Ferreira, que fez o teste, trata-se de um exame desafiador por trabalhar com casos clínicos.

“É necessário fazer raciocínios em série para chegar à melhor escolha, usa muita imagem, se errar em uma parte do exercício, compromete todo o resultado”, diz. São poucas as questões conceituais ou de “decoreba”, segundo Ferreira.

Também médico, o especialista usou a API, um canal de comunicação direta com a IA por meio de código de programação, para enviar 20 questões por vez ao o1, conhecido internamente na OpenAI como projeto strawberry.

O modelo conseguiu o resultado surpreendente mesmo sem conseguir analisar imagens —diferentemente do GPT-4o, o o1 trabalha apenas com texto, por enquanto. Também não faz buscas na internet.

Várias das questões trazem exame de imagem para análise do candidato —em alguns casos a resposta também é uma figura. O GPT-4o, levando as imagens em consideração, acertou 91 questões.

COMO FUNCIONA

A OpenAI não divulgou os detalhes técnicos por trás do salto de performance do o1. Alegou questões concorrenciais e de segurança da IA, como é comum na indústria da tecnologia.

Na imprensa, se especula que o modelo seja capaz de dividir a tarefa em etapas, o que permitiria a resolução de exercícios complexos —teóricos chamam a técnica de “cadeia de pensamento”.]

O projeto strawberry, ainda de acordo com a imprensa internacional, teria sido a tecnologia que assustou o ex-cientista-chefe da startup, Ilya Sutskever. Uma das mentes por trás do ChatGPT, ele criou a própria empresa, a Superintelligence, com a proposta de criar modelos seguros e já arrecadou US$ 1 bilhão em investimento.

Uma das poucas pistas que a OpenAI deu foi de que o modelo “pensa mais” e faz isso a partir de regras.

Em 17 de julho, a criadora do ChatGPT publicou um artigo sobre uma melhoria nos resultados de uma inteligência artificial, obtidos com o auxílio de um jogo baseado em regras.

A solução foi treinar uma inteligência artificial assistente menos inteligente para avaliar a legibilidade da resposta da IA principal, que era o GPT-4 mais robusto.

Os pesquisadores pediram, então, que os modelos superassem um ao outro, em busca de um resultado satisfatório. O teste foi feito com problemas de matemática —o grande trunfo do o1.

A estratégia da OpenAI teve base em um artigo de pesquisadores da Universidade de Toronto, que buscou desenvolver uma técnica para “incentivar redes neurais a resolver problemas de decisão de maneira verificável”.

Os pesquisadores da OpenAI, porém, adicionaram um elemento ao jogo. O provador foi configurado de duas maneiras: para ser “prestativo” e tentar fornecer a resposta correta ao verificador ou “sorrateiro” e convencer o verificador da validade do argumento inicial, independentemente de estar correta ou não.

O modelo verificador menos inteligente não sabia se estava interagindo com um provador prestativo ou sorrateiro. Por isso, teve que apenas avaliar as respostas com base apenas em seu treinamento.

Os pesquisadores da OpenAI, por fim, retroalimentaram as IAs com os resultados das rodadas anteriores, para que elas melhorassem nas suas respectivas tarefas. Essa técnica é chamada aprendizado de reforço

Avaliadores humanos deram notas de compreensibilidade das respostas finais ao longo do processo. Esses pesquisadores constataram que o modelo verificador se tornou melhor em resistir às técnicas de persuasão do modelo sorrateiro —o o1, por exemplo, consegue dizer “eu não sei”.