Humanos ainda superam IA em resolver desafios matemáticos avançados

Desde que a discussão sobre inteligências artificiais ganhou tração no debate público, em 2022, o principal tópico de discussão é a possibilidade dessas máquinas superarem as habilidades humanas. Não é por acaso: IAs tem bons resultados na programação, na medicina e até nas artes. Um campo, no entanto, continua insuperado: a matemática. 

Isso foi evidenciado por um artigo preprint, ainda sem avaliação por pares, publicado no final de novembro. No trabalho, desenvolvedores da Epoch AI, em parceria com pesquisadores de universidades como King’s College London, UC Berkeley, MIT e Harvard, tornam pública uma metodologia para avaliar as capacidades matemáticas das IAs. 

O que os primeiros testes utilizando esse método revelam surpreende. Ao avaliar seis dos principais grandes modelos de linguagem, desenvolvidos pela OpenAI, pelo X e pela Anthropic, eles constataram que essas IAs eram capazes de resolver apenas 2% dos desafios matemáticos avançados formulados por experts. 

As inteligências artificiais são boas em matemática?

Isso não quer dizer que esses modelos sejam completamente incompetentes em resolver problemas lógicos. Eles são rápidos e precisos para solucionar problemas básicos e até pegariam o pódio na olimpíada internacional de matemática, de acordo com um artigo jornalístico da Science. Contudo, há limitações. 

O método desenvolvido pela Epoch AI contou com 150 desafios formulados por 60 matemáticos de instituições de renome em mais de uma dúzia de países. Os problemas, no entanto, não eram triviais. Eles foram instruídos a criar problemas originais e “brutalmente” difíceis, mas que tivessem respostas objetivas. Em resumo, problemas de lógica e raciocínio, de áreas diferentes da matemática, ao invés de apenas questões de cálculo. 

O que a análise mostrou foi que os modelos não apenas não conseguiam resolver, como devolvem respostas erradas – algo comum, conhecido como alucinações. “Na minha opinião, atualmente, a IA está muito longe de ser capaz de fazer essas perguntas… mas eu já estive errado [em fazer previsões] antes”, disse Kevin Buzzard, do Imperial College London, à Science. 

De fato, as IAs tem evoluído rapidamente e é provável que, com o treinamento apropriado, elas em breve se tornem capazes de resolver esses problemas. O artigo, contudo, levanta uma reflexão: por enquanto, esses modelos continuam mais próximos de ferramentas do que seres capazes de tirar conclusões lógicas sobre as peculiaridades humanas. Pelo menos no que tange às fronteiras da ciência, a razoabilidade e a originalidade das pessoas continuam sendo essenciais. 

• Inteligencia Artificial
• Matemática
• Pesquisa Científica