Dois novos estudos indicam que modelos de inteligência artificial como o ChatGPT precisarão enfrentar dificuldades crescentes para se aprimorarem a partir de agora. Um deles mostra que essa IA incorporou a propensão de humanos a cair em lógicas “pegadinhas”. O outro mostra que robôs treinados com textos criados por robôs entram em colapso.
O primeiro trabalho, feito por um grupo de cientistas da DeepMind, a divisão de pesquisa em IA do Google, teve como objetivo entender se os grandes modelos de linguagem (LLM), os projetos que possuem a mesma arquitetura do ChatGPT, Gemini e Llama estão incorporando problemas de julgamento típicos de humanos.

Isso era de certa forma esperado, porque esses projetos foram todos treinados com um grande volume de textos produzidos por humanos, mas o grupo, liderado pelo cientista da computação Andrew Lampinen, mostra que o problema vai além da presença de erros factuais no material incorporado: os LLMs estão aprendendo a raciocinar de maneira errada em algumas instâncias.
O problema, dizem os pesquisadores, é que os modelos acabam incorporando um preconceito sobre alguns assuntos, e não conseguem construir um argumento novo mesmo quando são alimentados com informações diferentes.

Para ilustrar isso, os cientistas submeteram o GPT-3 e alguns outros modelos de tarefa de avaliar se uma cadeia de julgamento estava correta. Um exemplo é a afirmação abaixo:

Todos os estudantes leem.
Algumas pessoas que leem também escrevem ensaios.
Logo, alguns estudantes escrevem ensaios.

Mais de 90% das pessoas que leem essa sequência de afirmações afirmam que ela é válida como julgamento. Mas não é. Saber que algumas pessoas que leem escrevem contos não implica que essas mesmas pessoas sejam também estudantes.

Entretanto, como no mundo real sabemos que alguns estudantes escrevem contos, deixamos que nosso conhecimento prévio interfira na nossa avaliação sobre a validade do raciocínio.

Isso é o que os psicólogos chamam de “efeito de conteúdo”, porque o significado contido nas palavras usadas na conclusão interfere em nossa cadeia de pensamento. Neste caso isso não é um problema muito grande, porque sabemos que os estudantes escrevem redações. Mas quando as máquinas cometem esse tipo de equívoco, é um sinal de que a IA não está conseguindo raciocinar de forma fria, como se esperasse dela.

Em um artigo na revista científica PNAS Nexus, Lampinen e colegas experimentaram solicitar ao sistema de IA para avaliar o raciocínio acima, além de outros similares, e o modelo errôneo com frequência, afetado pelo “efeito de conteúdo”. Mas mesmo quando o conteúdo foi substituído por variáveis ​​abstratas, o erro de julgamento ocorria:

Todos os X são Y.
Alguns Y são Z.
Logo, alguns X são Z.

Assim como os humanos, os modelos de IA identificaram com mais facilidade o erro de cálculo neste caso, em comparação ao exemplo anterior, mas ainda assim falharam em algumas situações.

“Os humanos são pensadores imperfeitos. Nós raciocinamos mais efetivamente sobre situações consistentes com nossa compreensão do mundo, e frequentemente lutamos para raciocinar em situações que violam essa compreensão ou são abstratas e desconectadas do mundo real”, afirmou Lampinen no estudo. “Nossos experimentos mostram que os modelos de linguagem refletem esses padrões de comportamento.”

O jogo dos seis erros da inteligência artificial

Essa fragilidade não deriva apenas da busca da IA ​​de imitar humanos, mas também da maneira como os LLMs foram concebidos. Todos esses projetos apresentados com quantidades enormes de informações escritas têm uma maneira “probabilística” de raciocinar.

Quando um LLM produz resposta para uma pergunta, ele parte do texto digitado pelo usuário e usa seu banco de dados de treinamento para tentar prever quais palavras são mais prováveis ​​​​aparecem após aquela sequência de texto. Palavra por palavra, o sistema de IA vai produzir uma resposta buscando o resultado mais provável de aparecer após uma pergunta.

A IA não é capaz, porém, de saber quando deve abandonar esse julgamento probabilístico para começar a operar de modo sistemático com lógica formal. Nessas graças, é como se o sistema tentasse resolver a conta “2 + 2” por votação, consultando sua base de dados, em vez de operar a soma como uma calculadora.

Robô ensina robô
Se os humanos estão contaminando a base de julgamento da IA ​​com julgamento equivocado, um outro tipo de contaminação (este outro digital), também ameaça a confiabilidade de futuros projetos de inteligência artificial.

Um segundo estudo, publicado nesta semana na revista Nature por cientistas da Universidade de Oxford, simula o que acontece com a IA treinada com dados buscados na internet quando uma porcentagem grande desses dados não tem mais origem humana.

A quantidade de conteúdo gerado por IA, afinal de contas, está crescendo cada vez mais, e já representa uma parte maior daquilo que existe na web. Isso estabelece um processo de loop em que, para alguns tópicos, a IA começa a usar informações que ela mesma produziu para tentar se aprimorar.

Liderado pelo cientista Ilia Shumailov, o grupo de Oxford fez uma simulação criando pequenos modelos de LLM para entender o que acontece quando esse processo se repete por sucessivas gerações (uma IA treinada com dados produzidos por IA, que foi treinada com dados produzidos por outra IA , e assim por diante).

Os pesquisadores demonstraram que, quando o conteúdo na web sobre um assunto começa a ser dominado pela produção de LLMs, os modelos de IA entram em colapso ao tentar discordar sobre o tema. O sistema passa a gerar frases sem sentido e sequências arbitrárias de palavras repetidas.

“Os LLMs chegaram para ficar e mudar serão vantajosos para o ecossistema de texto e imagens online. Nós descobrimos que o uso incluído de conteúdo gerado por esses modelos para treinamento de IA causa danos irreversíveis nos modelos resultantes”, diz Shumailov na Nature.

Segundo o cientista, esse problema precisa ser atacado pela indústria de tecnologia para que a inteligência artificial consiga dar seu próximo salto de inovação.

“Isso precisa ser levado a sério se quisermos manter os benefícios que a IA obtém com treinamento a partir de dados extraídos da web em grande escala. O valor dos dados gerados por interações humanas naturais será cada vez maior na presença de conteúdo gerado por LLMs em LLMs dados capturados da Internet.”

O GLOBO