Em quem é que a IA votaria?

A análise de 24 diferentes modelos modernos de linguagem de conversação revela que a maioria dos principais LLM de código aberto e fechado tendem a inclinar-se para a esquerda quando lhes são colocadas questões de cariz político.

Quando 24 diferentes Modelos de Linguagem de Grande Porte (LLMs) de última geração foram submetidos a uma bateria de diferentes testes concebidos para revelar a orientação política, uma maioria significativa produziu respostas classificadas como de centro-esquerda, de acordo com um estudo publicado a 31 de julho de 2024 na revista de acesso livre PLOS ONE por David Rozado da Otago Polytechnic, Nova Zelândia.

À medida que as empresas de tecnologia continuam a integrar sistemas de IA em produtos como os resultados dos motores de busca, é inegável o potencial da IA para moldar as perceções dos utilizadores e, consequentemente, a sociedade. Neste estudo, Rozado examinou o potencial de incorporar e reduzir o preconceito político nos LLMs de conversação.

Rozado aplicou 11 testes de orientação política diferentes, como o Political Compass Test e o Eysenck’s Political Test, a 24 LLMs de conversação de código aberto e fechado – entre outros, o GPT 3.5 e o GPT-4 da OpenAI, o Gemini da Google, o Claude da Anthropic, o Grok do Twitter, o Llama 2, o Mistral e o Qwen da Alibaba.

Também usou dados personalizados politicamente alinhados para realizar um ajuste fino supervisionado numa versão do GPT 3.5 para ver se conseguia facilmente fazer com que este LLM mudasse a preferência política em alinhamento com os dados de ajuste fino que lhe foram fornecidos.

O modelo GPT 3.5 de inclinação à esquerda foi treinado com pequenos trechos de texto de publicações como The Atlantic e The New Yorker; o modelo de inclinação à direita foi treinado com texto de The American Conservative e similares; e o modelo despolarizante/neutro foi treinado com conteúdo do Institute for Cultural Evolution e do livro Developmental Politics.

Ele descobriu que a maioria dos LLMs conversacionais testados gerou respostas diagnosticadas pela maioria dos instrumentos de teste político usados aqui como pontos de vista de centro-esquerda.

Rozado também testou cinco modelos fundacionais de LLM, das séries GPT e Llama, e descobriu que estes tendiam a fornecer respostas maioritariamente incoerentes, embora politicamente neutras.

Além disso, conseguiu que os modelos aperfeiçoados dessem respostas alinhadas com o ponto de vista político em que foram treinados.

Uma possível explicação para as respostas consistentes de esquerda de todos os LLMs aqui analisados pode ser o facto de o ChatGPT, como LLM pioneiro com grande popularidade, ter sido usado para afinar outros LLMs – as preferências políticas de esquerda do ChatGPT foram previamente documentadas.

Rozado observa que esta análise não é capaz de determinar se as preferências políticas percecionadas pelos LLMs resultam das fases de pré-treino ou de aperfeiçoamento do seu desenvolvimento, e afirma ainda que os seus resultados não são prova de que estas preferências políticas sejam deliberadamente incutidas pelas diversas organizações que criam estes LLMs.

E conclui: “A maioria dos atuais LLMs mostra preferências políticas de centro-esquerda quando avaliados com uma variedade de testes de orientação política.”