Investigadores da Faculdade de Ciências da Universidade de Lisboa (Ciências ULisboa) acabam de colocar operacional o primeiro comparador de desempenho de modelos de inteligência artificial generativa (LLM) especificamente dedicado ao português europeu, foi divulgado em comunicado.
Segundo a mesma fonte, esta nova ferramenta, designada “Leaderboard de LLM para português”, permite avaliar e comparar de forma transparente o desempenho de diferentes modelos de IA, criando um ranking acessível ao público, empresas e comunidade científica.
Até agora, as principais ferramentas deste tipo estavam centradas no inglês e em outras línguas com maior tradição de desenvolvimento tecnológico, não existindo uma plataforma dedicada ao português europeu.
O leaderboard funciona através da submissão de modelos de IA por parte dos seus criadores. Estes modelos são avaliados de forma independente, recorrendo a testes automáticos com dados desenvolvidos para medir vários aspetos do desempenho, incluindo linguagem, adequação cultural e civilidade. Os resultados são depois disponibilizados online, permitindo a comparação direta entre sistemas.
A nova ferramenta está apta a comparar desempenhos de modelos de Inteligência Artificial abertos, que disponibilizam acesso ao código do programa ou aos parâmetros usados para processar a informação. Seja por iniciativa do produtor ou de terceiros, qualquer LLM aberto pode ser submetido a avaliação no novo leaderboard.
Esta iniciativa foi desenvolvida no âmbito da PORTULAN CLARIN Infraestrutura Nacional de Investigação para a Ciência e Tecnologia da Linguagem, coordenada pela Ciências ULisboa e integrada no Roteiro Estratégico de Infraestruturas de Investigação da FCT-Fundação para a Ciência e a Tecnologia. A PORTULAN CLARIN é também o nó nacional da infraestrutura europeia CLARIN ERIC.
De acordo com António Branco, professor e investigador da Ciências ULisboa e diretor geral da PORTULAN CLARIN, “Este leaderboard vem colmatar uma lacuna importante, permitindo avaliar de forma rigorosa e comparável o desempenho de modelos de IA para português europeu, algo que até agora não existia”.
Além de apoiar investigadores e programadores no desenvolvimento de novos modelos, a ferramenta será também útil para empresas e instituições que pretendam selecionar soluções de IA mais adequadas às suas necessidades.
O serviço é de acesso livre e representa um passo importante para reforçar a presença do português europeu no desenvolvimento global de inteligência artificial.
