Google Gemini e GPT avançam no domínio de idiomas raros

Um novo estudo da RWS revela que modelos de IA como o Google Gemini Pro alcançaram um nível surpreendente em idiomas raros e pouco documentados digitalmente, utilizando a “transferência entre línguas” para preencher lacunas e padrões estatísticos conhecidos de idiomas globais. O avanço se deve à evolução dos tokenizadores, que tornaram-se 3,5 vezes mais eficientes, permitindo a IA entender estruturas gramaticais complexas com menos esforço computacional. A busca por dados em idiomas menos utilizados é motivada pela escassez de dados em inglês e pela necessidade de expandir o alcance da IA. Apesar dos avanços, o estudo alerta para o “desvio de benchmark”, onde uma versão nova da IA pode, curiosamente, performar pior que uma versão menor em tarefas específicas de idiomas locais.

Saiba mais