IBM e ESA lançam TerraMind, o modelo de IA generativa de código aberto mais eficaz para a observação da Terra

De que informação precisaria um modelo de IA para compreender realmente o nosso planeta? Essa é a pergunta que os investigadores da IBM, ESA, KP Labs, Julich Supercomputing Center (JSC) e Agência Espacial Alemã (DLR) se propuseram a responder este ano como parte de uma iniciativa liderada pela ESA para melhorar o acesso a modelos fundacionais dentro da comunidade de observação da Terra.

É por isso que hoje a IBM e a ESA apresentaram o TerraMind, um novo modelo de observação da Terra que o grupo disponibilizou em código aberto no HuggingFace. O modelo foi pré-treinado no TerraMesh, o maior conjunto de dados geoespaciais disponível construído por investigadores como parte do projeto TerraMind.

Líder em desempenho de modelos geoespaciais

O TerraMind tem uma arquitetura única de codificador-decodificador baseado em transformadores simétricos que foi desenhado para trabalhar com entradas baseadas em píxeis, tokens e sequências, assim como para aprender correlações entre modalidades distintas de dados.

Apesar de ser treinado com 500 mil milhões de tokens, o TerraMind é um modelo pequeno e leve, que utiliza 10 vezes menos recursos informáticos comparativamente aos modelos standard para cada modalidade. Isto significa que os utilizadores podem implementá-lo em escala com um custo menor, ao mesmo tempo que reduzem o consumo total de energia no momento da inferência.

“Para mim, o que realmente distingue o TerraMind é a sua capacidade de ir mais além do processamento de imagens de satélite com algoritmos de visão computacional. Tem uma compreensão intuitiva dos dados geoespaciais e do nosso planeta”, explica Juan Bernabé-Moreno, diretor de IBM Research no Reino Unido e Irlanda, e líder do Accelerated Discovery da IBM para o clima e sustentabilidade, citado em comunicado. “Atualmente, o TerraMind é o modelo fundacional de IA com melhor desempenho para observação da Terra de acordo com os pontos de referência estabelecidos pela comunidade”, adianta.

Numa avaliação da ESA, o TerraMind foi comparado com 12 modelos fundacionais populares de observação da Terra no PANGAEA, a referência standard da comunidade, para medir o rendimento do modelo em tarefas do mundo real, como a classificação da cobertura terrestre, deteção de alterações, monitorização ambiental e análise multissensor e multitemporal. A avaliação mostrou que o TerraMind superou outros modelos nestas tarefas em 8% ou mais.

“O TerraMind combina informações de várias modalidades de dados de treino para aumentar a precisão dos seus resultados”, diz Simonetta Cheli, diretora de Programas de Observação da Terra da ESA e responsável da ESRIN. “A sua capacidade de integrar de forma intuitiva informações contextuais e gerar cenários inéditos é um passo fundamental para desbloquear o valor dos dados da ESA. Em comparação com modelos semelhantes, permite uma compreensão mais profunda da Terra tanto para os investigadores como para empresas”, acrescenta.

Na prática, para prever o risco de escassez de água, os investigadores devem ter em conta muitos fatores diferentes, como o uso do solo, o clima, a vegetação, as atividades agrícolas e a localização. Antes do TerraMind, todos estes dados estavam dispersos e armazenados de forma separada. Reunir esta informação permite aos utilizadores fazer previsões mais precisas sobre o risco potencial de escassez de água com base numa visão mais ampla das condições na Terra.

Nove milhões de pontos de dados, nove modalidades diferentes

Durante a criação do conjunto de dados, os investigadores incluíram informação de todos os biomas, tipos de uso e cobertura do solo e regiões, o que permite que o modelo seja igualmente válido para qualquer aplicação em todo o mundo, com viés limitado.

O conjunto de dados inclui 9 milhões de amostras de dados distribuídas globalmente, alinhadas espaço-temporalmente em nove modalidades principais: observações realizadas por sensores em satélites, a geomorfologia da superfície da Terra, as características da superfície que são importantes para a vida na Terra (vegetação e uso do solo) e descrições básicas de locais e as suas características (latitude, longitude e descrições de texto simples).

Autoajuste para criar dados artificiais

Desde o ponto de vista técnico, o TerraMind é inovador mesmo além do domínio da observação da Terra. É o primeiro modelo de IA generativa multimodal “any to any” para a observação da Terra. Isto significa que pode gerar automaticamente dados de treino adicionais de outras modalidades, uma técnica que os investigadores da IBM denominaram de “Thinking-in-Modalities” (TiM). TiM é uma nova abordagem para modelos de visão artificial, semelhante à cadeia de pensamento dos modelos de linguagem. As evidências empíricas demonstram que o afinamento TiM pode melhorar o rendimento do modelo a ir mais além do afinamento tradicional.

“O afinamento TiM aumenta a eficiência dos dados ao gerar automaticamente dados de treino adicionais relevantes para o problema que está a ser tratado, por exemplo, indicando ao modelo que “pense” na cobertura terrestre quando analisa os corpos de água. Este avanço pode oferecer uma precisão sem precedentes na especialização do TerraMind para casos de uso específicos”, assegura Johannes Jakubik, cientista de IBM Research em Zurique.

Construir sobre uma base sólida

A utilização de IA e de machine learning em dados relacionados com a Terra, como satélites e padrões de uso do solo, não é nova. Os modelos geoespaciais existentes, como os desenvolvidos pela IBM e NASA, permitem aos cientistas dar sentido a estes dados, ajudando-os a abordar casos de uso em agricultura de alta precisão, gestão de desastres naturais, monitorização ambiental (através da água, do calor e da seca), planeamento urbano e regional, monitorização de infraestruturas críticas, monitorização florestal e da biodiversidade, entre outros.

No entanto, estes modelos ainda processam dados provenientes de fontes que ocasionalmente não conseguem capturar a rica realidade das condições no nosso planeta. Enquanto os satélites dão a volta ao mundo, fornecendo dados temporais sobre fenómenos naturais, voltando a revisitar o mesmo local a cada cinco dias.

Para analisar os eventos climáticos a longo prazo, são fornecidos dados suficientes para prever e rever tendências. Mas isto pode dificultar a monitorização de fenómenos climáticos a curto prazo, como incêndios florestais ou inundações. Quando cada dia conta, os investigadores precisam de contar com os dados mais recentes para fazer previsões ou avaliar o risco utilizando modelos de IA.

Para resolver este desafio, os investigadores da IBM combinaram os seus conhecimentos técnicos na preparação dos dados e na construção de modelos fundacionais com os dados de observação da Terra da ESA e a sua experiência em avaliação de modelos para desenvolver um novo modelo fundacional de IA multimodal para a observação da Terra.

Para a sua formação foram utilizadas a infraestrutura e a experiência do Centro de Supercomputação de Jülich. Outros parceiros contribuíram para o processo geral de desenvolvimento do modelo mediante a realização de experiências de escalabilidade e a preparação de aplicações de redução de escala.

Um esforço contínuo

O TerraMind faz parte do projeto da IBM que procura utilizar a tecnologia de IA para explorar o nosso planeta. Atualmente, governos, empresas e instituições públicas estão a utilizar os modelos Prithvi da IBM-NASA e os modelos geoespaciais especializados de IBM Granite para examinar as mudanças nos padrões de desastres, biodiversidade e uso do solo, bem como para detetar e prever padrões meteorológicos severos.

Especialistas da NASA também participaram na validação do TerraMind, como parte da iniciativa de Open Science da NASA. Todos os modelos geoespaciais podem ser consultados no Hugging Face e no IBM Geospatial Studio.

No próximo mês serão adicionadas ao repositório IBM Granite versões aperfeiçoadas do TerraMind para dar resposta a catástrofes e outros casos de uso de alto impacto para que as comunidades e as empresas possam tirar partido do poder desta nova geração de análise de observação da Terra.

“Com a ciência e a tecnologia de observação da Terra e a colaboração internacional, estamos a desbloquear o verdadeiro potencial dos dados espaciais para proteger o nosso planeta”, declara Nicolas Longepe, cientista de dados de Observação da Terra na ESA.

“Este projeto é um exemplo perfeito em que a comunidade científica, as grandes empresas tecnológicas e os especialistas têm colaborado para aproveitar esta tecnologia em benefício das ciências da Terra. A magia acontece quando se unem especialistas em dados de observação da Terra, especialistas em machine learning, cientistas de dados e engenheiros de HPC”, conclui.