NASA dévoile Galileo: L'IA Open Source Révolutionne l'Observation de la Terre

La NASA a dévoilé Galileo, un modèle fondationnel open source, hautement multimodal, conçu pour traiter, analyser et interpréter des flux de données divers d’observation de la Terre (OT) à grande échelle. Développé avec le soutien de chercheurs de l’Université McGill, de NASA Harvest Ai2, de l’Université Carleton, de l’Université de la Colombie-Britannique, du Vector Institute et de l’Arizona State University, Galileo vise à fournir une solution unifiée et polyvalente pour des applications critiques telles que la cartographie des terres agricoles, la réponse aux catastrophes et la surveillance environnementale.

Contrairement aux modèles de télédétection précédents, souvent limités à un seul type ou échelle de données, Galileo est conçu pour fusionner de manière flexible plusieurs modalités de détection. Cela lui permet de reconnaître des phénomènes allant d’objets minuscules, tels que des bateaux de pêche mesurant seulement 1 à 2 pixels, à de vastes caractéristiques évoluant lentement comme les glaciers.

Caractéristiques Clés et Architecture

Galileo est construit sur une architecture basée sur le Vision Transformer (ViT), un type de conception de réseau neuronal spécifiquement adapté pour traiter un large éventail de données d’observation de la Terre. Cela inclut l’imagerie optique multispectrale (par exemple, Sentinel-2), les données de radar à synthèse d’ouverture (SAR) (par exemple, Sentinel-1), les données d’élévation et de pente (par exemple, NASA SRTM), les données météorologiques et climatiques (par exemple, précipitations et température d’ERA5), et diverses cartes auxiliaires comme l’occupation des sols, la densité de population et les lumières nocturnes.

Sa gestion flexible des entrées est facilitée par un pipeline de tokenisation sophistiqué. Ce processus décompose diverses entrées de télédétection en patchs spatiaux standardisés, pas de temps et groupes de canaux logiques, permettant au modèle de traiter des images, des séries temporelles et des données tabulaires statiques au sein d’une configuration architecturale unique.

Une innovation majeure de Galileo est son algorithme de pré-entraînement auto-supervisé, qui utilise une approche d’apprentissage à double objectif :

• Objectifs globaux : Ceux-ci encouragent le modèle à apprendre des représentations abstraites sur de larges contextes spatiaux ou temporels, idéales pour identifier des caractéristiques à grande échelle ou à évolution lente telles que les glaciers ou la perte de forêts.

• Objectifs locaux : Ceux-ci améliorent la sensibilité du modèle aux détails minuscules, cruciaux pour détecter de petits objets à changement rapide comme les bateaux ou les débris.
  Cette combinaison d’objectifs, différant par leurs cibles de prédiction et leurs stratégies de masquage, améliore considérablement la représentation des caractéristiques multi-échelle. Cette conception rend Galileo hautement généralisable à diverses tâches et robuste même lorsqu’il travaille avec des données étiquetées limitées.

Jeu de Données et Stratégie de Pré-entraînement

Pour assurer une diversité sémantique et géographique complète, l’ensemble de données de pré-entraînement de Galileo couvre le globe entier. Les échantillons ont été sélectionnés en utilisant une approche de clustering pour maximiser à la fois la variété de l’occupation des sols et la répartition géographique. L’ensemble de données comprend plus de 127 000 échantillons alignés spatio-temporellement, englobant quatre catégories et neuf types distincts de données de télédétection. Le pré-entraînement a été effectué sur 500 époques en utilisant des ressources informatiques substantielles, employant une taille de lot effective de 512, diverses augmentations de données (retournement, rotation, tailles de patch variables) et optimisé avec AdamW.

Résultats des Benchmarks

Galileo a été rigoureusement évalué sur 11 jeux de données divers et 15 tâches en aval, y compris la classification d’images, la classification de séries temporelles de pixels et la segmentation. Le modèle a démontré une généralisation supérieure, surpassant les modèles spécialistes existants sur des jeux de données publics tels que EuroSat, BigEarthNet, So2Sat, MADOS (débris marins), Sen1Floods11 (cartographie des inondations SAR) et CropHarvest (classification multimodale des cultures).

Les points forts des performances de Galileo-Base (ViT-Base) incluent :

• Classification (Finetune) : 97,7 % de précision top-1 sur EuroSat (avec 100 % des données d’entraînement), surpassant les modèles spécialistes comme CROMA (96,6 %) et SatMAE (96,6 %).

• Séries temporelles de pixels : 84,2 % de précision sur CropHarvest (Kenya), surpassant Presto et AnySat ; 73,0 % sur Breizhcrops.

• Segmentation (mIoU) : 67,6 % sur MADOS et 79,4 % sur PASTIS.

Sur tous les benchmarks, Galileo est systématiquement apparu comme le meilleur interprète global, démontrant une plus grande flexibilité que les concurrents spécialisés dans les données d’image ou de séries temporelles. Notamment, des variantes de modèle plus petites (ViT-Nano, ViT-Tiny) ont également obtenu des résultats compétitifs, rendant Galileo viable pour les environnements contraints en ressources. Des études d’ablation ont en outre souligné la valeur de la multimodalité : la suppression de tout type d’entrée unique pendant le pré-entraînement a entraîné une baisse mesurable des performances, même sur des benchmarks n’utilisant pas directement cette entrée, prouvant le bénéfice complet de l’intégration de données diverses.

Open Source et Impact Réel

Tout le code, les poids du modèle et les données de pré-entraînement de Galileo sont accessibles en open source sur GitHub, favorisant la transparence et facilitant l’adoption par la communauté mondiale de l’observation de la Terre. Le modèle soutient déjà les activités critiques de NASA Harvest, y compris la cartographie mondiale des types de cultures, la cartographie rapide des catastrophes (inondations, incendies de forêt) et la détection de la pollution marine. Sa capacité à fonctionner efficacement avec des données étiquetées limitées est particulièrement précieuse dans les régions où les informations de terrain sont rares, soutenant directement la sécurité alimentaire mondiale et les efforts d’adaptation climatique.

Les avancées méthodologiques et techniques de Galileo – englobant les entrées multimodales, l’apprentissage de caractéristiques locales-globales multi-échelle et le pré-entraînement à grande échelle et globalement diversifié – établissent une nouvelle référence pour l’IA de télédétection généraliste. Sa flexibilité inhérente est prête à étayer des déploiements pratiques allant de la surveillance environnementale à la résilience climatique, fournissant des cartes et des prédictions fiables et de haute qualité, indépendamment de la tâche ou de la zone géographique. Grâce à sa nature open source et à son développement continu, Galileo devrait catalyser une innovation significative dans la science du système terrestre, renforçant les capacités des praticiens du monde entier.