NASA enthüllt Galileo: Open-Source-KI revolutioniert Erdbeobachtung

Die NASA hat Galileo vorgestellt, ein quelloffenes, hochgradig multimodales Grundlagenmodell, das entwickelt wurde, um diverse Erdbeobachtungsdatenströme (EO) in großem Maßstab zu verarbeiten, zu analysieren und zu interpretieren. Entwickelt mit Unterstützung von Forschern der McGill University, NASA Harvest Ai2, Carleton University, University of British Columbia, des Vector Institute und der Arizona State University, zielt Galileo darauf ab, eine einheitliche, universelle Lösung für kritische Anwendungen wie die Kartierung von Agrarflächen, Katastrophenschutz und Umweltüberwachung bereitzustellen.

Im Gegensatz zu früheren Fernerkundungsmodellen, die oft auf einen einzigen Datentyp oder eine einzige Skala beschränkt waren, ist Galileo so konzipiert, dass es flexibel mehrere Sensormodalitäten fusionieren kann. Dies ermöglicht es dem Modell, Phänomene zu erkennen, die von winzigen Objekten wie nur 1-2 Pixel großen Fischerbooten bis hin zu riesigen, sich langsam entwickelnden Merkmalen wie Gletschern reichen.

Hauptmerkmale und Architektur

Galileo basiert auf einer Vision Transformer (ViT)-Architektur, einem Typ von neuronalem Netzwerkdesign, das speziell für die Verarbeitung einer Vielzahl von Erdbeobachtungsdaten angepasst ist. Dazu gehören multispektrale optische Bilder (z.B. Sentinel-2), Daten des synthetischen Aperturradars (SAR) (z.B. Sentinel-1), Höhen- und Neigungsdaten (z.B. NASA SRTM), Wetter- und Klimadaten (z.B. Niederschlag und Temperatur von ERA5) sowie verschiedene Hilfskarten wie Landbedeckung, Bevölkerungsdichte und Nachtlichter.

Die flexible Eingabeverarbeitung wird durch eine hochentwickelte Tokenisierungs-Pipeline ermöglicht. Dieser Prozess zerlegt diverse Fernerkundungseingaben in standardisierte räumliche Patches, Zeitschritte und logische Kanalgruppen, wodurch das Modell Bilder, Zeitreihen und statische tabellarische Daten innerhalb einer einzigen Architekturkonfiguration verarbeiten kann.

Eine Kerninnovation in Galileo ist sein selbstüberwachtes Vortrainings-Algorithmus, der einen dualen Lernansatz verfolgt:

• Globale Ziele: Diese ermutigen das Modell, abstrakte Repräsentationen über weite räumliche oder zeitliche Kontexte zu lernen, ideal zur Identifizierung großer oder sich langsam ändernder Merkmale wie Gletscher oder Waldverlust.

• Lokale Ziele: Diese verbessern die Empfindlichkeit des Modells für winzige Details, entscheidend für die Erkennung kleiner, sich schnell ändernder Objekte wie Boote oder Trümmer.
  Diese Kombination von Zielen, die sich in ihren Vorhersagezielen und Maskierungsstrategien unterscheiden, verbessert die Merkmalsrepräsentation über mehrere Skalen hinweg erheblich. Dieses Design macht Galileo über verschiedene Aufgaben hinweg hochgradig generalisierbar und robust, selbst bei der Arbeit mit begrenzten beschrifteten Daten.

Vortrainings-Datensatz und -Strategie

Um eine umfassende semantische und geografische Vielfalt zu gewährleisten, deckt der Vortrainings-Datensatz von Galileo den gesamten Globus ab. Die Stichproben wurden mithilfe eines Clustering-Ansatzes ausgewählt, um sowohl die Vielfalt der Landbedeckung als auch die geografische Verbreitung zu maximieren. Der Datensatz umfasst über 127.000 raumzeitlich ausgerichtete Stichproben, die vier Kategorien und neun verschiedene Fernerkundungsdatentypen umfassen. Das Vortraining wurde über 500 Epochen unter Verwendung erheblicher Rechenressourcen durchgeführt, wobei eine effektive Batch-Größe von 512, verschiedene Datenaugmentation (Spiegelung, Rotation, variable Patch-Größen) und eine Optimierung mit AdamW zum Einsatz kamen.

Benchmark-Ergebnisse

Galileo wurde auf 11 verschiedenen Datensätzen und 15 nachgelagerten Aufgaben, einschließlich Bildklassifizierung, Pixel-Zeitreihenklassifizierung und Segmentierung, rigoros getestet. Das Modell zeigte eine überlegene Generalisierung und übertraf bestehende Spezialmodelle auf öffentlichen Datensätzen wie EuroSat, BigEarthNet, So2Sat, MADOS (Meeresmüll), Sen1Floods11 (SAR-Flutkartierung) und CropHarvest (multimodale Pflanzenklassifizierung).

Leistungshighlights für Galileo-Base (ViT-Base) umfassen:

• Klassifizierung (Finetune): 97,7 % Top-1-Genauigkeit auf EuroSat (mit 100 % Trainingsdaten), übertrifft Spezialmodelle wie CROMA (96,6 %) und SatMAE (96,6 %).

• Pixel-Zeitreihen: 84,2 % Genauigkeit bei CropHarvest (Kenia), übertrifft Presto und AnySat; 73,0 % bei Breizhcrops.

• Segmentierung (mIoU): 67,6 % bei MADOS und 79,4 % bei PASTIS.

In allen Benchmarks erwies sich Galileo durchweg als der beste Gesamtleister und zeigte eine größere Flexibilität als Konkurrenten, die entweder auf Bild- oder Zeitreihendaten spezialisiert sind. Bemerkenswert ist, dass auch kleinere Modellvarianten (ViT-Nano, ViT-Tiny) wettbewerbsfähige Ergebnisse erzielten, wodurch Galileo auch für ressourcenbeschränkte Umgebungen praktikabel ist. Ablationsstudien unterstrichen den Wert der Multimodalität zusätzlich: Das Entfernen eines einzelnen Eingabetyps während des Vortrainings führte zu einem messbaren Leistungsabfall, selbst bei Benchmarks, die diese Eingabe nicht direkt verwendeten, was den umfassenden Nutzen der Integration verschiedener Daten beweist.

Open-Source und reale Auswirkungen

Der gesamte Code, die Modellgewichte und die Vortrainingsdaten von Galileo sind auf GitHub offen zugänglich, was Transparenz fördert und die Akzeptanz durch die globale Erdbeobachtungsgemeinschaft erleichtert. Das Modell unterstützt bereits missionskritische NASA Harvest-Aktivitäten, einschließlich der globalen Kartierung von Pflanzenarten, der schnellen Katastrophenkartierung (Überschwemmungen, Waldbrände) und der Erkennung von Meeresverschmutzung. Seine Fähigkeit, mit begrenzten beschrifteten Daten effektiv zu arbeiten, ist in Regionen, in denen Bodenwahrheitsinformationen rar sind, besonders wertvoll und unterstützt direkt die globale Ernährungssicherheit und Klimaanpassungsbemühungen.

Galileos methodische und technische Fortschritte – umfassende multimodale Eingaben, multiskaliges lokales-globales Merkmalslernen und groß angelegtes, global vielfältiges Vortraining – setzen einen neuen Maßstab für allgemeine Fernerkundungs-KI. Seine inhärente Flexibilität ist prädestiniert, praktische Einsätze von der Umweltüberwachung bis zur Klimaresilienz zu untermauern und zuverlässige, qualitativ hochwertige Karten und Vorhersagen unabhängig von Aufgabe oder geografischem Gebiet bereitzustellen. Mit seiner Open-Source-Natur und seiner kontinuierlichen Entwicklung wird erwartet, dass Galileo erhebliche Innovationen in der Erdsystemwissenschaft katalysiert und Praktiker weltweit befähigt.