Cloudian: KI-fähiger Speicher meistert die Datenflut
Künstliche Intelligenz verändert rasant, wie Unternehmen Daten verwalten und darauf zugreifen, und offenbart dabei erhebliche Einschränkungen traditioneller Speichersysteme. Diese älteren Architekturen, die für einfachere, sequentielle Befehle von einer begrenzten Anzahl von Benutzern konzipiert wurden, haben Schwierigkeiten, mit moderner KI Schritt zu halten, die kontinuierlichen, parallelen Zugriff auf riesige Datensätze durch Millionen von Agenten erfordert. Die inhärente Komplexität und mehrschichtige Struktur von Altsystemen schaffen Engpässe und verlangsamen den Fluss kritischer Daten zu den leistungsstarken Grafikprozessoren (GPUs), die KI-Berechnungen antreiben.
Um diese Herausforderung zu meistern, hat Cloudian, mitbegründet von den MIT-Alumni Michael Tso und Hiroshi Ohta, eine skalierbare Speicherlösung entwickelt, die speziell für die KI-Ära konzipiert wurde. Ihr System optimiert den Datenfluss zwischen Speicher und KI-Modellen, indem es Parallelverarbeitung direkt auf die Datenspeicherung anwendet. Dieser innovative Ansatz konsolidiert KI-Funktionen und -Daten auf einer einzigen Plattform und ermöglicht direkte, Hochgeschwindigkeitsübertragungen zwischen Speicher und GPUs sowie CPUs, wodurch die Komplexität und Latenz reduziert werden, die die KI-Leistung behindern.
Cloudians integrierte Speicher- und Computing-Plattform vereinfacht die Entwicklung kommerzieller KI-Tools und bietet Unternehmen eine robuste Datengrundlage, die das exponentielle Wachstum der KI unterstützen kann. Michael Tso betont die grundlegende Rolle von Daten im KI-Fortschritt: „Eines der Dinge, die die Leute bei der KI übersehen, ist, dass es nur um die Daten geht. Man kann keine 10 Prozent Leistungsverbesserung in der KI mit 10 Prozent mehr Daten oder sogar 10 Mal mehr Daten erzielen – man braucht 1.000 Mal mehr Daten.“ Er hebt den Wandel in der Branche hervor, Daten so zu speichern, dass sie leicht verwaltbar sind und Berechnungen eingebettet und ausgeführt werden können, sobald Daten ankommen, wodurch die Notwendigkeit entfällt, große Datensätze zu verschieben.
Tsos Weg zur Mitbegründung von Cloudian ist tief in seiner grundlegenden Arbeit am MIT verwurzelt. Als Student in den 1990er Jahren befasste er sich unter Professor William Dally und Associate Professor Greg Papadopoulos mit Parallelverarbeitung. Seine Doktorandenstudien mit dem Computerpionier David Clark konzentrierten sich auf getrennte und intermittierende Netzwerkoperationen für große verteilte Systeme, ein Konzept, das laut Tso bis heute zentral für seine Arbeit ist.
Nach dem MIT trug Tso bei Intels Architecture Lab zu Daten-Synchronisationsalgorithmen für BlackBerry bei und entwickelte Spezifikationen für Nokia, die die Klingelton-Download-Industrie katalysierten. Anschließend trat er Inktomi bei, einem Startup, das von MIT-Alumnus Eric Brewer mitbegründet wurde und Pionierarbeit bei der Suche und Web-Content-Verteilung leistete. Im Jahr 2001 war Tso Mitbegründer von Gemini Mobile Technologies, die einige der weltweit größten mobilen Nachrichtensysteme aufbauten, um das explosive Datenwachstum von Kamerahandys zu verwalten.
Als Tso Ende der 2000er Jahre feststellte, dass die Datengenerierung die Netzwerkgeschwindigkeiten übertraf, erkannte er, dass eine grundlegende Veränderung erforderlich war. Er kam zu dem Schluss, dass „Daten ihre eigene Schwerkraft haben“, was es unpraktisch und kostspielig macht, sie ständig in zentralisierte Cloud-Systeme zu verschieben. Diese Erkenntnis führte zur Umstellung auf ein verteiltes Cloud-Modell, bei dem die Rechenleistung näher an die Daten herangeführt wird, anstatt umgekehrt. Cloudian wurde 2012 offiziell aus Gemini Mobile Technologies ausgegliedert und konzentrierte sich zunächst auf skalierbaren, verteilten, Cloud-kompatiblen Datenspeicher, obwohl Tso zugibt, dass sie KI anfangs nicht als den ultimativen Anwendungsfall für Edge-Daten vorsahen.
Tso sieht frappierende Parallelen zwischen seiner frühen Forschung am MIT und den aktuellen Bestrebungen von Cloudian. Er weist darauf hin, dass die Herausforderungen getrennter Netzwerke, die er mit David Clark erforschte, heute integraler Bestandteil jedes Edge-Computing-Szenarios sind. Ähnlich ist Professor Dallys Arbeit an schnellen, skalierbaren Verbindungen in der modernen NVIDIA-Chiparchitektur offensichtlich, während seine Zusammenarbeit mit Professor Papadopoulos zur Beschleunigung von Anwendungssoftware mit paralleler Computing-Hardware ohne umfangreiche Neuschreibung die Bemühungen von Cloudian direkt beeinflusst, den Datenfluss für NVIDIA GPUs zu optimieren.
Cloudians Plattform nutzt eine Objektspeicherarchitektur, bei der alle Arten von Daten – von Dokumenten bis hin zu Sensorablesungen – als eindeutige Objekte mit Metadaten gespeichert werden. Diese Flat-File-Struktur ist äußerst effektiv für die Verwaltung der massiven, unstrukturierten Datensätze, die in KI-Anwendungen vorherrschen. Historisch gesehen hatte der Objektspeicher jedoch Einschränkungen bei der direkten Bereitstellung von Daten für KI-Modelle, was oft erforderte, dass Daten in den Computerspeicher kopiert wurden, was zu Latenz und Energieineffizienzen führte.
In einem bedeutenden Fortschritt im Juli dieses Jahres kündigte Cloudian eine Erweiterung seines Objektspeichersystems an: eine Vektordatenbank. Diese Innovation ermöglicht es, Daten in einem Format zu speichern, das sofort von KI-Modellen verwendet werden kann. Wenn Daten aufgenommen werden, berechnet Cloudian ihre Vektorform in Echtzeit und speist damit KI-Tools wie Empfehlungs-Engines, Suchfunktionen und KI-Assistenten. Das Unternehmen enthüllte auch eine strategische Partnerschaft mit NVIDIA, die es seinem Speichersystem ermöglicht, direkt mit NVIDIAs GPUs zusammenzuarbeiten, was schnellere KI-Operationen und reduzierte Rechenkosten verspricht. Tso bemerkt, dass NVIDIA die Zusammenarbeit initiierte und erkannte, dass GPUs eine konstante, Hochgeschwindigkeitsdatenversorgung benötigen, um effizient zu arbeiten. Diese Partnerschaft unterstreicht das wachsende Verständnis, dass es effizienter ist, die KI-Verarbeitung zu den Daten zu bringen, anstatt kolossale Datensätze zu verschieben. Cloudians Systeme betten viele KI-Funktionen ein, was die Datenvor- und -nachbereitung in der Nähe des Ortes ermöglicht, an dem die Daten gesammelt und gespeichert werden.
Cloudian unterstützt derzeit weltweit rund 1.000 Unternehmen dabei, einen größeren Wert aus ihren Daten zu ziehen. Der vielfältige Kundenstamm umfasst große Hersteller, Finanzdienstleister, Gesundheitsorganisationen und Regierungsbehörden. Beispielsweise nutzt ein großer Automobilhersteller die Plattform von Cloudian mit KI, um Wartungsbedürfnisse für seine Fertigungsroboter vorherzusagen. Cloudian unterstützt auch kritische Initiativen wie die Speicherung von Forschungsartikeln und Patenten für die National Library of Medicine sowie DNA-Sequenzen von Tumoren für die National Cancer Database – reichhaltige Datensätze, die KI-Modelle verarbeiten können, um die medizinische Forschung und Entdeckung zu beschleunigen.
Tso betont die transformative Wirkung von GPUs, die traditionelle Rechenwachstumsraten durch Parallelisierung von Operationen und die Ermöglichung von vernetzten Konfigurationen gesprengt haben. Diese beispiellose Skalierung treibt die KI zu neuen Intelligenzstufen. Um diese Leistung jedoch voll ausschöpfen zu können, müssen GPUs Daten mit der gleichen Geschwindigkeit erhalten, mit der sie rechnen. Tso schließt, dass der einzige Weg, dies zu erreichen, darin besteht, „alle Schichten zwischen ihnen und Ihren Daten zu entfernen“, ein Prinzip, das das Herzstück von Cloudians Innovation bildet.