CloudianのAI対応ストレージがデータ需要の課題を解決

人工知能は、企業がデータを管理しアクセスする方法を急速に変革しており、従来のストレージシステムにおける重大な限界を露呈しています。限られた数のユーザーからのより単純でシーケンシャルなコマンド向けに設計されたこれらの古いアーキテクチャは、数百万のエージェントによる膨大なデータセットへの継続的かつ並列なアクセスを要求する現代のAIのペースに追いつくのに苦労しています。レガシーシステムの固有の複雑さと多層構造はボトルネックを生み出し、AI計算を支える強力なグラフィックス処理ユニット（GPU）への重要なデータフローを遅らせています。

この課題に対処するため、MITの卒業生であるMichael TsoとHiroshi Ohtaが共同設立したCloudianは、AI時代のために特別に設計されたスケーラブルなストレージソリューションを開発しました。彼らのシステムは、データストレージに直接並列コンピューティングを適用することで、ストレージとAIモデル間のデータフローを合理化します。この革新的なアプローチは、AI機能とデータを単一のプラットフォームに統合し、ストレージとGPUおよびCPU間の直接的な高速転送を可能にすることで、AIパフォーマンスを妨げる複雑さとレイテンシを低減します。

Cloudianの統合ストレージ・コンピューティングプラットフォームは、商用規模のAIツールの開発を簡素化し、AIの指数関数的な成長をサポートできる堅牢なデータ基盤を企業に提供します。Michael TsoはAIの進歩におけるデータの根本的な役割を強調しています。「人々がAIについて見落としていることの一つは、それがすべてデータに関するものだということです。データを10%増やしたり、10倍増やしたりしても、AIのパフォーマンスを10%向上させることはできません。1,000倍のデータが必要です。」彼は、大量のデータを移動させる必要をなくし、データが到着したときに計算を埋め込んで実行できるように、データを簡単に管理できる方法で保存するという業界の変化を強調しています。

TsoがCloudianを共同設立するまでの道のりは、MITでの彼の基礎的な仕事に深く根ざしています。1990年代の学部生時代、彼はWilliam Dally教授とGreg Papadopoulos准教授の下で並列コンピューティングに没頭しました。計算のパイオニアであるDavid Clarkとの大学院での研究は、大規模分散システムにおける切断型および間欠型ネットワーク操作に焦点を当てており、Tsoは今日でもこの概念が彼の仕事の中心であると述べています。

MIT卒業後、TsoはIntelのアーキテクチャラボでBlackBerryのデータ同期アルゴリズムに貢献し、Nokia向けに、着信音ダウンロード業界を活性化させる仕様を開発しました。その後、彼はMITの卒業生であるEric Brewerが共同設立したスタートアップInktomiに加わりました。この会社は検索とウェブコンテンツ配信のパイオニアでした。2001年、TsoはGemini Mobile Technologiesを共同設立し、カメラ付き携帯電話からの爆発的なデータ増加を管理するために、世界最大規模のモバイルメッセージングシステムを構築しました。

2000年代後半にデータ生成がネットワーク速度を上回っていることを観察したTsoは、根本的な変化が必要であると認識しました。彼は「データにはそれ自身の重力がある」と結論付け、データを常に集中型クラウドシステムに移動させることは非現実的で費用がかかることを示唆しました。この洞察は、コンピューティング能力をデータに近づける分散型クラウドモデルへの転換につながりました。Cloudianは2012年にGemini Mobile Technologiesから正式に立ち上げられ、当初はスケーラブルで分散型のクラウド互換データストレージに焦点を当てていましたが、Tsoは当初、AIがエッジデータの究極のユースケースになるとは予見していなかったと認めています。

Tsoは、MITでの初期の研究とCloudianの現在の取り組みとの間に驚くべき類似点を見出しています。彼は、David Clarkと探求した切断型ネットワークの課題が、今やすべてのエッジコンピューティングシナリオに不可欠であると指摘しています。同様に、Dally教授の高速でスケーラブルな相互接続に関する研究は、現代のNVIDIAチップアーキテクチャに明確に表れており、Papadopoulos教授との、広範な書き換えなしに並列コンピューティングハードウェアでアプリケーションソフトウェアを高速化する共同研究は、NVIDIA GPUのデータフローを最適化するCloudianの取り組みに直接役立っています。

Cloudianのプラットフォームは、オブジェクトストレージアーキテクチャを活用しており、文書からセンサーの読み取り値まで、あらゆる種類のデータがメタデータを持つユニークなオブジェクトとして保存されます。このフラットファイル構造は、AIアプリケーションで普及している大量の非構造化データセットを管理するのに非常に効果的です。しかし、これまでオブジェクトストレージは、AIモデルに直接データを供給する際に制限があり、データをコンピューターのメモリにコピーする必要があることが多く、これによりレイテンシとエネルギーの非効率性が発生していました。

今年7月の重要な進展として、Cloudianはオブジェクトストレージシステムにベクトルデータベースを拡張することを発表しました。この革新により、データがAIモデルによってすぐに利用できる形式で保存できるようになります。データが取り込まれると、Cloudianはリアルタイムでそのベクトル形式を計算し、レコメンダーエンジン、検索機能、AIアシスタントなどのAIツールを強化します。同社はまた、NVIDIAとの戦略的パートナーシップを発表し、そのストレージシステムがNVIDIAのGPUと直接連携できるようにすることで、より高速なAI操作とコンピューティングコストの削減を約束しています。Tsoは、GPUが効率的に動作するために constantで高速なデータ供給を必要とすることを認識したNVIDIAが、この協業を開始したと述べています。このパートナーシップは、膨大なデータセットを移動させるよりも、AI処理をデータに近づける方が効率的であるという理解が広まっていることを強調しています。Cloudianのシステムには多くのAI機能が組み込まれており、データが収集および保存される場所の近くでデータの事前処理および事後処理を行うことができます。

Cloudianは現在、世界中の約1,000社がデータからより大きな価値を引き出すのを支援しています。その多様な顧客ベースには、大手メーカー、金融サービスプロバイダー、医療機関、政府機関が含まれます。例えば、ある大手自動車メーカーは、CloudianのプラットフォームとAIを活用して、製造ロボットのメンテナンスニーズを予測しています。Cloudianはまた、国立医学図書館の研究論文や特許の保存、国立がんデータベースのがんのDNA配列の保存など、重要なイニシアチブを支援しています。これらは、AIモデルが処理して医療研究と発見を加速できる豊富なデータセットです。

Tsoは、GPUの変革的な影響を強調しています。GPUは、操作を並列化し、ネットワーク構成を可能にすることで、従来のコンピューティング成長率を打ち破りました。この前例のない規模が、AIを新たなインテリジェンスレベルに押し上げています。しかし、この力を最大限に活用するには、GPUは計算するのと同じ速度でデータを供給される必要があります。Tsoは、これを達成する唯一の方法は「GPUとデータの間にあるすべての層を取り除くこと」であると結論付けており、これはCloudianのイノベーションの核心にある原則です。