小型AIモデルHRM、推論でChatGPTを100倍凌駕

シンガポールを拠点とするSapient Intelligenceによって開発された新しい人工知能モデルは、AI開発における「大きいほど良い」という従来の哲学に挑戦しています。階層的推論モデル（Hierarchical Reasoning Model, HRM）と名付けられたこの革新的なモデルは、人間の脳のアーキテクチャから着想を得ており、驚くべき効率で複雑な推論問題を解決します。

多くの現代の大規模言語モデルが、しばしば「浅い」アーキテクチャと段階的な思考の連鎖（Chain-of-Thought, CoT）プロンプトに依存するのに対し、HRMは階層的な構造を採用しています。研究者たちは、CoTメソッドは単一のステップがうまくいかないと失敗しやすいと指摘しています。対照的に、HRMは脳のアプローチを模倣し、2つの明確で相互接続されたモジュールを使用します。1つは、ゆっくりとした戦略的思考を行う高レベルの「プランナー」（チェスの駒の動きを計画するのに似ている）で、もう1つは、迅速な計算を実行する低レベルの「ワーカー」（瞬時の顔認識など）です。この設計により、HRMは一度に複雑な問題を深く処理し、限られた数の例から推論を学習することができ、膨大なデータセットでの広範な事前学習を必要としません。

わずか2700万パラメータという驚くほど小さなサイズにもかかわらず、HRMは様々なベンチマークで優れた推論能力を示しています。AIのIQテストと見なされることが多いARC-AGIベンチマークでは、HRMは40.3%のスコアを達成し、OpenAIのo3-mini-high（34.5%）やClaude 3.7（21.2%）を大幅に上回りました。モデルのパフォーマンスは、専門的なタスクでさらに顕著でした。Sudoku-Extremeパズルの55%を成功裏に解決し、30x30の迷路の74.5%で最適なパスを見つけました。一方、Claude 3.7とo3-mini-highは両方で0%でした。HRMの効率性を理解するために、元のGPT-1モデルは1億1700万パラメータを特徴とし、HRMの4倍以上のサイズでした。HRMの作成者の一人であるGuan Wangは、そのリーンな設計を強調し、プロレベルの数独をわずか2 GPU時間で解くように訓練できると述べました。

HRMの成功がもたらす影響は甚大です。これは、アーキテクチャの革新がAIに大きな進歩をもたらし、大規模な計算リソースへの依存を減らす可能性があることを示唆しています。これにより、AIの展開がより手頃になり、高度なモデルが単一のGPUで効率的に実行できるようになり、トレーニング時間が月単位ではなく時間単位で劇的に短縮される可能性があります。さらに、HRMの設計は、法外な費用がかかるコンピューティングインフラを必要とせずに推論能力を向上させることを約束します。モデルのコードもオープンソースであり、より広いアクセスとさらなる開発を促進します。

一部の懐疑論者はHRMの現在のスキルが専門的すぎるかもしれないと主張していますが、その初期のパフォーマンスはAI研究にとって有望な方向性を示しています。この脳にヒントを得たアプローチは、Sakanaの連続思考マシン、1ビットLLM（bitnets）、Googleが積極的に実験している拡散モデルなど、代替AIアーキテクチャを探求する幅広いトレンドの一部です。これらの新興アーキテクチャは、現在は初期段階にありますが、高度なAIが大規模なデータセンターに限定されず、ローカルマシンで効率的に動作し、強力な人工知能へのアクセスを民主化する未来を示唆しています。