Deep Cogito v2：オープンソースAIが推論能力を磨き、効率を向上

Deep Cogitoは、自身の推論能力を向上させるために設計された新しいオープンソースAIモデルのコレクションである「Cogito v2」のリリースを発表しました。オープンソースライセンスの下で利用可能なこのラインアップには、4つのハイブリッド推論AIモデルが含まれています。これらは、700億と1090億パラメータの中型バージョン2つ、および4050億と6710億パラメータの大型モデル2つです。

その中で最大の、6710億パラメータの専門家混合（MoE）モデルは、現在利用可能な最も強力なオープンソースAIの一つとしてすでに認識されています。Deep Cogitoは、このフラッグシップモデルがDeepSeekの最新製品と効果的に競合し、O3やClaude 4 Opusのような高度なプロプライエタリシステムとの性能差を縮めていると主張しています。

しかし、Cogito v2の重要な進歩は、単にそのサイズや生来の能力だけではなく、AIの学習方法における根本的な変化にあります。Cogito v2は、推論中に答えを見つけるために「思考」時間を単純に延長するのではなく、自身の推論プロセスを内部化するように設計されています。

この内部化された推論は、「反復蒸留と増幅（IDA）」と呼ばれる技術を通じて達成されます。IDAは、探索プロセス中に発見された内容をモデルのコアパラメータに蒸留して戻すことによって機能します。目的は、より強力な「直感」を培い、モデルが完全な探索シーケンスを実行することなく、自身の推論結果を予測できるようにすることです。

正しいアプローチに対するこの洗練された「直感」により、オープンソースAIモデルは、DeepSeek R1のような競合他社のものよりも推論チェーンを60%短縮できると報告されており、効率が大幅に向上しています。

この効率は開発コストにも及びます。Deep Cogitoは、初期の実験から最終的なトレーニングまで、すべてのモデルを開発するための総支出が350万ドル未満であったと述べています。これはかなりの額ですが、多くの主要なAI研究機関が通常行う莫大な投資と比較すると、著しく控えめな数字です。

6710億パラメータのフラッグシップモデルは、トレーニング中に特に注目されました。その開発は、最終的な回答の正確性を向上させるだけでなく、思考プロセス自体を洗練することにも焦点を当てました。このアプローチは、モデルが解決策へのより直接的な道を追求することを奨励し、「回り道」や非効率な推論を抑制します。性能データは、この方法の有効性を示しており、Deep CogitoのオープンソースAIは、主要なベンチマークで最新のDeepSeekバージョンと同等またはそれ以上であり、プロプライエタリな代替品とも密接に競合しています。

この開発で最も驚くべき成果の一つは、モデルが画像について推論する創発的な能力です。これは、明示的に訓練されたことのないスキルです。Deep Cogitoチームは、彼らのオープンソースAIモデルがアヒルとライオンの2つの画像を比較する例を提供しました。モデルは、純粋に転移学習を通じて、それらの生息地、色、構成に関する深い推論プロセスを示しました。Deep Cogitoは、この予期せぬ特性が、将来のマルチモーダル推論システムのためのトレーニングデータをブートストラップする強力な方法を提供できると考えています。

今後、Deep Cogitoチームは、超知能の継続的な追求において、反復的な自己改善から得られた成果をさらに発展させる計画です。彼らは、作成するすべてのAIモデルがオープンソースであり続けるというコミットメントを改めて表明しました。