オープンソースAIは計算コストが高い？隠れた費用を新研究が指摘

新しい包括的な研究は、オープンソースAIモデルがプロプライエタリなモデルに比べて明確な経済的優位性を提供するという一般的な信念に重大な課題を突きつけました。AI企業Nous Researchが実施した調査によると、オープンソースモデルは同一タスクの実行により多くの計算リソースを消費することが示されており、これによりそのトークンあたりのコスト優位性が打ち消され、企業のAI導入戦略の見直しが必要となる可能性があります。

この研究は、基本的な知識問題、数学的問題、論理パズルを含む様々なタスクにわたる19種類のAIモデルを分析し、オープンウェイトモデルがOpenAIやAnthropicのような開発者のクローズドモデルよりも1.5倍から4倍多くのトークン（AI計算の基本単位）を使用していることを発見しました。この差は単純な知識クエリで特に顕著であり、一部のオープンモデルは最大で10倍のトークンを消費しました。研究者たちは報告書で、オープンソースモデルは通常、トークンあたりの実行コストが低いことを誇るものの、「与えられた問題について推論するためにより多くのトークンを必要とする場合、この利点は容易に相殺される」可能性があり、クエリあたりのコストが高くなる可能性があると述べました。

調査された主要な指標の一つは「トークン効率」でした。これは、モデルがそのソリューションの複雑さに対してどれだけの計算単位を使用するかを測定するものです。この指標は、コストに大きな影響を与えるにもかかわらず、これまで体系的な研究がほとんど行われていませんでした。この非効率性は、複雑な問題に対処するために拡張された「思考の連鎖」（段階的な推論プロセス）を採用する大規模推論モデル（LRM）で特に顕著です。これらのモデルは、驚くべきことに、「オーストラリアの首都はどこか？」といった最小限の計算で済むはずの単純な質問について熟考するのに、数百、あるいは数千のトークンを費やすことがあります。

この研究は、モデルプロバイダー間の効率に顕著な違いがあることを明らかにしました。OpenAIのモデル、特にo4-miniや新しくリリースされたオープンソースのgpt-ossバリアントは、数学的問題において特に優れたトークン効率を示し、他の商用モデルよりも最大で3分の1のトークンしか使用しませんでした。オープンソースの選択肢の中では、Nvidiaのllama-3.3-nemotron-super-49b-v1がすべての領域で最もトークン効率の高いモデルとして浮上しましたが、Magistralのような企業からの新しいモデルは、例外的に高いトークン使用量を示し、際立っていました。オープンモデルは数学や論理の問題で約2倍のトークンを使用しましたが、広範な推論が不要な単純な知識質問では、その差は劇的に広がりました。

これらの発見は、使用量に応じて計算コストが急速に上昇する企業のAI導入に即座に、かつ重大な影響を与えます。AIモデルを評価する企業は、精度ベンチマークとトークンあたりの価格を優先することが多く、実際のタスクに必要な総計算要件を見落としがちです。研究は、「全体的な推論コストを分析する際、クローズドウェイトモデルのより優れたトークン効率は、しばしばそれらのモデルのより高いAPI価格を補償する」と結論付けました。これは、プロプライエタリモデルのプロバイダーが効率のために積極的にオプティマイズを行い、推論コストを削減するためにトークン使用量を繰り返し減らしてきたことを示唆しています。逆に、一部のオープンソースモデルは新しいバージョンでトークン使用量が増加しており、これは計算の節約よりも優れた推論性能を優先している可能性を反映しているかもしれません。

多様なモデルアーキテクチャ間で効率を測定することは、特に多くのクローズドソースモデルがその生の推論プロセスを開示しないため、独特の課題を提示しました。これを回避するため、研究者たちは「完了トークン」（各クエリに対して請求される総計算単位）を推論努力の代理として使用しました。彼らは、最新のクローズドソースモデルのほとんどが、内部計算の圧縮された要約を提供しており、多くの場合、より小さな言語モデルを使用して複雑な思考の連鎖を転写し、それによって独自の技術を保護していることを発見しました。この研究の方法論には、記憶されたソリューションの影響を最小限に抑えるために、数学競技問題の変数を変更するなど、既知の問題の修正版を用いたテストも含まれていました。

今後、研究者たちは、将来のモデル開発において、精度と並んでトークン効率が主要な最適化目標となることを提唱しています。彼らは、「より高密度化されたCoT」がより効率的なコンテキスト使用を可能にし、困難な推論タスク中のコンテキスト劣化に対抗できると示唆しています。OpenAIのオープンソースgpt-ossモデルの登場は、最先端の効率性と自由にアクセス可能な思考の連鎖を組み合わせたものであり、他のオープンソースモデルを最適化するための重要な参照点として機能する可能性があります。AI業界がより強力な推論能力へと競争する中、この研究は、真の競争が単に最もスマートなAIを構築する者ではなく、最も効率的なAIを構築する者にあるかもしれないと強調しています。結局のところ、すべてのトークンが重要となるエコシステムでは、知的能力がいかに優れていようとも、最も無駄の多いモデルは最終的に市場から排除される可能性があります。