RAGは死んだ：AIシステムではコンテキストエンジニアリングが支配する

急速に進化する人工知能の分野は、ChromaのCEOであるジェフ・フーバー氏が最近のLatent.Spaceインタビューで「RAGは死んだ、コンテキストエンジニアリングが王である」と題して発表したように、大きなパラダイムシフトを目の当たりにしています。この大胆な宣言は、単なるRetrieval Augmented Generation（RAG）を超え、AIシステムを駆動する情報の管理に対するより洗練されたアプローチへの移行を示しています。議論では、2025年のベクトルデータベースの真の重要性、現代のAI検索の独自の要求、そしてコンテキスト理解の成長に合わせて適応する堅牢なシステムを構築するための戦略に焦点を当てています。

一般的な読者向けに説明すると、Retrieval Augmented Generation（RAG）は、大規模言語モデル（LLM）を強化するための重要な技術として登場しました。膨大ながら静的なデータセットで訓練された従来のLLMは、最新の、ドメイン固有の、または正確な情報を提供することに苦労し、時には事実を「幻覚」してしまうことさえありました。RAGは、LLMがまず外部知識ベース（ドキュメント、データベース、ウェブなど）から関連情報を検索し、その新しいデータを使用して応答を補強することで、この問題に対処しました。このプロセスは、不正確さを減らし、モデルの継続的な再訓練の必要性をなくすことを目的としており、LLMが情報源を引用し、より根拠に基づいた回答を提供できるようにしました。

しかし、AIアプリケーションが単純なチャットボットから複雑な多ターンエージェントへと成熟するにつれて、RAGの限界が明らかになってきました。RAGは精度を向上させましたが、幻覚に対する銀の弾丸ではありませんでした。LLMは依然として検索された情報を誤解したり、誤解を招く方法で組み合わせたりする可能性があったからです。さらに、RAGシステムは、大規模なデータセットにおける微妙な違いを区別すること、曖昧な意味を処理すること、そして決定的に、LLMの固定された「コンテキストウィンドウ」の制限内で動作することに課題を抱えていました。ジェフ・フーバー氏は、単にLLMのコンテキストウィンドウに多くのデータを詰め込むことが、実際にはその推論能力と関連情報を見つける能力を低下させる可能性があると指摘しており、Chromaの研究はこの現象を「コンテキストの腐敗」と呼んでいます。

ここで「コンテキストエンジニアリング」が主役となります。「プロンプトエンジニアリング」がAIモデルのための完璧な単一の指示を作成することに焦点を当てるのに対し、コンテキストエンジニアリングは、AIモデルが応答を生成する前に参照するすべての情報を設計・管理する体系的な規律です。これには、システム指示、会話履歴、ユーザー設定、動的に検索された外部ドキュメント、さらには利用可能なツールを組み合わせることが含まれます。フーバー氏は、今日の高度なAIエージェントの成功または失敗が、そのコンテキストの品質にますます左右されると主張しており、ほとんどのエージェントの失敗は、モデル固有の欠陥ではなく「コンテキストの失敗」であるとしています。コンテキストエンジニアリングの目標は正確です。LLMにとって関連する情報を見つけ、削除し、最適化し、必要なときに必要なものを正確に受け取るようにすることです。これには、「収集」（可能な限りすべての関連情報を広範囲に収集することで想起率を最大化する）と「抽出」（再ランキングと無関係なデータの削除により精度を最大化する）の2段階のプロセスが伴います。

現代のAI検索とコンテキストエンジニアリングの中心にあるのがベクトルデータベースです。これらの特殊なデータベースは、テキスト、画像、音声などの非構造化データの数値表現、つまり「埋め込み」を保存およびインデックス化します。厳密な一致に依存する従来のデータベースとは異なり、ベクトルデータベースは非常に効率的な「類似性検索」を可能にし、AIシステムが意味とコンテキストを理解できるようにします。ジェフ・フーバー氏が共同設立したChromaは、AIアプリケーションのために特別に構築された主要なオープンソースベクトルデータベースです。フーバー氏は、Chromaが開発者体験を簡素化し、単一ノードのベクトルデータベースのスケーリングによく関連する「運用上の地獄」を克服する、スケーラブルでネイティブに分散されたソリューションを提供することにコミットしていることを強調しています。

「RAGは死んだ」から「コンテキストエンジニアリングが王である」への転換は、AI開発の成熟を意味します。これは、単にデータを検索するだけでは不十分であり、インテリジェンスは、そのデータがAIにどのようにキュレーションされ、構造化され、提示されるかにかかっていることを認識しています。AIのための現代の検索は、もはやキーワードを見つけるだけでなく、ニュアンスのある意図とコンテキストを理解することであり、これはベクトルデータベースとコンテキストエンジニアリングの原則の洗練された相互作用によって可能になる能力です。AIシステムが複雑なワークフローに不可欠になるにつれて、コンテキストウィンドウの制限を尊重し、ハイブリッド検索を採用し、厳密な再ランキングを行うことで、コンテキストが成長しても「腐敗」しないシステムを出荷する能力が、次世代の堅牢で信頼性の高いAIを定義するでしょう。