LangSmithのAlign Evals：LLM評価を人間の好みに校正

大規模言語モデル（LLM）アプリケーション開発の進化する状況において、正確で信頼性の高い評価は極めて重要です。開発者はアプリケーションを頻繁に反復し、プロンプトを洗練し、ロジックを更新し、またはアーキテクチャを変更します。評価は、出力を採点し、これらの変更の影響を測定するための重要なツールとして機能します。しかし、開発チームが指摘する根強い課題は、自動評価スコアと人間の判断との間に顕著な不一致があることです。この不一致は、信頼できない比較や誤った開発努力につながる可能性があります。

この問題に対処するため、LangSmithはAlign Evalsを導入しました。これは、LLMをジャッジとして機能させる評価器を人間の好みに合わせてより良く調整するために設計された新機能です。この革新は、効果的なLLMベースの評価システムを構築するための洞察からインスピレーションを得ています。Align Evalsは現在、すべてのLangSmith Cloudユーザーが利用可能であり、セルフホスト版は今週後半にリリースされる予定です。

従来、LLMをジャッジとして機能させる評価器の洗練は、ある程度の当て推量に頼ることが多かったです。評価器の動作におけるパターンや矛盾を特定し、プロンプトの変更後にスコアがなぜ変化するのかを正確に理解することは、複雑な作業でした。新しいLLMジャッジアライメント機能は、開発者に反復と分析のための強化されたツールを提供することで、このプロセスを効率化することを目指します。

Align Evalsの主な機能には以下が含まれます：

• インタラクティブなプロンプトの反復： プレイグラウンドのようなインターフェースにより、開発者は評価器のプロンプトを洗練し、「アライメントスコア」を即座に確認できます。これは、LLMの評価が人間のベンチマークとどれだけ密接に一致しているかを示します。

• サイドバイサイド比較： この機能により、人間が採点したデータとLLMが生成したスコアを直接比較できます。このビューは、LLMの判断が人間の期待と大きく異なる「アライメントされていない」ケースを迅速に特定するためにソートできます。

• ベースライン追跡： 開発者はベースラインのアライメントスコアを保存でき、最新のプロンプト変更と以前のバージョンとの明確な比較を容易にします。

Align Evals内のアライメントプロセスは、構造化された4段階のワークフローに従います：

1. 評価基準の定義： 最初のステップは、アプリケーションの望ましいパフォーマンスを反映する正確な評価基準を確立することです。たとえば、チャットアプリケーションでは、技術的には正確だが冗長すぎる応答がユーザーにとって不満である可能性があることを認識し、正確性と簡潔性を含む基準が挙げられます。

2. 人間によるレビューデータのキュレーション： 開発者は、アプリケーションの出力から代表的な一連の例を選択し、人間によるレビューを行います。このデータセットは、アプリケーションが生成する可能性のある出力の全範囲を適切にカバーするために、高品質および最適でない応答の両方を含むさまざまなシナリオを網羅する必要があります。

3. ゴールデンセットスコアの確立： 定義された各評価基準について、人間のレビュー担当者がキュレーションされた例に手動でスコアを割り当てます。これらの人間が割り当てたスコアは「ゴールデンセット」を形成し、LLM評価器のパフォーマンスを測定するベンチマークとして機能します。

4. 評価器プロンプトの反復とアライメント： LLM評価器の初期プロンプトが作成されます。このプロンプトは、人間が採点した例に対してテストされます。アライメント結果はフィードバックを提供し、反復的な洗練プロセスをガイドします。たとえば、LLMが特定応答に常に過剰なスコアを付ける場合、より明確な否定的基準を含めるようにプロンプトを調整できます。この反復的なアプローチは、評価器のアライメントスコアを向上させるために不可欠です。

今後、LangSmithは評価機能をさらに強化する予定です。将来の開発には、評価器のパフォーマンスを時系列で追跡するための分析ツールが含まれると予想され、その進化に関するより深い洞察を提供します。さらに、プラットフォームは自動プロンプト最適化の導入を目指しており、システムがプロンプトのバリエーションを生成してアライメントをさらに向上させることができます。