Google AI、データ抽出用オープンソースPythonライブラリ「LangExtract」を発表

データ中心の世界がますます進む中で、貴重な洞察は、臨床記録、広範な法的契約、顧客からのフィードバックなど、非構造化テキスト文書の中に頻繁に埋め込まれています。これらの多様な情報源から意味のある検証可能な情報を抽出することは、重大な技術的および実用的な課題を提示します。

この課題に対処するため、Google AIは、非構造化テキストから構造化データを自動的に抽出するように設計されたオープンソースのPythonライブラリ「LangExtract」をリリースしました。Geminiのような大規模言語モデル（LLM）を活用することで、LangExtractはその抽出プロセスにおける追跡可能性と透明性を優先しています。

LangExtract の主な機能

LangExtractは、その有用性と信頼性を高めるいくつかの主要な革新を導入しています。

• 宣言的かつ追跡可能な抽出： このライブラリを使用すると、ユーザーは自然言語の指示と高品質な「few-shot」例を使用して、カスタム抽出タスクを定義できます。これにより、開発者やアナリストは、抽出したいエンティティ、関係、または事実、およびその望ましい出力構造を正確に指定できます。重要な機能は、抽出された情報のすべての部分が元のソーステキストに直接リンクされていることであり、検証、監査、およびエンドツーエンドの追跡可能性を容易にします。

• LLMによるスキーマ強制： Geminiを搭載し、他のLLMとも互換性のあるLangExtractは、JSONなどのカスタム出力スキーマを強制します。これにより、抽出された結果が正確であるだけでなく、下流のデータベース、分析ツール、またはAIパイプラインで即座に利用できることが保証されます。このライブラリは、ユーザーの指示と実際のソーステキストの両方に出力を基づかせることで、幻覚やスキーマドリフトなどの一般的なLLMの弱点を軽減します。

• ドメインの多様性： LangExtractは、幅広い現実世界のドメインでの実用的なアプリケーションのために設計されています。その機能は、医療（例：臨床記録、医療レポート）、金融（例：要約、リスク文書）、法律（例：契約）、研究文献、さらには人文科学（例：文学作品の分析）にまで及びます。初期のユースケースには、臨床文書からの医薬品、投与量、投与詳細の自動抽出、および演劇や文学からの関係や感情の抽出が含まれます。

• スケーラビリティと可視化： このライブラリは、大量のテキストを効率的に処理するように設計されています。長いドキュメントは、チャンクに分割し、並列処理し、結果を集約することで処理します。レビューと分析のために、LangExtractはインタラクティブなHTMLレポートを生成でき、開発者は元のドキュメントコンテキスト内で各抽出エンティティを視覚化し、関連するテキストが強調表示されます。この機能により、監査とエラー分析が効率化され、Google ColabやJupyterなどの環境とスムーズに統合されます。

実用的な実装と応用

LangExtractはpipを介して簡単にインストールできます。そのワークフローには、プロンプトの定義、高品質な例の提供、新しいテキストでの抽出の実行、そして結果の保存と可視化が含まれます。出力は構造化され、ソースにアンカーされたJSONデータで構成され、簡単なレビューのためのインタラクティブなHTMLビジュアライゼーションによって補完されます。

このライブラリは、特殊なアプリケーションにおいて大きな利点を提供します。

• 医療： 医薬品、投与量、タイミングなどの重要な医療情報を抽出し、臨床または放射線レポートのソース文に直接リンクできます。この機能は、医療データの明確さと相互運用性の向上をサポートします。RadExtractと呼ばれるデモンストレーションは、特に放射線レポートを構造化する能力を示し、元の入力における抽出情報の正確な場所を強調しています。

• 金融と法律： LangExtractは、密度の高い法的または財務文書から関連する条項、条件、またはリスクの抽出を自動化し、すべての出力がソーステキスト内の特定のコンテキストに追跡できることを保証します。

• 研究とデータマイニング： このライブラリは、科学論文の大規模なコレクションからの高スループットデータ抽出を効率化し、研究ワークフローを加速します。

比較優位性

従来のデータ抽出方法と比較して、LangExtractは明確な利点を提供します。

• スキーマの一貫性： 従来のアプローチはスキーマの一貫性のために手動またはエラーが発生しやすい方法に依存することが多いですが、LangExtractは指示とfew-shot例によってそれを強制します。
• 結果の追跡可能性： LangExtractは、抽出されたすべての出力を入力テキストに本質的にリンクします。これは、従来のシステムでは最小限であるか、存在しない機能です。
• 長文の処理： ウィンドウ化された、潜在的に損失のある従来のメソッドとは異なり、LangExtractはチャンキング、並列抽出、および集約によって長文ドキュメントを効率的に処理します。
• 可視化： 内蔵のインタラクティブなHTMLレポートを提供します。これは、他のアプローチでは通常存在しないか、カスタム開発を必要とする機能です。
• デプロイメント： LangExtractはGeminiを主要モデルとして設計されていますが、他のLLMやオンプレミスデプロイメントにも対応しており、厳格なモデル固有のソリューションよりも高い柔軟性を提供します。

要約すると、LangExtractは非構造化テキストから構造化された実用的なデータを抽出する上で重要な進歩を表しています。宣言的で説明可能な抽出、ソースコンテキストに裏打ちされた追跡可能な結果、迅速な反復のための即時可視化、および既存のPythonワークフローへの簡単な統合を提供します。