Google AI 发布 LangExtract：开源 Python 库，赋能非结构化数据高效提取

在一个日益以数据为中心的世界中，有价值的洞察常常隐藏在非结构化文本文档中，例如临床笔记、冗长的法律合同或客户反馈。从这些多样化的来源中提取有意义且可验证的信息，带来了重大的技术和实践挑战。

为解决这一问题，谷歌AI发布了LangExtract，这是一个开源Python库，旨在自动化从非结构化文本中提取结构化数据的过程。LangExtract利用Gemini等大型语言模型（LLM），在其提取过程中优先考虑可追溯性和透明度。

LangExtract 的关键能力

LangExtract引入了几项核心创新，增强了其实用性和可靠性：

• 声明式和可追溯的提取： 该库允许用户使用自然语言指令和高质量的“少样本”示例来定义自定义提取任务。这使得开发人员和分析师能够精确指定他们希望提取的实体、关系或事实及其所需的输出结构。一个关键特性是，每条提取到的信息都直接链接回其原始源文本，从而便于验证、审计和端到端的可追溯性。

• LLM支持下的模式强制执行： LangExtract由Gemini提供支持并兼容其他LLM，可以强制执行自定义输出模式，例如JSON。这确保了提取结果不仅准确，而且可以立即用于下游数据库、分析工具或AI管道。该库通过将输出基于用户指令和实际源文本，从而缓解了LLM常见的弱点，如幻觉和模式漂移。

• 领域多功能性： LangExtract专为广泛的实际应用领域而设计。其能力延伸到医疗保健（例如，临床笔记、医疗报告）、金融（例如，摘要、风险文件）、法律（例如，合同）、研究文献，甚至人文学科（例如，分析文学作品）。最初的用例包括从临床文档中自动提取药物、剂量和给药细节，以及从戏剧或文学作品中提取关系和情感。

• 可扩展性和可视化： 该库旨在高效处理大量文本。它通过将长文档分块、并行处理，然后聚合结果来处理。为了审查和分析，LangExtract可以生成交互式HTML报告，允许开发人员在原始文档上下文中可视化每个提取的实体，并高亮显示相关文本。此功能简化了审计和错误分析，并与Google Colab和Jupyter等环境无缝集成。

实际实施和应用

LangExtract可以通过pip轻松安装。其工作流程包括定义提示、提供高质量示例、在新文本上执行提取，然后保存和可视化结果。输出包括结构化的、源锚定的JSON数据，并辅以交互式HTML可视化，以便于审查。

该库在专业应用中提供了显著的优势：

• 医疗保健： 它可以提取关键的医疗信息，如药物、剂量和时间，并将它们直接链接到临床或放射学报告中的源句子。这种能力支持提高医疗数据的清晰度和互操作性。一个名为RadExtract的演示专门展示了其构建放射学报告的能力，突出了原始输入中提取信息的精确位置。

• 金融和法律： LangExtract自动化从密集的法律或金融文档中提取相关条款、条件或风险，确保每个输出都可以追溯到源文本中的特定上下文。

• 研究和数据挖掘： 该库简化了从大量科学论文中进行高通量数据提取，加速了研究工作流程。

比较优势

与传统数据提取方法相比，LangExtract具有明显的优势：

• 模式一致性： 传统方法通常依赖手动或易出错的方法来保持模式一致性，而LangExtract通过指令和少样本示例强制执行此操作。
• 结果可追溯性： LangExtract固有地将所有提取的输出链接回输入文本，这是传统系统中通常很少或没有的功能。
• 处理长文本： 与可能存在信息丢失的窗口化传统方法不同，LangExtract通过分块、并行提取和聚合来高效处理长文档。
• 可视化： 它提供内置的交互式HTML报告，这是其他方法中通常缺失或需要自定义开发的功能。
• 部署： LangExtract以Gemini作为主要模型进行设计，但仍对其他LLM和本地部署开放，比僵化的、特定于模型的解决方案提供了更大的灵活性。

总而言之，LangExtract代表了从非结构化文本中提取结构化、可操作数据方面的重大进步。它提供了声明式和可解释的提取、由源上下文支持的可追溯结果、用于快速迭代的即时可视化，以及与现有Python工作流的轻松集成。