Google Cloud 宣布将 Document AI 的 Layout Parser 与 BigQuery 集成，从而简化了开发人员创建强大的 RAG 流水线的工作。通过利用 ML.PROCESS_DOCUMENT 和其他 BigQuery 机器学习函数，您可以在 BigQuery 中使用 SQL 简化文档预处理、生成嵌入和执行语义搜索。这种集成尤其令人兴奋，因为它解决了 RAG 流水线中的一个关键挑战：解析财务报表等复杂文档。通过将文档分块成更小、语义相关的单元，Layout Parser 可以提高检索信息的关联性，从而从大型语言模型 (LLM) 获得更准确的答案。此外，能够生成文档来源、块位置和结构信息等元数据以及块，可以增强 RAG 流水线，使您能够过滤、优化搜索结果和调试代码。解决 RAG 流水线中复杂文档处理的问题是朝着使 RAG 技术更易于访问和扩展迈出的一大步。