使用 Vertex AI 嵌入和任务类型增强您的生成式 AI 用例

Google Cloud 在 Vertex AI 中发布了全新的文本嵌入模型 "text-embedding-004" 和 "text-multilingual-embedding-002"，它们能够根据“任务类型”生成优化后的嵌入。这对于检索增强生成 (RAG) 应用来说是一项重大进展。

传统的语义相似性搜索在 RAG 中往往难以提供准确的结果，因为问题和答案本质上是不同的。例如，“为什么天空是蓝色的？”和它的答案“阳光的散射导致了蓝色”具有不同的含义。

“任务类型”通过使模型能够理解查询与其答案之间的关系来弥补这一差距。通过为查询文本指定“QUESTION_ANSWERING”，为答案文本指定“RETRIEVAL_DOCUMENT”，模型可以在嵌入空间中将嵌入彼此靠近放置，从而获得更准确的搜索结果。

这些新模型利用了“LLM 蒸馏”，即从大型语言模型 (LLM) 训练较小的模型。这使得嵌入模型能够继承 LLM 的一些推理能力，从而在降低延迟和成本的同时提高搜索质量。

总之，Vertex AI Embeddings 中的“任务类型”是朝着提高 RAG 系统的准确性和效率迈出的重要一步。通过简化语义搜索，此功能使开发人员能够构建更智能、更具语言感知能力的应用程序。