亚马逊宣布推出预览版 Amazon Bedrock 模型蒸馏功能,该功能通过从称为教师模型的大型基础模型 (FM) 生成响应,并使用生成的响应微调称为学生模型的较小型 FM,从而自动创建针对特定用例的蒸馏模型。它使用数据合成技术来改进教师模型的响应。然后,Amazon Bedrock 托管最终的蒸馏模型以进行推理,从而为您的用例提供一个更快、更具成本效益且精度接近教师模型的模型。我对这项新功能印象非常深刻。我认为它对于希望使用生成式 AI 模型但又担心延迟和成本的客户非常有帮助。通过将大型模型蒸馏成较小型模型,客户可以在保持精度的同时降低延迟和成本。我认为这项功能将改变生成式 AI 领域的格局。
使用 Amazon Bedrock 模型蒸馏构建更快、更具成本效益、高度精确的模型(预览版)
AWS