Amazon Web Services (AWS) 宣布在 Amazon SageMaker HyperPod 中支持 Amazon Elastic Kubernetes Service (EKS)，这是一种专为基础模型 (FM) 开发而构建的、以弹性为核心的专用基础设施。这项新功能使客户能够使用 EKS 编排 HyperPod 集群，从而将 Kubernetes 的强大功能与 Amazon SageMaker HyperPod 为训练大型模型而设计的弹性环境结合在一起。Amazon SageMaker HyperPod 帮助跨数千个 AI 加速器高效扩展，从而将训练时间缩短多达 40%。
我特别感兴趣的是，这种集成如何应对当今许多组织面临的一项关键挑战：大规模训练基础模型。训练过程通常是资源密集型且耗时的，需要专门的基础设施。通过将 Amazon EKS 与 SageMaker HyperPod 集成，AWS 提供了一种强大且可扩展的解决方案，该解决方案可以显著缩短训练时间，同时提供 Kubernetes 的灵活性和管理功能。
这种集成的一项主要优势是增强了弹性。通过深度运行状况检查、自动节点恢复和作业自动恢复功能，SageMaker HyperPod 确保了大规模和/或长时间运行的作业的不间断训练。可以使用为 Kubernetes 环境设计的可选 HyperPod CLI 简化作业管理，但客户也可以使用自己的 CLI 工具。与 Amazon CloudWatch Container Insights 的集成提供了高级可观察性，从而可以更深入地了解集群性能、运行状况和利用率。
此外，这种集成还为资源利用提供了更大的灵活性。数据科学家可以在训练和推理任务之间高效地共享计算能力。他们可以使用现有的 Amazon EKS 集群，也可以创建新的集群并将其附加到 HyperPod 计算，并使用自己的工具进行作业提交、排队和监控。
总的来说，Amazon SageMaker HyperPod 中的 Amazon EKS 支持代表着基础模型开发的重大进步。通过将 Kubernetes 的强大功能与 SageMaker HyperPod 的弹性环境相结合，AWS 提供了一种强大且高效的解决方案，可以帮助组织加速其 AI 工作。
