Google Cloud 发布了一篇博文，解释了如何使用 GPU 在 Cloud Run 上部署 Meta Llama 3.2-1B-Instruct 模型。这篇文章提供了有关如何利用 Cloud Run GPU 部署开源大型语言模型 (LLM) 的分步说明。该文章还介绍了使用文本生成推理 (TGI) Docker 映像进行本地模型测试以简化开发流程的最佳实践，从而简化故障排除并提高生产力。借助 Cloud Run GPU，开发者可以受益于他们喜爱的 Cloud Run CPU 和内存的按需可用性和轻松扩展性，以及 NVIDIA GPU 的额外功能。当您的应用程序空闲时，配备 GPU 的实例会自动缩减为零，从而优化您的成本。该文章还提供了有关如何使用 Cloud Storage FUSE 改善冷启动的技巧。Cloud Storage FUSE 允许开发者将 Google Cloud Storage 存储桶挂载为文件系统，从而显着减少冷启动时间。