长按二维码,关注官方公众号
云原生+AI：打造大模型工程化落地最佳实践
〇 分享简介 〇
随着人工智能领域的迅速发展，AI 模型开发、部署越来越多采用云原生技术，AI 模型的运行稳定性、推理性能和部署效率日益成为影响其在实际应用中价值的关键因素。
企业使用云原生技术解决 AI 模型的部署和运行时问题，成为了 AI 模型在生产落地的重要挑战。通过提升 AI 模型推理的性能、易用性和稳定性，均可以更大程度释放 AI 模型对企业的价值。
本次分享火山引擎通过云原生技术解决 AI 模型运行稳定性、推理性能和部署效率问题，重点分享 GPU 检测自愈、推理性能测试和性能优化、应用托管等技术和产品，为企业解决系统性的云原生 AI 技术方案。
〇 分享收益 〇
目标
1、了解云原生 AI 的挑战和解决方案，提升 AI 模型在生产环境中的价值和影响力。
2、系统性分享云原生 AI 面对的挑战，推动 AI 与云原生技术深度结合。
3、结合存储访问加速、推理性能测试和优化技术，提升模型推理性能。
成功要点
1通过 GPU 检测自愈，可及时发现和隔离 GPU 故障，提升模型运行时稳定性。
2基于云原生应用交付平台，企业应用的开箱 AI 应用接入、配置管理、应用发布等一站式能力，可大大提升模型部署效率。
启示：
以行业最佳实践和创新技术，让企业在 AI 模型运行稳定性、推理性能和部署效率中，得到质的提升。
〇 分享亮点 〇
1、AI 模型运行稳定性、推理性能和部署效率的挑战
2、GPU 故障场景、模型推理和部署流程分析
3、云原生 AI 解决方案
4、QA
火山引擎容器服务工程师，火山引擎容器服务 TL，负责应用小组，在 Kubernetes、Serverlesss 和稳定性保障方面有较为丰富的研发经验。曾在阿里云从 0 到 1 搭建起面向应用的 Serverless 产品 Infra，负责 Infra 的技术性先进性和稳定性。多次在 kubecon 等大会作为讲师分享云原生相关的技术，专注于云原生 AI 领域技术和产品化。
