推理服务GPU调度怎么做，和训练任务调度有明显差异。训练任务通常关注吞吐、队列和长时间资源占用，推理服务则更关注请求延迟、并发、弹性伸缩、显存复用和成本稳定性。如果仍然按训练任务的方式管理推理服务，很容易出现低峰浪费、高峰扩容慢、模型副本分布不均和成本无法解释的问题。
这篇文章会把问题放在企业平台和生产环境中讨论，而不是只停留在单个命令或单项配置。你可以把它和模型推理、模型部署、GPU调度配合阅读，先建立整体判断，再回到具体场景设计实施步骤。
本文适用范围
本文讨论在线推理服务的GPU调度，包括模型副本如何放置、如何按负载扩缩容、如何复用显存、如何控制成本以及如何保证基础SLA。离线批量推理和大规模训练可以参考GPU任务队列和训练平台调度方法。
推理服务和训练任务的差异
推理服务通常请求持续到达，需要稳定响应时间和可预测成本；训练任务更像批处理，占用资源时间长但对单次请求延迟不敏感。因此推理调度需要结合网关、模型服务框架、监控指标和自动伸缩策略。
模型副本与GPU放置策略
推理服务通常通过多副本提升吞吐和可用性。调度平台需要根据模型大小、显存占用、请求量、卡型和节点健康状态决定副本放置。大模型可能需要独占整卡，小模型可以共享GPU或使用MIG切分。
弹性伸缩怎么做
GPU推理弹性伸缩不能只看CPU指标。更有价值的指标包括请求队列长度、P95延迟、GPU利用率、显存使用率、批处理等待时间和错误率。扩容要考虑镜像拉取、模型加载和预热时间，否则高峰到来时扩容可能来不及。
显存复用与成本优化
推理成本往往受显存占用影响。平台需要识别模型常驻显存、批大小、并发数和副本数量之间的关系。对于小模型，可以考虑共享GPU；对于大模型，要避免多个副本挤占显存导致频繁OOM。
治理建议
建议把推理服务纳入统一GPU调度平台，但策略上与训练队列分开。训练关注队列和吞吐，推理关注SLA、弹性和成本。平台应允许不同服务定义不同优先级、资源上限和扩缩容策略。
常见问题
推理服务一定要独占GPU吗？
不一定。大模型或强SLA服务适合独占，小模型、低并发或测试环境可以共享GPU或使用MIG。
推理服务扩容为什么慢？
常见原因包括镜像拉取慢、模型加载慢、权重文件大、节点资源碎片和冷启动预热不足。
GPU推理成本怎么优化？
可以从副本数量、批处理、显存复用、弹性缩容、模型量化和资源池分级几个方向优化。
训练和推理能共用一个GPU池吗？
可以，但需要队列、优先级和资源边界。生产推理服务通常应有更明确的保障资源。
小结
推理服务GPU调度怎么做的关键，不是把某个功能单独做出来，而是把规则、流程、指标和复盘机制连接起来。对平台团队来说，先明确边界和目标，再逐步自动化，通常比一次性追求复杂能力更稳妥。后续也可以回到相关标签页继续查找更多文章，形成从概念、实践到选型的完整路径。
