模型推理部署架构
从模型版本、运行时封装到服务发布、流量治理与观测形成闭环
模型仓库
版本、权重、配置
运行时封装
镜像、框架、依赖
推理服务
弹性扩缩容、批处理
网关与流量
路由、灰度、限流
观测与治理
延迟、吞吐、成本、安全、审计