大模型显存构成
AI基础设施 · Kubernetes · GPU调度 · 平台治理
权重
策略 · 指标 · 责任人
KV Cache
策略 · 指标 · 责任人
激活值
策略 · 指标 · 责任人
并发批次
策略 · 指标 · 责任人
框架开销
策略 · 指标 · 责任人