模型训练与模型推理对比
训练负责让模型学会能力，推理负责把模型能力用于实际请求
模型训练
• 输入：训练数据、标注数据
• 过程：学习参数、调优模型
• 资源：通常消耗大量 GPU
• 目标：获得可用模型版本
• 关注：准确率、成本、训练效率
模型推理
• 输入：用户请求、业务数据
• 过程：调用模型生成结果
• 资源：关注低延迟和高并发
• 目标：稳定服务线上业务
• 关注：响应时间、吞吐、稳定性
模型产物