推理工作负载

将实时数据输入经过训练的AI模型，以生成预测、决策或响应的过程。

推理工作负载代表了人工智能的运营阶段，即预训练的机器学习模型被部署到生产环境中，处理实时、真实的输入并生成预测、决策或响应。与训练阶段不同——训练阶段涉及将海量数据集馈入高性能处理器集群以构建模型的智能——推理则是将这种智能主动应用于新数据的过程。 投资者关注推理工作负载，是因为它们代表着人工智能从资本密集型研发阶段向商业化、创收型公用事业的转变。虽然模型训练需要在硬件上进行大规模前期资本支出（capex），但推理工作负载会随着实际用户采用而扩展，并产生经常性运营支出（opex）和软件收入。因此，托管或驱动推理工作负载的公司往往享有更可预测的长期需求。 在分析AI价值链中的公司时，需求从以训练为主转向以推理为主，可能预示着市场成熟。高推理需求表明终端用户应用正在获得 traction，利好云服务提供商、软件即服务（SaaS）供应商和专业芯片制造商。然而，投资者的一个关键陷阱是忽视大规模运行推理工作负载的高运营成本，如果公司无法优化其硬件效率或模型规模，这可能会压缩毛利率。

一家软件公司部署了一个客服AI模型。使用历史聊天记录训练该模型的一次性费用为$500,000。上线后，该模型每月处理1,000,000次客户查询，每次查询需要消耗$0.002的云计算资源来生成回复。持续推理工作负载成本计算为：1,000,000次查询 × $0.002 = 每月$2,000。