Inference
/ˈɪnfərəns/推理跟读一遍
因·弗·仁斯
点「跟读」听中文慢速念法——记住这一串,开口不慌。
模型训练完毕后上线答题的过程,你每次提问都是一次推理。
人话解释
训练是把海量文本喂给模型、让它练出语感的过程;推理(Inference)则是练成之后正式上岗答题的阶段。你现在向任何一个 AI 提问,触发的都是一次推理。推理速度决定回答弹出来有多快,推理成本决定你每次调用花多少钱——这正是各家拼命比拼算力优化的主战场。同一份模型,推理优化做得好不好,速度和费用能差出好几倍。
例上学时刷题归纳方法是「训练」,考场上现场作答就是「推理」——你每次跟 AI 对话,都是它的考试现场。