Token
/ˈtoʊkən/词元跟读一遍
掏·肯
点「跟读」听中文慢速念法——记住这一串,开口不慌。
AI 眼里的最小文字块,按它计费、也按它限制记忆长度。
人话解释
大模型不直接认字,会先把句子切成小块,每一块就是一个 token:可能是半个英文单词、一个汉字或一个标点。切完后每个 token 变成一串数字进入模型。你使用 AI 的费用按 token 计价,单次对话能承载多少 token 决定了它的「记性」。所以贴的资料越长、聊的时间越久,花掉的钱和占掉的记忆也就越多。
例你发一条 30 字的朋友圈,AI 眼里不是一句话,而是几十个小 token 方块排队入场——它按块收费,也按块记事。