在查看AI服务说明、价格表或相关新闻时，“Token”一词经常出现。例如，最近的新闻报道中提到：
在日本国家OpenAI发布的GPT-5.6版本中，三种模型的价格均以每百万Token计费，其中“Sol”模型输入费用为5美元，输出费用为30美元；“Terra”模型输入2.5美元，输出15美元；“Luna”模型输入1美元，输出6美元。
在日本国家Claude平台的文档中，也提到了不同模型的上下文窗口大小和最大输出Token数，例如“Claude Fable 5”支持1百万Token的上下文窗口，最大输出128千Token。
这些描述中频繁出现“百万（1M）Token”、“最大128K Token”等表达，那么，Token到底是什么？
AI将文本拆分为“Token”进行处理
Token是AI处理文本时划分的基本单位。
正如之前介绍的大规模语言模型（LLM）中提到的，生成型AI并非直接以“意义”理解文本，而是先将文本拆分成Token，将每个Token转换为数值，并基于这些数值关系预测下一个可能出现的Token，反复进行这一过程来生成文本。
需要注意的是，Token并非简单的字符数或单词数。例如，日语句子“私は車を使います”（我使用汽车）对人类来说是8个字符，但AI内部可能将其拆分为“私”“は”“車”“を”“使い”“ます”这样的单位（具体拆分方式依赖于模型和分词器）。
此外，日语中的“こんにちは”有时是一个Token，有时会拆分成多个Token；英语中常见单词通常是一个Token，而罕见或较长的单词可能被拆成多个Token。因此，Token数与表面字符数并不完全一致。
Token数影响费用和AI可处理文本长度
当输入长文本、生成长回答或进行长对话时，AI需要处理更多的Token。
输入文本越长，输入Token数越多；生成回答越长，输出Token数越多。对人类来说可能只是“稍长的文本”，但对AI来说可能是大量Token的处理任务。
因此，Token数直接关系到AI的计费和一次能处理的文本量。前文提到的“每百万Token价格”、“上下文窗口1M Token”、“最大输出128K Token”等，都是衡量AI处理能力和成本的指标。
百万Token在日语中相当于非常长的文本，可能相当于几本文库本的内容。但由于Token不是简单的字符数，具体数量会因文本类型和模型而异。
了解Token有助于理解AI的限制
Token虽然是AI内部的专业术语，但它是决定AI一次能读多少文本、能生成多长回答、处理成本多少的重要实际单位。
了解Token后，可以更清楚地理解“这款AI能处理多长文本”、“为什么输入长文本费用更高”、“为何长对话中AI似乎忘记之前内容”等限制。
有效使用AI时，不仅要关注提问内容，还要考虑让AI读取多少文本、生成多长回答。Token就是衡量这些的关键单位。
