Token 与分词器详解：大模型文字如何压缩

这套教程讲什么

讲大模型里最基础也最易被忽略的 Token 与 Tokenizer，解释为什么 40 万上下文窗口不等于 40 万字，演示文字如何被转成数字，并展示 BPE 算法合并字符的训练过程。偏基础原理讲解，适合想弄清计费与长度限制的观众。

你会学到什么

• 说明上下文窗口按 Token 计而非汉字数
• 演示 Tokenizer 把文字转成数字的过程
• 逐步展示 BPE 合并字符的训练思路

适合谁

适合刚开始用大模型、对计费、字数限制和中文占多少 Token 有疑问的开发者与内容创作者。

学习建议

看完可以拿一段中英文混排的文本去实际数一次 Token，对比两者差异，对理解上下文成本与接口计费会直观很多。

常见问题

为什么中文和英文占用的 Token 数不一样？

分词器按训练时统计出的常见片段来切分，英文里高频词往往整词就是一个 Token，而中文常被拆成更细的字或字节片段，同样一句话会用掉更多 Token。这也是接口按 Token 计费时中文更费的原因。

BPE 算法大致是怎么工作的？

它从字符级开始，反复统计相邻片段出现频率，把最高频的一对合并成新单元并加入词表，直到达到设定规模。这样既控制了词表大小，又能用较少 Token 表示常见词，是很多主流分词器背后的基础思路。