同一句话，用英语向AI提问和用阿姆哈拉语提问，价格能差出6倍；放到近200种语言的尺度上，最极端的差距达到17倍。研究联盟CLEAR近日发布的《分词器税》报告，用FLORES-200基准（同一批句子被专业翻译成约200种语言）系统测量了各大实验室模型的分词器，发现按token计费的商业模式，正在让低资源语言用户系统性多付钱。
分词器是大模型阅读文字的第一步：它把文本切成token，服务商按token数量收费。问题在于，分词器主要在英语等高资源语言上训练，对数字化存在感弱的语言只能把词切得更碎。以GPT-5的分词器为例，同一句「人们应当从AI中受益，不论他们说什么语言」，英语需要13个token，马拉雅拉姆语需要26个，阿姆哈拉语则高达78个——字符数相近，账单完全不同。
前20种语言之外，差距陡然放大
报告用「最贵语言与最便宜语言的token数之比」作为核心指标。结果显示，按全球网络存在感排名的前20种语言其实相对公平，各模型的比值多在1.5到3.1倍之间；但把范围扩大到全部约200种语言，差距迅速失控：表现最好的通用模型家族比值约5.1倍，多数前沿模型超过12倍，最差的达到17倍。按CLEAR的评级，没有任何一款通用前沿模型能拿到B级以上，多数直接不及格。
形成对照的是Meta的翻译专用模型NLLB-200：它的分词器从设计之初就为200种语言服务，比值只有2.7倍。这说明差距不是技术上不可避免，而是设计优先级问题——词表预算花在哪里，分词器就对谁友好。
新版模型，未必更公平
更值得注意的是退步现象：有国产模型的新一代版本比值从10.5倍恶化到13.1倍，比上一代更不公平，而由于没有公开的记分牌，这类退步很难被用户察觉。词表大小同样不能解释一切：有的模型词表更小，多语言公平性反而更好，关键仍在训练数据的构成与设计取向。
分词器税的影响不止账单。token被切得越碎，同样的付费上下文窗口能装下的有效内容越少，响应延迟也更高，等于低资源语言用户在成本、速度、能力三个维度同时吃亏。随着AI服务向全球纵深普及，这个藏在计费规则底层的变量，可能会成为下一轮模型竞争与监管讨论的议题。
报告还排除了「某些语言天生更啰嗦」的解释：以字符数计，最冗长的语言也只比英语长42%，远不足以解释6倍乃至17倍的token差距。换一个口径看，GPT-5在78%的语言上能把消耗控制在最优语言的2倍以内，是主流模型中覆盖面最好的；而在最差语言上要付出多少代价，各家差距依然悬殊。CLEAR据此呼吁，把分词公平性纳入模型发布的常规披露。