两年前,绝大多数人还不知道词元(Token)是什么。如今,它已悄然成为全球人工智能(AI)产业最基本的计价单位。这个从技术术语中走出来的概念,没有经过公众讨论,没有经过社会准备,就突然地摆在每一个使用大语言模型的人面前。

词元是大语言模型处理文本的最小单元。一段文字被模型拆解成若干个小段,每个小段就是一个词元。一个英文单词可能对应一个或多个词元,一个汉字通常对应一到两个词元。真正让词元从实验室走进公共视野的,是它成为AI服务的主流计价方式。OpenAI的GPT-4o每百万输入词元收费2.5美元(约3.2新元),每百万输出词元收费10美元。无形的智能能力,正在被量化为词元的流通。

理解词元,是理解当前AI产业变革的起点。因为它改变的不仅仅是计价方式,而是整个商业模式的基础逻辑。在此之前,AI服务要么以项目制打包报价,要么以订阅制按人头收费,服务质量与成本之间缺乏透明的对应关系。词元计价打破这种黑箱,让算力消耗、模型能力与商业成本之间,建立精确的映射。这也解释为什么中国日均词元调用量,可以在一年多时间内,从1000亿增长到140万亿,以及为什么单词元推理成本累计下降超过99%后,全球总调用量反而爆发式增长。