🤖 AI总结
主题
AI模型对不同语言的分词效率差异导致使用代表性不足语言的用户支付更高费用。
摘要
AI分词器对非英语语言效率低，导致用户成本更高，加剧数字不平等。
关键信息
- 1 小众语言处理同一提示词所需Token数量是英语的1.5到5倍，部分模型差异达17倍。
- 2 按Token计费导致非英语用户成本更高，响应时间更长，上下文窗口信息量更少。
- 3 研究人员称之为隐藏的“分词器税”，警告将加剧数字不平等，影响数亿人口。
一项新研究显示，AI模型在处理某些语言时所需的Token数量远超其他语言。这种差异意味着使用代表性不足语言的用户可能为同等服务支付更高费用，相关情况由Rest of World报道。
该研究由语言公平联盟（Coalition for Language Equity in AI Research）开展。研究人员解释，大语言模型的分词器会将文本拆分为多个区块（即Token），但对于拥有丰富数字化数据的语言，这一过程的优化程度要高得多。研究发现，在网络数据量最大的20种语言中，较为小众的语言处理同一提示词所需的Token数量是英语的1.5到5倍。当研究范围扩大到200种语言时，部分模型的差异甚至达到17倍之多。
由于大多数大语言模型提供商按Token用量计费，这意味着用户将承担远高于预期的成本。此外，Token数量增加还会导致响应时间变长，并挤占AI模型上下文窗口中可容纳的信息量。
研究人员将这种现象称为隐藏的”分词器税”，并警告这将加剧数字不平等。
研究人员指出，这种差异并不仅限于使用人数较少的语言。”如果按使用人数而非网络存在度来排序，这种’税收’将影响到庞大的人口群体：旁遮普语（约2亿使用者）、孟加拉语（约2.66亿）、乌尔都语（约2.88亿）、缅甸语（约3600万）、阿姆哈拉语（约3600万）。这意味着数亿人为获得与英语用户同等的智能服务，却要支付数倍于英语费率的费用，”该研究写道。
使用非常见文字系统的语言受影响尤为严重，例如缅甸语、藏语、高棉语和老挝语。相比之下，使用拉丁字母的语言即便使用人数相对较少，往往也能占据优势。
本文最初发表于Computer Sweden。
相关阅读：首席信息官们正应对全球化生成式AI模型表现不佳的难题
© 版权声明
文章版权归作者所有，未经允许请勿转载。
