Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities
标记化溢价的衡量:服务不足语言社区的成本审计
AI总结 本研究通过构建标记化公平审计(TEA)基准,测量了孟加拉语、印地语等5种语言的标记化溢价,发现标记化会给服务不足语言社区带来经济和功能障碍,凸显需重视标记化的公平性。
Comments Accepted at IJCAI 2026 Workshop (https://lm4uc.github.io/)