Incremental BPE Tokenization
增量式 BPE 分词
机构 * Beihang University（北京航空航天大学） ； SenseTime Research（商汤科技研究院）
AI总结 提出一种增量式 BPE 分词算法，以 O(log² t) 时间处理每个字节，总复杂度 O(n log² t)，支持流式场景，相比 Hugging Face 和 OpenAI 的实现速度提升约 3 倍并降低延迟。
Comments Accepted to ICML 2026 (Spotlight)
