Structured Token Retention and Computational Memory Paths in Large Language Models
提出结构化令牌保留与计算记忆路径,通过概率选择和分层内存分配优化长序列处理,提高令牌存活率、降低计算开销,并适用于生成与长上下文建模。
2025-03-25 cs.CL
When Every Token Counts: Optimal Segmentation for Low-Resource Language Models
Sprinklr AI
针对低资源语言模型分词问题,本文通过实验证明最优BPE配置相比贪心分词能显著减少词元数量并提升性能,尤其在小型模型上效果明显,为多语言和低资源NLP应用提供了优化方向。
2025-05-01 cs.AI cs.CL cs.LG
Frustratingly Short Attention Spans in Neural Language Modeling
University College London(伦敦大学学院)
神经语言模型使用即时标记历史的潜在表示来预测下一个标记。最近,已经提出了在可微记忆上用注意力机制增强神经语言模型的各种方法。为了预测下一个令牌,这些模型从最近历史的记忆中查询信息,这可以促进学习中长期依赖性。然而,在记忆增强神经语言模型中使用的常规注意力机制在每个时间步产生单个输出向量。该向量既用于预测下一个令牌,也用于令牌历史的可微存储器的键和值。在本文中,我们提出了一个神经语言模型的关键值注意力机制,输出单独的表示的关键和值的微分记忆,以及编码的下一个词的分布。该模型在两个语料库上的性能优于现有的记忆增强神经语言模型。然而,我们发现我们的方法主要利用了五个最近的输出表示的记忆。这导致了一个意想不到的主要发现,即一个简单得多的模型,只基于前一个时间步的最近输出表示的串联,与更复杂的记忆增强神经语言模型不相上下。
2017-02-15 cs.AI cs.CL cs.LG
Scaling Transformer to 1M tokens and beyond with RMT
MIPT(莫斯科物理技术学院);AIRI(人工智能研究所);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究提出循环记忆增强方法(RMT),使预训练Transformer在计算量线性扩展下处理长达两百万token的输入,提升语言建模困惑度,增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG
Language models are better than humans at next-token prediction
Redwood Research(红杉研究机构);METR(METR机构);FAR AI(FAR AI机构)
针对语言模型在下一词元预测任务上与人类的表现对比尚不明确的问题,研究者通过测量top-1准确率和困惑度的两项实验,证实即便是小型语言模型GPT3-Ada的表现也始终优于人类。
2024-07-15 cs.AI cs.CL cs.LG
T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
Aleph Alpha;Technical University Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出 T-FREE,利用字符三元组稀疏激活直接嵌入单词,无需参考语料库,可将嵌入与输出头层参数削减逾 85%,并提升跨语言迁移性能。
2025-01-07 cs.AI cs.CL cs.LG
MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens
Evermind;Shanda Group(盛大集团);Peking University(北京大学)
本文提出MSA,一种高效的端到端可训练内存模型框架,通过可扩展稀疏注意力和文档级RoPE实现线性复杂度,支持从16K到100M标记的扩展,同时保持稳定性,且在100M标记推理中实现2xA800 GPU的高效处理。
2026-04-13 cs.AI cs.CL cs.IR
MoNe: Modular Neural Memory for Efficient Long Context Inference
Qualcomm AI Research(高通人工智能研究部门);Qualcomm Technologies, Inc(高通技术公司)
研究提出MoNe,一种可附加到冻结预训练Transformer的轻量级模块化神经记忆,通过两阶段设计实现高效长上下文推理,在128K令牌场景下较ICL降低约80%计算与内存开销,泛化性能优于ICL。
2026-08-19 cs.AI cs.CL cs.LG
Adapting Language Models via Token Translation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
针对固定词元化器在目标域上压缩和语义对齐不佳的问题,提出S2T2方法,通过定制目标词元化器并学习词元翻译,提升域外序列的困惑度和压缩率,且可低成本迁移至大模型。
2024-11-05 cs.AI cs.CL cs.LG
Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens
Tel Aviv University(特拉维夫大学)
标准的预训练语言模型对子字标记序列进行操作,而不直接存取组成每个标记的字符串表示的字符。我们探测了预训练的语言模型的嵌入层,并表明模型在令人惊讶的程度上学习了整个单词和子单词标记的内部字符组成,而从未看到与标记相结合的字符。我们的研究结果表明,RoBERTa的嵌入层拥有足够的信息,可以准确拼写多达三分之一的词汇,并在所有标记类型上达到高平均字符ngram重叠。我们进一步测试了用额外的字符信息丰富子词模型是否可以改善语言建模,并观察到这种方法具有与没有基于拼写的丰富训练几乎相同的学习曲线。总的来说,我们的研究结果表明,语言建模目标激励模型隐式地学习一些拼写的概念,而明确地教模型如何拼写似乎并不能提高其在这些任务上的表现。
2022-06-08 cs.AI cs.CL cs.LG
Understanding and Mitigating Tokenization Bias in Language Models
University of Toronto(多伦多大学);Meta AI
本文揭示最大前缀编码和字节对编码会给语言模型带来无法靠更多训练或数据消除的采样偏差,并提出无需微调即可获得无偏估计的新算法,从而从分词模型中模拟无 token 行为并准确恢复转移概率。
2024-07-05 cs.AI cs.CL cs.LG
MoME: Mixture-of-Memory Embeddings for Context-Aware Sparse Lookup
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所)
本文提出MoME,一种上下文感知的混合记忆嵌入机制,通过门控选择多槽位以区分多义令牌,在多个主干网络上优于基线,并展现出语义可解释性。
2026-09-15 cs.AI cs.CL
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
Corbenic AI(科尔贝尼克人工智能公司)
该研究提出galahad-kv内存层,将KV状态存于加密NVMe磁盘,在5000万token测试中,加载速度是重算的2.8-4.3倍,能耗降8.8-12.3倍,12B和31B模型对久远事实准确率达82%、98%。
2026-10-09 cs.AI cs.CL cs.DC
Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams
研究针对上下文工程中以令牌计量信息的问题,基于特定机制开发按新颖性分配的缓存作为工作记忆组件,依任务对过去的依赖组织上下文,通过实验验证该方法在不同场景下的有效性及优势,可实现可审计的上下文管理。
2026-07-14 cs.AI cs.CL cs.IR
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
AIRI;Skoltech(斯科尔泰克理工学院);HSE University(高等经济大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文提出量化LLM上下文编码的方法,发现标点等次要标记承载高上下文信息,移除会降低性能,并推出开源工具包LLM-Microscope以评估非线性、记忆和表征维度。
2026-09-15 cs.AI cs.CL
Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs
University of Alberta(阿尔伯塔大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出LIGHT框架,通过增强LLM的三种记忆系统,提升其在长对话任务中的表现,实验显示平均提升3.5%-12.69%。
2026-02-21 cs.AI cs.CL cs.IR
Rethinking Token Prediction: Tree-Structured Diffusion Language Model
本文提出树结构扩散语言模型,通过利用标记间的内在结构,减少参数和内存使用,实现在有限资源下提升性能。
2026-04-04 cs.CL cs.LG
LeMo: Enabling LEss Token Involvement for MOre Context Fine-tuning
Tsinghua University(清华大学);HUST(华中科技大学);Microsoft Research(微软研究院)
针对长上下文LLM微调中激活值内存占用高的问题,提出基于上下文Token稀疏性的LeMo微调系统,通过三项关键技术在保精度的同时显著降内存提速度,性能优于现有最优系统。
2025-01-15 cs.AI cs.CL
PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation
Fujitsu Limited(富士通株式会社);RIKEN Center for AIP(理化学研究所先进信息研究中心);Institute of Science Tokyo(东京科学研究所);Tokai University(立命馆大学)
PHOTON 提出了一种分层自回归模型,通过垂直多分辨率上下文扫描提高语言生成的吞吐量与内存效率。
2026-01-08 cs.AI cs.CL cs.DC
Fast-weight Product Key Memory
Sakana AI
FwPKM是一种稀疏快速权重内存层,通过稀疏梯度下降实现高效存储与检索,有效降低困惑度并提升长上下文处理能力。
2026-02-22 cs.AI cs.CL
Expansion Span: Combining Fading Memory and Retrieval in Hybrid State Space Models
AWS AI Labs(AWS人工智能实验室)
提出扩展跨度机制,通过保留注意力上下文检索遥远标记,扩展混合状态空间模型的记忆跨度,并引入HyLoRA微调方法,实现高效长序列适应。
2025-05-25 cs.CL cs.LG
Tokka-Bench: Evaluating Tokenizers Across 100 Natural and 20 Programming Languages
本文提出Tokka-Bench,一个跨100种自然语言和20种编程语言的多指标分词器评估框架,比较七种BPE分词器,发现词汇分配策略比词汇量更关键,且编程语言效率已趋同。
2026-10-08 cs.AI cs.CL
PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory
该研究提出PI-Mem并行迭代记忆机制,在360万 tokens长上下文下,使Qwen系列模型在HotpotQA基准上较循环记忆基线实现准确率提升与推理加速,打破长上下文推理的准确率-效率权衡。
2026-08-05 cs.AI cs.CL
RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory
提出RCR-Router框架,通过角色感知动态选择记忆子集并遵循token预算,在多跳QA基准上降低30%token消耗并保持答案质量。
2026-11-03 cs.AI cs.CL cs.MA
Zero-Mem: Zero-Token Memory Operations for LLM Agents
Zero-Mem提出零令牌内存操作,以原始交互轨迹为记录来源,通过实体-上下文图与时间层次结构组织信息,仅在最终问答时调用LLM,在长记忆问答基准中实现性能与效率的平衡,降低内存操作时间成本57.6%。
2026-08-03 cs.CL
Learning When to Attend: Conditional Memory Access for Long-Context LLMs
Department of Electrical and Computer Engineering, Purdue University, USA(电子工程系,普渡大学,美国)
本文提出L2A方法,通过条件性长程记忆访问提升长上下文LLM性能,使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K,同时提升训练效率并减少内存消耗。
2026-07-07 cs.CL cs.LG
TokMem: One-Token Procedural Memory for Large Language Models
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(计算科学系及阿尔伯塔机器智能研究所(Amii),阿尔伯塔大学)
TokMem通过单个可训练令牌实现程序性记忆,提升大型语言模型在任务回忆和多步函数调用中的性能,同时减少训练参数和上下文开销。
2026-03-08 cs.CL
Tik-to-Tok: Translating Language Models One Token at a Time: An Embedding Initialization Strategy for Efficient Language Adaptation
Ghent University(根特大学);imec(imec 微电子研究中心);KU Leuven(鲁汶大学)
针对中低资源语言预训练数据不足的问题,提出基于一对多词元映射的嵌入初始化模型转换策略,将高资源单语模型适配到目标语言,在荷兰语、弗里斯兰语下游任务上取得SOTA,降低训练的数据与时间成本。
2023-10-05 cs.AI cs.CL
Lossless Vocabulary Reduction for Auto-Regressive Language Models
NTT Computer and Data Science Laboratories, NTT Corporation(NTT计算机与数据科学实验室,NTT集团);NTT Human Informatics Laboratories, NTT Corporation(NTT人类信息学实验室,NTT集团)
本文提出了一种无损词汇缩减框架,使不同分词方式的语言模型能通过最大公共词汇高效合作,提升模型集成效率。
2026-02-18 cs.AI cs.CL cs.LG
AdaMem: Adaptive Memory Token Allocation for Soft Compression in Retrieval-Augmented Generation
AdaMem提出相关性引导的软压缩框架,按查询相关性动态分配记忆令牌预算,在开放域QA基准上优于均匀分配基线,显著提升压缩效率与答案质量。
2026-09-22 cs.CL cs.IR cs.LG
Keyformer: KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference
The University of British Columbia(不列颠哥伦比亚大学);d-Matrix
本文提出推理时方法 Keyformer,通过新评分函数选择承载约 90% 注意力权重的关键 token 并仅缓存其 KV,在 GPT-J 等模型上保持准确率,同时将延迟降至 1/2.1、吞吐提升 2.4 倍。
2024-04-06 cs.AI cs.AR cs.CL
Tokens for Learning, Tokens for Unlearning: Mitigating Membership Inference Attacks in Large Language Models via Dual-Purpose Training
Emory University(埃默里大学)
本文提出一种轻量级双重目的训练防御方法,通过令牌选择策略区分学习与遗忘令牌,优化令牌级损失以平衡效用与隐私,在抵御成员推断攻击的同时提升语言建模性能约10%。
2025-05-31 cs.CL cs.LG
DMF: A Deterministic Memory Framework for Conversational AI Agents
Roma Tre University(罗马三大学)
提出一种CPU优先的确定性记忆框架DMF,通过经典NLP分析、向量几何和数学评分替代生成式记忆压缩,实现零令牌成本且与Mem0相当的准确性。
2026-06-02 cs.AI cs.CL
MixLID: Token-Level Language Identification in Mixed-Language Text
Korea University(高丽大学)
本文提出支持111种语言-文字组合的MixLID令牌级语言识别模型,采用两阶段训练流程,在单语和混合语言识别任务中均优于基准模型,性能优异且可公开获取。
2026-10-14 cs.AI cs.CL
Towards Linguistically-Aware and Language-Independent Tokenization for Large Language Models (LLMs)
Epic Systems(Epic系统公司);Cognitive Computing Platform(认知计算平台)
该研究分析多款主流大语言模型的分词差异与低资源语言的子词分词挑战,结合电子健康记录场景案例,倡导语言感知的开发实践与AI服务的国际化包容性建设。
2024-10-04 cs.CL cs.LG
Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts
Key Laboratory of Multimedia Trusted Perception and Efficient Computing Ministry of Education of China(教育部多媒体可信感知与高效计算重点实验室);Xiamen University(厦门大学);Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
OOMB通过高效内存管理实现百万级上下文LLM训练,显著降低内存开销,提升训练效率。
2026-03-01 cs.CL
How Robust is Neural Machine Translation to Language Imbalance in Multilingual Tokenizer Training?
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta AI;Microsoft Turing(微软图灵)
多语言分词器是多语言神经机器翻译的基本组成部分。它是从多语言语料库中训练出来的。由于偏态数据分布被认为是有害的,因此通常使用抽样策略来平衡语料库中的语言。然而,很少有工作系统地回答如何在分词器训练语言不平衡影响下游性能。在这项工作中,我们分析了如何翻译性能的变化,语言之间的数据比率在分词器训练语料库的变化。我们发现,虽然相对更好的性能时,语言更平等地采样,下游的性能是更强大的语言不平衡比我们通常预期的。有两个特征,UNK率和接近字符级别,可以在执行任务之前警告不良的下游性能。我们还区分了用于标记器训练的语言采样和用于模型训练的采样,并表明模型对后者更敏感。
2022-09-11 cs.AI cs.CL
From Language Models over Tokens to Language Models over Characters
City University of New York(纽约城市大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出将 token 级语言模型精确或近似转换为字符级模型的算法,实验表明其能快速准确近似字符分布并显著提升压缩率。
2025-06-09 cs.AI cs.CL
BudgetBench: A Budget-Tiered Protocol and Pilot Harness for Memory Strategy Evaluation in Local Large Language Model Agents
BudgetBench提出预算分层协议与测试框架,通过扫描多档令牌预算评估本地大语言模型智能体记忆策略,揭示预算违规与质量非单调性,为固定预算评估提供可复用测量表面。
2026-09-15 cs.CL cs.LG
The Token Tax: Systematic Bias in Multilingual Tokenization
Institute for Disease Modeling(疾病建模研究所);Gates Foundation(盖茨基金会);University of San Francisco(旧金山大学);McGill University(麦吉尔大学)
研究发现令牌化效率对形态复杂、低资源语言有结构性劣势,影响计算资源和准确性。通过评估10种大语言模型在AfriMMLU数据集上的表现,发现令牌密度与准确性成反比,且推理模型在多语言任务中表现更优,揭示了令牌膨胀带来的经济负担。
2025-09-05 cs.AI cs.CL
The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype
Baracoda AI Labs(Baracoda AI实验室);NEOMA Business School(NEOMA商学院)
本研究测量了2026年主流大语言模型分词器中法语的令牌溢价(比英语多31%-58%),并提出了法语优化的字节级BPE原型Baracoda FR v1.2,在法语上比Tekken少用11.5%的令牌,但其他语言表现较差。
2026-10-01 cs.AI cs.CL
PuMer: Pruning and Merging Tokens for Efficient Vision Language Models
University of Washington(华盛顿大学)
PuMer提出文本引导剪枝与模态感知合并的令牌缩减框架,通过在跨模态层加入轻量级模块,在四个VL任务上将推理吞吐量提升至2倍、内存占用降低超50%,且准确率损失小于1%。
2023-05-27 cs.AI cs.CL cs.CV
Batching BPE Tokenization Merges
本文提出开源纯 Python 实现 BatchBPE,通过安全批处理 BPE 合并并降低训练文本内存占用,使资源受限设备上训练和实验高质量分词器成为可能。
2024-08-05 cs.AI cs.CL
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
University of Pittsburgh(匹兹堡大学)
TurboMamba是一种语言模型架构,通过全局Mamba-3与小型Transformer结合三项轻量改进,在参数规模相近的对比中,实现了更低预测损失、更高训练吞吐量与更快推理速度。
2026-10-16 cs.CL cs.LG
Toucan: Token-Aware Character Level Language Modeling
Johns Hopkins University(约翰霍普金斯大学)
针对字符级语言模型效率低的问题,提出Toucan增强方法,使其令牌感知,在字符生成上显著加速且不损性能,并发现动态分词优于固定词汇方案。
2023-11-15 cs.CL cs.LG
InfiniteHiP: Extending Language Model Context Up to 3 Million Tokens on a Single GPU
KAIST(韩国科学技术院);Graduate School of AI, KAIST(韩国科学技术院人工智能学院)
针对LLM长上下文处理的速度慢、内存成本高及泛化能力不足问题,提出InfiniteHiP推理框架,通过分层token剪枝、选择性RoPE调整和键值缓存卸载,在单GPU上支持300万token上下文,实现18.95倍加速且无需额外训练。
2025-02-13 cs.CL cs.LG
Beyond the Final Embedding: Retrieving Memories from Token-Level Evidence
Southeast University(东南大学);MemoraX AI;Leiden University(莱顿大学);University of Sydney(悉尼大学)
该研究针对记忆增强型助手的检索问题,提出无需额外训练的稀疏词元匹配方法,结合可选低秩查询适配器,在多基准上提升检索效果,进而提高问答准确率。
2026-11-10 cs.CL cs.IR
TokenScope: Token-Level Explainability and Interpretability for Code-Oriented Tasks in Large Language Models
University of British Columbia(不列颠哥伦比亚大学)
提出TokenScope工具,通过令牌级指标、注意力模式和抽象语法树聚合,实现解码时信号与结构分析的统一,支持交互式令牌替换和反事实分支,以系统研究LLM在代码生成中的行为。
2026-07-03 cs.AI cs.CL cs.SE
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
针对多语言大模型预训练的资源约束与新语言适配难题,提出用覆盖更多语言的通用分词器提升语言可塑性,实验证明其能显著提升新语言适配胜率且对原有语言性能影响极小。
2025-06-12 cs.CL
What Tokens are Learned when Tokenization is Optimized Jointly with Language Modeling?
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴))
本研究对比无分词器方法(SSLMs、H-Nets)与固定分词器在18种语言上的效果,发现联合优化分词与语言建模可生成高效且有效的差异化词汇,为下游NLP提供新方案。
2026-08-19 cs.CL
Language-Specific Effects of Tokenizer Choice in Multilingual Language Models
EPFL(洛桑联邦理工学院);University of Toronto(多伦多大学);Vector Institute(矢量研究院)
该研究针对多语言语言模型,训练123个模型对比54种分词器,发现分词器选择对低资源语言影响更大,且可通过相关指标预测下游模型BPB排名以筛选分词器。
2026-10-09 cs.CL
Reducing Tokenization Premiums for Low-Resource Languages
Stony Brook University(石桥大学)
本文提出通过后处理添加token词汇来降低低资源语言的分词溢价,验证了该方法在12种语言上的有效性。
2026-01-19 cs.CL
Are Online Skill and Memory Modules Always Worth Their Tokens? A Budget-Constrained Study of Web Agents
ServiceNow AI Research(ServiceNow AI 研究院);ÉTS Montreal(蒙特利尔高等技术学院);University of British Columbia(不列颠哥伦比亚大学);McGill University(麦吉尔大学)
在固定推理预算下,对比三种在线增强模块与令牌匹配的基线,发现基线在总成功率上匹配或超越所有增强方法,且常使用更少令牌。
2026-09-01 cs.CL
Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising
King’s College London(伦敦国王学院);Institute for Intelligent Networked Systems (INSI), Northeastern University London(伦敦东北大学智能网络系统研究所)
研究针对自回归大语言模型推理低效问题,提出神经形态掩码扩散语言模型,结合块扩散与脉冲神经形态计算,利用脉冲诱导稀疏性减少参数流量和计算,开发模型分析协同效应,实验表明该模型在能源效率和吞吐量上有显著提升。
2026-07-29 cs.CL cs.LG eess.SP