Scaling Instruction-Tuned LLMs to Million-Token Contexts via Hierarchical Synthetic Data Generation
Harvard University(哈佛大学);Together AI;University of Chicago(芝加哥大学)
针对LLMs长上下文推理能力不足及长上下文数据稀缺问题,提出分层合成数据生成策略与分步RoPE缩放训练,扩展模型至百万token上下文,在长上下文基准和通用任务上表现良好。
2025-04-17 cs.AI cs.CL
S$^2$-MAD: Breaking the Token Barrier to Enhance Multi-Agent Debate Efficiency
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);National University of Singapore(新加坡国立大学)
针对多智能体辩论(MAD)令牌成本过高的问题,提出稀疏化策略S$^2$-MAD,通过减少无效讨论在保持性能下降低于2.0%的同时降低高达94.5%的令牌成本。
2025-04-10 cs.AI cs.CL
Aligner: One Global Token is Worth Millions of Parameters When Aligning Large Language Models
University of California Los Angeles(加州大学洛杉矶分校)
本文提出 PEFT 方法 Aligner,通过全局共享可调节 Token 修改各层注意力,仅用 5,000 参数即可在指令遵循与价值对齐上媲美 LoRA,并揭示 LLM 对形式与知识的正交处理机制。
2023-12-09 cs.AI cs.CL cs.LG
Refract ICL: Rethinking Example Selection in the Era of Million-Token Models
Google DeepMind(谷歌DeepMind)
针对长上下文大模型下传统ICL示例选择策略的有效性问题,本文提出Refract ICL算法,通过重复难例、结合零样本预测误差信号引导注意力,显著提升了长上下文模型在少类别任务上的ICL性能。
2025-06-14 cs.AI cs.CL
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
Corbenic AI(科尔贝尼克人工智能公司)
该研究提出galahad-kv内存层,将KV状态存于加密NVMe磁盘,在5000万token测试中,加载速度是重算的2.8-4.3倍,能耗降8.8-12.3倍,12B和31B模型对久远事实准确率达82%、98%。
2026-10-09 cs.AI cs.CL cs.DC
Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in LLMs
University of Alberta(阿尔伯塔大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出LIGHT框架,通过增强LLM的三种记忆系统,提升其在长对话任务中的表现,实验显示平均提升3.5%-12.69%。
2026-02-21 cs.AI cs.CL cs.IR
Breaking Quadratic Barriers: A Non-Attention LLM for Ultra-Long Context Horizons
School of Information UC Berkeley(信息学院 UC 伯克利)
本文提出一种无注意力的大语言模型架构,通过状态空间块、多分辨率卷积、循环监督器和检索增强外部记忆,在近似线性复杂度下支持数十万至百万级 token 的超长上下文。
2025-05-09 cs.CL cs.LG
Enhancing Reasoning Skills in Small Persian Medical Language Models Can Outperform Large-Scale Data Training
Faculty of Computer Engineering University of Isfahan(计算机工程系 布鲁金斯大学);School of Computer Science University of Windsor(计算机科学学院 温莎大学)
通过RLAIF和DPO方法,提升小规模波斯语医疗模型推理能力,使其在有限数据下超越大规模训练模型。
2026-01-06 cs.CL
Needle Threading: Can LLMs Follow Threads through Near-Million-Scale Haystacks?
University of Cambridge(剑桥大学);The University of Hong Kong(香港大学)
本研究通过检索实验评估17个LLM在近百万规模上下文中循线追踪信息的能力,发现多数模型具线程安全性但有效上下文短于支持长度,并强调分词器差异,发布代码与数据。
2025-04-23 cs.CL
Breaking the Pre-Sampling Barrier: Activation-Informed Difficulty-Aware Self-Consistency
Konkuk University(韩国康克大学)
ACTSC通过利用神经元激活信号构建轻量级难度估计探针,无需额外调用或预采样,有效降低推理成本并保持准确性。
2026-02-10 cs.CL
Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference
Apple(苹果公司)
镜像推测解码通过并行异构执行和多令牌推测流式传输,突破LLM推理中的延迟-接受度权衡,实现高接受度低开销的高效推理。
2025-12-11 cs.CL
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University(萨尔兰大学);Ohio State University(俄亥俄州立大学)
研究探讨了Transformer在长CoT轨迹上的泛化能力限制,并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
A Triadic Suffix Tokenization Scheme for Numerical Reasoning
MIPT, Moscow, Russia(莫斯科米进大学)
本文提出Triadic Suffix Tokenization方案,通过三元分组和明确的量级标记,解决数字分词不一致问题,提升大语言模型在算术和科学推理中的稳定性与准确性。
2026-04-20 cs.AI cs.CL cs.LG
On multi-token prediction for efficient LLM inference
European Research Center (EUREC), Sony Europe B.V.(欧洲研究中心(EUREC),索尼欧洲有限公司);Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
本研究系统探究预训练LLM的多token预测(MTP)能力,发现模型天生具备该能力但性能依赖数据与规模,集成MTP头至冻结LLM存在挑战,联合训练可提升性能但无法完全克服障碍,为加速推理提供参考。
2025-02-13 cs.CL cs.LG
Separate Before You Compress: The WWHO Tokenization Architecture
Remeinium Research(Remeinium 研究院)
本文提出WHHO架构和SGPE算法,通过分离语言规则与压缩过程,实现多语言标记化,显著降低复杂Abugida语言的token数量,提升推理效率。
2026-03-26 cs.CL
Taking Tokenization off the Host for Agentic LLM Serving
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对智能体LLM服务中分词成为TTFT瓶颈的问题,提出GPU分词器GraphTok,可接入vLLM等框架,大幅提升分词速度与服务容量,降低P99延迟。
2026-10-12 cs.CL cs.DC cs.LG
Cartridges at Scale: Training Modular KV Caches over Large Document Collections
Amazon AGI(亚马逊人工智能研究院)
提出Cartridges at Scale (CAS)框架,通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练,在减少预填充开销的同时保持准确性,性能优于单块弹匣10-31点,接近全上下文学习。
2026-06-03 cs.CL cs.IR cs.LG
STS: Efficient Sparse Attention with Speculative Token Sparsity
The Hong Kong University of Science and Technology(香港科技大学);UC Berkeley(加州大学伯克利分校)
本文提出STS,一种无需模型再训练的稀疏注意力机制,通过利用较小的草稿模型识别出的重要标记来预测更大目标模型的重要标记,从而在大规模语言模型推理中实现高效的稀疏注意力计算,显著提升速度并保持准确性。
2026-08-24 cs.CL cs.LG
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
Xi'an Jiaotong University, Xi'an, China(西安交通大学);Qwen Team, Alibaba Group, China(通义实验室);Harvard University, Cambridge, MA, USA(哈佛大学);Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院计算技术研究所)
提出基于碰撞候选选择和量化内积重排序的GPU原生KV缓存检索框架ParisKV,在百万token上下文中实现低延迟、高吞吐且分布漂移鲁棒的检索,性能优于或持平全注意力。
2026-05-28 cs.CL cs.DB cs.LG
Is There a Case for Conversation Optimized Tokenizers in Large Language Models?
ETSI de Telecomunicación Universidad Politécnica de Madrid(电信工程学院马德里理工大学)
本文探讨了针对聊天对话优化分词器能否降低token数量,实验表明可节省5%-10%能源且不影响原训练语料库效率。
2025-06-23 cs.AI cs.CL
Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale
UC Berkeley(加州大学伯克利分校);UT Austin(得克萨斯大学奥斯汀分校)
本文首次系统研究百万Token语料库上的上下文检索,提出0.6B参数的BlockSearch模型,通过注意力稀释分析引入长度感知调整,在MS MARCO和NQ上匹配稠密检索,在LIMIT上得分高出3倍。
2026-10-06 cs.CL
Multiscale Byte Language Models -- A Hierarchical Architecture for Causal Million-Length Sequence Modeling
IBM Research Europe(IBM欧洲研究院)
针对字节语言模型处理超长字节流的架构需求,提出模型无关的分层多尺度字节语言模型MBLM,可单卡全精度训练5M字节上下文,在多任务上表现优异,为全模态基础模型提供新路径。
2025-02-20 cs.AI cs.CL cs.LG
ks-lit-3m: A 3.1 million word kashmiri text dataset for large language model pretraining
Independent Researcher(独立研究者)
本文提出KS-LIT-3M数据集,通过开发InPage到Unicode转换器和严格预处理,解决克什米尔语预训练数据稀缺问题,为自然语言处理研究提供高质量资源。
2026-01-03 cs.AI cs.CL
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
New York University(纽约大学)
GPUTOK提出基于GPU的字节级BPE分词器,通过优化算法和内存管理,显著提升分词速度,同时保持输出质量,适用于长上下文推理任务。
2026-03-03 cs.AI cs.CL cs.DC
Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens
SSH Communications Security(SSH通讯安全公司);KTH Royal Institute of Technology(皇家理工学院);Aalto University(阿尔托大学)
提出资源高效的领域自适应持续预训练方法,利用分布式FSDP流水线在126M词网络安全语料上微调LLM,以最少118.8M令牌实现超越大规模预训练模型的最新性能。
2026-07-03 cs.AI cs.CL cs.CR
Control Barrier Function for Aligning Large Language Models
Keio University(庆应义塾大学)
本文提出基于控制的框架,利用控制屏障函数确保用户期望的文本生成,通过安全过滤器干预生成文本,无需微调基模型。
2025-11-06 cs.AI cs.CL cs.SY
MiniMax-01: Scaling Foundation Models with Lightning Attention
MiniMax
本研究推出MiniMax-01系列文本与视觉语言模型,核心采用闪电注意力结合MoE架构及优化并行策略,实现百万级token长上下文高效训练推理,性能比肩前沿模型且上下文窗口长20-32倍,已开源发布。
2025-01-14 cs.CL cs.CV
Certainty-Guided Reasoning in Large Language Models: A Dynamic Thinking Budget Approach
Nokia Bell Labs, France(诺基亚贝尔实验室,法国)
CGR通过动态调整推理预算,在保持准确性的同时减少token使用,通过确定性评估实现高效的推理过程。
2026-02-09 cs.AI cs.CL
Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities
John Jay College of Criminal Justice, City University of New York(纽约城市大学约翰杰刑事司法学院);The City College of New York, City University of New York(纽约城市大学城市学院);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本研究通过构建标记化公平审计(TEA)基准,测量了孟加拉语、印地语等5种语言的标记化溢价,发现标记化会给服务不足语言社区带来经济和功能障碍,凸显需重视标记化的公平性。
2026-08-11 cs.CL cs.CY
Toward a Theory of Tokenization in LLMs
University of California, Berkeley(加州大学伯克利分校)
本文从理论上研究LLM分词的必要性,通过分析Transformer在k阶马尔可夫数据上的行为,证明适当分词能使简单一元模型近乎最优地建模序列分布,为实践中使用分词提供了理论依据。
2025-04-10 cs.CL cs.LG
Attend to Your Own Thoughts: Breaking the Barrier for Post-Training Quantization of Reasoning LLMs through the Lens of 1.58-Bit Quantization
Intel Labs China(英特尔中国实验室)
该研究提出ScaleQ-1.58三值后训练量化框架,通过集成AYOT校准方法,提升推理型LLM量化性能,该框架可扩展且泛化性强,仅需少量校准token即可实现优异效果。
2026-08-04 cs.AI cs.CL
Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier
Kensho Technologies;Faculty of Computer and Information Science(计算机与信息科学学院);Ben-Gurion University of the Negev(本· Gurion 内盖夫大学)
针对预分词导致BPE令牌分布偏态、大词表收益受限的问题,提出BoundlessBPE算法,通过合并预令牌形成超词,使令牌分布更均匀,文本压缩效率提升最高15%。
2025-10-02 cs.AI cs.CL
How Do AI Agents Spend Your Money? Analyzing and Predicting Token Consumption in Agentic Coding Tasks
University of Michigan(密歇根大学);Stanford University(斯坦福大学);All Hands AI;Google Deepmind(谷歌DeepMind);Microsoft AI(微软AI);Massachusetts Institute of Technology(麻省理工学院)
本文研究了代理编码任务中令牌消耗模式,发现代理任务消耗远高于代码推理和代码聊天,且模型在任务执行前难以准确预测自身令牌使用。
2026-10-05 cs.AI cs.CL cs.CY
A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);POSTECH(浦项科技大学)
针对LLM长上下文推理的二次复杂度问题,提出无需训练的分层剪枝注意力框架HiP,利用注意力局部性以亚二次时间与空间成本实现高效服务,显著降低延迟和内存占用。
2025-01-23 cs.CL cs.CV cs.DC
Do New Attention Mechanisms Actually Fix Attention Sinks at Million-Token Context?
Shadan Women’s College of Engineering and Technology(沙丹女子工程技术学院)
本文探究新注意力机制在百万 token 上下文中能否修复注意力汇聚问题,通过构建 SinkProbe 套件进行测量,发现训练目标导致汇聚,门控机制效果未复现,且各指标独立变化。
2026-09-21 cs.AI cs.CL
CorpusQA: A 10 Million Token Benchmark for Corpus-Level Analysis and Reasoning
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
CorpusQA提出一个1000万词的基准,解决大规模语料库推理问题,通过合成数据框架生成复杂查询,验证长文本推理能力,发现先进架构对全局信息整合的重要性。
2026-04-25 cs.AI cs.CL
The Million-Label NER: Breaking Scale Barriers with GLiNER bi-encoder
Knowledgator Engineering(Knowledgator工程)
GLiNER-bi-Encoder通过双编码器架构实现百万级标签的命名实体识别,提升零样本性能和处理效率,同时支持大规模知识库的实体链接。
2026-02-11 cs.CL cs.LG
Token Drop mechanism for Neural Machine Translation
Soochow University(苏州大学)
具有数百万参数的神经机器翻译容易受到不熟悉输入的影响。我们提出令牌丢弃来提高泛化能力,避免NMT模型的过拟合。类似于word dropout,而我们用一个特殊的token替换掉的token,而不是将word设置为零。我们进一步介绍了两个自监督目标:替换令牌检测和丢弃令牌预测。我们的方法旨在迫使模型用较少的信息生成目标翻译,这样模型可以更好地学习文本表示。在汉语-英语和英语-罗马尼亚语基准测试上的实验证明了该方法的有效性,在强Transformer基准测试上,该模型取得了显著的改进。
2020-10-21 cs.CL
Millions of States: Designing a Scalable MoE Architecture with RWKV-7 Meta-learner
本文提出Meta-State,通过自状态编码器机制扩展RWKV-7,以状态驱动方式实现令牌-参数交互和无需重训练的渐进式扩展,构建线性复杂度、恒定内存的可扩展序列建模框架。
2025-04-11 cs.CL cs.LG
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
NVIDIA(英伟达)
研究百万令牌上下文下MTP草稿头成本过高问题,提出窗口化MTP方法,仅对草稿注意力应用滑动窗口等,可降低解码成本、改善延迟,在多种架构上效果显著,还能回收未读取草稿键值。
2026-11-02 cs.CL cs.LG cs.PF
TableRAG: Million-Token Table Understanding with Language Models
National Taiwan University(台湾大学);Google Cloud AI Research(谷歌云AI研究院);Google DeepMind(谷歌DeepMind);UC San Diego(加州大学圣迭戈分校)
TableRAG通过查询扩展结合模式与单元格检索,解决语言模型处理超大表格时的上下文限制问题,并在百万级令牌基准上取得最优表格理解性能。
2024-12-26 cs.AI cs.CL cs.IR
Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT
Dalhousie University(达尔豪斯大学)
本文提出 ChunkBERT,通过令牌分块与 CNN 层扩展 BERT,使其能高效处理任意长文本,在多种分类任务上以仅 6.25% 的内存占用实现一致性能。
2023-10-31 cs.AI cs.CL
Gaokerena: A Small Persian Medical Language Model Family
University of Isfahan(伊斯法罕大学);University of Tehran(德黑兰大学);University of Windsor(温莎大学);Alzahra University(阿勒扎哈拉大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对波斯语医疗语言模型研究不足的问题,该研究推出Gaokerena家族,包含Gaokerena-V和Gaokerena-R两款模型,在医疗问答基准上取得性能提升,还配备不确定性头,为本地化数字医疗提供基础但仍需完善。
2026-10-09 cs.CL
Improving Low Compute Language Modeling with In-Domain Embedding Initialisation
University of Michigan(密歇根大学)
很多NLP应用,比如生物医学数据和技术支持,都有1000万到1亿个域内数据的token,用于学习的计算资源有限,在这种场景下,我们应该如何训练一个语言模型呢?大多数语言建模研究要么考虑具有封闭词汇表的小数据集(如标准的100万令牌Penn Treebank),要么考虑具有字节对编码的整个Web。我们表明,对于我们的目标设置在英语中,初始化和冻结使用域内数据的输入嵌入,可以提高语言模型的性能,通过提供一个有用的表示罕见的话,这种模式适用于几个不同的领域。在这个过程中,我们表明,绑定输入和输出嵌入的标准惯例并没有改善困惑时,初始化与嵌入训练域内数据。
2020-09-30 cs.CL
Scaling Reasoning Tokens via RL and Parallel Thinking: Evidence From Competitive Programming
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文通过强化学习和并行思维方法扩展竞赛编程中的推理令牌预算,展示了多轮并行思维流程在分配令牌预算方面的有效性,实验表明其在复杂编程问题上的优越性。
2026-04-01 cs.CL
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
DeepSeek-AI(深度求索人工智能)
提出DeepSeek-V4系列MoE模型,通过混合注意力架构、流形约束超连接和Muon优化器,实现百万令牌上下文的高效推理,在核心任务上超越前代。
2026-06-19 cs.AI cs.CL
Scaling Transformer to 1M tokens and beyond with RMT
MIPT(莫斯科物理技术学院);AIRI(人工智能研究所);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究提出循环记忆增强方法(RMT),使预训练Transformer在计算量线性扩展下处理长达两百万token的输入,提升语言建模困惑度,增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG
Domain-matched Pre-training Tasks for Dense Retrieval
Facebook AI Research(脸书人工智能研究院)
在模型大小不断增加的大型数据集上进行预训练现在是几乎所有NLP任务提高性能的有效方法。一个值得注意的例外是信息检索,额外的预训练迄今未能产生令人信服的结果。我们表明,通过正确的预训练设置,可以克服这一障碍。我们通过对1)最近发布的6500万个合成生成的问题集和2)来自pushshift.io提供的Reddit对话的现有数据集的2亿个评论后对进行预训练来证明这一点。我们评估了一组信息检索和对话检索基准,显示出实质性的改进监督基线。
2021-07-28 cs.CL cs.IR