Language Modeling with Learned Meta-Tokens
University of Pennsylvania(宾夕法尼亚大学);IBM Research AI(IBM人工智能研究)
本文提出在预训练中注入元标记并设计元注意力机制,使语言模型以数据高效方式增强长距离依赖建模和长度泛化能力,并在合成任务上验证了其有效性。
2025-09-18 cs.CL cs.LG
TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Alibaba Cloud Computing(阿里云计算);Xiaohongshu Inc.(小红书公司);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对长上下文推理中性能下降和推理慢的问题,本文提出无需训练的TokenSelect方法,通过动态令牌级KV缓存选择和软投票机制,实现高达23.84倍注意力加速和2.28倍端到端加速,性能优于现有方法。
2025-10-09 cs.AI cs.CL cs.LG
Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference
School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北航,北京,中国);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China(虚拟现实技术与系统国家重点实验室,北航,北京,中国)
本文提出自预测token跳过框架,通过两种选择性跳过策略和多阶段延迟剪枝策略,提升长上下文LLM推理效率,实现显著加速与高精度
2026-10-14 cs.CL cs.LG
TIDE: Every Layer Knows the Token Beneath the Context
Apple(苹果公司)
TIDE通过引入EmbeddingMemory解决LLM中token身份单次注入导致的稀有词问题和上下文坍缩问题,提升多语言模型和下游任务性能。
2026-05-07 cs.AI cs.CL cs.LG
ExLM: Rethinking the Impact of [MASK] Tokens in Masked Language Models
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));University of Washington(华盛顿大学)
本文分析 [MASK] 标记导致的损坏语义问题,提出通过扩展掩码状态并建模其依赖关系来增强上下文的 ExLM,在文本与 SMILES 建模上均显著提升性能。
2025-06-08 cs.CL cs.LG
Token Trails: Navigating Contextual Depths in Conversational AI with ChatLLM
Stevens Institute of Technology(史蒂文斯理工学院);Amazon(亚马逊公司);Khulna University(库尔纳大学);Chittagong University of Engineering and Technology(吉大港工程技术大学)
本文提出 Token Trails 框架,通过 token 类型嵌入区分用户与机器人话语以增强上下文建模,实验表明其在对话理解和回复生成上达到最先进性能。
2024-04-03 cs.AI cs.CL cs.IR
Late Attention Layers Alone Can Copy Entity Tokens, but Not Without Attending to Their Context
Drexel University(德雷塞尔大学);University of Pennsylvania(宾夕法尼亚大学)
本研究通过两种新方法在Qwen3-8B上揭示,模型后半部分的两组层在上下文标记引导下对实体复制既必要又充分,且上下文标记的注意力不可或缺,确立了后期层的关键作用。
2026-10-27 cs.CL
LoGo: Token-Level Dynamic Local-Global Attention
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对Transformer长上下文注意力的计算瓶颈,提出令牌级动态局部-全局注意力LoGo,通过学习门控动态分配注意力范围,提升长距离检索性能并实现计算加速。
2026-09-01 cs.CL cs.LG
Core Context Aware Transformers for Long Context Language Modeling
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory(琶洲实验室);Harbin Institute of Technology(哈尔滨工业大学);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(教育部大数据与智能机器人重点实验室)
针对长上下文中冗余信息损害性能与效率的问题,提出即插即用的核心上下文感知注意力,通过全局池化压缩核心与局部保持模块,以极小微调成本替换自注意力,实现高效长上下文建模。
2025-08-04 cs.CL cs.LG
Learning When to Attend: Conditional Memory Access for Long-Context LLMs
Department of Electrical and Computer Engineering, Purdue University, USA(电子工程系,普渡大学,美国)
本文提出L2A方法,通过条件性长程记忆访问提升长上下文LLM性能,使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K,同时提升训练效率并减少内存消耗。
2026-07-07 cs.CL cs.LG
Effective Context in Transformers: An Analysis of Fragmentation and Tokenization
Department of Communications and Electronics(通讯与电子系);Institut Polytechnique de Paris(巴黎高等理工学院)
本文研究了不同表示方式对Transformer有限上下文预测的影响,发现碎片化会增加信息损失,而分词方法能扩展上下文范围,揭示了表示选择的信息论框架。
2026-05-13 cs.CL cs.IT cs.LG
Token Weighting for Long-Range Language Modeling
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI(黑森州人工智能中心);Ubiquitous Knowledge Processing Lab(普适知识处理实验室)
本文针对大语言模型长上下文理解能力不足的问题,提出多种基于长短期模型置信度比较的令牌加权方案,通过非均匀损失权重训练提升模型长程建模能力,并给出实证指导。
2025-03-12 cs.CL
Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information
University of Maryland, College Park(马里兰大学学院公园分校);Adobe Research(奥多比研究院)
本文提出一种基于困惑度与上下文信息的Token级对抗提示检测方法,利用LLM预测概率并设计优化与概率图模型两种算法,实现高效检测并通过热图直观可视化。
2024-02-18 cs.CL cs.LG
DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning
University of Southern California(南加州大学)
DELTA通过动态层感知令牌注意力机制提升长上下文推理效率,减少计算成本而不牺牲准确性,在AIME和GPQA-Diamond等基准上表现优异。
2026-05-02 cs.CL cs.LG
RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Bonn(波恩大学);Argonne National Laboratory(阿贡国家实验室);Amazon AGI(亚马逊人工智能研究院)
本文证明RoPE在长上下文中因失去局部偏倚和令牌相关性一致性而失效,无法区分位置或令牌,且增加RoPE基值只能牺牲位置区分能力。
2026-05-15 cs.AI cs.CL cs.LG
Decoupling Token Roles in Autoregressive Pretraining
University of Sydney(悉尼大学);University of Oxford(牛津大学);Southeast University(东南大学)
本研究通过受控破坏解耦自回归预训练中令牌的预测目标与上下文角色,发现易预测性降低目标损害却增加上下文损害,并据此解释生成文本机制,提出需解耦角色以理解模型学习。
2026-09-29 cs.AI cs.CL cs.LG
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
NVIDIA(英伟达)
研究百万令牌上下文下MTP草稿头成本过高问题,提出窗口化MTP方法,仅对草稿注意力应用滑动窗口等,可降低解码成本、改善延迟,在多种架构上效果显著,还能回收未读取草稿键值。
2026-11-02 cs.CL cs.LG cs.PF
DAST: Context-Aware Compression in LLMs via Dynamic Allocation of Soft Tokens
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室)
针对大语言模型处理长上下文时因均匀分配软令牌导致关键信息区域分配不足的问题,提出DAST方法,结合困惑度局部信息与注意力全局信息动态分配软令牌,提升压缩效果。
2025-02-17 cs.CL
Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
提出一个后验、模型无关的框架,通过词对齐中的生育率和熵量化词汇和句法层面的上下文敏感性,揭示上下文选择性地重新分配生成责任。
2026-06-28 cs.CL
LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
Apple(苹果公司);Meta AI
LazyLLM提出动态令牌剪枝方法,在预填充和解码阶段选择性计算重要令牌的KV缓存,加速长上下文推理,无需微调,如将LLama 2 7B预填充加速2.34倍。
2024-07-19 cs.AI cs.CL cs.LG
Position IDs Matter: An Enhanced Position Layout for Efficient Context Compression in Large Language Models
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院自然语言处理实验室);NiuTrans Research, Shenyang, China(NiuTrans研究院)
本文提出增强位置布局(EPL),通过调整位置ID最小化上下文与特殊标记距离,提升大语言模型上下文压缩能力,在问答和视觉任务上分别获得1.9 ROUGE-1和2.6%准确率提升。
2025-09-26 cs.CL
Exploiting Sparsity for Long Context Inference: Million Token Contexts on Commodity GPUs
University of Maryland, College Park(马里兰大学帕克分校);Salesforce Research(Salesforce研究院)
针对Transformer模型长上下文推理在消费级GPU上的资源瓶颈,提出基于top-k选择的可调稀疏注意力机制,仅关注最相关token,在约16GB显存上支持百万级token推理,仅用2%输入token即可保留95%以上基准性能。
2025-02-12 cs.CL
Context-level Language Modeling by Learning Predictive Context Embeddings
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Nanjing University(南京大学)
ContextLM通过学习预测上下文嵌入,提升多令牌预测能力,实现更高效的参数和训练效率,同时在下游任务中表现更优。
2026-02-11 cs.AI cs.CL
ConTextual: Improving Clinical Text Summarization in LLMs with Context-preserving Token Filtering and Knowledge Graphs
University of Delaware(德雷塞尔大学)
本文提出ConTextual框架,通过上下文保留的令牌过滤与领域知识图谱增强临床文本摘要,在多个基准上一致优于基线,提升了语言连贯性与临床保真度。
2025-07-17 cs.AI cs.CL
LongAttn: Selecting Long-context Training Data via Token-level Attention
Peking University(北京大学);Qiyuan Tech(奇安信科技)
提出LongAttn框架,利用LLM的自注意力机制在Token级量化长距离依赖,实现更准确高效的长上下文训练数据选择,并构建了高质量数据集LongABC-32K。
2025-02-27 cs.CL
SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
SemToken 提出语义感知分词框架,通过语义聚类和基于语义密度的异构粒度分配减少冗余 token,在长上下文建模中实现最高 2.4 倍 token 压缩和 1.9 倍加速且性能几乎不降。
2025-08-21 cs.AI cs.CL
What Kinds of Tokens Benefit from Distant Text? An Analysis on Long Context Language Modeling
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子与计算机工程学院)
本文通过分析 token 概率随上下文长度的变化,揭示实词、词首 token、N-gram 与先验知识对长上下文预测的影响及模型过度自信现象。
2024-06-17 cs.CL
$\infty$Bench: Extending Long Context Evaluation Beyond 100K Tokens
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出首个平均数据长度超100K token的LLM基准$\infty$Bench,涵盖中英双语多领域任务,要求理解长依赖关系,并评估现有长上下文LLMs,表明其处理100K+上下文仍需显著改进。
2024-02-24 cs.CL
Non-Autoregressive Machine Translation with Disentangled Context Transformer
University of Washington(华盛顿大学);Facebook AI(Facebook人工智能)
最先进的神经机器翻译模型生成从左到右的翻译,并且每一步都以先前生成的标记为条件。这个生成过程的顺序性导致了推理的基本延迟,因为我们不能在每个句子中并行生成多个标记。我们提出了一个基于注意力掩蔽的模型,称为解纠缠上下文(DisCo)Transformer,同时生成所有令牌给定不同的上下文。训练DisCo Transformer以在给定其他参考令牌的任意子集的情况下预测每个输出令牌。我们还开发了并行的简单优先推理算法,它迭代地并行细化每个令牌,并减少了所需的迭代次数。我们在7个不同数据大小的翻译方向上进行了大量实验,结果表明,与非自回归机器翻译的最新技术相比,我们的模型即使没有更好的性能,也具有竞争力,同时显著减少了平均解码时间。我们的代码可在https://github.com/facebookresearch/DisCo上获得。
2020-06-30 cs.CL
A Silver Bullet or a Compromise for Full Attention? A Comprehensive Study of Gist Token-based Context Compression
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Tencent AI Lab(腾讯AI实验室)
该研究全面评估了基于 gist token 的上下文压缩方法在替代全注意力模型时的表现,揭示了三种失败模式,并提出细粒度自编码和分段 token 重要性估计两种策略以提升压缩能力。
2024-12-23 cs.CL
Learning to Embed Words in Context for Syntactic Tasks
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出的模型嵌入的话在周围的话。这样的模型,我们称之为令牌嵌入,表示特定于给定上下文的单词的特征,例如词义,句法类别和语义角色。我们探索简单,高效的令牌嵌入模型的基础上,标准的神经网络架构。我们在大量未注释的文本上学习令牌嵌入,并将其作为词性标记器和依赖解析器的特征进行评估,这些特征是在少量注释数据上训练的。我们发现,具有令牌嵌入的预测器在一系列上下文窗口和训练集大小上始终优于基线预测器。
2017-06-12 cs.CL
FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution
Islamic University of Technology(伊斯兰科技大学);University of Utah(犹他大学);University of Liverpool(利物浦大学);University of Queensland(昆士兰大学)
FrugalPrompt通过令牌归因方法减少大型语言模型的上下文开销,保留最语义重要的令牌以提升效率。
2026-09-09 cs.CL
LeMo: Enabling LEss Token Involvement for MOre Context Fine-tuning
Tsinghua University(清华大学);HUST(华中科技大学);Microsoft Research(微软研究院)
针对长上下文LLM微调中激活值内存占用高的问题,提出基于上下文Token稀疏性的LeMo微调系统,通过三项关键技术在保精度的同时显著降内存提速度,性能优于现有最优系统。
2025-01-15 cs.AI cs.CL
LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
Microsoft Research(微软研究院)
LongRoPE通过识别位置插值中的非均匀性、渐进式扩展策略和短上下文重调整,首次将预训练LLM上下文窗口扩展至2048k token,仅需1k微调步骤且保持短窗口性能。
2024-02-21 cs.CL
Attention Reveals More Than Tokens: Training-Free Long-Context Reasoning with Attention-guided Retrieval
University of California, San Diego(加利福尼亚大学圣迭戈分校);Cisco(思科公司)
针对 LLM 长上下文推理中隐含事实召回不足的问题,提出免训练的 Attrieval,利用 CoT token 的注意力权重检索并注入相关事实,显著提升多模型在合成与真实 QA 数据集上的表现。
2025-03-12 cs.CL
Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity
针对长上下文LLM推理中KV缓存内存增长问题,提出PoD框架,基于层间注意力相似性共享远端令牌键状态,减少高达35%内存且不损失性能。
2025-08-04 cs.CL
Token-based Decision Criteria Are Suboptimal in In-context Learning
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);RIKEN(理化学研究所)
本文提出隐藏校准方法,用语言模型最后隐藏状态上的最近质心分类替代传统基于标签令牌概率的决策标准,在多个模型和数据集上显著提升上下文学习分类性能并揭示其内在原理。
2025-02-05 cs.AI cs.CL cs.LG
Large Language Model as Token Compressor and Decompressor
本文研究能否将现成的LLM适配为离散可变长度令牌压缩机和解压机以处理长上下文。设计了自表达自动编码框架,通过轻量LoRA适配器微调预训练LLM,将长文本映射为紧凑的学得潜在代码序列Z-令牌,并解码回自然语言或任务输出。
2026-05-13 cs.CL
L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models
National University of Singapore(新加坡国立大学);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院);Central South University(中南大学)
本文提出跳跃式多令牌预测方法L-MTP,通过跳过中间令牌在单次前向传播中预测非顺序令牌,以增强长距离依赖捕捉能力并加速LLM推理,实验证明其能同时提升模型性能与推理速度。
2025-09-22 cs.CL
Reconstruction Probing
Boston University(波士顿大学);University of Pittsburgh(匹兹堡大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了重建探测,一个新的分析方法的上下文表示的基础上,在掩蔽语言模型(MLMs)的重建概率。该方法依赖于比较在给定序列中的令牌的重构概率,当以已经完全上下文化的单个令牌的表示为条件时,以及当仅以模型的解上下文化的词汇先验为条件时。这种比较可以被理解为量化语境化对重建的贡献-重建概率的差异只能归因于语境化引起的单个标记的代表性变化。我们将这种分析应用到三个多语言模型中,发现语境化提高了标记的可重构性,这些标记在线性和句法距离方面接近被重构的标记。此外,我们将我们的分析扩展到上下文表示的细粒度分解,我们发现这些提升主要归因于输入层的静态和位置嵌入。
2022-12-21 cs.CL
No Mean Feat: Simple, Strong Baselines for Context Compression
Department of Computer Science and Cornell Tech(计算机科学系和康奈尔科技)
本文提出BenchPress评估套件和简单高效基线,用于上下文压缩,通过双向注意力和均值池化方法提升性能。
2026-05-10 cs.AI cs.CL cs.LG
Scaling Instruction-Tuned LLMs to Million-Token Contexts via Hierarchical Synthetic Data Generation
Harvard University(哈佛大学);Together AI;University of Chicago(芝加哥大学)
针对LLMs长上下文推理能力不足及长上下文数据稀缺问题,提出分层合成数据生成策略与分步RoPE缩放训练,扩展模型至百万token上下文,在长上下文基准和通用任务上表现良好。
2025-04-17 cs.AI cs.CL
Ontology-Aware Token Embeddings for Prepositional Phrase Attachment
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);DeepMind
类型级词嵌入使用相同的参数集来表示词的所有实例,而不管其上下文如何,忽略了语言中固有的词汇歧义。相反,我们嵌入WordNet中定义的语义概念(或同义词集),并通过估计相关语义概念的分布来表示特定上下文中的单词标记。我们在一个模型中使用新的上下文敏感的嵌入来预测介词短语(PP)附件,并共同学习概念嵌入和模型参数。我们发现,使用上下文敏感的嵌入提高了5.4%的绝对点的PP附件模型的准确性,这相当于一个34.4%的相对减少错误。
2017-05-08 cs.CL
Not All Tokens Matter Equally: Dynamic In-context Vector Distillation with Decisive-Token Supervision for Long-form Medical Report Generation
UNSW Sydney(新南威尔士大学悉尼分校);University of Technology Sydney(技术大学悉尼分校);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学)
提出DIVE框架,通过关键标记监督和状态条件动态引导,解决长文本生成中标记级蒸馏忽略关键标记的问题,在医学报告生成任务上取得最佳性能。
2026-05-26 cs.CL cs.CV cs.LG
SlimInfer: Accelerating Long-Context LLM Inference via Dynamic Token Pruning
SlimInfer通过动态令牌修剪技术,显著提升了长上下文LLM推理速度和效率,实现了性能与延迟的双重优化。
2025-11-24 cs.CL
LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models
CUHK(香港中文大学);SmartMore(思谋科技)
LLaMA-VID提出用上下文令牌和内容令牌两个令牌表示每帧图像,以降低长视频处理的计算负担,使现有视觉语言模型能支持小时级视频并在多数基准上超越先前方法。
2023-11-28 cs.CL cs.CV
FlowMM: Cross-Modal Information Flow Guided KV Cache Merging for Efficient Multimodal Context Inference
Zhejiang University(浙江大学);Huazhong Agricultural University(华中农业大学);Alibaba(阿里巴巴)
针对多模态场景下现有KV缓存合并方法受模态分布与注意力偏差限制效果不佳的问题,提出FlowMM框架,通过跨模态信息流引导的分层合并策略与敏感度自适应token匹配机制,在大幅降低KV缓存内存占用与解码延迟的同时保持模型任务性能。
2025-11-13 cs.CL
No Tokens Wasted: Leveraging Long Context in Biomedical Vision-Language Models
Stanford University(斯坦福大学);NVIDIA USA(NVIDIA公司)
针对生物医学VLM短文本窗口导致长说明文本截断、token浪费的问题,构建含100万对图像-长说明文本的BIOMEDICA-LongCAP数据集,训练出支持512token上下文的BMC-LongCLIP模型,显著提升检索与分类性能。
2025-10-04 cs.CL cs.CV
Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale
UC Berkeley(加州大学伯克利分校);UT Austin(得克萨斯大学奥斯汀分校)
本文首次系统研究百万Token语料库上的上下文检索,提出0.6B参数的BlockSearch模型,通过注意力稀释分析引入长度感知调整,在MS MARCO和NQ上匹配稠密检索,在LIMIT上得分高出3倍。
2026-10-06 cs.CL
Short-Context Dominance: How Much Local Context Natural Language Actually Needs?
University of British Columbia(不列颠哥伦比亚大学);Google DeepMind(谷歌DeepMind)
研究探讨了自然语言中短上下文预测的主导地位,并提出DaMCL方法用于检测长上下文序列,通过减少偏差提升模型性能。
2026-02-10 cs.AI cs.CL
Context-Fidelity Boosting: Enhancing Faithful Generation through Watermark-Inspired Decoding
Hunyuan AI Digital Human, Tencent(腾讯文深AI数字人);McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);Wuhan University(武汉大学);University of Montreal(蒙特利尔大学);Tsinghua University(清华大学);MBZUAI
本文提出CFB框架,通过增加源支持标记的生成概率减少大语言模型中的保真度幻觉,采用基于水印技术的logit调整策略,三种增强策略提升生成忠实度,无需重训练即可兼容多种LLM。
2026-04-24 cs.CL
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
AIRI;Skoltech(斯科尔泰克理工学院);HSE University(高等经济大学);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文提出量化LLM上下文编码的方法,发现标点等次要标记承载高上下文信息,移除会降低性能,并推出开源工具包LLM-Microscope以评估非线性、记忆和表征维度。
2026-09-15 cs.AI cs.CL
Pctx: Tokenizing Personalized Context for Generative Recommendation
Zhejiang University(浙江大学);University of California, San Diego(加州大学圣地亚哥分校);Singapore Management University(新加坡管理大学)
针对生成式推荐中静态分词忽略用户个性化视角的问题,提出个性化上下文感知分词器Pctx,将用户历史交互融入语义ID生成,在三个数据集上NDCG@10提升最高达11.44%。
2025-10-24 cs.AI cs.CL cs.IR
Context Compression for Auto-regressive Transformers with Sentinel Tokens
Shanghai Jiao Tong University(上海交通大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对Transformer注意力二次复杂度和长输入KV缓存问题,提出即插即用的上下文压缩方法,通过哨兵令牌增量压缩中间激活,降低内存与计算开销,并在流畅性、n-gram匹配和语义相似性上优于稀疏注意力基线。
2023-10-15 cs.CL