MANTa: Efficient Gradient-Based Tokenization for Robust End-to-End Language Modeling
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
静态子词标记化算法已经成为语言建模的重要组成部分。然而,它们的静态性质导致了重要的缺陷,降低了模型的下游性能和鲁棒性。在这项工作中,我们提出了MANTa,一个自适应神经令牌化模块。MANTa是一个端到端使用语言模型训练的可区分标记器。由此产生的系统提供了字节级模型的表达能力和使用子字标记化训练的模型的速度之间的权衡。此外,我们的tokenizer是高度可解释的,因为它产生了一个明确的序列分割成块。我们在来自不同领域的几个英语数据集以及合成噪声上评估了我们的预训练模型。我们发现,MANTa提高了字符扰动和域外数据的鲁棒性。然后,我们表明,MANTa执行其他模型的一般域GLUE基准。最后,我们证明了它比严格的字节级模型快得多。
2022-12-14 cs.CL
Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学)
本文提出TokenUnlearn框架,通过标记级归因实现精确撤销,结合知识意识信号和熵意识信号生成重要性评分,改进梯度信噪比,实验显示在遗忘效果和效用保持方面优于序列级基线。
2026-05-01 cs.CL
ResT: Reshaping Token-Level Policy Gradients for Tool-Use Large Language Models
CRIPAC, Institute of Automation(CRIPAC,自动化研究所);Meituan(美团)
ResT通过熵引导的令牌重新加权优化工具使用任务的策略梯度,提升训练稳定性与效率,实现优于现有方法的性能。
2026-02-04 cs.CL
One-Token Rollout: Guiding Supervised Fine-Tuning of LLMs with Policy Gradient
The Chinese University of Hong Kong(香港中文大学);Noah’s Ark Lab, Huawei(华为诺亚实验室);ChatEDA Tech(ChatEDA技术公司)
通过策略梯度引导监督微调,单个标记回滚(OTR)在多个基准测试中优于标准SFT,展示了on-policy数据对泛化能力的重要性。
2026-01-31 cs.CL
Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization
Wuhan University;Institute for Math \& AI, Wuhan University;Huazhong University of Science;Shanghai Jiao Tong University;Xidian University
本文提出令牌感知梯度优化(TAGO)方法,通过仅保留高梯度能量的音频令牌对应的波形梯度,实现稀疏越狱攻击,在保持高成功率的同时大幅减少优化量。
2026-05-25 cs.AI cs.CL cs.CR
GRAIL: Gradient-Reweighted Advantages for Reinforcement Learning with Verifiable Rewards
DeCLaRe Lab, Nanyang Technological University(DeCLaRe实验室,南洋理工大学)
针对强化学习中统一优势分配导致梯度信号稀释的问题,提出基于梯度激活显著性的令牌级优势重加权方法GRAIL,无需过程级监督即可提升推理对齐,在多个模型上平均准确率提升3.60%。
2026-06-03 cs.CL
GMTS: Gradient Magnitude-based Token Selection Improves RLVR Training for LLM Reasoning
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);Institute of Natural Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院)
本研究针对RLVR训练中高熵令牌重要性机制不明的问题,提出GMTS方法量化令牌重要性,实验显示其在多领域、多模型规模下性能优于熵基选择。
2026-09-01 cs.AI cs.CL cs.LG
Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Baidu Inc.(百度公司)
针对长上下文推理中注意力被干扰模式误导的问题,提出LeaF两阶段框架,通过梯度比较识别并剪除混杂令牌,在蒸馏中对齐师生注意力,提升数学推理、代码生成和多跳问答性能。
2025-10-24 cs.CL
Gradient-Controlled Decoding: A Safety Guardrail for LLMs with Dual-Anchor Steering
本文提出梯度控制解码(GCD),通过双锚点令牌提升安全性,降低误报率,同时在多个基准测试中有效抑制攻击,且对计算资源要求低。
2026-04-06 cs.CL
1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Ant Group(蚂蚁集团)
针对在线策略蒸馏中稀疏监督的梯度估计噪声问题,提出基于信噪比分解的信息效率比(IER)用于 token 选择,在数学和医学推理任务上以 0.1%-1% 的 token 预算达到或超过完整监督效果。
2026-09-22 cs.CL cs.LG
Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
Brain and Cognitive Sciences(脑与认知科学);Massachusetts Institute of Technology(麻省理工学院)
研究通过分析表征曲率与token级熵的关系,揭示了大型语言模型中行为不确定性的调节机制,发现曲率变化可影响预测熵。
2026-04-27 cs.AI cs.CL cs.LG
Discretized Integrated Gradients for Explaining Language Models
University of Southern California(南加州大学)
作为一种重要的基于属性的解释算法,综合属性(IG)由于其合理的解释公理和易于梯度计算而被广泛采用。它通过对输入数据空间中沿直线路径内插的模型输出梯度求平均来度量特征重要性。然而,由于词嵌入空间的固有离散性,这种直线内插点不代表文本数据。这就质疑了在插值点处计算的梯度的可靠性,从而质疑了生成的解释的质量。在这里,我们提出了离散化的集成代理(DIG),它允许沿非线性插值路径的有效属性。我们开发了两种插值策略的离散词嵌入空间,生成插值点,位于接近实际的话在嵌入空间中,产生更忠实的梯度计算。我们通过对多个情感分类数据集的实验和人工评估,证明了DIG对IG的有效性。我们提供DIG的源代码,以鼓励可重复的研究。
2021-08-31 cs.CL
Not All Tokens Learn Alike: Attention Entropy Reveals Heterogeneous Signals in RL Reasoning
Baidu(百度);School of Computer Science, Peking University(北京大学计算机科学系);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
研究通过注意力熵揭示强化学习推理中令牌层面的异质性,发现高熵令牌(探索者)与低熵令牌(锚点)在学习信号上有显著差异,动态熵感知的软重加权干预提升了模型性能。
2026-05-08 cs.CL
Neural Token Segmentation for High Token-Internal Complexity
The Open University(开放大学);Bar Ilan University(巴伊兰大学)
将原始文本标记为单词单元是NLP管道中关键任务的重要预处理步骤,例如标记,解析,命名实体识别等。对于大多数语言来说,这个标记化步骤很简单。然而,对于具有高标记内部复杂性的语言,需要进一步的标记到分词。以前的典型分割研究是基于字符水平的框架,没有涉及语境化的表示。上下文化向量和BERT在许多应用中显示出显著的效果,但没有显示出提高语言分割本身的性能。在这里,我们提出了一种新的神经分割模型,它结合了两个世界中最好的,上下文化的令牌表示和字符级解码,这是特别有效的语言与高令牌内部复杂性和极端的形态歧义。与最先进的技术相比,我们的模型在希伯来语和阿拉伯语的分割准确性方面有了很大的改进,并在现有管道上进一步改进了下游任务,如词性标记,依存句法分析和命名实体识别。当在相同的设置下将我们的分段优先管道与联合分段和标记进行比较时,我们表明,与神经元之前的研究相反,管道性能更优越。
2022-03-21 cs.CL
TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation
Yale University(耶鲁大学);Texas State University(德克萨斯州立大学)
针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题,提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法,在SciERC任务上显著提升关键指标。
2026-08-04 cs.CL
MinGram: A Minimalist Unigram Tokenizer with High Compression and Competitive Morphological Alignment
提出MinGram分词器,通过简化Unigram训练流程(使用BPE种子词汇、硬EM最小令牌路径和单次剪枝),在保持高压缩性的同时实现良好的形态对齐,并在六种语言上优于BPE和标准Unigram。
2026-08-13 cs.CL
Safeguarding RAG Pipelines with GMTP: A Gradient-based Masked Token Probability Method for Poisoned Document Detection
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(人工智能研究生院,POSTECH,韩国);Department of Computer Science and Engineering, POSTECH, Republic of Korea(计算机科学与工程系,POSTECH,韩国)
针对 RAG 知识库面临的投毒文档攻击,本文提出 GMTP,利用检索器相似度梯度定位关键 Token,并结合 MLM 概率检测恶意内容,可消除 90% 以上投毒信息且保持系统性能。
2025-07-24 cs.AI cs.CL
TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding
Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
基于神经元的对抗训练被广泛应用于提高神经网络的鲁棒性,但由于嵌入空间是离散的,它不容易适应自然语言处理任务。在自然语言处理领域,由于文本是离散的,不能直接受到梯度的干扰,因此引入了虚拟对抗训练。或者,在NLP任务中引入虚拟对抗训练,它会在嵌入空间上产生扰动。尽管取得了成功,但现有的虚拟对抗训练方法产生的扰动大致受到Frobenius归一化球的约束。为了制作细粒度的扰动,我们提出了一种令牌感知的虚拟对抗训练方法。我们引入了一个令牌级累积扰动词汇表来更好地初始化扰动,并使用令牌级归一化球来有针对性地约束这些扰动。实验表明,我们的方法提高了性能的预训练模型,如BERT和ALBERT在各种任务的相当大的利润。该方法使用BERT模型将GLUE基准测试的得分从78.3提高到80.9,并提高了序列标记和文本分类任务的性能。
2020-12-04 cs.CL
Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning
School of Information Science and Technology, Hangzhou Normal University(信息科学与技术学院,杭州师范大学)
提出Adaptive GoGI-Skip框架,通过非线性耦合目标梯度重要性和自适应动态跳过,在保持推理准确性的同时减少45%以上令牌量,加速高达2倍。
2026-06-23 cs.AI cs.CL
What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document
本研究量化了分割学习中梯度对文本泄露的额外贡献,发现按文档计数时泄露显著增加,并建议同时按词元和文档报告泄露,将分割模型发送的数据视为与文本同等敏感。
2026-10-06 cs.CL cs.CR cs.LG
DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学院);Ant International(蚂蚁国际)
本文提出DelTA方法,通过估计token系数来增强特定侧的token梯度方向,从而改进可验证奖励强化学习中的token概率更新,提升了模型在数学基准测试中的性能。
2026-05-20 cs.CL cs.LG
Weight Tying Biases Token Embeddings Towards the Output Space
EleutherAI;University of California Berkeley(加州大学伯克利分校)
本文研究了参数共享对词嵌入空间的影响,发现共享矩阵更偏向输出预测而非输入表示,且早期训练中输出梯度主导导致偏差,通过调整梯度可缓解此问题。
2026-03-27 cs.CL
Meta-Learning Online Adaptation of Language Models
Stanford University(斯坦福大学)
本文提出CaMeLS方法,通过元训练小型自回归模型动态重新加权在线微调中的token损失,显著提升了语言模型对文档流的信息吸收率,解决了静态模型知识过时问题。
2023-10-20 cs.CL
A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院)
本研究分析反向KL策略上蒸馏的梯度特性,提出Surprise-aware Reweighting(SuRe)加权规则,在Qwen3学生模型上提升了数学指标且域外基准无明显下降。
2026-10-14 cs.CL cs.LG
OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models
New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)(模式识别新实验室(NLPR)、自动化研究所、中国科学院(CASIA));Nanjing University(南京大学);The Hong Kong University of Science(香港科学大学);Sichuan University(四川大学);Peking University(北京大学)
OmniSIFT通过非对称令牌压缩框架提升多模态大语言模型效率,采用时空视频修剪和视觉引导音频选择模块,实现低参数高鲁棒性。
2026-05-13 cs.CL
CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning
Kuaishou Technology(快手科技);Independent(独立)
本文提出CE-GPPO算法,通过恢复剪裁令牌的梯度信号,协调探索与利用,缓解熵不稳定问题,并在数学推理任务中优于现有方法。
2026-04-23 cs.CL cs.LG
Bridging Discrete and Backpropagation: Straight-Through and Beyond
Microsoft Research(微软研究院)
针对离散潜变量梯度计算难题,提出ReinMax方法,基于直通启发式,整合Heun方法实现二阶精度,无需二阶导数,计算开销小,实验验证优于现有方法。
2023-10-16 cs.AI cs.CL cs.CV
How Do Transformers Learn to Associate Tokens: Gradient Leading Terms Bring Mechanistic Interpretability
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Technology Sydney(悉尼技术大学)
研究通过梯度主导项分析了注意力语言模型中语义关联的形成机制,揭示了权重的闭式表达及其对文本统计的反映。
2026-05-12 cs.CL cs.LG
Protecting Privacy in Classifiers by Token Manipulation
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Nuclear Research Center – Negev(内盖夫核研究中心)
本文研究在文本分类任务中通过令牌映射和上下文化操作隐藏原始文本以保护隐私,发现简单映射损害性能且可被重建,而上下文化操作性能更优。
2024-07-03 cs.CL cs.CR
Zero-shot Sequence Labeling: Transferring Knowledge from Sentences to Tokens
The ALTA Institute(ALTA研究所);Computer Laboratory(计算机实验室);University of Cambridge(剑桥大学);United Kingdom(英国);CoAStaL DIKU(CoAStaL DIKU(此处“DIKU”为丹麦哥本哈根大学计算机科学系缩写,按原文保留));Department of Computer Science(计算机科学系);University of Copenhagen(哥本哈根大学);Denmark(丹麦)
基于注意力或梯度的可视化技术是否可以用于推断二进制序列标记问题的标记级别标签,使用仅在标记级别标签上训练的网络?我们构建了一个基于软注意力的神经网络架构,训练它作为一个二元句子分类器,并在四个不同的数据集上对标记级注释进行评估。从网络中推断令牌标签提供了一种方法,用于定量评估模型正在学习的内容,以及在辅助系统中生成有用的反馈。我们的研究结果表明,与基于梯度的方法相比,基于注意力的方法能够更准确地预测标记级别的标签,有时甚至可以与有监督的Oracle网络相媲美。
2018-05-06 cs.CL cs.LG cs.NE
Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path
Korea Advanced Institute of Science and Technology(韩国科学技术院)
通过几何对齐实现电路发现,揭示transformer电路本质上是几何结构,实现可控引导并提升情感分类准确率。
2026-02-10 cs.CL cs.LG
Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs
The Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院)
本研究针对大语言模型强化学习中低概率token梯度过度主导、抑制高概率token学习的问题,提出优势重加权和低概率Token隔离两种方法,实现token均衡更新,显著提升GRPO训练模型的推理性能。
2025-05-19 cs.AI cs.CL cs.LG
Token Masking Improves Transformer-Based Text Classification
University of Pittsburgh School of Computing and Information(匹兹堡大学计算机与信息学院)
本文提出以概率 p 随机替换输入 token 的 token masking regularization,并在 mBERT、Qwen2.5-0.5B 和 TinyLlama-1.1B 上验证其可稳定提升文本分类性能。
2025-05-16 cs.AI cs.CL
STAPO: Stabilizing Reinforcement Learning for LLMs by Silencing Rare Spurious Tokens
School of Vehicle;Mobility \& College of AI, Tsinghua University;Didi Voyager Labs, DiDi Autonomous Driving
针对强化学习微调大语言模型时因稀有虚假标记导致训练不稳定和性能崩溃的问题,提出STAPO方法,通过抑制这些标记的梯度扰动,在多个数学推理基准上实现稳定训练和性能提升。
2026-10-28 cs.AI cs.CL
Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation
Maastricht University(马斯特里赫特大学)
本文提出基于梯度的注意力头归因方法,通过反向传播Token级最大边际损失,在上下文感知机器翻译中实现大规模因果分析,发现通用型注意力头并揭示注意力与性能的非必然关联。
2026-09-24 cs.AI cs.CL
Locally Aggregated Feature Attribution on Natural Language Model Understanding
AWS AI Labs(AWS人工智能实验室);Amazon Core AI(亚马逊核心人工智能部);North Carolina State University(北卡罗来纳州立大学)
随着深度学习模型的日益普及,模型理解变得更加重要。为了更好地解释深度神经网络,人们付出了很多努力。一些特征属性方法在计算机视觉中已经显示出有希望的结果,特别是基于梯度的方法,其中利用参考数据有效地平滑梯度是鲁棒和忠实结果的关键。然而,直接将这些基于梯度的方法应用于NLP任务并不简单,因为输入由离散标记组成,并且“参考”标记没有明确定义。在这项工作中,我们提出了局部聚集特征属性(LAFA),一种新的基于梯度的自然语言处理模型的特征属性方法。它不依赖于模糊的引用标记,而是通过聚合从语言模型嵌入中派生的相似引用文本来平滑梯度。为了评估的目的,我们还设计了不同的NLP任务,包括实体识别和情感分析的公共数据集,以及构建的亚马逊目录数据集上的关键特征检测实验。通过实验证明了该方法的优越性能。
2022-04-26 cs.AI cs.CL
Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models
AGH University of Krakow, Faculty of Physics and Applied Computer Science(AGH克拉科夫大学物理与应用计算机科学学院)
研究解码器专用语言模型最后层隐藏状态的反演问题,提出连续嵌入空间优化方法,通过离散损失评估恢复正确性,发现高频功能词是主要失败原因,内容词几乎完美恢复。
2026-07-02 cs.AI cs.CL
Mask-Aware Policy Gradients for Diffusion Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究针对强化学习扩展到MDLMs的难题,将MDLM生成形式化为两阶段动作MDP,使策略梯度分解为令牌项和掩码项,结合优化这两项在数学推理和编码基准测试中取得了最优成绩。
2026-07-17 cs.AI cs.CL cs.LG
Analyzing Chain-of-Thought Prompting in Large Language Models via Gradient-based Feature Attributions
Harvard University(哈佛大学)
本研究利用基于梯度的特征归因方法分析思维链提示对大语言模型的影响,发现其虽不增加语义相关标记的显著性分数幅度,但提高了分数对扰动和输出变化的鲁棒性。
2023-07-25 cs.AI cs.CL
Rethinking Token Reduction for State Space Models
Northeastern University(东北大学);Harvard University(哈佛大学)
针对现有令牌缩减方法直接应用于状态空间模型导致性能大幅下降的问题,本文提出一种融合令牌重要性与相似性的统一训练后令牌缩减方法,在六个基准上相比现有方法将平均准确率提升5.7%至13.1%,同时显著降低计算和内存开销。
2024-10-16 cs.CL cs.LG
Privacy Leakage in Federated Learning in Radiology Reports: A Comparative Evaluation of Tokenizer-Driven Privacy Risks
German Cancer Research Center (DKFZ)(德国癌症研究中心);Medical Faculty Heidelberg, Heidelberg University(海德堡大学医学院);Bilkent University(比尔肯特大学);Pattern Analysis and Learning Group, Department of Radiation Oncology, Heidelberg University Hospital(海德堡大学医院放射肿瘤学系模式分析与学习组)
研究放射学报告联邦学习中的隐私泄露,通过固定模型架构比较三种分词器的隐私风险,量化梯度文本重建,发现分词器设计影响泄露程度,虽RadBERT重建保真度最高但均不能防泄露,安全聚合等保障措施或为满足相关要求所必需。
2026-07-17 cs.CL cs.CR cs.LG
GTPO: Stabilizing Group Relative Policy Optimization via Gradient and Entropy Control
National Doctorate on Artificial Intelligence, Sapienza Università di Roma(人工智能国家博士学院,罗马萨皮恩扎大学);Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant’Anna, Pisa(机器人与人工智能卓越部门,TeCIP,圣安娜高等学院,比萨);Institute of Informatics and Telematics, National Research Council of Italy, Pisa(信息与电信研究所,意大利国家研究理事会,比萨)
GTPO通过梯度和熵控制稳定群体相对策略优化,提升大语言模型对齐的训练稳定性与性能。
2025-12-11 cs.AI cs.CL cs.LG
TokenChain: A Discrete Speech Chain via Semantic Token Modeling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出TokenChain,通过语义令牌ASR与分阶段TTS的结合,提升语音识别与文本到语音的性能,实验显示其在多个数据集上均优于基线方法。
2025-10-07 cs.AI cs.CL cs.LG
Efficient Training of Language Models with Compact and Consistent Next Token Distributions
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文提出一种紧凑的下一词元分布近似表示,在期望上等价于完整 n-gram 分布并降低小批次方差,从而在提升模型质量和收敛速度的同时,使收益可扩展到更大模型和数据集。
2024-07-03 cs.CL cs.LG
On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文针对GRPO训练中的惰性似然位移问题,提出NTHR方法,利用群体结构降低关键标记惩罚,在数学推理基准上提升0.5B至3B参数模型的性能。
2025-05-24 cs.CL cs.LG
GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs
UNC Chapel Hill(北卡罗来纳大学教堂山分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究针对推理时引导LLMs和VLMs的方法局限,提出GrAInS。该方法基于梯度归因识别关键令牌构建引导向量,推理时调整激活。实验显示其性能优于微调及现有基线,能在保持模型流畅性和通用能力的同时提升多项指标。
2026-07-13 cs.AI cs.CL cs.CV
Resolving Action Bottleneck: Agentic Reinforcement Learning Informed by Token-Level Energy
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Technical University of Berlin(柏林技术大学);University of Southern California(南加州大学);University of Hong Kong(香港大学);Broad Institute of MIT and Harvard(MIT和哈佛大学Broad研究所)
本文提出ActFocus方法,通过令牌级能量建模解决强化学习中令牌级训练信号分配不均的问题,显著提升性能。
2026-05-14 cs.AI cs.CL cs.LG
Context Staircase: Signature-Aligned Dynamics of Token Embeddings under Small Initialization
Shanghai Jiao Tong University(上海交通大学);School of Mathematical Sciences(数学科学学院);Institute of Natural Sciences(自然科学研究院)
本研究提出上下文阶梯现象,发现小初始化下词元嵌入从低阶到高阶逐步对齐概率签名,推导相关演化方程并揭示数据统计与架构对嵌入的塑造作用。
2026-09-01 cs.CL cs.LG
GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);School of Artificial Intelligence for Science, Peking University(北京大学科学人工智能学院)
GradCuit在测试时插入可优化潜在状态,实现序列级信用分配,在多基准上准确率优于同类方法,且鲁棒性、可解释性更强,为LLM测试时推理扩展提供新方向。
2026-08-11 cs.CL cs.LG
Temporally-Resolved Token Attribution Reveals the Generation Dynamics of Diffusion Language Models
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(巴黎中央理工-高等电力学院)
本文提出扩散层积分梯度(DLIG),一种用于扩散语言模型的 token 归因方法,通过扩展积分梯度至任意层和去噪步骤,揭示模型生成动态,并在词义消歧、多跳推理和句子填充任务中验证其有效性。
2026-10-02 cs.AI cs.CL cs.LG
Toward Consistent World Models with Multi-Token Prediction and Latent Semantic Enhancement
Shenzhen University(深圳大学);Microsoft Research Asia(微软亚洲研究院)
本文通过多令牌预测和潜在语义增强方法,解决大语言模型内部世界模型一致性问题,提升表示对齐性和鲁棒性。
2026-04-20 cs.AI cs.CL cs.LG
Localizing Paragraph Memorization in Language Models
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
本文通过梯度空间模式定位语言模型中段落记忆的关键权重和低层注意力头,发现记忆示例更难遗忘且更难被扰动破坏。
2024-03-28 cs.CL cs.CR cs.LG
Adversarial Attack on Large Language Models using Exponentiated Gradient Descent
Department of Computer Science, Florida State University(计算机科学系,佛罗里达州立大学);Department of Mathematics, Florida State University(数学系,佛罗里达州立大学)
本文提出基于指数梯度下降和 Bregman 投影的 LLM 对抗攻击方法,在概率单纯形内优化 one-hot 编码,实验证明其越狱成功率和效率优于三种现有方法。
2025-05-14 cs.CL cs.CR cs.LG
Attention with Trained Embeddings Provably Selects Important Tokens
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
本文研究了单层softmax注意力模型中梯度下降训练后的词元嵌入结构,证明其能按词频对齐输出向量并选择重要词元以最大化分类间隔,理论结果在IMDB和Yelp数据集上得到验证。
2025-06-25 cs.CL cs.LG stat.ML