Thinking Tokens for Language Modeling
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电气工程学院);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague(布拉格捷克技术大学捷克信息学、机器人学与控制论研究所)
针对语言模型复杂计算与推理能力不足的问题,研究者提出引入特殊的thinking tokens(思考令牌),类比人类思考过程让模型在处理复杂问题时执行更多计算,以此提升泛化能力。
2024-05-14 cs.AI cs.CL
Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards
Korea University(高丽大学);Soongsil University(崇实大学)
针对GRPO中长度惩罚导致奖励崩溃的问题,提出ACOER方法,通过仅对正确回答给予简洁奖励并动态调整预算,在数学推理任务中准确率提升且生成token减少超60%。
2026-06-23 cs.AI cs.CL
Improving Open-Ended Text Generation via Adaptive Decoding
Shanghai Jiao Tong University(上海交通大学)
本研究提出自适应解码机制,通过基于熵的置信度指标动态确定候选词元集,在平衡生成多样性与连贯性的同时提升了文本质量与模型推理能力。
2024-06-03 cs.CL
Know When to Hold 'em: Correct-Token Retention in Uniform-State Diffusion Language Models
EPFL(瑞士洛桑联邦理工学院);Idiap Research Institute(伊迪亚普研究所)
本文针对均匀态扩散语言模型在自我纠正时过度修改正确令牌的问题,提出正确令牌保留正则化(CTR-Reg)辅助损失,在不改变采样器的情况下,显著提升干净令牌准确率并降低生成困惑度,同时保持多样性。
2026-10-02 cs.CL
Finish First, Perfect Later: Test-Time Token-Level Cross-Validation for Diffusion Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加州大学圣地亚哥分校)
针对扩散大语言模型解码中早期错误无法修正的问题,提出无需训练的Tolerator策略,通过两阶段交叉验证细化词元,在五个基准上持续提升性能。
2025-10-06 cs.AI cs.CL
DAFNet: Dynamic Auxiliary Fusion for Sequential Model Editing in Large Language Models
Alibaba Group(阿里巴巴集团);East China Normal University(华东师范大学)
针对大型语言模型持续纠错的序列模型编辑任务,提出动态辅助融合网络DAFNet,通过聚合编辑内与编辑间注意力流防止灾难性遗忘,并构建新数据集DAFSet,显著提升了单轮与序列编辑性能。
2024-05-31 cs.CL
SinkPruner: Sink-Free Visual Token Pruning for Multimodal Large Language Models
Weitu AI(微图AI);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本研究针对多模态大语言模型处理长视觉令牌序列时计算开销大的问题,提出无训练的SinkPruner剪枝框架,通过视觉净化器和文本引导剪枝器,在12个图像-语言和4个视频-语言基准上实现高效推理,在令牌减少89%时保留了LLaVA-1.5和Qwen2.5-VL的大部分性能。
2026-09-02 cs.AI cs.CL cs.CV
CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models
The Hong Kong Polytechnic University(香港理工大学);Southern University of Science and Technology(南方科技大学)
针对掩码扩散语言模型中不可逆标记提交导致的错误传播问题,提出无训练、采样器无关的CoDR方法,通过k次前向传递估计置信度漂移并重掩码不认可标记,提升多任务平均准确率。
2026-10-08 cs.CL cs.LG
Neural Sequence Segmentation as Determining the Leftmost Segments
Tencent AI Lab(腾讯人工智能实验室);Ant Group, Alibaba Group(蚂蚁集团,阿里巴巴集团)
以前的文本分割方法大多是在符号级别。尽管足够,但这种性质限制了它们充分发挥潜力,以捕捉细分市场之间的长期依赖关系。在这项工作中,我们提出了一个新的框架,增量段自然语言句子在段级。对于分割中的每一步,它识别剩余序列的最左边的片段。实现涉及LSTM-minus技术来构建短语表示和递归神经网络(RNN)来建模确定最左侧段的迭代。我们在3个数据集上进行了大量的句法组块和汉语词性标注实验,证明我们的方法显著优于以前的所有基线,并取得了新的最先进的结果。此外,定性分析和长句切分的研究验证了它在建模长期依赖关系方面的有效性。
2021-04-15 cs.CL
Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯公司微信AI模式识别中心)
非自回归神经机器翻译(NAT)同时预测整个目标序列,并显着加快推理过程。然而,NAT丢弃了句子中的依赖信息,因此不可避免地遭受多模态问题:目标令牌可能由不同的可能翻译提供,经常导致令牌重复或丢失。为了缓解这个问题,我们提出了一种新的半自回归模型恢复SAT在这项工作中,它产生的翻译作为一个序列的片段。这些段是同时生成的,而每个段是逐个令牌预测的。通过动态确定段长度和删除重复段,RecoverSAT能够从重复和丢失令牌错误中恢复。在三个广泛使用的基准数据集上的实验结果表明,与相应的自回归模型相比,该模型在保持相当性能的同时,实现了超过4个$\times$的加速比.
2020-06-09 cs.CL
MisEdu-RAG: A Misconception-Aware Dual-Hypergraph RAG for Novice Math Teachers
The University of Hong Kong(香港大学);Xi'an Jiaotong University(西安交通大学);Carnegie Mellon University(卡内基梅隆大学);Monash University(莫纳什大学)
针对初学者数学教师难以诊断和纠正学生错误的问题,提出基于双超图的RAG框架,通过组织教学知识和学生错误案例,提升响应质量。
2026-09-11 cs.CL cs.IR
Pre-trained Models Perform the Best When Token Distributions Follow Zipf's Law
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Department of Computer Science and Engineering, University of Notre Dame(圣母大学计算机科学与工程系);College of Computer Science, Nankai University(南开大学计算机学院)
针对词汇量选择依赖启发式方法的问题,提出基于Zipf定律分析词元频率分布确定最优词汇量的方法,实验验证其在多领域能让模型达峰值性能,为词汇量选择提供了可泛化的标准。
2025-07-30 cs.CL cs.LG
LVPruning: An Effective yet Simple Language-Guided Vision Token Pruning Approach for Multi-modal Large Language Models
University of Manchester(曼彻斯特大学);Imperial College London(伦敦帝国学院)
本文提出 LVPruning,一种基于语言引导的视觉令牌剪枝方法,通过交叉注意力评估视觉令牌重要性,无需修改模型参数即可显著降低多模态大语言模型的计算开销并保持性能。
2025-03-09 cs.CL
Structured Token Retention and Computational Memory Paths in Large Language Models
提出结构化令牌保留与计算记忆路径,通过概率选择和分层内存分配优化长序列处理,提高令牌存活率、降低计算开销,并适用于生成与长上下文建模。
2025-03-25 cs.CL
Method for Determining the Similarity of Text Documents for the Kazakh language, Taking Into Account Synonyms: Extension to TF-IDF
University of Birmingham(伯明翰大学)
文本相似度的确定在信息检索、文本挖掘、自然语言处理(NLP)和计算语言学等领域都受到了广泛的关注。将数据转换为数字向量是一项复杂的任务,其中使用了诸如标记化、停止词过滤、词干提取和项加权等算法。词频-逆文档频率(TF-IDF)是最广泛使用的术语加权方法,以便于搜索相关文档。为了提高权重的条款,大量的TF-IDF扩展。在本文中,TF-IDF方法的另一个扩展,提出了考虑同义词。通过余弦函数、骰子函数和Jaccard函数对哈萨克语文本文档进行相似性度量的实验,验证了该方法的有效性。
2022-11-22 cs.CL cs.IR
When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling
KAIST(韩国科学技术院);Korea University(韩国大学);AITRICS
本文提出SAFE框架,通过考虑令牌化不匹配和下一个令牌概率分布的一致性,改进长形式生成中的模型集成,提升准确性和效率。
2026-03-13 cs.AI cs.CL
When Is Noise Response Universal? Tokenization as the Hidden Variable in Language Models
Amazon(亚马逊)
该研究发现语言模型对噪声的响应一致性取决于噪声规模,核心是训练目标而非架构,追溯到分词机制,可用于预测和提升模型抗噪声能力。
2026-08-28 cs.CL cs.LG
Generalized Interpolating Discrete Diffusion
本文提出广义插值离散扩散 GIDD,通过更灵活的加噪过程及掩码与均匀噪声混合机制,在计算匹配条件下实现扩散语言建模的最优性能,并赋予模型自我纠错能力。
2025-06-09 cs.AI cs.CL cs.LG
SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
University of Illinois(伊利诺伊大学);UC San Diego(加州大学圣迭戈分校);Rochester Institute of Technology(罗切斯特理工学院);Clemson University(克莱姆森大学);Miami University(迈阿密大学)
SIPO通过对比式自我教师提供令牌级密集信用分配,统一强化学习与在线策略自蒸馏,在推理和代码生成基准上优于RLVR和OPSD基线。
2026-09-30 cs.AI cs.CL
Subjective Question Answering: Deciphering the inner workings of Transformers in the realm of subjectivity
UNIVERSITY OF COPENHAGEN(哥本哈根大学);FACULTY OF SCIENCE(理学院)
理解主观性需要超出常识范围的推理技巧。它需要一个机器学习模型来处理情感和执行意见挖掘。在这项工作中,我利用了一个最近发布的数据集进行跨度选择问答,即SubjQA。SubjQA是第一个包含问题的QA数据集,这些问题要求与来自六个不同领域的评论段落相对应的主观意见。因此,为了回答这些主观问题,学习者必须针对各个领域提取意见和处理情感,并且另外,将从段落中提取的知识与相应问题中的自然语言话语对齐,这一起增加了QA任务的难度。本论文的主要目标是研究内部工作(即,潜在的表示),以帮助更好地理解这些尚未很好理解的“黑盒”模型。Transformer的隐藏表示,关于真正的答案跨度,更紧密地聚集在向量空间比那些表示对应于错误的预测。对于客观和主观问题,此观察结果在前三个Transformer层中均成立,并且通常作为层维度的函数而增加。此外,在关于真实答案跨度令牌的潜在空间中的隐藏表示之间实现高余弦相似性的概率对于正确答案跨度预测比不正确答案跨度预测显著更高。这些结果对下游应用具有决定性的影响,在下游应用中,关键是要知道神经网络为什么会出错,以及错误发生在空间和时间的哪个点(例如,自动预测答案跨度预测的正确性而不需要标记数据)。
2020-10-14 cs.CL
Unraveling Token Prediction Refinement and Identifying Essential Layers in Language Models
Independent Researcher(独立研究者)
该研究利用 logit lens 分析 LLM 中间层的 token 预测,揭示相关信息位置对精炼深度的倒 U 形影响,并指出不同层对最终正确输出的重要性并不相同。
2025-06-08 cs.AI cs.CL cs.LG
Inconsistent Tokenizations Cause Language Models to be Perplexed by Japanese Grammar
University of Tokyo(东京大学)
本研究通过日语第一人称心理谓词限制语法点,发现分词不一致影响语言模型困惑度,Weblab 因均匀较差分词表现良好,且 Llama 3 困惑度可降低 28 倍,模型会改用替代语法模式。
2025-05-26 cs.AI cs.CL cs.LG
Continual Learning with Embedding Layer Surgery and Task-wise Beam Search using Whisper
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Alibaba Group(阿里巴巴集团)
针对多语言ASR持续学习中的灾难性遗忘问题,提出嵌入层手术加任务级波束搜索的方法,在Whisper模型上实现预训练语言词错误率下降且不影响新增语言性能。
2025-01-14 cs.AI cs.CL
Language Model Inversion through End-to-End Differentiation
School of Informatics, University of Edinburgh, Edinburgh, UK(信息学院,爱丁堡大学,爱丁堡,英国)
本研究提出通过端到端微分实现语言模型的逆向,利用梯度下降优化提示以生成目标输出,验证了方法在不同长度提示和目标上的有效性。
2026-02-11 cs.AI cs.CL
Large Language Models are Better Reasoners with Self-Verification
The Laboratory of Cognition and Decision Intelligence for Complex Systems, IA, CAS(中国科学院自动化研究所复杂系统认知与决策智能实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);College of Electrical and Information Engineering, Hunan University(湖南大学电气与信息工程学院);Unisound(云知声);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对大型语言模型在思维链推理中易受误差累积影响的问题,提出自我验证方法,通过反向验证模型推导的答案并计算验证分数来选择最优候选,有效提升了多类推理任务的性能。
2023-10-19 cs.AI cs.CL
Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models
提出分层上下文流形对齐方法,在不改动模型权重下重构词元嵌入,提升稀有词元检索、对抗鲁棒性与长距离依赖追踪,兼顾表示质量与计算效率。
2025-03-25 cs.CL
Geometric Latent Reasoning Induces Shorter Generations in LLMs
Idiap Research Institute(日内瓦研究所);EPFL(苏黎世联邦理工学院);BUT(布拉格技术大学)
提出几何潜在推理(GLR)方法,通过轻量级过渡头在嵌入空间中预测迭代方向更新,近似离散推理轨迹,从而在不显式优化长度的情况下显著缩短LLM的生成步数。
2026-11-10 cs.CL
Lexical Manifold Reconfiguration in Large Language Models: A Novel Architectural Approach for Contextual Modulation
本文提出一种基于流形的动态嵌入重构方法,通过连续几何变换调节词汇位置,降低困惑度、增强连贯性,并保持推理效率,实现上下文自适应语言建模。
2025-03-26 cs.CL
ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models
Huazhong University of Science and Technology(华中科技大学);Zhongguancun Academy(中关村学院);DeepCybo;Harbin Institute of Technology(哈尔滨工业大学);Beihang University(北京航空航天大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Zhengzhou University(郑州大学);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
针对自回归VLA模型动作分词保真度不足问题,提出物理秩一致性指标和ActionPiece方法,通过联合监督表示学习与量化保留动作关系,在多个基准上显著提升策略成功率。
2026-09-17 cs.AI cs.CL cs.CV
ErrOPD: When Does On-Policy Distillation Transfer Teacher Errors?
Nanyang Technological University(南洋理工大学)
本文研究了在线策略蒸馏中近确定性结构输出任务的外推悬崖问题,推导了基于模态概率、预热质量及重要性采样剪切强度的闭式安全阈值,并展示了在Amazon Fashion数据集上通过调整参数实现模型性能提升。
2026-10-14 cs.CL cs.LG
What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model
本研究探究语言模型迭代自馈探测的测量对象,提出区分探测构造与模型的测试方法,揭示两类测量量的差异,复现验证工具并纠正错误判断。
2026-08-13 cs.CL cs.LG
Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B
该研究发现,在相同 token 成本下,自改进、反思等含自我检查的语言模型方法均不敌重复采样,且模型规模增长会使自我检查方法的性能优势减弱,70 亿参数模型上的改写方法仍显著弱于基线。
2026-07-31 cs.AI cs.CL cs.LG
D2O: Dynamic Discriminative Operations for Efficient Long-Context Inference of Large Language Models
The Ohio State University(俄亥俄州立大学);University of Chinese Academy of Sciences(中国科学院大学);Tongji University(同济大学);Nanjing University(南京大学);The University of Hong Kong(香港大学);Peking University(北京大学);Alibaba International Digital Commerce(阿里巴巴国际数字商务)
D2O提出一种无需微调的KV缓存压缩方法,通过层级动态分配和令牌级补偿机制在节省内存、提升3倍以上推理吞吐的同时保持长文本生成质量。
2025-03-13 cs.CL
Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair
Department of Computer Science, University of Oxford, UK(英国牛津大学计算机系);FLock.io;Institute of Logic and Computation, TU Wien, Austria(奥地利技术大学逻辑与计算研究所)
针对自回归链式推理中错误雪崩问题,提出Teleological Reasoning Infilling (TRI)框架,通过将错误推理段重构为填充中间任务并引入前缀-后缀-中间序列重排,结合符号验证器监督微调和直接偏好优化,实现仅修复受损段的高效链修复。
2026-06-03 cs.CL cs.SC
RIV: Recursive Introspection Mask Diffusion Vision Language Model
Meituan(美团)
针对 MDVLM 无法自我纠错的问题,本文提出 RIV,通过自省训练识别语法、拼写及逻辑错误,并以递归解掩码—自省—重掩码推理实现修正,在多个基准上达到 SOTA。
2025-09-28 cs.AI cs.CL cs.CV
ForkLeft: Entropy-First Rollouts for Prefix-Aligned Autoregressive-to-Diffusion Distillation
ForkLeft通过熵优先展开分离学生生成与教师监督,解决自回归教师与扩散学生间的前缀不匹配,使DLM在不放弃并行解码的前提下获得NTP式推理能力,并在多个基准上显著提升性能。
2026-09-29 cs.AI cs.CL
FastDiSS: Few-step Match Many-step Diffusion Language Model on Sequence-to-Sequence Generation--Full Version
FPT Software AI Center, FPT Corporation(FPT软件人工智能中心,FPT公司);Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系);Quantum AI and Cyber Security Institute, FPT Corporation(FPT公司量子人工智能与网络安全研究所)
本文提出FastDiSS模型,通过改进自条件机制和引入噪声感知机制,提升少步采样下的生成质量,并实现400倍更快的推理速度。
2026-04-07 cs.AI cs.CL cs.LG