On the Inductive Bias of Masked Language Modeling: From Statistical to Syntactic Dependencies
Stanford University(斯坦福大学)
我们研究了如何以无监督的方式掩蔽和预测令牌可以产生语言结构和下游性能增益。最近的理论表明,预训练的语言模型通过隐含地充当下游任务的完形填空缩减的掩码来获得有用的归纳偏差。虽然有吸引力,我们表明,在实践中使用的随机掩蔽策略的成功,不能解释这样的完形填空式的面具。我们使用三个不同分类数据集的特定任务词典构建了类似完形填空的掩码,并表明大多数预训练的性能增益来自与词典无关的通用掩码。为了解释这些通用面具的经验成功,我们证明了掩蔽语言模型(MLM)的目标和现有的方法之间的对应关系,学习统计依赖的图形模型。使用此,我们推导出一种方法,用于提取这些学习的统计依赖MLMs,并表明这些依赖编码有用的归纳偏见的形式的句法结构。在无监督解析评估中,简单地在隐含的统计依赖结构上形成最小生成树优于无监督解析的经典方法(58.74 vs. 55.91 UUAS)。
2021-04-12 cs.AI cs.CL cs.LG
Certain but not Probable? Differentiating Certainty from Probability in LLM Token Outputs for Probabilistic Scenarios
SciTech Strategies, Inc.(SciTech Strategies公司);Georgetown University(乔治城大学)
研究发现在概率场景中,尽管GPT-4.1和DeepSeek-Chat的响应准确率完美,但其基于token logits的确定性与理论概率分布存在偏离,表明从token输出估计模型概率的不足。
2025-11-01 cs.CL
From Token Probabilities to Semantic Constraints: Towards Declarative Probabilistic Evaluation of Language Models
Allen Institute for AI(艾伦人工智能研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出ModelLog,一个声明式概率评估框架,通过符号约束衡量模型分布满足程度,发现否定、互斥和一致性任务中的系统性失败,并揭示评估分数可作为损失连接评估与学习。
2026-09-15 cs.CL
Reconstruction Probing
Boston University(波士顿大学);University of Pittsburgh(匹兹堡大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了重建探测,一个新的分析方法的上下文表示的基础上,在掩蔽语言模型(MLMs)的重建概率。该方法依赖于比较在给定序列中的令牌的重构概率,当以已经完全上下文化的单个令牌的表示为条件时,以及当仅以模型的解上下文化的词汇先验为条件时。这种比较可以被理解为量化语境化对重建的贡献-重建概率的差异只能归因于语境化引起的单个标记的代表性变化。我们将这种分析应用到三个多语言模型中,发现语境化提高了标记的可重构性,这些标记在线性和句法距离方面接近被重构的标记。此外,我们将我们的分析扩展到上下文表示的细粒度分解,我们发现这些提升主要归因于输入层的静态和位置嵌入。
2022-12-21 cs.CL
"My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Bocconi University(博科尼大学)
本文系统评估了指令微调大语言模型中首token概率评估与最终文本答案的一致性,发现两者在多维度上严重不匹配,不匹配率超过60%,提示不能仅依赖首token评估。
2024-07-04 cs.CL
SWEb: A Large Web Dataset for the Scandinavian Languages
AI Sweden(瑞典人工智能研究院)
本研究发布了超万亿token的斯堪的纳维亚语言最大预训练数据集SWEb,提出低复杂度的基于模型的文本提取器,构建瑞典语完形填空评估基准,验证了该数据集训练模型的竞争力,且所有资源公开。
2024-10-06 cs.CL
From token probabilities to calibrated confidence: An empirical study of mathematical question answering
RBC Borealis(加拿大皇家银行博雷利斯(RBC Borealis))
该研究针对数学问答任务,探究token概率能否用于生成校准置信度,对比单遍与多遍估计器,评估多种校准方法,发现序列聚合token概率可提升置信度质量,事后校准能降低域内误差但迁移性存在非对称问题。
2026-08-11 cs.CL cs.LG
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心);Tencent(腾讯)
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题,提出多位置 token 概率预测方法 P3,在单次运行中模拟生成路径采样,显著提升了零样本文本分类的准确率与鲁棒性,降低了对提示工程的依赖。
2025-04-04 cs.CL
Do Not Design, Learn: A Trainable Scoring Function for Uncertainty Estimation in Generative LLMs
University of Southern California(南加州大学);University of Birmingham(伯明翰大学);Amazon AI(亚马逊人工智能)
针对生成式大语言模型不确定性估计中现有基于概率的评分函数存在的局限,提出可学习响应评分(LARS)函数,通过监督数据捕捉token与概率的复杂依赖,实验显示其在多任务多数据集上AUROC分数提升高达16%。
2025-02-12 cs.CL
Should you marginalize over possible tokenizations?
Naver Labs Europe(Naver欧洲实验室)
研究自回归语言模型中忽略分词边际化是否合理,提出基于重要性采样的算法计算边际概率估计,发现多数情况下对数似然差距不超过0.5%,但在长复杂单词数据中差距更明显。
2023-06-30 cs.CL
Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles
University of Toronto(多伦多大学);Meta AI
本研究针对分词语言模型的分词偏差问题,提出字节-分词表示引理建立分词与字节级分布映射,开发零样本转换算法消除偏差,在FIM任务和跨词汇表模型集成中分别实现18%和3.7%的性能提升。
2025-04-11 cs.CL cs.LG
Express Your Doubts -- Probabilistic World Modeling Should not be Based on Token logprobs
Eitan Wagner;Omri Abend
本文探讨了大型语言模型作为概率估计器在世界概率估计中的应用问题,指出基于token logprobs的局限性,并提倡第二阶预测方法以提高概率合理性。
2026-05-12 cs.AI cs.CL
Probabilistic Attribution For Large Language Models
Argonne Leadership Computing Facility(阿贡领导计算设施);Argonne National Laboratory(阿贡国家实验室);Mathematics and Computer Science Division(数学与计算机科学 division);Department of Computer Science(计算机科学系)
本文提出了一种模型无关的概率性token归因度量,通过贝叶斯法则反向计算下一个token的对数概率,以捕捉模型对token序列分布的内部表示,从而提高大型语言模型的可解释性。
2026-05-20 cs.AI cs.CL
Offensive Language Detection with BERT-based models, By Customizing Attention Probabilities
NLP Research Laboratory(自然语言处理研究实验室);Shahid Beheshti University(沙希德·贝赫什提大学)
本文介绍了一种新的研究使用“注意力掩码”输入Transformers,并使用这种方法来检测英语和波斯语的攻击性内容。本文的主要重点是提出一种方法,以提高性能的BERT为基础的模型上的“攻击性语言检测”的任务。因此,我们通过改变“Attention Mask”输入来定制注意概率,以创建更有效的词嵌入。为此,我们首先对利用的数据集的训练集进行标记化(通过BERT tokenizer)。然后,我们应用多项式朴素贝叶斯将这些令牌映射到两个概率。这些概率表示使文本不具有攻击性或具有攻击性的可能性,前提是它包含该标记。然后,我们使用这些概率来定义一个新的术语,即进攻得分。接下来,我们基于每种语言的攻击性得分创建两个单独的(由于所采用的数据集类型的差异)方程,以重新分配“注意力掩码”输入,以便更多地关注更具攻击性的短语。最终,我们将F1-macro得分作为我们的评估指标,并对BERT与ANN,CNN和RNN的几种组合进行微调,以检查使用这种方法对各种组合的影响。结果表明,所有的模型将增强与这种方法。英语和波斯语的进步最大,分别为2%和10%。
2021-10-11 cs.AI cs.CL
What Kinds of Tokens Benefit from Distant Text? An Analysis on Long Context Language Modeling
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子与计算机工程学院)
本文通过分析 token 概率随上下文长度的变化,揭示实词、词首 token、N-gram 与先验知识对长上下文预测的影响及模型过度自信现象。
2024-06-17 cs.CL
Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base
Westlake University(西湖大学);Zhejiang University(浙江大学);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);CUHK(香港中文大学);Peking University(北京大学)
本文通过定义知识承载与知识无关标记,分析预训练语言模型在知识检索中的内部行为,提出两种自监督方法增强模型从非结构化文本中获取知识,并在知识密集型任务上验证有效性。
2023-10-11 cs.AI cs.CL
Look at the Text: Instruction-Tuned Language Models are More Robust Multiple Choice Selectors than You Think
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);LMU Munich(慕尼黑大学);Bocconi University(博科尼大学)
本文研究指令微调语言模型在多项选择题中的稳健性,发现文本答案比首个词元概率对问题扰动更稳健,尤其在不匹配率超过50%时,优于去偏方法,支持文本答案评估。
2024-08-20 cs.AI cs.CL
Sentence-Level Contextual Entrainment in Large Language Models
Kyoto University(京都大学)
研究大型语言模型中句子级上下文嵌入现象,发现提示中的句子(包括反事实陈述)会显著增加其推理概率,且该现象随模型增大而减弱,通过关闭2%-4%的注意力头可缓解而不影响性能。
2026-06-24 cs.CL
Language Model Uncertainty Quantification with Attention Chain
Georgia Institute of Technology(佐治亚理工学院)
提出UQAC方法,通过构建注意力链缩小推理空间以进行边缘化,高效量化LLM在复杂推理任务中的预测不确定性,解决过度自信问题。
2025-08-07 cs.CL
Conditional Unigram Tokenization with Parallel Data
Institute of Formal and Applied Linguistics, Faculty of Mathematics and Physics, Charles University, Prague, Czech Republic(形式与应用语言学研究所,数学与物理系,查尔斯大学,布拉格,捷克共和国)
提出条件一元分词方法,通过平行数据中的源语言词元条件化目标词元概率以最大化跨语言语义对齐,实验表明其困惑度持续降低但机器翻译质量无改善,揭示了条件概率估计的数据效率瓶颈。
2025-07-10 cs.CL
Better Language Model Inversion by Compactly Representing Next-Token Distributions
University of Southern California(美国南加州大学);Cornell University(康奈尔大学)
本文提出了一种通过紧凑表示下一项令牌分布来改进语言模型反向工程的方法,显著提升了隐藏提示的恢复率,并展示了其在复杂任务中的良好表现。
2025-12-11 cs.CL
Learned Hallucination Detection in Black-Box LLMs using Token-level Entropy Production Rate
Artefact Research Center(艺术研究中心)
本文提出一种基于令牌级熵产率的学习方法,用于在黑盒LLM中高效检测幻觉,通过单次生成过程提升问答系统响应的可信度。
2026-01-20 cs.AI cs.CL
MC-BERT: Efficient Language Pre-Training via a Meta Controller
Peking University(北京大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
预先训练的上下文表示(例如,BERT)已经成为在许多NLP任务上实现最先进结果的基础。然而,大规模的预训练在计算上是昂贵的。ELECTRA是加速预训练的早期尝试,它训练了一个判别模型,预测每个输入标记是否被生成器替换。我们的研究表明,ELECTRA的成功主要是由于它降低了预训练任务的复杂性:二进制分类(替换标记检测)比生成任务(掩蔽语言建模)更有效。然而,这种简化的任务在语义上信息量较少。为了实现更好的效率和效果,我们提出了一种新的元学习框架,MC-BERT。预训练任务是一个带有拒绝选项的多项选择完形填空测试,其中Meta控制器网络提供训练输入和候选项。在GLUE自然语言理解基准测试上的结果表明,我们提出的方法是高效和有效的:在相同的计算预算下,它在GLUE语义任务上的性能优于基线。
2020-06-16 cs.CL cs.LG
Explaining and Improving Contrastive Decoding by Extrapolating the Probabilities of a Huge and Hypothetical LM
UMass Amherst(马萨诸塞大学阿默斯特分校);Amazon AGI Foundations(亚马逊AGI基础部)
本文通过理论证明对比解码等价于从巨大假设LM线性外推logits,指出其局限,并提出渐近概率解码(APD)方法,在事实性生成和常识问答上显著提升性能,达到或超过更大模型的效果。
2024-11-03 cs.CL
Preserving Empirical Probabilities in BERT for Small-sample Clinical Entity Recognition
针对临床 NER 中实体标签不平衡导致少数类性能下降的问题,本文分析 BERT 在随机化数据集上的损失计算与传播机制,并提出保留经验概率的 token 分类改进方法。
2024-09-05 cs.CL cs.LG
SH2: Self-Highlighted Hesitation Helps You Decode More Truthfully
Shanghai Jiao Tong University(上海交通大学)
针对大语言模型的幻觉问题,本文提出推理阶段的自高亮犹豫(SH2)方法,通过高亮低概率事实token并结合对比解码,无需额外数据或模型即可显著提升多个模型在幻觉任务上的事实生成准确性。
2024-10-07 cs.AI cs.CL
Leading Whitespaces of Language Models' Subword Vocabulary Pose a Confound for Calculating Word Probabilities
Center for Data Science(数据科学中心);New York University(纽约大学);The Ohio State University(俄亥俄州立大学)
本文揭示语言模型子词前导空格导致词概率和超过1的混淆问题,并提出尾部空格概率重计解码方法,实验显示该修正降低花园路径效应估计并弱化对阅读时间的拟合。
2024-09-30 cs.CL
Don't Commit Alone: Joint Token Commitment in Diffusion Language Models
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院);Zhongguancun Academy(中关村科学城)
研究扩散大语言模型中多令牌提交问题,提出CoCommit方法,通过标记门控协调步骤延迟提交,重新应用骨干网络最后n层使标记位置协调,近似联合模式解码,提高推理和精确答案任务准确率。
2026-08-26 cs.CL
Beyond WER: Probing Whisper's Sub-token Decoder Across Diverse Language Resource Levels
Department of Linguistics, University of Washington(华盛顿大学语言学系);ALTAE, Université Paris Cité(巴黎cité大学ALTAE)
本文通过追踪 Whisper 转写时的 beam search 子 token 假设与概率,揭示不同资源水平语言间的系统性解码差异。
2025-09-29 cs.CL
LabelPrompt: Effective Prompt-based Learning for Relation Classification
Jiangnan University(江南大学);University of Surrey(萨里大学)
本文提出LabelPrompt提示学习框架,通过关系标签词元、实体感知对比学习和注意力查询策略提升关系分类性能,在少样本基准实验中表现优越。
2023-08-13 cs.AI cs.CL cs.IR
Probabilistic Predictions of People Perusing: Evaluating Metrics of Language Model Performance for Psycholinguistic Modeling
Yale University(耶鲁大学)
通过在自然主义阅读时间和信息理论的语义之间建立关系,语义理论(Hale,2001; Levy,2008)在语言模型和心理语言学模型之间提供了一个自然的接口。本文重新评估了Goodkind和Bicknell(2018)的一个主张,即语言模型对阅读时间建模的能力是其困惑度的线性函数。通过将Goodkind和Bicknell的分析扩展到现代神经体系结构,我们表明所提出的关系并不总是适用于长短期记忆网络,Transformers和预训练模型。我们引入了另一种衡量语言建模性能的方法,称为可预测性规范相关性,该方法基于从人类受试者测量的完形填空概率。我们的新指标产生了一个更强大的语言模型质量和心理语言建模性能之间的关系,允许不同的训练配置模型之间的比较。
2020-09-08 cs.CL cs.NE
On the Salience of Low-Probability Tokens for AI-Generated Text Detection: A Multiscale Uncertainty Perspective
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对AI生成文本检测中模板标记主导和点估计脆弱的问题,提出基于低概率标记的多尺度不确定性估计器Uncertainty及其改进版Uncertainty++,在多个数据集和LLM上验证了有效性、泛化性和鲁棒性。
2026-06-01 cs.CL
Detecting Label Errors in Token Classification Data
Cleanlab;MIT(麻省理工学院)
错误标记的示例是真实世界数据中的常见问题,特别是对于像令牌分类这样的任务,其中必须在细粒度的基础上选择许多标签。在这里,我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法,这些方法基于(任何)令牌分类模型(通过任何程序训练)输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上,在现实世界中的标签错误的实体识别数据从CoNLL-2003,我们确定了一个简单而有效的方法,一贯检测这些句子时,应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
Text vectorization via transformer-based language models and n-gram perplexities
University of Belgrade(贝尔格莱德大学)
针对标量困惑度易受单个低概率词元影响、丢失文本内部概率分布信息的问题,本研究提出基于n-gram困惑度计算文本向量的算法,通过组合各词元相对困惑度生成文本表示。
2023-07-18 cs.CL
Learning to Ask for Data-Efficient Event Argument Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州创新中心);Alibaba Group(阿里巴巴集团)
事件变元抽取是信息抽取的一项重要任务,它能发现特定的变元角色。在本研究中,我们将EAE作为一个基于问题的完形填空任务,并实证分析固定离散标记模板的性能。由于生成人工注释的问题模板通常是耗时和劳动密集型的,我们进一步提出了一种新的方法,称为“学习问”,它可以学习优化的问题模板,EAE没有人的注释。使用ACE-2005数据集的实验表明,我们的方法的基础上优化的问题实现了最先进的性能在Few-Shot和监督设置。
2021-10-01 cs.AI cs.CL cs.IR
How to Compute the Probability of a Word
本文指出近期语言学研究中计算词概率的常见错误,推导了基于子词的正确计算方法,并揭示了GPT系列等词首标记分词器导致的问题,证明修正该错误会影响句子理解与词汇优化分析的测量结果。
2024-10-12 cs.CL
Safeguarding RAG Pipelines with GMTP: A Gradient-based Masked Token Probability Method for Poisoned Document Detection
Graduate School of Artificial Intelligence, POSTECH, Republic of Korea(人工智能研究生院,POSTECH,韩国);Department of Computer Science and Engineering, POSTECH, Republic of Korea(计算机科学与工程系,POSTECH,韩国)
针对 RAG 知识库面临的投毒文档攻击,本文提出 GMTP,利用检索器相似度梯度定位关键 Token,并结合 MLM 概率检测恶意内容,可消除 90% 以上投毒信息且保持系统性能。
2025-07-24 cs.AI cs.CL
Long-Tail Crisis in Nearest Neighbor Language Models
Nara Institute of Science and Technology(奈良科学技术研究所);Future Corporation(未来公司)
本文研究k最近邻语言模型在低频词上的预测性能,发现其并未改善低频词预测,而主要惠及高频词,无论数据存储中是否存在长尾上下文。
2025-03-28 cs.CL
The Confident Liar: Diagnosing Multi-Agent Debate with Log-Probabilities and LLM-as-Judge
University of California, Irvine(加州大学伊文斯分校)
研究多智能体辩论中令牌级对数概率、LLM评判分数与任务准确性的关系,发现信心与推理质量在构造者上关联更强,且信心可检测关键推理失败。
2026-06-09 cs.AI cs.CL
Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
现代的基于图的句法依赖性解析器通过针对句子内的每个标记预测其可能的句法中心词上的概率分布(即,所有其它令牌),然后从所得的对数概率中提取最大生成树。如今,几乎所有这样的解析器都利用深度神经网络,因此可能容易发生错误校准(特别是过度自信的预测)。在本文中,我们证明了温度缩放,一个流行的技术事后校准的神经网络,不能改变上述过程的输出。我们的结论是,需要其他技术来解决基于图的依赖解析器中的误校准,以提高解析精度。
2021-06-15 cs.CL
NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction
Army Engineering University of PLA(中国人民解放军陆军工程大学)
使用提示来利用语言模型来执行各种下游任务,也称为基于提示的学习或基于提示的学习,与预训练和微调范例相比,最近取得了显著的成功。尽管如此,实际上所有的基于完形填空的方法都是标记级的,这意味着它们都利用GPT的从左到右的语言模型或BERT的掩码语言模型来执行完形填空式的任务。在本文中,我们尝试在zero-shot场景中使用RoBERTa和其他模型放弃的BERT原始预训练任务-下一句预测(NSP)来完成几个NLP任务。与token级别的技术不同,我们的基于提示符级别的方法NSP-BERT不需要固定提示符的长度或要预测的位置,使其能够轻松处理实体链接等任务。基于NSP-BERT的特点,我们为各种下游任务提供了几个快速构建模板。我们提出了一个两阶段的提示方法,特别是词义消歧任务。我们的标签映射策略显着提高了模型在句子对任务上的表现。在FewCLUE基准测试中,我们的NSP-BERT在大多数任务上都优于其他zero-shot方法,并接近于Few-Shot方法。
2022-10-18 cs.AI cs.CL
Beyond Exponential Decay: Rethinking Error Accumulation in Large Language Models
Independent Researcher(独立研究者)
本文挑战了LLM错误随序列长度指数衰减的假设,指出错误集中在少数关键决策token上,并提出下一代系统应通过选择性保留关键token和动态计算分配实现战略推理。
2025-05-30 cs.CL
Calibrated Large Language Models for Binary Question Answering
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);Centrica(森特里卡公司)
本文提出利用归纳Venn–Abers预测器(IVAP)校准大语言模型在二分类问答中的输出概率,并在BoolQ数据集上验证其优于温度缩放方法,同时保持高预测质量。
2024-07-01 cs.CL cs.LG
TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights
Tsinghua University(清华大学);Apple(苹果公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对DPO将整个响应视为单个臂、忽略token重要性差异的问题,提出TIS-DPO,通过token级重要性采样并基于对比LLMs估计权重优化目标,在对齐及摘要任务上显著优于基线,还可识别关键token位置。
2025-04-15 cs.CL
SafeDecoding: Defending against Jailbreak Attacks via Safety-Aware Decoding
University of Washington(华盛顿大学);The Pennsylvania State University(宾夕法尼亚州立大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出SafeDecoding,一种安全感知解码策略,通过放大安全免责声明的token概率并削弱有害token序列的概率,有效防御LLM越狱攻击,在不损害响应有用性的前提下显著降低攻击成功率。
2024-07-25 cs.AI cs.CL cs.CR
(G)I-DLE: Generative Inference via Distribution-preserving Logit Exclusion with KL Divergence Minimization for Constrained Decoding
Shinhan Securities Co.(新韩证券公司)
本研究提出约束解码方法(G)I-DLE,通过KL散度最小化与允许词元重归一化保留自回归语言模型的固有分布,在K2-Eval数据集的Qwen2.5系列模型实验中,既提升了平均评估分数又降低了输出质量方差。
2025-03-23 cs.CE cs.CL
Token-based Decision Criteria Are Suboptimal in In-context Learning
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);RIKEN(理化学研究所)
本文提出隐藏校准方法,用语言模型最后隐藏状态上的最近质心分类替代传统基于标签令牌概率的决策标准,在多个模型和数据集上显著提升上下文学习分类性能并揭示其内在原理。
2025-02-05 cs.AI cs.CL cs.LG
On multi-token prediction for efficient LLM inference
European Research Center (EUREC), Sony Europe B.V.(欧洲研究中心(EUREC),索尼欧洲有限公司);Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
本研究系统探究预训练LLM的多token预测(MTP)能力,发现模型天生具备该能力但性能依赖数据与规模,集成MTP头至冻结LLM存在挑战,联合训练可提升性能但无法完全克服障碍,为加速推理提供参考。
2025-02-13 cs.CL cs.LG
Masked Language Models are Good Heterogeneous Graph Generalizers
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机科学学院);Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Ant Group, Beijing, China(蚂蚁集团(北京))
针对异构图神经网络跨领域跨任务泛化难及与大语言模型嵌入空间差异的问题,提出基于掩码语言建模的MLM4HG方法,通过元路径文本序列和统一任务模板实现异构图学习,在少样本和零样本场景下泛化性能优于现有最优方法。
2025-07-30 cs.CL cs.SI
Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method
CAS Key Lab of Network Data Science and Technology, ICT, CAS, Beijing, China(中国科学院信息科技研究所网络数据科学与技术重点实验室);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学北京校区);Zhongguancun Laboratory, Beijing, China(中关村实验室);University of Amsterdam, Amsterdam, The Netherlands(阿姆斯特丹大学)
针对现有预训练数据检测方法易误判含大量高概率常用词的非训练文本的问题,提出基于散度的校准方法,构建中文基准PatentMIA,实验显示该方法显著优于现有方法。
2025-05-21 cs.CL cs.CR
A Lightweight Method to Disrupt Memorized Sequences in LLM
UC San Diego(加州大学圣迭戈分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出轻量级事后防御方法 TokenSwap,通过在大小模型间选择性交换 token 概率,有效降低 LLM 逐字记忆复现倾向且保持任务性能。
2025-05-27 cs.CL cs.LG
How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding
China Jiliang University(中国嘉兴大学)
本文提出LSFU指标和UCPOF框架,通过校准提示优化提升模型性能,实验显示在少样本基准上准确率提升6.03%,超越全RAG方法,并降低检索触发率50.66%。
2026-02-23 cs.AI cs.CL
Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
The ICFAI Foundation for Higher Education(ICFAI高等教育基金会)
本文提出VACP框架,通过语义掩码和温度调整评分,在保证覆盖的前提下显著提升预测集效率,实验证明其在大语言模型下一个标记预测中的有效性。
2025-12-27 cs.AI cs.CL
Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters
Apple MLX(苹果MLX)
研究通过后Transformer适配器纠正语言模型在敏感话题上的压制对数概率,展示适配器在不同规模模型上的泛化能力及生成一致性改进。
2026-04-17 cs.CL cs.LG