A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs
Independent Researcher(独立研究员)
本研究通过分析每层令牌logits特征,提出CHAIR框架检测幻觉,在TruthfulQA和MMLU上显著提升零样本检测准确率。
2026-06-12 cs.CL
LLM Knowledge is Brittle: Truthfulness Representations Rely on Superficial Resemblance
FAIR at Meta(Meta 的 FAIR 研究所);University of Zurich(苏黎世大学)
本研究通过扰动测试发现,LLM 的真实性表征在输入偏离预训练分布时崩溃,表明其知识学习是浅层且依赖表面形式,导致性能脆弱,挑战了真实性探测器的可靠性。
2025-10-13 cs.CL cs.LG
How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence
University of California, Los Angeles(加州大学洛杉矶分校);University of Alberta(阿尔伯塔大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学)
本文从知识存储、真实性方向、拒绝方向和置信度四个机制视角对比基础与后训练大语言模型,揭示后训练保留和改变了哪些内部机制,为模型引导和可解释性研究提供依据。
2025-11-08 cs.AI cs.CL cs.LG
LoFiT: Localized Fine-tuning on LLM Representations
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学)
本研究提出LoFiT局部微调框架,通过选定任务相关的稀疏注意力头并训练偏移向量实现LLM适配,效果优于传统表征干预方法,且以远少于LoRA的参数量达到相当性能。
2024-10-31 cs.CL
TruthRL: Incentivizing Truthful LLMs via Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
提出TruthRL框架,使用GRPO和三值奖励直接优化LLM的诚实性,减少幻觉并允许不确定时弃权,在知识密集型基准上显著提升诚实性。
2026-06-08 cs.AI cs.CL cs.LG
Towards Reliable Evaluation of Behavior Steering Interventions in LLMs
University of Michigan(密歇根大学);University College London(伦敦大学学院);CBS, Harvard University(哈佛大学CBS(哈佛大学行为科学高级研究中心));University of Cambridge(剑桥大学)
本文针对大语言模型行为引导干预评估缺乏客观量化标准的问题,提出包含四项准则的可靠评估流程,并据此发现部分表示工程干预方法的实际效果低于此前报告。
2024-10-22 cs.AI cs.CL
Efficiency and Effectiveness of LLM-Based Summarization of Evidence in Crowdsourced Fact-Checking
Department of Computer Science, University of Udine(乌迪大学计算机科学系);Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
本研究通过A/B测试对比了完整网页与LLM生成的摘要作为证据在众包事实核查中的表现,发现摘要证据在保持相当准确率的同时显著提升了效率、降低了成本并提高了内部一致性。
2025-05-01 cs.CL cs.HC cs.IR
REAL: Reading Out Transformer Activations for Precise Localization in Language Model Steering
研究旨在在不改变LLM参数的情况下引导其响应,核心挑战是识别关键内部模块。提出REAL框架,通过训练VQ - AE划分潜在空间,量化模块行为相关性来指导模块选择与引导强度。实验表明该方法能有效干预,提升真实性引导效果且具零样本泛化能力。
2026-07-14 cs.CL
Beacon: Single-Turn Diagnosis and Mitigation of Latent Sycophancy in Large Language Models
本文提出Beacon基准测试,用于单轮诊断和缓解大型语言模型中潜在的阿谀倾向,通过评估十二种最先进的模型,揭示了阿谀倾向在语言和情感方面的稳定子偏差,并提出了在提示和激活层面的干预措施,以调节这些偏差,从而揭示对齐作为事实性和社会合规判断之间的动态流形。
2026-05-17 cs.AI cs.CL
The Unintended Trade-off of AI Alignment:Balancing Hallucination Mitigation and Safety in LLMs
Applied Artificial Intelligence Initiative(应用人工智能倡议);Deakin University(德肯大学);School of Information Technology(信息科技学院)
本文提出了一种方法,通过解耦幻觉和拒绝特征,平衡LLMs中的真实性与安全性,减少因提高真实性而削弱安全对齐的问题。
2026-01-30 cs.CL
Improving Truthfulness of Headline Generation
Tokyo Institute of Technology(东京工业大学)
大多数关于抽象摘要的研究报告了系统摘要和参考摘要之间的ROUGE评分。然而,我们有一个问题的真实性生成的摘要:是否所有的事实生成的摘要中提到的源文本。本文在两个流行的数据集上探讨了如何提高标题生成的真实性。分析由最先进的编码器-解码器模型生成的标题,我们发现该模型有时会生成不真实的标题。我们推测原因之一在于用于训练模型的监管数据不真实。为了量化文章标题对的真实性,我们考虑了文章是否包含其标题的文本蕴涵。在确认数据集中存在大量不真实实例后,本研究假设从监督数据中删除不真实实例可以弥补模型的不真实行为问题。建立一个二元分类器,预测文章和标题之间的蕴涵关系,我们过滤掉监督数据中的不真实实例。实验结果表明,基于过滤监督数据训练的标题生成模型在ROUGE评分上没有明显差异,但在自动和人工评价标题方面有显著提高。
2020-05-05 cs.CL
Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention
HKUST(GZ)(香港科技大学(广州));Kuaishou Technology(快手科技);AIML(人工智能实验室);ZJU(浙江大学);Ant Group(蚂蚁集团);HKUST(香港科技大学)
针对大语言模型推理中高计算成本问题,提出最小测试时干预(MTI)框架,通过仅在不确定位置应用分类器自由引导和轻量负提示引导,在保持高效的同时提升推理准确性和稳定性。
2026-06-16 cs.AI cs.CL
Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对法律问答领域大语言模型的幻觉问题,研究团队推出LegalHalBench基准及相关评估指标,提出结合行为克隆和HIPO的幻觉缓解方法,经真实数据实验验证,在多项新旧指标上均实现显著提升。
2025-01-11 cs.CL
TIAR: Trajectory-Informed Advantage Reweighting for LLM Abstention Learning
Department of Computer Science, The Pennsylvania State University(宾夕法尼亚州立大学计算机科学系)
本文提出TIAR方法,利用GRPO中的多条轨迹作为自然弃权信号,动态重加权弃权奖励,在六个评估类别中的五个上取得最优弃权F1分数,同时保持基线准确率。
2026-05-25 cs.AI cs.CL cs.LG
TruthFlow: Truthful LLM Generation via Representation Flow Correction
Pennsylvania State University(宾夕法尼亚州立大学);College of Information Sciences and Technology(信息科学与技术学院)
TruthFlow利用Flow Matching技术学习查询特定的表示校正向量,将LLM表示从幻觉状态引导至真实状态,在TruthfulQA上显著提升多种先进LLM的真实性,并展现出良好的跨基准迁移能力。
2025-02-06 cs.AI cs.CL cs.LG
UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering
ShanghaiTech University(上海科技大学)
提出UniSteer,一种文本引导的激活流匹配模型,通过学习残差流激活的条件分布,实现统一的行为控制、真实性引导、细粒度概念引导、多约束指令遵循和激活空间分类。
2026-05-28 cs.CL
Improving Factuality in Large Language Models via Decoding-Time Hallucinatory and Truthful Comparators
Academy for Engineering and Technology, Fudan University(复旦大学工程技术研究院);ByteDance(字节跳动);Tencent Youtu Lab(腾讯云图实验室)
本文提出CDT框架,通过多任务微调构建幻觉与真实比较器,并结合混合专家策略捕获不同模式,在解码时对比logit差异以约束预测分布,从而显著提升LLMs的响应事实性与整体性能。
2025-01-25 cs.CL
Hallucination as an Anomaly: Dynamic Intervention via Probabilistic Circuits
Department of Information Engineering and Computer Science(信息工程与计算机科学系);University of Trento(特伦托大学)
本文提出PCNET,通过概率电路估计LLM残差流密度,检测幻觉作为几何异常,从而改进幻觉纠正,减少错误生成并提升事实性。
2026-05-07 cs.AI cs.CL
Improving Reasoning Performance in Large Language Models via Representation Engineering
Department of Computer Science, IT University of Copenhagen(计算机科学系,丹麦技术大学)
本文提出推理时表征工程方法,从LLM残差流激活推导控制向量以调节推理表征,在多类模型和推理任务上实现免训练性能提升。
2025-04-28 cs.AI cs.CL cs.LG
MisinfoEval: Generative AI in the Era of "Alternative Facts"
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Massachusetts Institute of Technology(麻省理工学院);Dartmouth College(达特茅斯学院)
本文提出MisinfoEval框架,通过模拟社交媒体环境和个性化解释实验,评估基于LLM的错误信息干预,发现其能显著提升用户识别错误信息的准确率并受用户偏好。
2024-10-15 cs.CL
Steer2Edit: From Activation Steering to Component-Level Editing
Department of Computer Science(计算机科学系);Halıcıoğlu Data Science Institute, UC San Diego(哈利奇奥卢数据科学研究所,加州大学圣迭戈分校)
Steer2Edit通过将引导信号转化为可解释的参数更新,实现组件级权重编辑,提升模型的安全性、真实性和推理效率。
2026-11-10 cs.CL
Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Huawei Technologies Co., Ltd.(华为技术有限公司);School of Engineering, RMIT University(RMIT大学工程学院)
提出语义自适应动态干预(SADI),利用对比对激活差异识别关键元素,在推理时动态构建引导向量缩放激活,无需训练即可显著提升大语言模型任务性能,并具良好泛化性。
2025-02-24 cs.CL
SLED: Self Logits Evolution Decoding for Improving Factuality in Large Language Models
Duke University(杜克大学);Google Research(谷歌研究)
针对大型语言模型输出的事实错误问题,提出无需外部知识库或微调的SLED解码框架,通过对比不同层对数概率并利用近似梯度引导自我优化,在多模型基准上提升事实准确性且保持流畅性与低延迟。
2025-08-19 cs.AI cs.CL stat.ML
EDIT: Evidence-Diagnosed Intervention Training for Rule-Faithful LLM Grading
King’s College London(伦敦国王学院);University of Cambridge(剑桥大学);AQA;The Alan Turing Institute(艾伦·图灵研究所)
提出EDIT框架,通过内部模型信号定位推理错误步骤并修正,结合信念引导的奖励塑造,提升LLM评分对评分标准的忠实度。
2026-09-04 cs.CL
CogSteer: Cognition-Inspired Selective Layer Intervention for Efficiently Steering Large Language Models
Department of Informatics, Universität Hamburg(汉堡大学信息学院);The University of Sydney(悉尼大学);Alibaba International Digital Commerce(阿里巴巴国际数字商业);Institute of Psychology, Chinese Academy of Sciences(中国科学院心理研究所)
本研究从认知视角分析LLM表征,提出CogSteer框架,通过启发式选择最优引导层进行选择性层干预和隐式层对比干预,在多项任务和模型上有效提升了模型引导的效率、安全性与可解释性。
2025-05-31 cs.AI cs.CL
CALLM: Understanding Cancer Survivors' Emotions and Intervention Opportunities via Mobile Diaries and Context-Aware Language Models
University of Virginia(弗吉尼亚大学)
本文提出上下文感知框架CALLM,结合大语言模型与检索增强生成分析癌症幸存者的移动日记,以理解其情绪状态并预测情绪调节意愿和干预可用性,从而实现个性化即时支持。
2025-05-06 cs.AI cs.CL cs.HC
pyvene: A Library for Understanding and Improving PyTorch Models via Interventions
Stanford University(斯坦福大学);Pr(Ai)R Group(Pr(Ai)R集团)
本研究推出开源Python库pyvene,支持对多种PyTorch模块进行可定制的静态或含可训练参数的干预,提供统一可扩展框架用于神经模型干预与模型共享,可应用于模型编辑、可解释性等AI领域。
2024-03-12 cs.CL cs.LG
Multi-Attribute Steering of Language Models via Targeted Intervention
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
研究如何对语言模型进行多属性引导,提出MAT-Steer框架,通过对齐目标学习引导向量,减少属性间冲突,在问答和生成任务中评估,该框架优于现有方法。
2026-07-13 cs.AI cs.CL cs.LG
Improving Seq2Seq Grammatical Error Correction via Decoding Interventions
Soochow University(苏州大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对Seq2Seq语法错误纠正模型受限于平行数据噪声且解码器缺乏标记正确性感知的问题,提出统一解码干预框架,利用外部评估器动态影响标记选择,在英中文数据集上取得竞争性结果。
2023-10-23 cs.CL
Teacher Intervention: Improving Convergence of Quantization Aware Training for Ultra-Low Precision Transformers
Hanyang University(汉阳大学);Seoul National University(首尔国立大学)
预训练的Transformer模型(如BERT)在广泛的应用中取得了巨大的成功,但代价是模型复杂性大幅增加。量化感知训练(QAT)是一种很有前途的方法,以降低实现成本和能源消耗。然而,由于不稳定的收敛,低于2位的积极量化会导致相当大的精度下降,特别是当下游数据集不丰富时。这项工作提出了一种积极主动的知识蒸馏方法,称为教师干预(TI)的快速收敛QAT的超低精度预先训练的Transformers。TI用来自教师的完整信号干预逐层信号传播,以消除传播的量化误差的干扰,平滑QAT的损失表面并加速收敛。此外,我们提出了一个渐进的干预机制,以稳定恢复的Transformer层的子部分从量化。所提出的计划,使QAT的快速收敛,提高模型的精度,而不管下游微调任务的不同特点。我们证明,TI一贯实现卓越的准确性与显着较低的微调迭代著名的Transformers的自然语言处理以及计算机视觉相比,国家的最先进的QAT方法。
2023-02-23 cs.AI cs.CL
Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions
Southern University of Science and Technology(南方科技大学);University of Notre Dame(Notre Dame 大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出GCAD方法,通过提取系统提示对自注意力的影响并应用token级门控,提升长周期连贯性与特质表达。
2026-11-13 cs.AI cs.CL
Improving Causal Interventions in Amnesic Probing with Mean Projection or LEACE
NASK - National Research Institute(国家研究 institute);Computational Linguistics and Text Mining Lab(计算语言学与文本挖掘实验室);Dept. of Language, Literature and Communication(语言、文学与沟通系)
针对健忘探测中现有信息移除技术易引入随机修改的问题,本研究提出均值投影与LEACE两种替代方法,可更精准移除目标信息,提升健忘探测的行为解释潜力。
2025-06-13 cs.AI cs.CL
Improving Multilingual Language Models by Aligning Representations through Steering
Applied Artificial Intelligence Initiative, Deakin University, Australia(应用人工智能计划,德肯大学,澳大利亚);School of Information Technology, Deakin University, Australia(信息技术学院,德肯大学,澳大利亚)
本文针对LLMs非英语标记表示研究不足的问题,提出轻量级表示引导干预方法,在单模型层残差流添加学习向量,在多基线实验中持续优于多数方案,与生产级翻译系统性能相当且资源更少,还探索了与SFT的互补性。
2025-08-26 cs.CL
Primary Care Diagnoses as a Reliable Predictor for Orthopedic Surgical Interventions
Stanford University(斯坦福大学);University of Arizona(亚利桑那大学);Northern Arizona University(北亚利桑那大学);Ponderosa Family Care(蓬德罗萨家庭医疗中心);University of Texas Health Science Center(德克萨斯大学健康科学中心);Mid-Atlantic Permanente Medical Group(中大西洋永久医疗集团);Neuroreef Labs(Neuroreef实验室);McGovern Medical School(麦戈文医学院);Houston Regional Gastroenterology Institute(休斯顿区域胃肠病研究所)
本研究利用BGE嵌入和机器学习分析初级保健诊断数据,以预测骨科手术需求,并通过噪声容忍、过采样和阈值优化将手术率从11.27%提升至60.1%,证明转诊优化可改善医疗效率和患者结局。
2025-02-06 cs.AI cs.CL cs.LG