Mitigating Memorization in LLMs using Activation Steering
University of Maryland(马里兰大学)
本文研究利用激活引导技术在减少大语言模型记忆化训练数据的同时保持泛化能力,通过在Gemma上的受控文学记忆基准实验证明该方法能有效抑制记忆内容且性能损失极小,并分析了抑制效果与语言流畅性之间的权衡。
2025-03-08 cs.CL
Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);State Key Laboratory of Computer Science(计算机科学国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
本文提出KGR框架,通过利用LLMs自主提取、选择、验证并改造模型回复中的事实陈述,结合知识图谱知识改造初始草稿,有效缓解推理过程中的事实性幻觉,显著提升复杂推理事实问答表现。
2023-11-22 cs.CL
Beyond Performance: Quantifying and Mitigating Label Bias in LLMs
School of Computer Science and Engineering, The Hebrew University of Jerusalem(耶路撒冷希伯来大学计算机科学与工程学院)
本文在279个分类任务和十个LLMs上系统量化了标签偏差,发现去偏前后均显著存在,并提出一种优于现有方法的少样本标签偏差校准方法,以同时提升性能与可靠性。
2024-05-04 cs.CL
When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation
University of Chinese Academy of Sciences(中国科学院大学);ICT, CAS(中国科学院信息技术研究所);CAS Key Lab of Network Data Science and Technology(中国科学院网络数据科学与技术重点实验室)
本文针对LLM知识边界感知不足与过度自信问题,提出增强其不确定性感知的方法,使检索增强能按需触发,从而以更少检索调用取得相当或更优性能。
2024-06-11 cs.CL
GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs
The University of Melbourne(墨尔本大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究所先进智能项目中心);Stevens Institute of Technology(斯蒂文斯理工学院)
本文提出梯度整流遗忘框架GRU,通过调节遗忘过程中梯度更新方向来减少对无关响应的副作用,从而缓解大语言模型遗忘与保留之间的权衡,并在多个基准上验证了有效性。
2025-06-05 cs.CL cs.LG
KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning
Tsinghua University(清华大学)
KARL通过知识边界感知强化学习框架,动态调整大语言模型的回避行为,有效抑制幻觉并保持高精度。
2026-04-03 cs.AI cs.CL cs.LG
Mitigating Semantic Drift: Evaluating LLMs' Efficacy in Psychotherapy through MI Dialogue Summarization
Research Institute CODE University of the Bundeswehr(CODE研究机构 陆军大学);Department of Psychology Barkatullah University(心理学系 Barkatullah大学)
本文通过MI对话摘要评估LLMs在心理治疗中的有效性,揭示其在复杂心理构念理解中的能力及缓解语义漂移的最佳实践。
2025-11-28 cs.CL cs.LG
The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文基于LLMs研究英译加泰罗尼亚语和西班牙语机器翻译中的性别偏见,发现基础LLMs偏见高于NMT模型,并提出一种提示结构在WinoMT上减少高达12%性别偏见。
2024-07-26 cs.CL
LANCET: Neural Intervention via Structural Entropy for Mitigating Faithfulness Hallucinations in LLMs
Beijing University of Posts and Telecommunications(北京邮电大学);China National Petroleum Corporation(中国石油天然气集团)
Lancet通过结构熵和幻觉差异比率实现精确神经干预,有效缓解大语言模型中的忠实幻觉问题。
2026-01-04 cs.CL cs.LG
Mitigating Entity-Level Hallucination in Large Language Models
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
本文提出DRAD方法,通过实时幻觉检测和外部知识自我纠正,动态调整检索增强,以检测并缓解大语言模型中的实体级幻觉,实验证明其性能优越。
2024-07-22 cs.CL cs.IR
CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling
Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学)
针对大语言模型持续学习中的正交性困境,提出CoDe-LoRA方法,通过整合通用知识与解耦任务特定知识,利用零空间投影和语义路由,在多个基准上取得最佳平均准确率。
2026-10-07 cs.AI cs.CL cs.LG
Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models
New York University(纽约大学)
研究评估了大型语言模型是否表现出确认偏见,并提出干预策略以减少其影响,通过实验发现干预可显著提高规则发现率。
2026-11-10 cs.CL cs.LG
Self-ensemble: Mitigating Confidence Mis-calibration for Large Language Models
Rice University(里士大学);University of North Carolina at Charlotte(北卡罗来纳州立大学);Johns Hopkins University(约翰霍普金斯大学)
针对大型语言模型在多选题问答中因选项增多导致的置信度失真问题,提出即插即用的Self-ensemble方法,通过分组集成预测全面缓解该问题并提升性能。
2025-10-13 cs.CL cs.LG
Redefining "Hallucination" in LLMs: Towards a psychology-informed framework for mitigating misinformation
University of Tennessee(田纳西大学);Oak Ridge National Lab(橡树岭国家实验室)
本文质疑大语言模型“幻觉”术语的适用性,提出基于认知偏差的心理学分类法,以细粒度理解并借鉴人类内部解决机制,制定策略缓解虚假信息,提升模型可靠性。
2024-02-01 cs.AI cs.CL
LLMs Are Biased Towards Output Formats! Systematically Evaluating and Mitigating Output Format Bias of LLMs
National University of Singapore(新加坡国立大学);VinAI Research(VinAI研究院);Institute of High Performance Computing (IHPC), A*STAR(新加坡科技研究局高性能计算研究所);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
本文首次系统评估了LLMs的输出格式偏见,提出区分格式约束内外的评估指标,并通过提示与微调合成格式数据的方法,将ChatGPT包装格式性能方差从235.33降至0.71。
2025-02-23 cs.CL
Beware of Your Po! Measuring and Mitigating AI Safety Risks in Role-Play Fine-Tuning of LLMs
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学);National University of Singapore(国立新加坡大学)
本研究首次系统评估角色扮演微调带来的安全风险,并提出安全感知的角色扮演微调方法SaRFT,在保持角色能力的同时有效提升安全性,实验验证其优于现有基线。
2025-05-27 cs.CL
Toward a Safer Web: Multilingual Multi-Agent LLMs for Mitigating Adversarial Misinformation Attacks
New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出一个多语言多智能体大语言模型框架,结合检索增强生成,作为网页插件部署,以缓解跨语言切换、查询膨胀和结构重排等对抗性错误信息攻击,保护在线事实完整性。
2025-10-07 cs.AI cs.CL cs.CR
Mitigating Approximate Memorization in Language Models via Dissimilarity Learned Policy
University of Windsor(温莎大学)
针对大语言模型记忆训练数据引发的隐私风险,提出基于PPO强化学习、以负相似度得分为奖励的相异性策略框架,可在保持生成质量的同时有效缓解各类场景下的近似记忆问题。
2023-05-02 cs.CL cs.CR cs.LG
Mitigating Gender Bias via Fostering Exploratory Thinking in LLMs
Texas A&M University(得克萨斯农工大学)
通过生成性别中性故事对并利用直接偏好优化,该研究旨在减少大语言模型中的性别偏见,同时保持模型能力。
2026-01-14 cs.AI cs.CL cs.CY
Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge
Beijing Institute of Technology, China(北京理工大学);Beijing University of Posts and Telecommunications, China(北京邮电大学);Meituan, China(美团);The Open University, UK(开放大学)
本文提出DSSP-RAG框架,通过共享-私有语义协同机制,缓解LLM在整合外部知识时的幻觉问题,并提升生成性能。
2026-01-09 cs.CL
Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
Department of Computer Science, National Centre for Text Mining(计算机科学系、文本挖掘国家中心)
提出Locate-then-Merge训练无关参数融合框架及Neuron-Fusion神经元级策略,通过定位并选择性融合重要参数,在13个基准上缓解多模态大语言模型灾难性遗忘并减少幻觉。
2025-05-22 cs.CL
GenderAlign: An Alignment Dataset for Mitigating Gender Bias in Large Language Models
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
针对大语言模型中的性别偏见问题,构建了包含8k个单轮对话的对齐数据集GenderAlign,通过选择低偏见高质量回应,有效减少性别偏见。
2024-12-16 cs.AI cs.CL
One SPACE to Rule Them All: Jointly Mitigating Factuality and Faithfulness Hallucinations in LLMs
Beijing University of Posts and Telecommunications(北京邮电大学);Shihezi University(石河子大学)
SPACE通过联合编辑共享激活子空间,有效缓解大语言模型中的事实性和忠实性幻觉问题。
2025-11-23 cs.AI cs.CL
FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
为缓解LLMs对良性查询的过度拒绝问题,本文提出FalseReject资源及图信息增强的对抗性多智能体框架,生成16k数据集以训练模型进行结构化推理,在保障整体安全性的同时大幅减少了不必要的拒绝。
2025-07-15 cs.AI cs.CL
MASH-VLM: Mitigating Action-Scene Hallucination in Video-LLMs through Disentangled Spatial-Temporal Representations
Kyung Hee University(庆熙大学);LG AI Research(LG人工智能研究院)
针对视频大语言模型的动作-场景幻觉问题,提出基于解耦时空表征的MASH-VLM,通过DST-attention与Harmonic-RoPE两项创新,在新建UNSCENE基准及现有视频理解基准上取得最优结果。
2025-03-20 cs.CV
Learning to Refuse: Towards Mitigating Privacy Risks in LLMs
Soochow University(苏州大学)
针对大语言模型意外记忆隐私信息的风险,该研究构建了真实个人数据遗忘数据集RETURN,并提出名称感知遗忘框架NAUF,在保护目标个人隐私的同时维持模型通用能力,遗忘表现优于现有基线。
2024-09-16 cs.AI cs.CL
Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing
The Hong Kong Polytechnic University(香港理工大学);Waseda University(早稻田大学);The University of Oklahoma(俄克拉荷马大学);EureXa Labs(EureXa实验室)
本文通过注入人格特征缓解基于大语言模型的相关性判断中的阈值先入为主效应,发现特定人格特征可有效降低该效应,并提出人格提示作为改进方法。
2025-11-29 cs.CL cs.IR
Understanding and Mitigating Language Confusion in LLMs
Cohere(Cohere公司)
本文研究了LLMs无法一致生成用户期望语言的问题,创建了Language Confusion Benchmark评估15种语言,发现基础和英语中心模型更易混淆,并通过少样本提示、多语言SFT和偏好调整部分缓解此问题。
2025-04-03 cs.CL
SCOPE: Intrinsic Semantic Space Control for Mitigating Copyright Infringement in LLMs
针对大型语言模型生成受版权保护内容的问题,提出无需参数更新或辅助过滤器的推理时方法SCOPE,通过稀疏自动编码器识别并钳制版权敏感子空间激活,在不降低通用效用的情况下缓解版权侵权。
2025-11-11 cs.CL
Insights into Classifying and Mitigating LLMs' Hallucinations
IULM University(IULM大学);ISASI Institute of Applied Sciences and Intelligent Systems-CNR(意大利国家研究委员会应用科学与智能系统研究所(ISASI))
本文分析大语言模型幻觉的成因与分类,覆盖多任务场景,并探索缓解策略以提升可靠性,服务于健康假新闻治理项目。
2023-11-14 cs.CL
Quantifying and Mitigating Premature Closure in Frontier LLMs
Department of Medicine, Stanford University(斯坦福大学医学系);Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系)
本文研究了大语言模型在医疗任务中过早闭合的问题,通过评估五个前沿模型发现其在不确定情况下仍频繁给出答案,安全提示虽能减少错误,但仍有残留问题,需进一步验证医疗LLM是否能判断何时不应回答。
2026-05-14 cs.AI cs.CL
Mitigating Quantization Errors Due to Activation Spikes in GLU-Based LLMs
Hanyang University(汉阳大学)
针对GLU变体LLMs中激活尖峰导致的量化误差,提出QFeM和QFeP方法隔离尖峰,提升粗粒度量化性能,并增强SmoothQuant等现有技术。
2024-05-23 cs.CL cs.LG
Mitigating Backdoor Threats to Large Language Models: Advancement and Challenges
University of California, Davis(加州大学戴维斯分校);NVIDIA(英伟达公司);University of Southern California(南加州大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文系统综述了大型语言模型在开发与推理阶段面临的后门攻击威胁,梳理了防御与检测策略的最新进展,并指出了未来研究的关键挑战与方向。
2024-09-30 cs.AI cs.CL cs.CR
How Are LLMs Mitigating Stereotyping Harms? Learning from Search Engine Studies
University of Amsterdam(阿姆斯特丹大学)
本文借鉴搜索引擎审计方法,提出基于自动补全提示的评估任务,通过拒绝率、毒性、情感和regard四项指标评估大语言模型的刻板印象问题,发现系统提示可部分改善输出,但对民族/族裔、性取向及交叉性身份相关提示仍存在明显刻板印象危害,并呼吁各方加强问责。
2024-08-01 cs.CL
Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
Lahore University of Management Sciences(拉合尔管理科学大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Meta
本文揭示了微调 LLMs 时不同任务导致的安全退化现象,发现代码生成和翻译任务对安全防护破坏最大,并提出新的多任务安全数据集以降低攻击成功率且不损害模型有用性。
2024-09-18 cs.AI cs.CL cs.LG
LFTF: Locating First and Then Fine-Tuning for Mitigating Gender Bias in Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Tencent(腾讯)
本研究提出GenBiasEval、GenHintEval两个数据集及对应指标以评估大模型性别偏见,还提出LFTF算法,通过定位并微调与偏见最相关的模块,在保留通用能力的同时有效缓解性别偏见。
2025-05-21 cs.AI cs.CL
Beyond Fine-Tuning: Effective Strategies for Mitigating Hallucinations in Large Language Models for Data Analytics
针对 LLM 在数据分析自然语言查询中的幻觉问题,本文评估结构化输出、规则执行、提示增强与语义层集成四种策略,证明其优于传统微调并提升结果可靠性。
2024-10-26 cs.AI cs.CL
Gemma Needs Help: Investigating and Mitigating Emotional Instability in LLMs
Imperial College London(伦敦帝国理工学院);Anthropic
研究发现Gemma模型在训练后表现出显著情绪不稳定,通过偏好优化可有效缓解,但需进一步改进训练以提升情绪鲁棒性。
2026-02-17 cs.CL
Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information
Apple(苹果公司)
针对无关信息降低大模型推理能力的问题,构建GSMIR数据集并提出ATF方法,通过分析并过滤无关信息,显著提升了大模型在含干扰信息时的推理性能。
2025-05-23 cs.CL
Med-HEAL: Analyzing and Mitigating Hallucinations in Medical LLMs with Hallucination-Aware In-Context Learning
University of Maryland, Baltimore County(马里兰大学巴尔的摩县);Medical College of Wisconsin(威斯康星医学学院)
提出Med-HEAL框架,利用临床数据构建幻觉数据集,并通过自我批评和检索增强上下文学习策略缓解医学大语言模型中的幻觉,实验表明自我批评策略可提升多数模型准确率。
2026-05-31 cs.CL
Mitigating Adversarial Attacks in LLMs through Defensive Suffix Generation
Asan Medical Center(峨山医疗中心);Yonsei University(延世大学)
本文提出一种基于梯度的防御性后缀生成算法,结合防御与对抗损失优化后缀,在不需大量重训练的情况下有效缓解 LLMs 对抗攻击,将攻击成功率平均降低 11% 并显著提升模型安全性。
2024-12-18 cs.AI cs.CL cs.CV
EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
EchoX通过利用语义表示并动态生成语音训练目标,整合声学与语义学习,以弥合声学-语义差距,从而在约六千小时训练数据下保持语音大语言模型的推理能力,并在多个知识问答基准上取得先进性能。
2025-09-11 cs.AI cs.CL cs.SD
GloSS over Toxicity: Understanding and Mitigating Toxicity in LLMs via Global Toxic Subspace
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Dalian University of Technology(大连理工大学)
本文提出 GloSS 方法,通过识别并移除 LLM 前馈网络中的全局毒性子空间,实现高效去毒,在保持模型通用能力的同时达到最先进性能。
2025-05-20 cs.AI cs.CL
Enhancing Multi-Agent Consensus through Third-Party LLM Integration: Analyzing Uncertainty and Mitigating Hallucinations in Large Language Models
China Telecom Shanghai Company(中国电信上海公司);Ferret Relationship Intelligence(Ferret关系智能公司)
本文提出引入第三方LLM进行不确定性估计与置信度分析以优化多智能体共识,并在算术数据集上验证其优于传统多智能体基线,从而缓解LLM幻觉。
2024-11-25 cs.AI cs.CL cs.MA
When Personalization Misleads: Understanding and Mitigating Hallucinations in Personalized LLMs
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学首都人工智能学院);AI Lab at Lenovo Research(联想研究院人工智能实验室);School of Artificial Intelligence and Data Science, University of International Business and Economics(国际商务与经济大学人工智能与数据科学学院)
本文提出FPPS方法,通过轻量级推理时间策略缓解个性化大语言模型中的事实性幻觉问题,并引入PFQABench基准评估事实性和个性化问答性能。
2026-01-16 cs.AI cs.CL
Seeing Clearly without Training: Mitigating Hallucinations in Multimodal LLMs for Remote Sensing
School of Computer Science, Wuhan University, China(武汉大学计算机学院);Zhongguancun Academy, China(中关村学院);School of Computer Science, Chongqing University, China(重庆大学计算机学院)
RADAR通过利用多模态大语言模型的内在注意力,无需训练即可减少遥感视觉问答中的事实性和逻辑性幻觉。
2026-03-03 cs.CV
Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic Factuality Aligning
College of AI, Tsinghua University(清华大学人工智能学院);Department of Electronic Engineering, BNRist, Tsinghua University(清华大学电子工程系);School of Electronic and Information Engineering, Beijing Jiaotong University(北京交通大学电子信息学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
该研究针对大语言模型的地理空间知识幻觉问题,构建了基于知识图谱的评估框架并测试20个模型,提出基于KTO的动态事实对齐方法,在基准上实现超29.6%的性能提升,增强了模型地理空间任务的可信度。
2025-07-25 cs.AI cs.CL cs.LG
Measuring and mitigating overreliance to build human-compatible AI
本文研究了大型语言模型过度依赖的风险,探讨了测量和缓解过度依赖的方法,以确保AI能增强而非削弱人类能力。
2026-05-20 cs.AI cs.CL cs.CY
Uncertainty-Aware Fusion: An Ensemble Framework for Mitigating Hallucinations in Large Language Models
Amazon(亚马逊公司)
本文提出不确定性感知融合(UAF)集成框架,通过结合多个大语言模型的准确性与自我评估能力来缓解事实型问答中的幻觉,在多个基准上比现有方法提升8%的事实准确性。
2025-02-22 cs.AI cs.CL cs.LG
HalluScan: A Systematic Benchmark for Detecting and Mitigating Hallucinations in Instruction-Following LLMs
Sofrecom Tunisia(Sofrecom突尼斯);Orange Innovation(Orange创新)
提出HalluScan基准框架,通过HalluScore复合指标、自适应检测路由(ADR)和系统错误级联分解,在6种检测方法、4个模型家族和3个领域上评估幻觉检测与缓解,发现NLI验证AUROC最高(0.88),RAV次之(0.66)。
2026-05-22 cs.CL
Mitigating Hallucinations Using Ensemble of Knowledge Graph and Vector Store in Large Language Models to Enhance Mental Health Support
National University of Sciences and Technology(国家科技大学);King Faisal University(费萨尔国王大学);Sejong University(世宗大学)
本研究探讨大型语言模型在心理健康领域的幻觉问题,通过分析其产生机制并提出针对性干预策略,构建更稳健的框架以提升模型在心理治疗与咨询中的可靠性与安全性。
2024-10-06 cs.AI cs.CL
Mitigating Harmful Erraticism in LLMs Through Dialectical Behavior Therapy Based De-Escalation Strategies
Rutgers University School of Public Health(罗杰斯大学公共卫生学院);MARCo Health Inc.(MARCo健康公司)
本文提出将辩证行为疗法(DBT)原则用于AI聊天机器人响应调节,以构建更稳健可持续的框架,减少幻觉、异常输出和系统性问题,提升响应的可靠性、安全性与准确性。
2025-09-06 cs.AI cs.CL cs.HC
Mitigating Exaggerated Safety in Large Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对LLMs的过度安全问题,通过结合XSTest数据集与多种提示策略,测试不同模型的决策边界,成功将过度安全行为总体降低92.9%,在安全性与实用性间取得平衡。
2024-08-29 cs.CL
Identifying and Mitigating Privacy Risks Stemming from Language Models: A Survey
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
该研究针对大语言模型训练数据记忆引发的隐私泄露问题,推出首个LLM数据隐私SoK,从攻击维度分类、现有攻击梳理、缓解策略调研、研究空白识别四方面系统梳理相关领域知识。
2024-06-18 cs.AI cs.CL