Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models
University of Oxford(牛津大学);Dynamo AI(戴纳摩人工智能公司)
本研究揭示任务特定微调可被恶意操纵以诱发危险行为,并提出混合格式匹配的安全数据来高效恢复安全对齐,同时保持任务性能。
2025-02-28 cs.CL cs.LG
Mitigating the Bias of Large Language Model Evaluation
School of Architecture and Design, Harbin Institute of Technology(哈尔滨工业大学建筑与设计学院);Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);University of Essex(埃塞克斯大学)
本研究针对LLM-as-a-Judge评估中偏好表面质量而忽略指令遵循的偏差,分别通过校准(闭源模型)和对比训练(开源模型)进行缓解,实验证明在保持准确率的同时大幅降低了偏差。
2024-09-25 cs.CL
Mitigating Jailbreaks with Intent-Aware LLMs
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing(高性能计算研究所);Agency for Science, Technology and Research(科技研究局)
本文提出Intent-FT微调方法,通过训练大语言模型在回答前推断指令潜在意图来缓解越狱攻击,实验表明其能将所有攻击类别成功率降至50%以下,同时保持模型通用能力并减少对良性指令的过度拒绝。
2025-08-23 cs.CL cs.CR
Automatic Construction of a Korean Toxic Instruction Dataset for Ethical Tuning of Large Language Models
Seoul National University(首尔国立大学)
本文针对大语言模型伦理调优中人工标注成本高且有毒数据稀缺的问题,提出了自动构建的韩语有毒指令数据集KoTox,包含39K条不道德指令-输出对,用于提升模型的伦理意识与对有毒输入的响应能力。
2023-11-30 cs.CL
Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
Department of Computer Science, National Centre for Text Mining(计算机科学系、文本挖掘国家中心)
提出Locate-then-Merge训练无关参数融合框架及Neuron-Fusion神经元级策略,通过定位并选择性融合重要参数,在13个基准上缓解多模态大语言模型灾难性遗忘并减少幻觉。
2025-05-22 cs.CL
SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering
Macquarie University(麦考瑞大学);IOE, Pulchowk Campus(IOE普楚克校区)
本文提出SafeConstellations方法,通过任务感知的表示引导在推理时调整表示轨迹,减少大语言模型在处理良性指令时的过度拒绝现象,同时保持模型实用性。
2026-04-20 cs.CL
Beyond Performance: Quantifying and Mitigating Label Bias in LLMs
School of Computer Science and Engineering, The Hebrew University of Jerusalem(耶路撒冷希伯来大学计算机科学与工程学院)
本文在279个分类任务和十个LLMs上系统量化了标签偏差,发现去偏前后均显著存在,并提出一种优于现有方法的少样本标签偏差校准方法,以同时提升性能与可靠性。
2024-05-04 cs.CL
The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
本文基于LLMs研究英译加泰罗尼亚语和西班牙语机器翻译中的性别偏见,发现基础LLMs偏见高于NMT模型,并提出一种提示结构在WinoMT上减少高达12%性别偏见。
2024-07-26 cs.CL
REFER: Mitigating Bias in Opinion Summarisation via Frequency Framed Prompting
RMIT University(皇家墨尔本理工大学)
本文提出频率框架提示方法REFER,借鉴认知科学中频率表征减少偏差的原理,通过系统实验证明其能提升大语言模型观点摘要的公平性,且在更大模型和更强推理指令下效果更显著。
2025-09-19 cs.CL
How far can bias go? Tracing bias from pretraining data to alignment
CIS, LMU Munich(慕尼黑大学语言信息学研究所);ILLC, University of Amsterdam(阿姆斯特丹大学语言研究所);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
研究探讨预训练数据中的性别职业偏见如何在LLM中表现,通过零样本提示和词元共现分析,发现训练数据中的偏见被放大,指令微调部分缓解了代表性偏见,但整体性别刻板印象仍存在。
2026-05-11 cs.CL
Know the Unknown: An Uncertainty-Sensitive Method for LLM Instruction Tuning
The Hong Kong University of Science and Technology(香港科学与技术大学)
针对LLM难以承认知识局限的问题,提出不确定性敏感的两阶段微调方法US-Tuning,增强知识边界识别与指令遵循,显著减少幻觉,并在Llama2-7B上超越GPT-4。
2025-05-29 cs.CL
Inhibitory Attention for Clinical Long-Context Reasoning: Characterizing and Mitigating Lost-in-the-Middle Effects in EHR Processing
University of California San Francisco(加利福尼亚大学旧金山分校);Waymark(韦马克公司)
该研究针对电子病历处理中的临床中间信息丢失问题,提出查询条件化临床抑制方法,经实验验证其在中间位置指令及整体任务上的表现均优于多种基线检索与重排序方法。
2026-08-24 cs.AI cs.CL
Intent-Aware Self-Correction for Mitigating Social Biases in Large Language Models
Institute of Science Tokyo(东京科学大学);MBZUAI(Mohamed bin Zayed 人工智能大学);AIST(独立行政法人产业技术综合研究所);NII(独立行政法人情报通信研究机构)
本文提出意图感知的自校正方法,通过在指令、响应和反馈三部分澄清去偏意图,并结合思维链与多方面反馈,显著提升大语言模型减少社会偏见的稳健性与一致性。
2025-03-08 cs.AI cs.CL
Do LLMs estimate uncertainty well in instruction-following?
University of Cambridge(剑桥大学);Apple(苹果公司);National University of Singapore(新加坡国立大学)
本研究首次系统评估LLMs在指令遵循中的不确定性估计,发现现有方法在细微错误下表现不佳,提出受控评估框架以促进更可靠的AI代理。
2025-03-28 cs.AI cs.CL
SecureCode: A Production-Grade Multi-Turn Dataset for Training Security-Aware Code Generation Models
研究针对AI编码助手生成漏洞代码问题,提出SecureCode数据集,涵盖网络应用安全和AI/ML安全领域,有特定对话结构,经质量保证,发布统一数据集、开源模型及评估框架,是首个提供相关覆盖的公共数据集。
2026-07-08 cs.AI cs.CL cs.CR
Mitigating Lost in Multi-turn Conversation via Curriculum RL with Verifiable Accuracy and Abstention Rewards
University of Maryland(马里兰大学);Amazon(亚马逊)
本文提出RLAAR框架,通过可验证准确性和回避奖励的课程强化学习,减少多轮对话中因提前回答导致的性能下降,提升模型可靠性。
2026-04-29 cs.AI cs.CL cs.LG
Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study
The University of Tokyo(东京大学);Kobe University(Kobe大学)
本文提出了一种心理测量框架,用于量化和缓解LLM问卷评估中的社会期望反应偏差,通过匹配可欲性来减少偏差并保持目标特征的恢复。
2026-04-28 cs.CL stat.ME
Scalable Ensembling For Mitigating Reward Overoptimisation
Stanford University(斯坦福大学)
针对RLHF中语言模型易出现奖励过度优化的问题,提出共享编码器加独立线性头的可扩展集成方案,在保持性能的同时显著降低大模型训练的内存与时间成本。
2024-06-18 cs.CL cs.LG
Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
University of California, Los Angeles(加州大学洛杉矶分校)
本研究揭示视觉-语言-动作模型对指令措辞高度敏感,通过大型语言模型提炼改写规则,在不修改策略的情况下显著提升分布外任务成功率,并零样本泛化至未见任务。
2026-10-08 cs.CL cs.LG cs.RO
FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning
The Ohio State University(俄亥俄州立大学);Amazon(亚马逊)
为缓解LLMs对良性查询的过度拒绝问题,本文提出FalseReject资源及图信息增强的对抗性多智能体框架,生成16k数据集以训练模型进行结构化推理,在保障整体安全性的同时大幅减少了不必要的拒绝。
2025-07-15 cs.AI cs.CL
Can Instruction Fine-Tuned Language Models Identify Social Bias through Prompting?
Vector Institute for AI(向量人工智能研究院);McGill University(麦吉尔大学)
该研究评估指令微调语言模型通过零样本提示识别社会偏见的能力,发现Alpaca 7B表现最优(准确率56.7%),扩大模型规模与数据多样性可提升性能,是其偏见缓解框架的首个组成部分。
2023-07-19 cs.AI cs.CL cs.CY
Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study
Department of Chemical Engineering and Biotechnology(化学工程与生物技术系);University of Cambridge(剑桥大学)
本研究探讨提示工程方法对缓解零样本科学摘要中的幻觉效果,发现上下文重复和随机添加能显著提升摘要与原文的对齐度。
2025-11-30 cs.AI cs.CL
CodecLM: Aligning Language Models with Tailored Synthetic Data
Google Cloud AI Research(谷歌云AI研究院);Google Cloud AI(谷歌云AI);Google Research(谷歌研究院)
CodecLM框架通过编码-解码原理,利用LLM将种子指令编码为元数据并解码生成定制合成数据,结合Self-Rubrics和对比过滤,在多个基准上超越现有方法,提升指令遵循能力。
2024-04-08 cs.AI cs.CL cs.LG
VLLaVO: Mitigating Visual Gap through LLMs
Southern University of Science and Technology(南方科技大学);Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科技大学)
提出VLLaVO,结合视觉语言模型与大语言模型,将图像转为文本描述并微调大语言模型,以缓解视觉跨域学习中的领域偏移,实验验证其有效性。
2024-03-16 cs.CL cs.CV cs.LG
CCL-XCoT: An Efficient Cross-Lingual Knowledge Transfer Method for Mitigating Hallucination Generation
Institute for Infocomm Research (I 2 R), A*STAR, Singapore(信息与通信研究机构(I2R),A*STAR,新加坡)
本文提出CCL-XCoT两阶段微调框架,通过课程对比学习与跨语言思维链提示,在不依赖外部检索的情况下将多语言大模型幻觉率降低62%,有效提升低资源语言的事实知识迁移能力。
2025-07-17 cs.AI cs.CL
Lottery Ticket Adaptation: Mitigating Destructive Interference in LLMs
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
针对LLMs多任务适应中的破坏性干扰与灾难性遗忘问题,提出稀疏适应方法LoTA,仅优化模型稀疏子网络,在多项任务上优于全量微调与LoRA,避免灾难性遗忘并支持不相似任务间的模型合并。
2024-06-25 cs.AI cs.CL
SecureReviewer: Enhancing Large Language Models for Secure Code Review through Secure-aware Fine-tuning
1 State Key Laboratory of Complex \& Critical Software Environment, School of Computer Science;Engineering, Beihang University, China
提出SecureReviewer方法,通过构建定制数据集、安全感知微调策略和集成RAG技术,增强了LLM在代码审查中识别和解决安全问题的能力,并引入SecureBLEU指标,在检测准确性和评论质量上优于基线。
2025-10-30 cs.AI cs.CL cs.SE
Mitigating Backdoor Threats to Large Language Models: Advancement and Challenges
University of California, Davis(加州大学戴维斯分校);NVIDIA(英伟达公司);University of Southern California(南加州大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文系统综述了大型语言模型在开发与推理阶段面临的后门攻击威胁,梳理了防御与检测策略的最新进展,并指出了未来研究的关键挑战与方向。
2024-09-30 cs.AI cs.CL cs.CR
Instruction-Aligned Visual Attention for Mitigating Hallucinations in Large Vision-Language Models
School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络空间安全学院);Alibaba Group(阿里巴巴集团);Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence(滨江人工智能研究院)
针对大视觉语言模型因过度关注无关图像令牌而产生幻觉的问题,提出指令对齐视觉注意力方法,通过双指令注意力对比识别无关令牌,结合对比解码调整logits,在多个基准上优于现有解码技术。
2025-03-24 cs.CL cs.CV
Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding
Universität Hamburg(汉堡大学);The University of Sydney(悉尼大学)
本文提出指令对比解码(ICD)方法,通过对比标准和指令扰动分布来减少大型视觉语言模型推理时的幻觉,显著缓解对象级和属性级幻觉并增强模型的通用感知与识别能力。
2024-06-05 cs.AI cs.CL cs.CV
MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models
The Chinese University of Hong Kong(香港中文大学);Institute of Medical Intelligence and XR, The Chinese University of Hong Kong(香港中文大学医学智能与XR研究所);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究提出MedHallTune基准,用于评估和缓解医疗视觉-语言模型的幻觉,实验表明用该基准微调模型可提升幻觉管理能力与下游VQA任务零样本性能,助力开发更可信的医疗视觉-语言模型。
2026-07-31 cs.AI cs.CL cs.CV
Mitigating Object Hallucination via Concentric Causal Attention
Nanyang Technological University(南洋理工大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出同心因果注意力(CCA)位置对齐策略,通过缩小视觉与指令token的相对距离来缓解RoPE长距离衰减导致的物体幻觉,在多个基准上大幅超越现有方法。
2024-10-21 cs.CL cs.CV
Attention Instruction: Amplifying Attention in the Middle via Prompting
University of Cambridge(剑桥大学);University of Glasgow(格拉斯哥大学)
本文提出通过提示扩充注意力指令以缓解大语言模型的位置偏差,发现模型缺乏相对位置感知能力,但能利用匹配索引将注意力调整至特定片段,从而提升RAG应用中的信息利用率。
2024-06-24 cs.CL
Surgical, Cheap, and Flexible: Mitigating False Refusal in Language Models via Single Vector Ablation
LMU Munich(慕尼黑大学);Bocconi University(博科尼大学)
本文提出一种无需训练且与模型无关的单一向量消融方法,通过提取并消融误拒绝向量,有效降低语言模型的误拒绝率,同时保持其安全性和通用能力,并支持细粒度的安全校准。
2025-03-03 cs.CL
Mitigating Fine-Grained Hallucination by Fine-Tuning Large Vision-Language Models with Caption Rewrites
Singapore Management University(新加坡管理大学);Beijing Forestry University(北京林业大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出 ReCaption 框架,通过 ChatGPT 改写字幕并微调 LVLMs,同时设计 FGHE 细粒度评估方法,有效减少细粒度对象幻觉并提升文本生成质量。
2023-12-04 cs.CL cs.CV
Parameter-Efficient Fine-Tuning with Differential Privacy for Robust Instruction Adaptation in Large Language Models
Georgia Institute of Technology(佐治亚理工学院);University of Southern California(南加州大学);Dartmouth College(达特茅斯学院);University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学)
本研究提出一种结合差分隐私与参数高效微调的方法,以提升大型语言模型在多任务指令场景中的鲁棒性和隐私保护能力。
2025-12-07 cs.CL
SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment
University of Science and Technology of China(中国科学技术大学);Xiaohongshu Inc.(小红书公司)
针对检索增强生成(RAG)场景下监督微调易引发大语言模型灾难性遗忘的问题,提出自分布对齐方法SelfAug,通过对齐输入序列logits保留语义分布,实现下游学习与通用能力保留的更优平衡,并揭示分布偏移与遗忘程度的关联。
2025-09-04 cs.AI cs.CL
Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions
The Key Laboratory of Linguistic and Cultural Computing of Ministry of Education(教育部语言与文化计算重点实验室);Institute of Artificial Intelligence(人工智能研究所);Northwest Minzu University(西北民族大学);Soochow University(苏州大学)
本文提出翻译混合指令方法,结合不同长度的句子级和文档级指令微调大语言模型,使其在多达2048个token的文档上保持稳定翻译性能,并在10个语言对上显著提升文档级翻译质量与语篇连贯性。
2024-01-16 cs.CL
Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文针对 LLM 因硬标签训练导致过度自信和幻觉的问题,提出在指令数据监督微调中使用教师模型的平滑软标签进行知识蒸馏,实验证明其可在保持通用 NLP 性能的同时减少摘要幻觉。
2025-02-16 cs.CL cs.LG
Less is More: Mitigating Multimodal Hallucination from an EOS Decision Perspective
Renmin University of China(中国人民大学)
本文从EOS决策视角揭示多模态幻觉源于过度详细训练数据阻碍及时终止生成,提出训练目标与数据过滤两种方法,显著缓解幻觉且无需额外数据。
2024-05-29 cs.CL cs.CV