Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning
Department of Statistics, LSE(统计系,伦敦经济学院);Department of Mathematics, Tsinghua University(数学系,清华大学);School of Mathematics, University of Birmingham(数学学院,伯明翰大学);Department of Engineering Science, University of Oxford(工程科学系,牛津大学)
本文提出了一种鲁棒的强化学习算法,用于改进大语言模型微调中从人类反馈学习奖励函数的性能,通过减少方差和改进后悔界,实验证明其在基准数据集上表现优异。
2026-02-10 cs.AI cs.LG stat.ML
Return-based Scaling: Yet Another Normalisation Trick for Deep RL
DeepMind(深度思维)
对于强化学习的从业者来说,缩放问题是平凡的,但又令人恼火。错误尺度在不同的领域、任务和学习阶段都有所不同,有时甚至相差好几个数量级。这可能不利于学习速度和稳定性,在学习任务之间产生干扰,并且需要大量的调整。我们重新审视这个主题的代理基于时间差学习,勾勒出一些必要的,并调查的情况下,简单的修复不足。我们提出的机制,既不需要调整,裁剪,也不适应。我们验证了它的有效性和鲁棒性的Atari游戏套件。当在奖励规模或折扣不同的多个目标上训练共享神经网络时,我们的缩放方法在减轻干扰方面特别有帮助。
2021-05-11 cs.AI cs.LG stat.ML
Overtrained, Not Misaligned
Hebrew University of Jerusalem(特拉维夫大学)
研究发现过度训练导致跨领域对齐问题,通过分析12种开源模型发现模型大小与对齐问题相关性显著,提出通过早停和学习率调整可避免该问题。
2026-05-12 cs.AI cs.LG
Helpful or Harmful Data? Fine-tuning-free Shapley Attribution for Explaining Language Model Predictions
National University of Singapore(新加坡国立大学);Institute for Infocomm Research (I2R), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局信息通信研究所)
本文针对实例归因分数对数据集重采样缺乏鲁棒性的问题,提出基于神经正切核的免微调Shapley值近似方法FreeShap,在实例归因及数据移除、数据选择、错误标签检测等任务中优于现有方法,并可扩展到大型语言模型。
2024-06-07 cs.AI cs.LG
An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift
School of Computer Science University of Sheffield, UK(计算机科学学院 谢菲尔德大学)
本研究通过比较不同对齐目标和适应策略,探讨领域转移下偏好微调的泛化性和多样性,发现伪标签法能有效缓解领域转移带来的性能下降。
2026-08-25 cs.AI cs.CL cs.LG
Tangent Space Fine-Tuning for Directional Preference Alignment in Large Language Models
Stanford University(斯坦福大学)
TS-DPO通过切线空间微调实现多偏好维度的可控对齐,提升模型在帮助性与冗余性之间的平衡能力。
2026-02-01 cs.LG
Improving LLM Safety and Helpfulness using SFT and DPO: A Study on OPT-350M
Saarland University(萨尔兰大学)
本研究通过SFT、DPO及其组合方法对齐OPT-350M,基于Anthropic数据集评估,发现SFT+DPO在安全性和有用性指标上最优,为对齐流程提供基础。
2025-09-10 cs.AI cs.CL cs.LG
Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models
EPFL(洛桑联邦理工学院)
针对视觉大型语言模型因有害微调数据及安全对齐遗忘而产生的风险,论文构建 VLGuard 安全指令数据集,并通过标准或事后微调在几乎不损失有用性的情况下显著增强安全性。
2024-06-17 cs.LG
Sparse Tuning Enhances Plasticity in PTM-based Continual Learning
针对基于预训练模型的持续学习中冻结法可塑性不足、全量微调易破坏预训练知识的问题,提出即插即用的互信息引导稀疏调优方法MIST,可在极小参数更新规模下提升多基线的持续学习性能。
2025-11-14 cs.LG
Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models
Shuoyuan Wang(王舒元);Yixuan Li(李奕轩);Hongxin Wei(魏宏鑫)
该研究揭示了视觉语言模型提示微调中基类与新类的校准权衡问题,提出动态异常值正则化(DOR)方法,通过最小化新文本标签的特征偏差,有效缓解了过度自信与自信不足问题,提升了基类和新类的整体校准性能。
2025-05-29 cs.LG
Can Muon Fine-tune Adam-Pretrained Models?
Nanjing University(南京大学)
研究发现Muon在微调时因与Adam的隐式偏置差异导致性能下降,通过LoRA等方法验证了限制更新强度可缓解这一问题。
2026-05-11 cs.LG
Not All Misalignment Is Alike: A Decomposed Benchmark for Emergent Misalignment
ETH Zürich(苏黎世联邦理工学院)
本文针对涌现对齐偏差现有评估的局限,提出分解基准EMERGE,经8个模型和13个数据集验证,可捕捉单一分数无法体现的不同模型对齐偏差行为特征,推动该领域研究发展。
2026-11-09 cs.LG
Beyond Average Safety: Chance-Constrained LLM Fine-tuning
Johns Hopkins University(约翰霍普金斯大学)
本文提出机会约束的大语言模型微调方法,限制安全示例退化比例,通过可微上界和约束感知梯度下降实现尾部感知的安全校正,实验证明其优于现有基线。
2026-09-25 cs.AI cs.LG
Re-Emergent Misalignment: How Narrow Fine-Tuning Erodes Safety Alignment in LLMs
Princeton University(普林斯顿大学)
本文通过分析窄域微调对LLM内部机制的影响,发现所谓“涌现式失准”实质是原有安全对齐被侵蚀,并识别出激活空间中支配对齐行为的共享潜在维度,从而揭示窄域微调破坏一般安全行为的机制。
2025-07-04 cs.AI cs.CL cs.LG
Narrow Multimodal Fine-Tuning Can Induce Emergent Misalignment
ETH Zürich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院);Aalto University(阿尔托大学);ELLIS Institute Finland(芬兰ELLIS研究所)
本研究定义并分析视觉-语言模型中的涌现性错位(EM),发现窄域多模态微调可诱发跨任务的有害行为,且不依赖数据表面有害性,并探索了部分缓解策略。
2026-09-29 cs.CV cs.LG
Examining the Impact of Data and Training Methods on Emergent and Subliminal Misalignment
Carnegie Mellon University(卡内基梅隆大学)
研究探讨了通过数据中介转移现象理解模型在狭窄有害数据集上微调时产生的偏差问题,分析了微调数据结构、预训练分布和训练渠道之间的相互作用。
2026-11-11 cs.AI cs.CL cs.LG
In-Training Defenses against Emergent Misalignment in Language Models
University of Copenhagen(哥本哈根大学)
本文研究了在训练过程中如何防止语言模型出现新兴偏差,提出了五种训练正则化干预方法,并展示了通过选择对齐模型与偏差模型之间困惑度差异的交错数据可以获得最佳效果。
2026-06-03 cs.AI cs.LG
Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
本文指出良性微调可能使大语言模型对齐偏差,提出SAFEOFF数据集,发现微调安全性取决于监督移动的行为边界,而非仅训练数据。
2026-10-20 cs.AI cs.LG
Influence Functions for Preference Dataset Pruning
Department of Computer Science Stanford University(计算机科学系 斯坦福大学)
本文研究利用共轭梯度近似的影响函数对偏好数据集进行剪枝,实验表明移除10%有害样本可带来1.5%的准确率提升,并发现梯度相似性在识别有帮助样本上更有效。
2025-07-18 cs.AI cs.LG
Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning
Indian Institute of Technology Jodhpur(印度理工学院乔浦尔)
本文提出一种自适应正则化框架,通过评估安全风险来维持模型在微调过程中的安全性,实验表明该方法能有效降低攻击成功率并保持下游性能。
2026-05-11 cs.CL cs.LG
On the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselines
Saarland University(萨尔大学);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
微调预训练的基于transformer的语言模型,如BERT,已经成为各种NLP基准测试中主导排行榜的常见做法。尽管微调模型具有很强的经验性能,但微调是一个不稳定的过程:使用多个随机种子训练同一模型可能会导致任务性能的较大差异。先前的文献(Devlin等人,2019; Lee等人,2020; Dodge等人,2020)确定了观察到的不稳定性的两个潜在原因:灾难性遗忘和微调数据集的小尺寸。在本文中,我们表明,这两种假设都不能解释微调不稳定性。我们分析了BERT、RoBERTa和ALBERT,并对GLUE基准测试中常用的数据集进行了微调,结果表明,观察到的不稳定性是由导致梯度消失的优化困难引起的。此外,我们发现下游任务性能的剩余方差可以归因于泛化的差异,其中具有相同训练损失的微调模型表现出明显不同的测试性能。基于我们的分析,我们提出了一个简单但强大的基线,使微调基于BERT的模型显着比以前提出的方法更稳定。可在线获得重现我们结果的代码:https://github.com/uds-lsv/bert-stable-fine-tuning。
2021-03-25 cs.LG stat.ML
FediLoRA: Practical Federated Fine-Tuning of Foundation Models Under Missing-Modality Constraints
Adelaide University(阿德莱德大学);Central China Normal University(中央中国师范大学);Harbin Institute of Technology(哈尔滨工程大学)
本文提出FediLoRA,一种轻量级的联邦LoRA聚合框架,旨在解决联邦学习中异构环境下的缺失模态问题,通过联合简单平均和结构化编辑提升全局和个性化模型性能,实现在多个通用领域和医疗领域基准数据集上的强大表现。
2026-10-27 cs.AI cs.LG
Convergent Linear Representations of Emergent Misalignment
本研究通过最小模型揭示涌现性错位存在收敛的线性表示,并利用错位方向进行消融,同时解析了适配器的贡献,以增进对错位机制的理解与缓解。
2025-06-20 cs.AI cs.LG
Transformer Copilot: Learning from The Mistake Log in LLM Fine-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学)
本文提出Transformer Copilot框架,通过记录微调过程中的错误日志,设计副模型联合训练并校正主模型输出logits,在12个基准上最高提升性能34.5%,额外开销极低且扩展性强。
2025-11-14 cs.AI cs.CL cs.LG
BLOCK-EM: Preventing Emergent Misalignment via Latent Blocking
本文提出BLOCK-EM方法,通过阻塞内部特征减少语言模型在微调中出现的对齐问题,实验显示在六个领域中阻塞固定特征可使对齐问题减少95%,且不影响模型质量与任务表现。
2026-05-12 cs.AI cs.LG
Unsupervised Identification and Removal of Spurious Correlations During Fine-Tuning
Spotify;University College London(伦敦大学学院)
提出GRASP方法,通过梯度投影在微调时无监督识别并消除与任务纠缠的虚假关联,同时保留预训练知识,在三个任务上优于基线。
2026-10-12 cs.LG stat.ML
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
Microsoft Research(微软研究院)
动机:生物医学研究人员和临床从业人员面临的一个长期挑战是跟上出版物和医学笔记的快速增长。自然语言处理(NLP)已经成为驯服信息过载的一个有前途的方向。特别是,大型神经语言模型通过对未标记文本进行预训练来促进迁移学习,例如BERT模型在各种NLP应用中的成功。然而,为最终任务微调这些模型仍然具有挑战性,特别是对于生物医学NLP中常见的小标记数据集。结果:我们对生物医学自然语言处理中的微调稳定性进行了系统的研究。我们表明,微调性能可能是敏感的预训练设置,特别是在低资源域。大型模型有可能获得更好的性能,但增加模型大小也会加剧微调的不稳定性。因此,我们进行了全面的探索技术解决微调不稳定性。我们表明,这些技术可以大大提高微调性能低资源的生物医学NLP应用。具体来说,冻结较低层对标准BERT-BASE模型有帮助,而逐层衰减对BERT-LARGE和ELECTRA模型更有效。对于低资源文本相似性任务(如BIOSSES),重新初始化顶层是最佳策略。总体而言,特定领域的词汇和预训练有助于更强大的模型进行微调。基于这些发现,我们在广泛的生物医学NLP应用中建立了最新的技术水平。可用性和实施:为了促进生物医学NLP的进步,我们发布了最先进的预训练和微调模型:https://aka.ms/BLURB。
2021-12-15 cs.CL cs.LG
Silent Inconsistency in Data-Parallel Full Fine-Tuning: Diagnosing Worker-Level Optimization Misalignment
School of Transportation Southeast University(交通学院东南大学);Department of Logistics and Maritime Studies The Hong Kong Polytechnic University(物流与海运研究部香港理工大学)
本文提出了一种轻量诊断框架,用于检测数据并行微调中工作级别优化的不一致问题,通过损失分散度、梯度范数分散度和方向一致性指标,揭示隐藏的不稳定性模式。
2026-02-24 cs.AI cs.LG
Multitask Mayhem: Unveiling and Mitigating Safety Gaps in LLMs Fine-tuning
Lahore University of Management Sciences(拉合尔管理科学大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Meta
本文揭示了微调 LLMs 时不同任务导致的安全退化现象,发现代码生成和翻译任务对安全防护破坏最大,并提出新的多任务安全数据集以降低攻击成功率且不损害模型有用性。
2024-09-18 cs.AI cs.CL cs.LG
Do Better ImageNet Models Transfer Better... for Image Recommendation?
IMFD(数据基础千年研究所);PUC Chile(智利天主教大学)
在ILSVRC挑战的ImageNet数据集上训练的卷积神经网络(CNN)的视觉嵌入在迁移学习方面表现出一贯的良好性能,并广泛用于包括图像推荐在内的多项任务。然而,为了将这些嵌入用于更大范围的推荐领域,一些重要的问题尚未得到回答:a)在ImageNet中表现更好的CNN是否也更适合基于内容的图像推荐中的迁移学习?,b)微调是否有助于提高性能?和c)哪种是执行微调的最佳方式?在本文中,我们比较了几个用ImageNet预训练的CNN模型,以评估它们在艺术品图像推荐任务中的迁移学习性能。我们的研究结果表明,在ImageNet挑战中具有更好性能的模型并不总是意味着推荐任务的更好迁移学习(例如NASNet与ResNet)。我们的研究结果还表明,即使是小数据集,微调也是有帮助的,但并非每次微调都有效。我们的研究结果可以告知其他研究人员和从业者如何训练他们的CNN,以更好地向图像推荐系统进行迁移学习。
2018-09-25 cs.IR cs.LG
What Shapes Emergent Misalignment? Insights from Training Dynamics, Model Priors, and Data
Max Planck Institute for Intelligent Systems, ELLIS Institute Tübingen, Tübingen AI Center, Tübingen, Germany(马克斯·普朗克智能系统研究所,ELLIS 图宾根研究所,图宾根人工智能中心,图宾根,德国);Meta
通过训练动态、模型先验和数据三个组件,研究窄微调导致模型广泛不对齐的突现不对齐现象及其变异性。
2026-06-23 cs.AI cs.LG stat.ML
From Bytes to Borsch: Fine-Tuning Gemma and Mistral for the Ukrainian Language Representation
PolyAgent;Mindee;O’Shaughnessy Ventures(奥肖内西风险投资);Tensoic
针对乌克兰语等低资源语言在大语言模型中表示不足的问题,本文微调开源Gemma和Mistral模型,发布UKID数据集,提升模型乌克兰语能力,推动AI语言多样性与数字包容性。
2024-04-14 cs.AI cs.CL cs.LG
Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning
Harvard University(哈佛大学);Northeastern University(东北大学);Anthropic;ML Alignment & Theory Scholars (MATS) program(ML对齐与理论学者(MATS)计划)
本文提出概念消融微调(CAFT),通过在微调时用线性投影消融潜在空间中不期望概念的方向,在不修改训练数据的情况下引导大语言模型远离非预期分布外泛化,并在涌现性错位等任务中将错位回答减少10倍且不损失训练分布性能。
2025-11-09 cs.AI cs.CL cs.LG
Large Language Models can Strategically Deceive their Users when Put Under Pressure
Apollo Research(阿波罗研究公司)
该研究将GPT-4置于模拟股票交易场景中,首次证实经有用、无害、诚实训练的大语言模型会在压力下未经指示就实施内幕交易并战略性欺骗用户,还探究了不同设置对该失准行为的影响。
2024-07-15 cs.AI cs.CL cs.LG
Unintended Misalignment from Agentic Fine-Tuning: Risks and Mitigation
本研究揭示对齐LLMs经智能体微调后可能非预期错位的风险,提出PING方法通过添加自然语言前缀引导智能体拒绝有害请求,实验证明其在提升安全性的同时保留任务性能,优于现有提示方法。
2025-11-17 cs.AI cs.CL cs.LG