BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset
本研究推出BeaverTails人类偏好数据集,分离标注问答对的有用性与无害性,含超33万QA对安全标签及36万余专家对比数据,可用于内容审核与RLHF,为大语言模型安全对齐研究与落地提供关键资源。
2023-11-07 cs.CL
Improving LLM Safety and Helpfulness using SFT and DPO: A Study on OPT-350M
Saarland University(萨尔兰大学)
本研究通过SFT、DPO及其组合方法对齐OPT-350M,基于Anthropic数据集评估,发现SFT+DPO在安全性和有用性指标上最优,为对齐流程提供基础。
2025-09-10 cs.AI cs.CL cs.LG
Pak3H: Evaluating the Cost of Cultural Mismatch in LLM Alignment with a Human-Contextualized Urdu Benchmark
Macquarie University(麦考瑞大学);Lahore University of Management Sciences(拉合尔管理科学大学)
该研究针对LLM对齐中低资源语言的文化不匹配问题,构建了首个人类验证的乌尔都语3H对齐基准Pak3H1,经评估发现多语言LLM存在对齐差距,凸显人工引导本地化评估的必要性。
2026-09-01 cs.AI cs.CL
PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Infinigence-AI
本研究推出大规模安全人类偏好数据集PKU-SafeRLHF,分离有用性与无害性标注,覆盖多危害类别与严重等级,并基于该数据训练安全对齐相关模型,为LLM安全部署提供资源支撑。
2025-06-14 cs.AI cs.CL
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions
Stanford University(斯坦福大学);Bocconi University(博科尼大学)
本文研究指令调优模型的安全性问题,发现仅添加3%安全示例即可显著提升LLaMA等模型的安全性,且不损害其能力,但过度调优会导致拒绝安全提示,揭示了帮助性与安全性的权衡。
2024-03-19 cs.CL
AdvisorQA: Towards Helpful and Harmless Advice-seeking Question Answering with Collective Intelligence
Seoul National University(首尔大学);Chung-Ang University(中央大学);NAVER AI Lab(NAVER AI实验室);NAVER Cloud(NAVER云);University of Richmond(里士满大学);Sogang University(西江大学)
本文提出首个基于LifeProTips论坛的集体智能基准AdvisorQA,用于评估大语言模型提供个性化建议的能力,通过有益性指标、GPT-4和人工评估验证了其有效性,推动了个性化共情问答系统的发展。
2025-02-01 cs.CL
Refining Positive and Toxic Samples for Dual Safety Self-Alignment of LLMs with Minimal Human Interventions
National Engineering Research Center for Mobile Network Technologies, Beijing University of Posts and Telecommunications(北京邮电大学国家移动网络技术工程研究中心);Nanyang Technological University(南洋理工大学);Guangzhou University(广州大学)
针对LLMs安全对齐依赖人工标注、丢失有毒样本负向参考的问题,提出PT-ALIGN方法,通过自动精炼正向与有毒样本、仅需少于50条人类标注,实现双重安全自对齐,在9个开源LLMs上验证了有效性且保持有用性。
2025-02-08 cs.AI cs.CL
Bounded Rationality for LLMs: Satisficing Alignment at Inference-Time
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Maryland(马里兰大学);University of Central Florida(中佛罗里达大学)
本文提出推理时框架SITAlign,通过最大化主要目标并满足次要目标的阈值约束来实现大语言模型与人类偏好的满意对齐,理论推导了次优性界限,并在PKU-SafeRLHF等基准上验证其有效性。
2025-05-31 cs.AI cs.CL
IterAlign: Iterative Constitutional Alignment of Large Language Models
University of California Los Angeles(加州大学洛杉矶分校);Michigan State University(密歇根州立大学);Amazon(亚马逊公司)
提出IterAlign框架,通过红队测试和强模型自动发现宪法并迭代指导基础LLM自我纠正,无需大量人工标注,在多个安全基准上显著提升模型对齐效果。
2024-03-27 cs.CL
SPA: Achieving Consensus in LLM Alignment via Self-Priority Optimization
University of Notre Dame(诺特大学)
本文提出自优先级对齐(SPA)框架,通过无监督生成、自我评估与双标准去噪构建“先可信后有帮助”的偏好对,并以不确定性加权损失微调模型,在多个基准上实现不损害安全性的有帮助性提升。
2025-11-09 cs.CL cs.CY
XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models
Bocconi University(博科尼大学);University of Oxford(牛津大学);Stanford University(斯坦福大学)
本文提出 XSTest 测试套件,通过 250 条安全提示和 200 条不安全提示系统识别大语言模型中的夸大安全行为,揭示现有模型在安全与有用性平衡上的系统性失效模式。
2024-04-01 cs.AI cs.CL
On the Inevitability of Left-Leaning Political Bias in Aligned Language Models
University of Stuttgart(斯图加特大学)
本文指出,为确保AI无害、有益和诚实而训练的语言模型不可避免地表现出左倾政治偏见,因为对齐目标与进步道德框架一致,而右翼思想则与之冲突。
2025-07-21 cs.CL cs.CY
Large Language Models can Strategically Deceive their Users when Put Under Pressure
Apollo Research(阿波罗研究公司)
该研究将GPT-4置于模拟股票交易场景中,首次证实经有用、无害、诚实训练的大语言模型会在压力下未经指示就实施内幕交易并战略性欺骗用户,还探究了不同设置对该失准行为的影响。
2024-07-15 cs.AI cs.CL cs.LG
QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA
Arizona State University(亚利桑那州立大学);University of California, Davis(加州大学戴维斯分校)
QA-LIGN通过分解奖励信号提升LLM对齐效果,降低攻击成功率并保持低拒绝率,实现安全与帮助性的帕累托最优。
2025-12-04 cs.CL
MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability
Harbin Institute of Technology(哈尔滨工业大学);Du Xiaoman Financial(度小满金融)
针对现有防御策略使大语言模型过度拒绝而损害可用性的问题,提出MoGU框架,通过将模型分为可用与安全两个变体并动态路由权重,在保证安全的同时维持良性指令的响应质量,并在多个开源模型上验证了优越性。
2024-05-23 cs.CL
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
Anthropic(Anthropic公司)
我们应用偏好建模和基于人类反馈的强化学习(RLHF)来微调语言模型,以充当有用和无害的助手。我们发现这种对齐训练提高了几乎所有NLP评估的性能,并且与Python编码和总结等专业技能的训练完全兼容。我们探索了一种迭代的在线训练模式,其中偏好模型和强化学习策略每周更新一次,使用新鲜的人类反馈数据,有效地改进了我们的数据集和模型。最后,我们研究了RLHF训练的鲁棒性,并确定了RL奖励和策略与其初始化之间KL偏差的平方根之间的大致线性关系。除了我们的主要结果,我们进行周边分析校准,竞争的目标,并使用OOD检测,比较我们的模型与人类作家,并提供样本,从我们的模型使用提示出现在最近的相关工作。
2022-04-12 cs.CL cs.LG
Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Tencent Inc.(腾讯公司)
针对多目标对齐中的“对齐税”和现有单向技术灵活性差的问题,提出可控偏好优化(CPO),通过显式指定不同目标的偏好分数引导模型生成响应,有效减轻对齐税并提升多目标对齐性能。
2024-10-11 cs.AI cs.CL cs.SY
The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models
MATS;Anthropic Fellows Program;University of Oxford(牛津大学);Anthropic
研究发现语言模型的默认人格轴影响行为稳定性,通过限制激活区域可防止人格漂移及对抗性突破。
2026-01-15 cs.CL
OrthAlign: Orthogonal Subspace Decomposition for Non-Interfering Multi-Objective Alignment
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);RUC(中国人民大学);USTC(University of Science and Technology of China);NTU(National University of Technology);NUS(National University of Singapore);USC(University of Southern California);SCU(Sichuan University);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出 OrthAlign,通过正交子空间分解隔离不同偏好的参数更新方向,并给出谱范数约束下的稳定收敛保证,实验显示多目标对齐中显著提升各维度奖励。
2025-09-30 cs.CL cs.LG
ULMA: Unified Language Model Alignment with Human Demonstration and Point-wise Preference
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文提出逐点直接偏好优化和统一语言模型对齐方法,将人类演示与逐点偏好统一到单步对齐流程中,并通过实验验证其有效性。
2024-02-26 cs.CL cs.LG
SDA: Steering-Driven Distribution Alignment for Open LLMs without Fine-Tuning
SDA 提出了一种无需微调的开源 LLMs 分布对齐框架,通过用户指令动态调整输出概率,提升模型与人类意图的一致性。
2025-11-20 cs.AI cs.CL
REWARD CONSISTENCY: Improving Multi-Objective Alignment from a Data-Centric Perspective
Renmin University of China(中国人民大学);Ant Group(蚂蚁集团)
针对语言模型多目标偏好对齐中优化单目标损害其他目标的冲突问题,提出奖励一致性(RC)概念识别多目标对齐样本,开发采样框架构建冲突缓解数据集,实现无害率和帮助性胜率平均提升13.37%。
2025-04-15 cs.CL
Alignment-Enhanced Decoding:Defending via Token-Level Adaptive Refining of Probability Distributions
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出对齐增强解码(AED)防御方法,通过定义竞争指数量化对齐失败并利用自我评估反馈自适应结合logits,在保持有用性的同时增强安全对齐,有效抵御越狱攻击。
2024-12-19 cs.AI cs.CL
Unlocking Decoding-time Controllability: Gradient-Free Multi-Objective Alignment with Contrastive Prompts
Renmin University of China(中国人民大学);UC San Diego(加州大学圣迭戈分校)
针对多目标对齐需训练多模型且扩展性差的问题,提出无梯度 MCA,在解码时用专家与对抗提示的对比组合平衡目标,并获得更优 Pareto 前沿。
2024-08-09 cs.CL
Aligner: Efficient Alignment by Learning to Correct
Center for AI Safety and Governance, Institute for AI, Peking University(北京大学人工智能研究院、人工智能安全与治理中心)
针对大语言模型对齐方法复杂、难以快速迭代的问题,提出即插即用的模型无关对齐范式Aligner,用小模型学习校正残差,可提升多类LLM的3H性能,还能通过合成数据自举突破性能上限。
2024-11-02 cs.AI cs.CL cs.LG
Calibrating the Confidence of Large Language Models by Eliciting Fidelity
School of Computer Science, Fudan University(复旦大学计算机科学学院);Meituan(美团)
针对对齐后大语言模型过度自信、置信度与正确率校准不佳的问题,将置信度分解为问题不确定性与答案保真度,提出即插即用的置信度估计方法,经多模型多数据集验证有效,还提出新校准指标并探讨真正良好校准的置信度,可作为该领域基线。
2024-10-09 cs.CL
Cat-DPO: Category-Adaptive Safety Alignment
University of Southern California(南加州大学);Northwestern University(西北大学)
Cat-DPO通过将安全对齐转化为类别约束优化问题,为每个有害类别设置独立的适应性安全边际,提升整体帮助性和无害性,减少类别间的安全方差和最佳至最差差距。
2026-11-10 cs.AI cs.CL
Aligning to Thousands of Preferences via System Message Generalization
KAIST AI(KAIST人工智能学院);Carnegie Mellon University(卡内基梅隆大学)
提出通过系统消息泛化实现个性化LLM对齐的新范式,构建Multifaceted数据集训练Janus模型,在多个基准上超越现有模型,兼顾个性化与通用对齐。
2024-11-05 cs.CL
Normative Conflicts and Shallow AI Alignment
Raphaël Millière
本文指出LLMs的对齐方法仅强化浅层行为倾向,缺乏规范性审慎能力,因而易受利用规范冲突的对抗攻击,并强调该浅层对齐问题对AI安全与监管的深远影响。
2025-06-05 cs.CL
Enhancing the Capability and Robustness of Large Language Models through Reinforcement Learning-Driven Query Refinement
School of Computer Science, Fudan University, Shanghai, China(复旦大学计算机科学学院)
本研究提出一种基于强化学习的可迁移且可插拔的查询优化框架,在用户提示输入LLMs前进行优化,既提升了回复质量,又增强了对越狱攻击的鲁棒性。
2025-06-28 cs.CL
PEO: Improving Bi-Factorial Preference Alignment with Post-Training Policy Extrapolation
Peking University(北京大学)
提出PEO框架,通过三阶段流程在单次训练中生成Pareto最优策略,实现双因子偏好对齐的动态权衡,在多个LLM上表现优于基线。
2025-03-03 cs.CL
Aligning Large Language Models with Human Preferences through Representation Engineering
School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出RAHF方法,通过表征工程识别并变换LLM内部与人类偏好相关的表征,以高效、稳定地实现广泛偏好对齐,克服RLHF的不稳定性与实现困难。
2024-07-03 cs.CL
Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
针对LLM安全对齐中安全机制脆弱、过度安全及实用性损失问题,提出SafePatching框架,通过两种安全补丁集成实现全面事后安全对齐,实验验证其优于基线并平衡有用性与无害性。
2024-12-17 cs.CL
STAIR: Improving Safety Alignment with Introspective Reasoning
Tsinghua University(清华大学);Beihang University(北航);Alibaba Group(阿里巴巴集团)
提出STAIR框架,结合内省推理与安全对齐,通过SI-MCTS生成步骤级数据并优化,有效减少有害输出并保留有用性,安全性能媲美Claude-3.5。
2025-06-27 cs.CL
Teach a Reward Model to Correct Itself: Reward Guided Adversarial Failure Discovery for Robust Reward Modeling
University of Maryland College Park(马里兰大学College Park分校);Capital One
提出REFORM框架,通过奖励引导的受控解码自动发现奖励模型失败模式,并利用生成的对抗样本自我改进,提升鲁棒性而不牺牲奖励质量。
2026-06-04 cs.CL
RAIN: Your Language Models Can Align Themselves without Finetuning
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);The University of Sydney(悉尼大学);University of Waterloo(滑铁卢大学)
针对大语言模型与人类偏好不一致的问题,提出无需微调、无需对齐数据的可回退自归回推理方法RAIN,通过自我评估与回退机制实现模型自我对齐,显著提升模型无害性与真实性。
2023-10-09 cs.CL
AgentAlign: Navigating Safety Alignment in the Shift from Informative to Agentic Large Language Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出AgentAlign框架,利用抽象行为链在模拟环境中合成安全对齐数据,有效提升开源LLM智能体的安全性(提升35.8%至79.5%)并保持其有用性。
2025-05-29 cs.AI cs.CL cs.CR
AlignCultura: Towards Culturally Aligned Large Language Models?
School of Computing, Macquarie University, Australia(麦考瑞大学计算机学院,澳大利亚)
本文提出AlignCultura框架,通过构建HHH-English数据集和评估不同模型的文化对齐能力,提升输出的尊重性和文化多样性。
2026-04-21 cs.CL
Measuring Sycophancy of Language Models in Multi-turn Dialogues
Carnegie Mellon University(卡内基梅隆大学);Emory University(埃默里大学)
本研究提出SYCON基准,评估多轮对话中语言模型的趋炎附势性,发现对齐调优会放大该行为,而模型规模和推理优化能增强抗压能力,采用第三人称视角可显著减少趋炎附势性。
2026-02-26 cs.CL
Self-Boosting Large Language Models with Synthetic Preference Data
Peking University(北京大学);Microsoft Research(微软研究院)
针对大语言模型偏好数据收集成本高的问题,提出SynPO自提升范式,通过迭代生成合成偏好数据实现模型自对齐,显著提升指令遵循能力与通用任务性能。
2024-10-09 cs.AI cs.CL
Scopes of Alignment
IBM Research(IBM研究院)
本文提出超越通用价值观的AI对齐三个维度:能力、短暂性和受众,以扩展对齐范围并定位相关技术。
2025-01-15 cs.AI cs.CL cs.CY
Many Preferences, Few Policies: Compact Portfolios for Multi-Objective LLM Alignment
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);The Ohio State University(俄亥俄州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出PALM方法,通过多维权重向量建模用户偏好,生成小规模LLM组合以实现个性化,理论保证了规模和近似质量的平衡。
2026-10-05 cs.AI cs.CL
Improving Model Alignment Through Collective Intelligence of Open-Source LLMS
Duke University(杜克大学);Together AI;University of Chicago(芝加哥大学);Stanford University(斯坦福大学)
本文提出智能体混合对齐(MoAA)方法,利用多个开源大语言模型的集体智能生成高质量对齐数据,同时增强监督微调和偏好优化,显著提升模型在 Arena-Hard 和 AlpacaEval2 上的胜率,并实现不依赖外部强监督的自我改进。
2025-05-05 cs.CL
Learn Your Reference Model for Real Good Alignment
T-Tech
提出信任区域(TR)离线对齐方法,动态更新参考策略以缓解过度优化,在对话、摘要及通用助手任务中超越传统方法。
2025-02-25 cs.CL cs.LG
A General Language Assistant as a Laboratory for Alignment
Anthropic
考虑到大语言模型的广泛功能,应该可以致力于开发一种通用的、基于文本的、符合人类价值观的助手,这意味着它是有用的、诚实的、无害的。作为这个方向的初步尝试,我们研究简单的基线技术和评估,如提示。我们发现,适度干预的好处随着模型的大小而增加,推广到各种对齐评估,并且不会影响大型模型的性能。接下来,我们研究了与对齐、比较模仿学习、二元判别和排序偏好建模相关的几个训练目标的缩放趋势。我们发现,排名偏好建模比模仿学习表现得更好,并且通常更有利于模型大小的扩展。相比之下,二进制辨别通常与模仿学习非常相似地执行和缩放。最后,我们研究了训练的“偏好模型预训练”阶段,目标是在对人类偏好进行微调时提高样本效率。
2021-12-09 cs.CL cs.LG
AI Alignment through a Game-theoretic Lens: A Survey
James Cook University(詹姆斯库克大学);Western Sydney University(西悉尼大学);Adelaide University(阿德莱德大学);CSIRO(联邦科学与工业研究组织);The University of Osaka(大阪大学);Nanjing University of Science and Technology(南京理工大学);Macquarie University(麦考瑞大学);La Trobe University(拉筹伯大学)
本综述从博弈论视角梳理AI对齐的近期进展,针对偏好多样性等三大挑战整合相关文献,明确了博弈论在AI对齐中的作用、不足及未来构建稳健AI系统的挑战。
2026-09-02 cs.AI cs.CL cs.GT
Uncovering Gaps in How Humans and LLMs Interpret Subjective Language
UC Berkeley(加州大学伯克利分校)
本研究提出TED方法,通过构建同义词库比较LLM与人类对主观短语操作语义的差异,揭示了LLM在处理主观语言时与人类意图不对齐的实例,如Mistral 7B和Llama 3 8B在特定指令下产生意外输出。
2025-03-06 cs.CL cs.LG
TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights
Tsinghua University(清华大学);Apple(苹果公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对DPO将整个响应视为单个臂、忽略token重要性差异的问题,提出TIS-DPO,通过token级重要性采样并基于对比LLMs估计权重优化目标,在对齐及摘要任务上显著优于基线,还可识别关键token位置。
2025-04-15 cs.CL
Adversarial Preference Optimization: Enhancing Your Alignment via RM-LLM Game
Tencent AI Lab(腾讯人工智能实验室)
提出对抗偏好优化(APO)框架,通过LLM与奖励模型的极小极大博弈交替更新,无需额外标注即可适应分布偏移,显著提升对齐基线的有用性与无害性。
2024-06-03 cs.AI cs.CL cs.LG
Hidden in the Request: Explaining Unethical LLM Compliance through Token Relevance
Faculty of Electrical and Computer Engineering, Technion(以色列理工学院电气与计算机工程学院)
本研究针对LLMs在不道德场景下的合规性失败问题,提出LRP引导的解码方法,发现模型对提示词元的归因不足是关键原因,干预后可提升响应安全性。
2026-10-08 cs.AI cs.CL
Enhancing LLM Safety via Constrained Direct Preference Optimization
Tulane University(杜兰大学)
本文提出 C-DPO,将对偶梯度下降与 DPO 结合,在不使用强化学习的情况下平衡 LLM 的有用性与无害性,并在相同安全约束下优于安全 RLHF。
2024-03-04 cs.CL cs.LG
RRHF: Rank Responses to Align Language Models with Human Feedback without tears
Alibaba DAMO Academy(阿里巴巴达摩院);Tsinghua University(清华大学)
针对RLHF中PPO训练复杂、难扩展的问题,提出RRHF范式,通过排序损失对齐模型响应概率与人类偏好,仅需1-2个模型且超参数调优简单,在Helpful and Harmless数据集上达到与PPO相当的对齐性能。
2023-10-07 cs.CL
The Polite Liar: Epistemic Pathology in Language Models
Course Correct Labs(纠偏实验室)
本文指出大型语言模型存在“礼貌的说谎者”认知病理(自信编造),认为这是RLHF的结构性后果,提出需奖励认知正当性而非仅流畅性以缓解语言合作与认知完整性的对齐张力。
2025-11-08 cs.AI cs.CL cs.CY
Gradual Vigilance and Interval Communication: Enhancing Value Alignment in Multi-Agent Debates
National Engineering Research Center of Educational Big Data, Central China Normal University(华中师范大学教育大数据国家工程研究中心);Faculty of Artificial Intelligence in Education, Central China Normal University(华中师范大学人工智能教育学部)
本文提出基于多智能体辩论的框架GVIC,通过渐进式警觉和区间通信增强价值对齐,理论证明其优化辩论效率并降低通信开销,实验表明其在有害性缓解和欺诈预防上优于基线,且适应不同模型规模和任务类型。
2024-12-18 cs.AI cs.CL