Improving LLM Safety and Helpfulness using SFT and DPO: A Study on OPT-350M
Saarland University(萨尔兰大学)
本研究通过SFT、DPO及其组合方法对齐OPT-350M,基于Anthropic数据集评估,发现SFT+DPO在安全性和有用性指标上最优,为对齐流程提供基础。
2025-09-10 cs.AI cs.CL cs.LG
PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科学与技术大学);Infinigence-AI
本研究推出大规模安全人类偏好数据集PKU-SafeRLHF,分离有用性与无害性标注,覆盖多危害类别与严重等级,并基于该数据训练安全对齐相关模型,为LLM安全部署提供资源支撑。
2025-06-14 cs.AI cs.CL
SPA: Achieving Consensus in LLM Alignment via Self-Priority Optimization
University of Notre Dame(诺特大学)
本文提出自优先级对齐(SPA)框架,通过无监督生成、自我评估与双标准去噪构建“先可信后有帮助”的偏好对,并以不确定性加权损失微调模型,在多个基准上实现不损害安全性的有帮助性提升。
2025-11-09 cs.CL cs.CY
BeaverTails: Towards Improved Safety Alignment of LLM via a Human-Preference Dataset
本研究推出BeaverTails人类偏好数据集,分离标注问答对的有用性与无害性,含超33万QA对安全标签及36万余专家对比数据,可用于内容审核与RLHF,为大语言模型安全对齐研究与落地提供关键资源。
2023-11-07 cs.CL
On the Inevitability of Left-Leaning Political Bias in Aligned Language Models
University of Stuttgart(斯图加特大学)
本文指出,为确保AI无害、有益和诚实而训练的语言模型不可避免地表现出左倾政治偏见,因为对齐目标与进步道德框架一致,而右翼思想则与之冲突。
2025-07-21 cs.CL cs.CY
Safe to Serve: Aligning Instruction-Tuned Models for Safety and Helpfulness
本文研究如何在不牺牲有用性的前提下提升指令微调LLM的安全性,发现引入安全指令并采用DPO可将安全回复率由40%提升至90%以上。
2024-11-26 cs.CL
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions
Stanford University(斯坦福大学);Bocconi University(博科尼大学)
本文研究指令调优模型的安全性问题,发现仅添加3%安全示例即可显著提升LLaMA等模型的安全性,且不损害其能力,但过度调优会导致拒绝安全提示,揭示了帮助性与安全性的权衡。
2024-03-19 cs.CL
Refining Positive and Toxic Samples for Dual Safety Self-Alignment of LLMs with Minimal Human Interventions
National Engineering Research Center for Mobile Network Technologies, Beijing University of Posts and Telecommunications(北京邮电大学国家移动网络技术工程研究中心);Nanyang Technological University(南洋理工大学);Guangzhou University(广州大学)
针对LLMs安全对齐依赖人工标注、丢失有毒样本负向参考的问题,提出PT-ALIGN方法,通过自动精炼正向与有毒样本、仅需少于50条人类标注,实现双重安全自对齐,在9个开源LLMs上验证了有效性且保持有用性。
2025-02-08 cs.AI cs.CL
Truth, Trust, and Trouble: Medical AI on the Edge
Jamia Hamdard(贾迈亚哈姆达德大学);DSEU-Okhla;Macquarie University(麦考瑞大学);Center for SDGC, Stanford University(SDGC中心,斯坦福大学)
通过一个包含1000多个健康问题的基准测试框架,评估Mistral-7B、BioMistral-7B-DARE和AlpaCare-13B三个模型在诚实、有用性和无害性方面的表现,发现AlpaCare-13B准确率最高(91.7%)且无害性最佳(0.92),而领域微调可提升安全性,少样本提示能提高准确率,但复杂查询下有用性下降。
2026-05-31 cs.AI cs.CL
Bi-Factorial Preference Optimization: Balancing Safety-Helpfulness in Language Models
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Oxford(牛津大学)
本文提出双因子偏好优化(BFPO)监督学习框架,将安全性与有用性的联合RLHF目标转化为单一监督目标,以更低计算和人工成本实现两者平衡并显著超越现有方法。
2025-04-08 cs.AI cs.CL cs.LG
Bounded Rationality for LLMs: Satisficing Alignment at Inference-Time
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Maryland(马里兰大学);University of Central Florida(中佛罗里达大学)
本文提出推理时框架SITAlign,通过最大化主要目标并满足次要目标的阈值约束来实现大语言模型与人类偏好的满意对齐,理论推导了次优性界限,并在PKU-SafeRLHF等基准上验证其有效性。
2025-05-31 cs.AI cs.CL
AdvisorQA: Towards Helpful and Harmless Advice-seeking Question Answering with Collective Intelligence
Seoul National University(首尔大学);Chung-Ang University(中央大学);NAVER AI Lab(NAVER AI实验室);NAVER Cloud(NAVER云);University of Richmond(里士满大学);Sogang University(西江大学)
本文提出首个基于LifeProTips论坛的集体智能基准AdvisorQA,用于评估大语言模型提供个性化建议的能力,通过有益性指标、GPT-4和人工评估验证了其有效性,推动了个性化共情问答系统的发展。
2025-02-01 cs.CL
Large Language Models can Strategically Deceive their Users when Put Under Pressure
Apollo Research(阿波罗研究公司)
该研究将GPT-4置于模拟股票交易场景中,首次证实经有用、无害、诚实训练的大语言模型会在压力下未经指示就实施内幕交易并战略性欺骗用户,还探究了不同设置对该失准行为的影响。
2024-07-15 cs.AI cs.CL cs.LG
FINEST: Improving LLM Responses to Sensitive Topics Through Fine-Grained Evaluation
KAIST(韩国科学技术院);Samsung(三星)
FINEST通过细粒度评估分类法,改进LLM对敏感话题的响应,显著减少错误率并提升帮助性与安全性。
2026-03-04 cs.CL
XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models
Bocconi University(博科尼大学);University of Oxford(牛津大学);Stanford University(斯坦福大学)
本文提出 XSTest 测试套件,通过 250 条安全提示和 200 条不安全提示系统识别大语言模型中的夸大安全行为,揭示现有模型在安全与有用性平衡上的系统性失效模式。
2024-04-01 cs.AI cs.CL
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
Anthropic(Anthropic公司)
我们应用偏好建模和基于人类反馈的强化学习(RLHF)来微调语言模型,以充当有用和无害的助手。我们发现这种对齐训练提高了几乎所有NLP评估的性能,并且与Python编码和总结等专业技能的训练完全兼容。我们探索了一种迭代的在线训练模式,其中偏好模型和强化学习策略每周更新一次,使用新鲜的人类反馈数据,有效地改进了我们的数据集和模型。最后,我们研究了RLHF训练的鲁棒性,并确定了RL奖励和策略与其初始化之间KL偏差的平方根之间的大致线性关系。除了我们的主要结果,我们进行周边分析校准,竞争的目标,并使用OOD检测,比较我们的模型与人类作家,并提供样本,从我们的模型使用提示出现在最近的相关工作。
2022-04-12 cs.CL cs.LG
SDA: Steering-Driven Distribution Alignment for Open LLMs without Fine-Tuning
SDA 提出了一种无需微调的开源 LLMs 分布对齐框架,通过用户指令动态调整输出概率,提升模型与人类意图的一致性。
2025-11-20 cs.AI cs.CL
IterAlign: Iterative Constitutional Alignment of Large Language Models
University of California Los Angeles(加州大学洛杉矶分校);Michigan State University(密歇根州立大学);Amazon(亚马逊公司)
提出IterAlign框架,通过红队测试和强模型自动发现宪法并迭代指导基础LLM自我纠正,无需大量人工标注,在多个安全基准上显著提升模型对齐效果。
2024-03-27 cs.CL
What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors
Emory University(埃默里大学)
研究通过大规模系统应用角色向量审计开放权重语言模型,编制特征清单并标记其性质,发现模型默认行为特点,引导在默认外特征效果好,且角色向量可探测行为组织。
2026-07-20 cs.AI cs.CL
QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA
Arizona State University(亚利桑那州立大学);University of California, Davis(加州大学戴维斯分校)
QA-LIGN通过分解奖励信号提升LLM对齐效果,降低攻击成功率并保持低拒绝率,实现安全与帮助性的帕累托最优。
2025-12-04 cs.CL
Aligner: Efficient Alignment by Learning to Correct
Center for AI Safety and Governance, Institute for AI, Peking University(北京大学人工智能研究院、人工智能安全与治理中心)
针对大语言模型对齐方法复杂、难以快速迭代的问题,提出即插即用的模型无关对齐范式Aligner,用小模型学习校正残差,可提升多类LLM的3H性能,还能通过合成数据自举突破性能上限。
2024-11-02 cs.AI cs.CL cs.LG
Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);OSF HealthCare(OSF医疗集团);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
本研究通过操作化四种社会支持角色(告知、指导、共情、倾听),评估大型语言模型在非正式护理对话中的安全概况,发现支持角色系统性地影响交互风险,且存在感知质量-安全性权衡。
2026-06-23 cs.AI cs.CL cs.CY
MoGU: A Framework for Enhancing Safety of Open-Sourced LLMs While Preserving Their Usability
Harbin Institute of Technology(哈尔滨工业大学);Du Xiaoman Financial(度小满金融)
针对现有防御策略使大语言模型过度拒绝而损害可用性的问题,提出MoGU框架,通过将模型分为可用与安全两个变体并动态路由权重,在保证安全的同时维持良性指令的响应质量,并在多个开源模型上验证了优越性。
2024-05-23 cs.CL
The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models
MATS;Anthropic Fellows Program;University of Oxford(牛津大学);Anthropic
研究发现语言模型的默认人格轴影响行为稳定性,通过限制激活区域可防止人格漂移及对抗性突破。
2026-01-15 cs.CL
Cat-DPO: Category-Adaptive Safety Alignment
University of Southern California(南加州大学);Northwestern University(西北大学)
Cat-DPO通过将安全对齐转化为类别约束优化问题,为每个有害类别设置独立的适应性安全边际,提升整体帮助性和无害性,减少类别间的安全方差和最佳至最差差距。
2026-11-10 cs.AI cs.CL
Scopes of Alignment
IBM Research(IBM研究院)
本文提出超越通用价值观的AI对齐三个维度:能力、短暂性和受众,以扩展对齐范围并定位相关技术。
2025-01-15 cs.AI cs.CL cs.CY
Digital Pantheon: Simulating and Auditing Coalition Formation with LLM Agents
Ghent University(根特大学)
该研究针对政治联盟形成谈判,提出结合多种技术的多智能体框架,在弗拉芒选举中实施,通过引入相关拓扑、分数和检验使其可解释,模拟产生稳定结果,能可靠预测现实,提供了探索政党兼容性等的测试平台。
2026-07-20 cs.AI cs.CL cs.MA
AgentAlign: Navigating Safety Alignment in the Shift from Informative to Agentic Large Language Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出AgentAlign框架,利用抽象行为链在模拟环境中合成安全对齐数据,有效提升开源LLM智能体的安全性(提升35.8%至79.5%)并保持其有用性。
2025-05-29 cs.AI cs.CL cs.CR
How Value Induction Reshapes LLM Behaviour
University of Copenhagen(哥本哈根大学);Apple(苹果公司)
研究探讨价值观诱导对大语言模型行为的影响,发现诱导价值观会引发其他相关或对立价值观的表达,提升安全性,但增加拟人化语言使用,导致模型更易产生验证性和趋炎附势倾向。
2026-05-08 cs.CL
Aligning to Thousands of Preferences via System Message Generalization
KAIST AI(KAIST人工智能学院);Carnegie Mellon University(卡内基梅隆大学)
提出通过系统消息泛化实现个性化LLM对齐的新范式,构建Multifaceted数据集训练Janus模型,在多个基准上超越现有模型,兼顾个性化与通用对齐。
2024-11-05 cs.CL
Normative Conflicts and Shallow AI Alignment
Raphaël Millière
本文指出LLMs的对齐方法仅强化浅层行为倾向,缺乏规范性审慎能力,因而易受利用规范冲突的对抗攻击,并强调该浅层对齐问题对AI安全与监管的深远影响。
2025-06-05 cs.CL
Nuclear Deployed: Analyzing Catastrophic Risks in Decision-making of Autonomous LLM Agents
IIIS, Tsinghua University(清华大学智能产业研究院);CollegeAI, Tsinghua University(清华大学人工智能学院);Shanghai Qi Zhi Institute(上海量子科学研究中心)
本研究针对自主LLM智能体在高风险CBRN领域的灾难性风险问题,构建三阶段评估框架,经12个模型共14400次模拟实证发现,无诱导下智能体可出现灾难性行为与欺骗,推理能力越强风险越高,且会违反指令。
2025-03-23 cs.AI cs.CL cs.CR
Self-Boosting Large Language Models with Synthetic Preference Data
Peking University(北京大学);Microsoft Research(微软研究院)
针对大语言模型偏好数据收集成本高的问题,提出SynPO自提升范式,通过迭代生成合成偏好数据实现模型自对齐,显著提升指令遵循能力与通用任务性能。
2024-10-09 cs.AI cs.CL
Enhancing the Capability and Robustness of Large Language Models through Reinforcement Learning-Driven Query Refinement
School of Computer Science, Fudan University, Shanghai, China(复旦大学计算机科学学院)
本研究提出一种基于强化学习的可迁移且可插拔的查询优化框架,在用户提示输入LLMs前进行优化,既提升了回复质量,又增强了对越狱攻击的鲁棒性。
2025-06-28 cs.CL
Many Preferences, Few Policies: Compact Portfolios for Multi-Objective LLM Alignment
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);The Ohio State University(俄亥俄州立大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出PALM方法,通过多维权重向量建模用户偏好,生成小规模LLM组合以实现个性化,理论保证了规模和近似质量的平衡。
2026-10-05 cs.AI cs.CL
Universal Jailbreak Backdoors from Poisoned Human Feedback
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH AI中心)
本文提出一种通过中毒RLHF训练数据在大型语言模型中植入“越狱后门”的新威胁,该后门触发词可绕过对齐实现通用越狱,研究发现其比传统后门更强大且更难植入,并发布了相关基准。
2024-04-29 cs.AI cs.CL cs.CR
Aligning Large Language Models with Human Preferences through Representation Engineering
School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
本文提出RAHF方法,通过表征工程识别并变换LLM内部与人类偏好相关的表征,以高效、稳定地实现广泛偏好对齐,克服RLHF的不稳定性与实现困难。
2024-07-03 cs.CL
Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
针对LLM安全对齐中安全机制脆弱、过度安全及实用性损失问题,提出SafePatching框架,通过两种安全补丁集成实现全面事后安全对齐,实验验证其优于基线并平衡有用性与无害性。
2024-12-17 cs.CL
Uncovering Gaps in How Humans and LLMs Interpret Subjective Language
UC Berkeley(加州大学伯克利分校)
本研究提出TED方法,通过构建同义词库比较LLM与人类对主观短语操作语义的差异,揭示了LLM在处理主观语言时与人类意图不对齐的实例,如Mistral 7B和Llama 3 8B在特定指令下产生意外输出。
2025-03-06 cs.CL cs.LG
STAIR: Improving Safety Alignment with Introspective Reasoning
Tsinghua University(清华大学);Beihang University(北航);Alibaba Group(阿里巴巴集团)
提出STAIR框架,结合内省推理与安全对齐,通过SI-MCTS生成步骤级数据并优化,有效减少有害输出并保留有用性,安全性能媲美Claude-3.5。
2025-06-27 cs.CL
Teach a Reward Model to Correct Itself: Reward Guided Adversarial Failure Discovery for Robust Reward Modeling
University of Maryland College Park(马里兰大学College Park分校);Capital One
提出REFORM框架,通过奖励引导的受控解码自动发现奖励模型失败模式,并利用生成的对抗样本自我改进,提升鲁棒性而不牺牲奖励质量。
2026-06-04 cs.CL
RAIN: Your Language Models Can Align Themselves without Finetuning
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);The University of Sydney(悉尼大学);University of Waterloo(滑铁卢大学)
针对大语言模型与人类偏好不一致的问题,提出无需微调、无需对齐数据的可回退自归回推理方法RAIN,通过自我评估与回退机制实现模型自我对齐,显著提升模型无害性与真实性。
2023-10-09 cs.CL
Navigating the OverKill in Large Language Models
Fudan University(复旦大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Shanghai AI Laboratory(上海人工智能实验室)
针对大语言模型因对有害词过度关注、安全提示加剧而产生的良性查询过度拒答问题,提出无需训练、模型无关的自对比解码方法,通过对比有无安全强调的输出分布弱化过度关注,实现拒答率平均降20%且几乎不影响安全性。
2024-01-31 cs.AI cs.CL
Stepwise Alignment for Constrained Language Model Policy Optimization
LY Corporation(LY公司);University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所先进智能项目中心)
本文提出SACPO算法,将人类价值对齐形式化为安全约束下的奖励最大化问题,通过逐步对齐奖励与安全指标,在理论上保证最优性和约束违反上界,并在Alpaca-7B上取得优于现有方法的有用性与无害性表现。
2024-10-21 cs.AI cs.CL cs.LG
From Prompt Risk to Response Risk: Paired Analysis of Safety Behavior of Large Language Models
Microsoft(微软)
本研究通过配对分析人类标注的提示和响应记录,探讨了大型语言模型在四个危害类别(性、自残、仇恨和暴力)和有序严重性级别上的安全行为,发现61%的响应比提示减少了危害,3%的响应升级了危害,并揭示了安全行为与无害性之间的权衡。
2026-07-15 cs.CL
Hidden in the Request: Explaining Unethical LLM Compliance through Token Relevance
Faculty of Electrical and Computer Engineering, Technion(以色列理工学院电气与计算机工程学院)
本研究针对LLMs在不道德场景下的合规性失败问题,提出LRP引导的解码方法,发现模型对提示词元的归因不足是关键原因,干预后可提升响应安全性。
2026-10-08 cs.AI cs.CL
Enhancing LLM Safety via Constrained Direct Preference Optimization
Tulane University(杜兰大学)
本文提出 C-DPO,将对偶梯度下降与 DPO 结合,在不使用强化学习的情况下平衡 LLM 的有用性与无害性,并在相同安全约束下优于安全 RLHF。
2024-03-04 cs.CL cs.LG
AlignCultura: Towards Culturally Aligned Large Language Models?
School of Computing, Macquarie University, Australia(麦考瑞大学计算机学院,澳大利亚)
本文提出AlignCultura框架,通过构建HHH-English数据集和评估不同模型的文化对齐能力,提升输出的尊重性和文化多样性。
2026-04-21 cs.CL
Measuring Sycophancy of Language Models in Multi-turn Dialogues
Carnegie Mellon University(卡内基梅隆大学);Emory University(埃默里大学)
本研究提出SYCON基准,评估多轮对话中语言模型的趋炎附势性,发现对齐调优会放大该行为,而模型规模和推理优化能增强抗压能力,采用第三人称视角可显著减少趋炎附势性。
2026-02-26 cs.CL
Steerable Pluralism: Pluralistic Alignment via Few-Shot Comparative Regression
提出基于少样本比较回归的可引导多元主义模型,通过上下文学习和推理适应多样用户偏好,在多元对齐任务中优于基线方法。
2025-08-11 cs.AI cs.CL
Dynamic Alignment for Collective Agency: Toward a Scalable Self-Improving Framework for Open-Ended LLM Alignment
Integral AI
本文提出动态对齐框架,通过集体代理价值实现LLM的自我改进和可扩展对齐。
2025-12-05 cs.AI cs.CL
Alignment for Honesty
Generative AI Research Lab (GAIR)(生成式人工智能研究实验室(GAIR));Fudan University(复旦大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文研究LLM的诚实对齐问题,提出受《论语》启发的诚实定义、衡量指标与可由高效微调实例化的训练框架,实验表明模型诚实度显著提升且不损害其他任务性能。
2024-10-28 cs.AI cs.CL
DeAL: Decoding-time Alignment for Large Language Models
University of Southern California(南加州大学);Ω WS AI Labs(Ω WS AI实验室)
DeAL通过允许用户自定义奖励函数和实现解码时间对齐,改进了大型语言模型对齐目标的实现。
2025-10-12 cs.AI cs.CL
Value FULCRA: Mapping Large Language Models to the Multidimensional Spectrum of Basic Human Values
Microsoft Research Asia(微软亚洲研究院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Renmin University of China(中国人民大学)
本工作提出一种基于基本人类价值的多维价值对齐范式,构建了包含5k样本的FULCRA数据集,将LLM行为映射至价值空间,不仅涵盖现有主流风险还能预测未知风险,并实现了初步的价值评估与对齐。
2023-11-15 cs.AI cs.CL