Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts
University of Cambridge(剑桥大学)
本文提出一种决策策略捕获方法测量过程对齐,发现LLM在ECHR第6条决策中过程对齐与输出准确性高度相关,但在德国消费信贷决策中关系消失,揭示了多元对齐挑战。
2026-06-04 cs.AI
Reinforcement Learning for Diffusion LLMs with Entropy-Guided Step Selection and Stepwise Advantages
Department of Electrical & Computer Engineering(电气与计算机工程系)
本文提出一种针对扩散语言模型的强化学习方法,通过熵引导选择步骤和分步优势估计,实现无偏策略梯度,提升生成效果和计算效率。
2026-11-10 cs.AI cs.CL cs.LG
Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning
University of California, San Diego(加州大学圣地亚哥分校);Amazon(亚马逊)
SWAP通过逐步自适应惩罚减少推理链长度并提升准确性。
2026-02-27 cs.AI cs.CL cs.LG
Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance
eBay - Responsible AI(eBay - 负责任人工智能)
本研究提出覆盖成功率和对齐惯性指标,审计系统提示与微调对模型先前行为的覆盖效果,发现LoRA在特定条件下会强化惯性,TRAK可有效预测惯性。
2026-09-24 cs.AI
Admissibility Alignment
本文提出MAP-AI架构,通过蒙特卡洛方法评估决策策略的可接受性,实现AI对齐的动态决策理论属性。
2026-01-05 cs.AI
On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment
National University of Singapore(新加坡国立大学)
本文提出FATE框架,通过将验证者评分的失败轨迹转化为修复监督,结合Pareto-Front Policy Optimization方法,提升代理安全性同时保持有用行为,实验显示在不同模型和规模上均有效。
2026-05-12 cs.AI
sDPO: Don't Use Your Data All at Once
Upstage AI(上景人工智能公司)
针对大语言模型与人类偏好对齐的需求,研究提出逐步式直接偏好优化sDPO,通过拆分偏好数据集逐步训练,可使用更精准的参考模型,最终模型性能超越参数量更大的主流大语言模型。
2024-10-07 cs.AI cs.CL
MemOPD: On-Policy Distillation through Memory State Alignment for Long-Horizon Agents
针对长视界智能体的上下文增长问题,提出MemOPD方法通过记忆状态对齐解决同策略蒸馏中的状态错位,在提升F1的同时加快训练计算速度,代码公开。
2026-08-10 cs.AI
Pluralistic Off-policy Evaluation and Alignment
The University of New South Wales(新南威尔士大学);UC San Diego(圣地亚哥大学);Adobe Research(Adobe研究院);CSIRO’s Data61(CSIRO数据61研究所);Macquarie University(麦考瑞大学)
针对大语言模型偏好对齐中忽略多元性的问题,提出POPE框架,结合协作效用与多样性组件,通过分解IPS估计器实现离线评估与优化,实验证明其有效提升多元响应生成并保持通用能力。
2025-09-15 cs.AI cs.CL
Is On-Policy Data always the Best Choice for Direct Preference Optimization-based LM Alignment?
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出对齐阶段假设,通过理论和实证分析,揭示了静态与策略偏好数据在LM对齐中的效果差异,并提出算法识别对齐阶段边界。
2026-01-27 cs.AI cs.CL
RE-PO: Robust Enhanced Policy Optimization as a General Framework for LLM Alignment
IDSS, Massachusetts Institute of Technology(IDSS,麻省理工学院);EE, Tsinghua University(电子工程系,清华大学);Li Auto Inc.(力汽车公司);SIGS, Tsinghua University(系统工程系,清华大学)
RE-PO是一种用于大语言模型对齐的鲁棒增强策略优化通用框架,通过期望最大化程序推断标签正确性并自适应加权数据点以减轻噪声,提升对齐效果。
2026-02-27 cs.AI
MetaAligner: Towards Generalizable Multi-Objective Alignment of Language Models
The University of Manchester(曼彻斯特大学)
本文提出策略无关且可泛化的多目标对齐方法MetaAligner,通过动态目标重构、条件弱到强校正和可泛化推理三阶段,在多个策略模型上实现均衡对齐改进并大幅降低训练成本。
2024-10-07 cs.AI cs.CL
EOPSA: Efficient On-Policy Self-Distilled Safety Alignment
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对在线策略自蒸馏安全对齐中监督崩溃与梯度稀释问题,提出EOPSA,通过自适应rollout调度和选择性蒸馏,削减约50%计算并仅反向传播约2%词元,在安全与推理上超越全词元基线。
2026-10-27 cs.AI
Inference-Time Policy Alignment for Fair Reinforcement Learning
该研究提出乘法策略塑造框架,在不更新预训练RL策略参数的情况下,于推理时提升公平性,同时保留核心任务性能,适用于各类深度RL智能体。
2026-08-04 cs.AI cs.LG
Robust Nash Alignment under Preference Uncertainty
University of Central Florida(中佛罗里达大学);Arizona State University(亚利桑那州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
针对偏好不确定下的对齐脆弱性,提出鲁棒纳什对齐博弈框架,通过代理博弈与单循环算法实现最坏情况胜率下界保证,实验验证了收敛性与性能提升。
2026-11-03 cs.AI
iADD: Improving Alignment and Diversity in Diffusion Policy Optimization
Pulchowk Campus, IOE, Tribhuvan University(特里布万大学工程学院普尔乔克校区);NAAMII
本文提出iADD方法,通过理论分析证明仅更新后段时间步有害于多样性,并基于增量式Feynman-Kac训练实现扩散策略优化中对齐性与多样性的最佳权衡,实验验证了显著性能提升。
2026-10-02 cs.AI cs.LG
The Emotional Alignment Design Policy
University of California, Riverside(加州大学河滨分校);New York University(纽约大学)
提出情感对齐设计策略,要求人工实体引发的用户情绪反应与其能力及道德地位相称,并探讨实施中尊重自主权、应对分歧及处理道德地位实体等挑战。
2025-07-07 cs.AI cs.CY
Dynamic Policy Fusion for User Alignment Without Re-Interaction
A2I2;Deakin University(德肯大学);School of IT(信息学院)
本文提出一种基于轨迹级人类反馈的动态策略融合方法,在无需与环境重新交互的零样本条件下,将已训练的任务策略适配到用户特定偏好,并验证其能同时完成任务和满足用户需求。
2025-09-19 cs.AI cs.LG
Semantic-aware Wasserstein Policy Regularization for Large Language Model Alignment
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
本文提出Wasserstein策略正则化方法,通过语义感知的Wasserstein距离改进大语言模型对齐效果,实验表明其优于传统KL散度方法。
2026-02-02 cs.AI cs.LG
Towards Reliable, Uncertainty-Aware Alignment
Undergraduate Programme, Indian Institute of Science, India(印度科学研究所)
本文针对奖励模型训练不稳定导致对齐性能下降的问题,提出方差感知策略优化框架,通过引入融合奖励模型方差估计的正则化器,可证明地降低输出更差策略的风险,并在多种配置下实现更稳定鲁棒的对齐。
2025-07-21 cs.AI cs.LG
From Alignment to Access Control: A Framework for GenAI Policy Enforcement
IBM Research(IBM研究院)
本文提出一种系统分析GenAI应用中策略执行方法的框架,涵盖从对齐到访问控制,旨在解决安全与合规问题,并提供建议与行动呼吁。
2026-09-23 cs.AI cs.CR
Aligning Machiavellian Agents: Behavior Steering via Test-Time Policy Shaping
本文提出了一种测试时策略塑造方法,通过模型引导的策略调整,解决预训练代理在复杂环境中的伦理对齐问题,实现奖励最大化与伦理约束的平衡。
2025-12-08 cs.AI cs.CL
Dual Alignment Maximin Optimization for Offline Model-based RL
UCAS(中国科学院大学)
针对离线基于模型的RL中模型偏差与策略不一致问题,本文提出DAMO极大极小演员-评论家框架,通过双重保守价值估计与策略改进对齐,实现模型-环境及合成-离线数据一致,并在基准任务上取得竞争力性能。
2025-09-30 cs.AI cs.LG
Meta-Aligner: Bidirectional Preference-Policy Optimization for Multi-Objective LLMs Alignment
本文提出Meta-Aligner框架,通过双向优化偏好与策略响应,生成动态偏好以提升训练稳定性,实验证明其在多目标基准上的优越性能。
2026-04-27 cs.AI cs.LG
SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment
Shanghai AI Laboratory(上海人工智能实验室);SJTU(上海交通大学);Fudan University(复旦大学);HKUST(香港科技大学);Zhejiang University(浙江大学)
SafeEvolve是一种基于智能体经验的安全对齐自进化框架,通过harness-策略协同进化实现更优的安全-效用权衡,在Qwen3.5-4B上可降低AgentDojo的ASR并提升良性效用
2026-09-03 cs.AI cs.CR
An active inference model of collective intelligence
Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学);Australian National University(澳大利亚国立大学)
到目前为止,集体智慧的正式模型缺乏一个合理的数学描述之间的关系高度自治的子系统组件(个人)和复合系统(集体)的全球规模的行为之间的局部规模的相互作用。在本文中,我们使用的主动推理公式(AIF),一个框架,用于解释任何非平衡稳态系统在任何规模的行为,以建立一个最小的基于代理的模型,模拟本地个人层面的互动和集体智慧(操作系统级的性能)之间的关系。我们探讨了提供具有特定认知能力的基线AIF代理(模型1)的影响:心理理论(模型2);目标对齐(模型3)和具有目标对齐的心理理论(模型4)。认知能力复杂性的这些逐步转变是由AIF代理在由其他AIF代理填充的环境中持续和蓬勃发展所必需的进步类型所激发的,并且最近也被证明自然映射到人类认知能力的典型步骤。说明性的结果表明,逐步认知过渡,提高系统性能,提供互补的机制,代理的局部和全局最优之间的对齐。对齐从相互作用的AIF代理本身的动态中内生地出现,而不是通过对代理行为的激励(与现有的集体智能的计算模型相反)或集体行为的自上而下的先验(与现有的AIF多尺度模拟相反)来外源地施加。这些结果揭示了有利于人类和其他复杂适应系统中集体智慧的通用信息理论模式的类型。
2021-04-02 cs.AI cs.MA cs.SI
Policy-Value Alignment and Robustness in Search-based Multi-Agent Learning
Cornell University(康奈尔大学)
结合搜索和学习的大规模人工智能系统在游戏中的表现已经达到了超人的水平,但也被证明以令人惊讶的方式失败。这种模型的脆弱性限制了它们在现实世界部署中的有效性和可信度。在这项工作中,我们系统地研究了一个这样的算法,AlphaZero,并确定了两个与探索性质相关的现象。首先,我们发现了政策价值错位的证据--对于许多州来说,AlphaZero的政策和价值预测相互矛盾,揭示了AlphaZero目标中准确的移动选择和价值估计之间的紧张关系。此外,我们发现AlphaZero的价值函数中存在不一致性,这导致它的泛化能力很差,尽管它的策略是最优策略。从这些见解中,我们得出VISA-VIS:一种新的方法,提高了AlphaZero中的策略-价值对齐和价值鲁棒性。实验表明,我们的方法减少了高达76%的政策值不一致,减少值泛化误差高达50%,并减少平均值误差高达55%。
2023-02-06 cs.AI cs.LG cs.MA
COMPASS: A Framework for Evaluating Organization-Specific Policy Alignment in LLMs
AIM Intelligence(AIM智能科技);BMW Group(宝马集团);Yonsei University(延世大学);POSTECH;Seoul National University(首尔国立大学)
COMPASS框架通过评估大语言模型在组织特定政策下的对齐性,揭示了模型在合规性与对抗性鲁棒性上的显著差异,为组织AI安全提供了关键评估工具。
2026-01-05 cs.AI cs.CY
Text-to-3D Policy: Fine-Grained Language-Behavior Alignment for Unseen Specification Generalization
Nanjing University(南京大学);Australian National University(澳大利亚国立大学);University of Technology Sydney(悉尼科技大学)
针对文本到3D策略难以泛化到未见细粒度行为规范的问题,提出T3DP框架,通过令牌级双向对齐实现细粒度语言-行为匹配,显著提升多个基准和真实机器人任务的成功率。
2026-10-01 cs.AI cs.RO
Learning Reward and Policy Jointly from Demonstration and Preference Improves Alignment
University of Minnesota(明尼苏达大学);The Ohio State University(俄亥俄州立大学);Texas A&M University(德克萨斯农工大学)
针对RLHF等多阶段对齐方法的数据利用不足与分布失配问题,提出单阶段AIHF框架,联合利用示范和偏好训练奖励模型与策略,并在LLM和MuJoCo任务中显著优于RLHF、DPO。
2024-11-29 cs.AI cs.HC cs.RO
SeRA: Self-Reviewing and Alignment of Large Language Models using Implicit Reward Margins
KAIST AI(韩国科学技术院人工智能学院);WS AI Labs(WS人工智能实验室)
提出SeRA方法,通过隐式奖励边际进行样本选择和偏好引导,解决直接对齐算法中离线策略数据导致的虚假相关和过拟合问题,有效提升LLMs训练。
2024-10-12 cs.AI cs.LG
Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Alibaba Group(阿里巴巴集团)
RPO通过提示引导的反思增强策略对齐,减少幻觉并提升多模态基准性能。
2025-12-15 cs.AI cs.LG
Cross-domain Dialogue Policy Transfer via Simultaneous Speech-act and Slot Alignment
Hong Kong University of Science and Technology(香港科技大学)
对话策略迁移使我们能够利用来自具有大量数据的源域的知识,在具有少量数据的目标域中构建对话策略。对话语句通常由言语行为和领域槽表示,对话策略转换通常通过分配基于人类记忆的槽映射矩阵来实现。然而,现有的对话策略转移方法不能跨具有不同语音行为的对话域转移,例如,在由不同公司构建的系统之间转移。此外,它们依赖于公共槽或槽熵,当源槽和目标槽完全不相交并且没有数据库可用于计算槽熵时,公共槽或槽熵不可用。为了解决这个问题,我们提出了一个跨域会话和言语行为的策略转移(PROMISE)模型,该模型能够在具有不同言语行为和不相交槽的域之间转移对话策略。PROMISE模型可以同时学习对齐不同的言语行为和时隙,并且它不需要公共时隙或时隙熵的计算。在真实对话数据上的实验和仿真结果表明,PROMISE模型可以有效地在具有不同言语行为和不相交槽的域之间传递对话策略。
2018-04-20 cs.AI cs.CL
Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出分层视觉奖励塑造方法,以VLM作为通用势函数、vLLM自适应选择技能,并证明其保持最优策略,在Google Research Football中提升胜率与常识对齐。
2025-02-19 cs.AI cs.LG
TRIM: Hybrid Inference via Targeted Stepwise Routing in Multi-Step Reasoning Tasks
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
TRIM通过目标逐步路由在多步推理任务中提升推理效率,通过识别错误步骤并分配不同模型处理,实现更高的成本效率。
2026-04-15 cs.AI cs.CL cs.LG
GRADE: Replacing Policy Gradients with Backpropagation for LLM Alignment
Lotus Health AI(Lotus健康AI)
GRADE通过可微松弛的离散令牌采样过程替代策略梯度,实现大语言模型对齐的更稳定和高效方法。
2025-12-30 cs.AI cs.LG
Adaptive Learning of Design Strategies over Non-Hierarchical Multi-Fidelity Models via Policy Alignment
Carnegie Mellon University(卡内基梅隆大学)
提出多保真强化学习框架ALPHA,通过策略对齐自适应利用非分层异构低保真模型学习高保真策略,消除了模型调度需求并展现出更优收敛性。
2024-11-16 cs.AI cs.LG
Direct Alignment with Heterogeneous Preferences
Harvard University(哈佛大学);University of California Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院);Ikigai Labs(Ikigai实验室);University of California San Diego(加州大学圣地亚哥分校)
本研究通过引入用户类型形式化人类偏好的异构性,证明单一策略对齐异构偏好需平均奖励,并揭示直接对齐方法中一致性与样本效率的根本矛盾。
2025-02-22 cs.AI cs.LG
Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
Alibaba Cloud Computing(阿里云计算)
本文研究跨分词器同策略蒸馏,发现严格对齐位置的紧凑监督比扩大覆盖更有效,提出优先监督可靠性以提升性能。
2026-10-07 cs.AI cs.CL
Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment
Renmin University of China(中国人民大学)
研究针对大语言模型强化学习后训练中离策略数据问题,提出选择性重要性采样(SIS),受拒绝采样启发,以离策略模型为提议分布进行令牌级拒绝测试,理论证明可减少梯度估计差距,实验验证其有效性。
2026-08-19 cs.AI cs.CL cs.LG
MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
University of California, Berkeley(加州大学伯克利分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能)
MEReQ通过推断残差奖励函数并采用残差Q学习,实现从人类干预中样本高效地对齐机器人行为与人类偏好。
2025-10-24 cs.AI cs.LG cs.RO
PA3: Policy-Aware Agent Alignment through Chain-of-Thought
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);Amazon Alexa AI(亚马逊Alexa AI)
本文提出一种多阶段对齐方法,通过链式推理让模型在推理时回忆并应用相关业务政策,无需在上下文中包含完整政策,同时引入PolicyRecall奖励和hallucination惩罚,提升性能并减少字数。
2026-09-01 cs.AI cs.CL cs.LG
When Aggregate Alignment Misleads: Auditing Policy Repair Without Per-State Expert Actions
Blossom AI(绽放人工智能公司);Blossom AI Labs(绽放人工智能实验室)
研究在酒店定价模拟器中,智能策略编辑器仅接收区域级诊断反馈时的策略修复问题,用多重启大语言模型编辑器进行修复,其不仅提升收益还减小情节构成距离,结果表明应按诊断反馈是否成可靠闭环结果评估策略修复。
2026-07-07 cs.AI cs.LG
Beyond Alignment: Expanding Reasoning Capacity via Manifold-Reshaping Policy Optimization
Baidu Inc.(百度公司);Peking University(北京大学)
本文提出流形重塑策略优化方法,通过几何干预扩展LLM的推理能力,实验证明其在数学任务中优于现有模型。
2026-01-30 cs.AI cs.LG
What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization
Pantheon Industries(潘松工业);ETH Zurich(苏黎世联邦理工学院)
该研究在Procgen环境和机器人任务中发现目标泛化错误的三种不同策略对齐失效形式,明确目标丢失的不同深度及对应恢复方法,为解决目标泛化问题提供了新的分类依据。
2026-10-30 cs.AI cs.LG cs.RO
Efficient Best-of-N policy evaluation for inference-time alignment
LMU Munich & MCML(慕尼黑大学与慕尼黑机器学习中心);Carnegie Mellon University(卡内基梅隆大学);Meta
提出一种仅基于样本的框架,利用顺序统计结构估计BoN策略值,开发双稳健估计器并给出两种预算选择规则,在合成实验和GSM8K上验证了准确性与有效性。
2026-10-08 cs.AI cs.LG stat.ML
SafeSteer: Localized On-Policy Distillation for Efficient Safety Alignment
Beihang University(北航);Beijing Institute of Technology(北京理工大学);Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对大语言模型安全对齐导致通用能力下降的问题,提出SafeSteer方法,通过激活引导构建安全教师并选择安全令牌,仅在安全令牌上施加反向KL惩罚,在仅用100个有害样本且无需通用数据的情况下,实现了安全与通用能力之间的优越平衡。
2026-08-24 cs.AI cs.CL
Reward Shaping for (Inference-Time) Alignment: A Stackelberg Game Perspective
University of Southern California(南加州大学)
针对KL正则化导致LLM继承基策略偏见的问题,提出将奖励模型优化形式化为Stackelberg博弈,并通过简单奖励塑形方案近似最优奖励模型,在推理时对齐中持续提升平均奖励并达到超过66%的胜率。
2026-06-07 cs.AI cs.LG
Inference-time Alignment in Continuous Space
本文提出SEA算法,通过连续潜在空间中的梯度采样对齐大语言模型,提升在弱基策略或小候选集下的效果,实验显示在AdvBench和MATH上分别提升77.51%和16.36%。
2026-03-15 cs.AI cs.CL
Frictive Policy Optimization for LLMs: Epistemic Intervention, Risk-Sensitive Control, and Reflective Alignment
Brandeis University(布拉德雷大学);Colorado State University(科罗拉多州立大学)
本文提出摩擦性政策优化框架,通过干预管理认知与规范风险,引入摩擦干预分类和统一方法,提升模型的认知能力与对齐性。
2026-04-28 cs.AI cs.CL cs.LG
DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
Fondazione Bruno Kessler(布鲁诺·克塞塞基金会)
提出DOA策略,利用解码器自注意力导出代理对齐,无需训练即可实现语音大语言模型在长形式同声传译中的流式决策。
2026-05-29 cs.AI cs.CL cs.SD
X-OPD: Cross-Modal On-Policy Distillation for Capability Alignment in Speech LLMs
Tencent Hunyuan(腾讯文心);Zhejiang University(浙江大学)
提出X-OPD框架,通过跨模态在策略蒸馏对齐语音LLM与文本LLM的能力,利用文本教师模型评估语音模型的轨迹并提供令牌级反馈,显著缩小复杂任务性能差距。
2026-06-15 cs.AI cs.CL eess.AS
Progressive Alignment of Recommender Foundation Model through Multi-Phase Post-Training
NAVER WEBTOON
本文提出LP-FFT-RFT三阶段渐进式后训练框架,将推荐系统基础模型的下游适配与业务指标对齐分离,实验证实其能提升推荐质量。
2026-08-10 cs.AI cs.IR
Fine-Tuning Language Models with Advantage-Induced Policy Alignment
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
针对RLHF中常用的PPO算法存在的模式坍缩、不稳定、样本效率低等问题,提出基于优势值平方误差损失的APA算法,在语言任务上效果优于PPO,且训练更稳定,并有理论支撑。
2023-11-02 cs.AI cs.CL cs.LG