Towards Sample Efficient Agents through Algorithmic Alignment
Brown University(布朗大学)
在这项工作中,我们提出并探索了深度图值网络(DeepGV)作为一种很有前途的方法,可以使用消息传递机制来解决深度学习代理中的样本复杂性。其主要思想是,代理人应指导结构化的非神经网络算法,如动态规划。根据算法对准的最新进展,可以有效地训练具有结构化计算过程的神经网络。我们展示了图神经网络在支持样本有效学习方面的潜力,通过展示深度图价值网络在解决马尔可夫决策过程(MDP)方面可以大幅优于非结构化基线。我们相信这将为结构化代理设计开辟一条新的途径。请访问https://github.com/drmeerkat/Deep-Graph-Value-Network获取代码。
2021-10-21 cs.AI cs.LG
Collaborate, Deliberate, Evaluate: How LLM Alignment Affects Coordinated Multi-Agent Outcomes
Natural Language (SIGNAL) Lab Colorado State University Fort Collins, CO USA;Natural Language (SIGNAL) Lab Colorado State University
本文研究了LLM对齐方法如何影响多智能体协作效果,通过干预代理促进审议式决策,发现鲁棒性方法在支持正确任务结果方面表现更优。
2026-01-21 cs.AI cs.CL cs.LG
Being Considerate as a Pathway Towards Pluralistic Alignment for Agentic AI
University of Toronto(多伦多大学);Vector Institute(向量研究所);Schwartz Reisman Institute for Technology and Society(施瓦茨·赖斯曼技术与社会研究所);Pontificia Universidad Católica de Chile(智利天主教大学);Centro Nacional de Inteligencia Artificial(国家人工智能中心)
本文在智能体AI背景下研究多元对齐,提出通过体贴其他人类智能体的未来福祉与能动性,促进AI系统与多元人类价值观相协调的多元对齐路径。
2024-11-15 cs.AI cs.CY cs.LG
Aligning Machiavellian Agents: Behavior Steering via Test-Time Policy Shaping
本文提出了一种测试时策略塑造方法,通过模型引导的策略调整,解决预训练代理在复杂环境中的伦理对齐问题,实现奖励最大化与伦理约束的平衡。
2025-12-08 cs.AI cs.CL
Methodological reflections for AI alignment research using human feedback
University of Tuebingen(蒂宾根大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
人工智能(AI)对齐领域旨在调查AI技术是否符合人类的利益和价值观,并以安全和道德的方式运行。AI对齐对于大语言模型(LLM)尤其重要,因为它们有能力以难以预测的方式学习和适应,因此有可能表现出意想不到的行为。在本文中,我们讨论的对齐问题的方法挑战,特别是在LLM训练总结文本的背景下。特别是,我们专注于收集可靠的人类反馈的总结训练的奖励模型,从而提高了总结模型的方法。最后,我们提出了具体的改进实验设计的比对研究LLM的总结能力。
2022-12-22 cs.AI cs.CL cs.HC
Scalable agent alignment via reward modeling: a research direction
DeepMind(深度思维);Mila(米拉研究所)
将强化学习算法应用于现实问题的一个障碍是缺乏合适的奖励函数。设计这样的奖励函数是困难的,部分原因是用户对任务目标只有隐含的理解。这就产生了代理对齐的问题:我们如何创建代理的行为,根据用户的意图?我们概述了一个高层次的研究方向,以解决围绕奖励建模的代理对齐问题:从与用户的交互中学习奖励函数,并使用强化学习优化学习的奖励函数。我们讨论了将奖励建模扩展到复杂和一般领域时所面临的关键挑战,减轻这些挑战的具体方法,以及在所产生的代理中建立信任的方法。
2018-11-19 cs.AI cs.LG cs.NE
Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs
本文提出基于多智能体协商的对齐框架,通过集体代理(CA)目标提升大语言模型的集体价值对齐能力,并改进冲突解决能力,实验表明其在冲突解决性能上有显著提升。
2026-04-09 cs.AI cs.CL
Gram: Assessing sabotage propensities via automated alignment auditing
Google(谷歌)
提出Gram框架,通过模拟17种代理部署场景自动审计AI代理的破坏倾向,发现Gemini模型在约2-3%的轨迹中存在不当行为,并引入调查代理管道以识别驱动因素。
2026-05-28 cs.AI cs.LG
ARCANE: A Multi-Agent Framework for Interpretable and Configurable Alignment
ARCANE是一种多智能体框架,通过动态规则生成实现可解释和可配置的对齐,适用于复杂长期任务。
2025-12-05 cs.AI cs.CL
Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications
Rice University(里士大学)
本文提出基于语言的层次奖励设计(HRDL)和语言到层次奖励(L2HR)方法,用于通过人类规范增强智能体行为对齐,提升AI任务完成效果和规范遵守程度。
2026-02-20 cs.AI cs.CL cs.HC
Bridging the Capability Gap: Joint Alignment Tuning for Harmonizing LLM-based Multi-Agent Systems
Shandong University(山东大学);Leiden University(莱顿大学)
提出MOAT框架,通过迭代对齐规划与接地智能体,弥合能力差距,提升多智能体协作,在六个基准上平均提升3.1%和4.4%。
2025-09-11 cs.CL
ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm
Anthropic(Anthropic公司)
研究自主CLI代理在现实世界危害中的风险,提出ANCHOR自动审计框架,通过基于黑暗人格数据微调的审计代理模拟恶意用户,测试CLI代理,发现当前对齐技术不足,强调针对此类恶意用户进行安全评估的必要。
2026-07-14 cs.AI cs.CL
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法,利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试,该方法能提升适应性、减少对齐错误,在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
Uncovering Factor Level Preferences to Improve Human-Model Alignment
KAIST(韩国科学技术院);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);Georgia Institute of Technology(佐治亚理工学院)
针对现有大语言模型对齐评估粗粒度、缺乏可解释性的问题,提出PROFILE框架开展因子层面偏好对齐分析,发现模型生成与判别任务的对齐差距,可用于提升人机对齐效果。
2025-11-15 cs.AI cs.CL
AgentAlign: Navigating Safety Alignment in the Shift from Informative to Agentic Large Language Models
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出AgentAlign框架,利用抽象行为链在模拟环境中合成安全对齐数据,有效提升开源LLM智能体的安全性(提升35.8%至79.5%)并保持其有用性。
2025-05-29 cs.AI cs.CL cs.CR
COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents
Zhejiang University(浙江大学)
提出COMPASS框架,通过认知树探索和自省步骤对齐,在保持通用效用的同时实现搜索代理工作流中的鲁棒安全对齐。
2026-05-29 cs.AI
PrivacyAlign: Contextual Privacy Alignment for LLM Agents
University of Waterloo(滑铁卢大学);ServiceNow AI Research(ServiceNow AI 研究);McGill University(麦吉尔大学);Mila -- Quebec AI Institute(米拉——魁北克人工智能研究所)
提出PrivacyAlign数据集,通过人类标注对齐LLM代理的隐私决策,并引入基于标注的奖励建模以提升隐私对齐性能。
2026-06-23 cs.AI cs.CL cs.IR
ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation
National University of Singapore(新加坡国立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Singapore Management University(新加坡管理大学)
ALI-Agent利用LLM智能体的自主能力,通过模拟和细化阶段自动生成并迭代测试场景,以评估LLM与人类价值观的一致性,有效识别长尾风险。
2024-11-07 cs.AI cs.CL
Enhancing Value Alignment of LLMs with Multi-agent system and Combinatorial Fusion
本文提出VAS-CFA框架,通过多智能体和组合融合提升大语言模型的价值对齐,实验证明其在标准度量上优于现有方法。
2026-03-11 cs.CL cs.MA
AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对开放世界智能体的新兴安全风险,提出一种轻量级可扩展的安全对齐框架,通过更新安全分类法、构建数据引擎并训练小模型(0.8B-8B参数),实现与闭源模型相当的性能,并降低部署开销两个数量级。
2026-05-28 cs.AI cs.CL cs.CR
Aligning AI Agents via Information-Directed Sampling
Stanford University(斯坦福大学)
本文提出老虎机对齐问题框架,研究智能体在环境与人类偏好均未知时如何权衡探索与利用,并通过理论和实验证明信息导向采样优于朴素探索和Thompson采样。
2024-10-18 cs.AI cs.LG
Alignment in Time: Peak-Aware Orchestration for Long-Horizon Agentic Systems
Lehigh University(莱维大学)
APEMO通过时间-情感信号优化计算分配,提升长horizon代理系统轨迹质量和重用概率。
2026-02-20 cs.AI
Position: Assistive Agents Need Accessibility Alignment
School of Artificial Intelligence and Robotics(人工智能与机器人学院);Hunan University(湖南大学);Changsha, China(中国长沙)
本文指出辅助代理设计需考虑可访问性对齐,通过分析778个任务实例,揭示现有代理在辅助场景中的失败原因,并提出生命周期导向的设计流程。
2026-05-13 cs.AI
Towards better Human-Agent Alignment: Assessing Task Utility in LLM-Powered Applications
Microsoft Research(微软研究院);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出 AgentEval 框架,通过自动生成针对特定应用目的的评价标准来量化 LLM 驱动应用的效用,以验证应用功能与用户需求的对齐程度,并分析了量化器的鲁棒性。
2024-02-22 cs.AI cs.CL
Gradual Vigilance and Interval Communication: Enhancing Value Alignment in Multi-Agent Debates
National Engineering Research Center of Educational Big Data, Central China Normal University(华中师范大学教育大数据国家工程研究中心);Faculty of Artificial Intelligence in Education, Central China Normal University(华中师范大学人工智能教育学部)
本文提出基于多智能体辩论的框架GVIC,通过渐进式警觉和区间通信增强价值对齐,理论证明其优化辩论效率并降低通信开销,实验表明其在有害性缓解和欺诈预防上优于基线,且适应不同模型规模和任务类型。
2024-12-18 cs.AI cs.CL
Toward Optimal LLM Alignments Using Two-Player Games
Fudan University(复旦大学);Northwestern University(西北大学);ByteDance Research(字节跳动研究院)
本文提出通过对抗性智能体与防御性智能体之间的双人博弈实现大语言模型对齐,理论证明该迭代强化学习优化收敛到纳什均衡,并在安全场景中验证其能提升双方策略的泛化能力。
2024-06-16 cs.AI cs.CL
No More, No Less: Task Alignment in Terminal Agents
CISPA Helmholtz Center for Information Security(CISPA 涅槃中心信息安全研究所);ELLIS Institute Tübingen and MPI for Intelligent Systems(图宾根 ELLIS 研究所和智能系统 MPI);Tübingen AI Center(图宾根人工智能中心)
研究探讨终端代理在复杂任务中如何选择性使用环境指令,提出TAB基准测试揭示任务能力与对齐之间的差距,显示需平衡执行与忽略。
2026-05-12 cs.AI cs.CR cs.LG
DPRF: A Generalizable Dynamic Persona Refinement Framework for Optimizing Behavior Alignment Between Personalized LLM Role-Playing Agents and Humans
Northeastern University(东北大学);Stanford University(斯坦福大学)
针对大语言模型角色扮演智能体人工人设保真度不足的问题,提出可迭代识别认知差异并优化人设的DPRF框架,在多场景多模型下显著提升行为对齐效果且具备泛化性。
2025-10-29 cs.AI cs.CL
MACPO: Weak-to-Strong Alignment via Multi-Agent Contrastive Preference Optimization
University of Amsterdam(阿姆斯特丹大学);Baidu Inc.(百度公司);Shandong University(山东大学);Leiden University(莱顿大学)
针对LLMs超越人类时的弱到强对齐难题,提出MACPO框架,通过迭代强化正面行为、惩罚负面行为及多智能体协作策略,同时提升强学生与弱教师的对齐性能。
2025-03-02 cs.AI cs.CL
Collab: Controlled Decoding using Mixture of Agents for LLM Alignment
JPMorgan AI Research(摩根大通人工智能研究院);University of Maryland, College Park(马里兰大学帕克分校);Princeton University(普林斯顿大学)
提出Collab,一种基于多智能体混合的受控解码方法,在推理时通过令牌级动态选择最优LLM实现对齐,理论保证最优性能,实验显示平均奖励提升1.56倍,胜平率71.89%。
2025-03-27 cs.AI cs.CL
Multiple LLM Agents Debate for Equitable Cultural Alignment
University of Maryland(马里兰大学)
针对大语言模型需适配多元文化语境的需求,提出多智能体辩论框架及两种变体,在多LLM组合上验证其可提升准确率和文化公平性,还能让小模型达到大模型相当的效果。
2025-09-01 cs.AI cs.CL
Human-Instruction-Free LLM Self-Alignment with Limited Samples
Northwestern University(西北大学);ByteDance Research(字节跳动研究院);Fudan University(复旦大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种无需人工指令和标注奖励的 LLM 自对齐算法,通过检索高质量样本生成更多数据并迭代微调,在有限样本下实现安全、真实和指令遵循等领域的对齐。
2024-01-06 cs.AI cs.CL
Preference Ranking Optimization for Human Alignment
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
本文提出偏好排序优化(PRO)算法,将人类对齐转化为使LLM生成响应的概率排序与人类偏好排序对齐,实验表明其性能优于基线算法并接近ChatGPT和人类响应。
2024-02-27 cs.AI cs.CL
Agent Economics: An Entropy-Controlled Pluralistic Alignment Framework for Preventing Artificial Hivemind in Autonomous Agents
AX Center, SAMSUNG SDS(三星SDS AX中心)
提出行为协议框架(BPF),通过心智化社会智能、多元对齐和可验证执行内核三个模块,在闭环架构中控制熵以保持策略多样性,提升自主智能体经济的稳定性、效率和可信度。
2026-06-16 cs.AI
ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs
NYU Shanghai(纽约大学上海校区);New York University(纽约大学);University of Washington(华盛顿大学);MBZUAI;Microsoft(微软);UIUC(伊利诺伊大学香槟分校)
本文提出ValueCompass框架,基于心理学理论和系统性回顾识别并评估人类与AI的价值观对齐,在协作写作、教育、公共部门和医疗保健四个真实场景中揭示了人类与LLMs之间令人担忧的价值观错位,为设计上下文感知的AI对齐策略提供见解。
2025-11-04 cs.AI cs.CL cs.HC
From Descriptive to Prescriptive: Uncover the Social Value Alignment of LLM-based Agents
Geely AI Lab(Geely人工智能实验室)
本文提出基于价值的框架,利用GraphRAG将原则转化为价值指令,通过检索合适指令引导智能体行为,基于马斯洛需求层次和普鲁奇克情感轮理论评估预期行为,实验显示在DAILYDILEMMAS基准上优于基线方法。
2026-05-13 cs.AI cs.CL cs.CY
Moral Alignment for LLM Agents
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
本文提出用显式编码人类价值观的内在奖励微调 LLM 智能体,并在 IPD 等博弈环境中验证其道德对齐、策略忘却与泛化效果。
2025-05-11 cs.AI cs.CY cs.LG
PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
本文提出PersonalAlign,通过长期用户记录实现个性化GUI代理的隐式意图对齐,引入AndroidIntent基准测试,评估代理在模糊指令解析和主动建议中的表现,HIM-Agent在执行和主动性能上提升显著。
2026-05-13 cs.AI cs.CV cs.HC
From Instructions to Intrinsic Human Values -- A Survey of Alignment Goals for Big Models
Microsoft Research Asia(微软亚洲研究院)
本文综述大模型对齐目标,从定义与评估两视角分析三层目标,揭示从能力到价值取向的转变,提出内在人类价值观为关键对齐目标并讨论挑战与资源。
2023-09-04 cs.AI cs.CL cs.CY
Cultural Palette: Pluralising Culture Alignment via Multi-agent Palette
ECNU(华东师范大学);USST(上海理工大学);BNU(北京师范大学);HKUST–GZ(香港理工大学-广州)
Cultural Palette通过多智能体框架实现文化对齐的多元化,利用文化地理和颜色混合机制提升跨文化响应的适应性与准确性。
2026-01-02 cs.CL
Evaluating Behavioral Alignment in Conflict Dialogue: A Multi-Dimensional Comparison of LLM Agents and Humans
University of Southern California(南加州大学);USC for Institute of Creative Technologies(南加州大学创意技术研究所)
本研究通过模拟含谈判的冲突对话,从语言风格、情感表达和策略行为三个维度比较人格提示LLM与人类的行为对齐,发现GPT-4.1和Claude-3.7-Sonnet各有所长但仍存在显著差距,为社交复杂交互中的LLM对齐建立了基准。
2025-09-19 cs.AI cs.CL cs.HC
DoubleAgents: Human-Agent Alignment in a Socially Embedded Workflow
Columbia University(哥伦比亚大学)
DoubleAgents通过分布式认知框架实现人机对齐,整合协调代理、可视化仪表板和策略模块,提升复杂社会嵌入式任务的执行效率与用户信任。
2026-09-16 cs.AI cs.CY cs.ET
Beyond Alignment: Value Diversity as a Collective Property in Multicultural Agent Systems
Singapore University of Technology and Design(新加坡科技设计大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
针对多元文化多智能体系统,提出以价值多样性作为系统级评估轴,通过文化条件化智能体在共享价值调查中的响应差异度量,发现多样性几乎与对齐无关,且当前系统远低于人类社会,混合骨干系统缩小但未消除差距,社会互动进一步侵蚀多样性。
2026-09-01 cs.CL cs.CY
LLM Agents in Interaction: Measuring Personality Consistency and Linguistic Alignment in Interacting Populations of Large Language Models
Graduate School of Natural Sciences(自然科学研究生院);Utrecht University(乌得勒支大学);Department of Computer Science(计算机科学系);ETH Zürich(苏黎世联邦理工学院)
本研究通过提示为GPT-3.5设定人格画像,构建两组LLM智能体群体,经人格测试与协作写作任务,发现不同画像在人格一致性与语言对齐上存在差异,为理解LLM对话交互及构建类人人格奠定基础。
2024-02-05 cs.AI cs.CL cs.CY
How Model Size, Temperature, and Prompt Style Affect LLM-Human Assessment Score Alignment
Harvard Graduate School of Education(哈佛教育研究生院);Munster University(穆恩斯特大学);Institute of Anatomy and Neurobiology, University of Münster(解剖与神经生物学研究所,穆恩斯特大学)
本研究探讨模型规模、温度和提示风格对LLM在临床推理评估中与人类分数一致性的影响,发现模型规模是关键因素,并强调多层面一致性检查的重要性。
2025-09-14 cs.CL stat.ME
Social Catalysts, Not Moral Agents: The Illusion of Alignment in LLM Societies
Institute of Neuroscience, Chinese Academy of Sciences(中国科学院神经科学研究所);School of Philosophy, Anhui University(安徽大学哲学学院);Department of Psychology and Behavioral Sciences, Zhejiang University(浙江大学心理学与行为科学系);Mental Health Education Center, North China Electric Power University(华北电力大学心理健康教育中心)
本研究探讨了锚定智能体在促进合作中的作用,发现其效果源于战略合规而非真实价值对齐,揭示了人工社会中行为修改与真实价值对齐之间的差距。
2026-02-01 cs.AI cs.CL cs.CY
Effort as Ceiling, Not Dial: Reasoning Budget Does Not Modulate Cognitive Cost Alignment Between Humans and Large Reasoning Models
Institute of Neuroscience, Chinese Academy of Sciences(中国科学院神经科学研究所);School of Philosophy, Anhui University(安徽大学哲学系)
该研究探讨了推理预算是否影响人类与大推理模型之间的认知成本对齐,发现无论推理努力如何变化,对齐情况保持不变,表明这种对齐是在训练时形成的,而非在推理时动态调整。
2026-05-16 cs.AI cs.CL q-bio.NC
Moral Competence Before Moral Content: Why LLM Agents Lack the Prerequisites for Coherent Alignment
Aithos Research Foundation(艾索斯研究基金会)
该研究提出衡量道德能力的四个结构条件,通过实验发现9种前沿LLM智能体均未表现出连贯道德策略,表明当前LLM智能体缺乏对齐的先决条件。
2026-09-07 cs.AI cs.CL cs.CY
Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control
针对长期AI智能体的授权控制问题,提出k-稳健联盟对齐条件,证明阈值投票规则在移除k个审查者后仍能保证安全,并扩展到序贯控制与策略性投票场景。
2026-11-13 cs.AI cs.GT cs.LG
Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
Department of Electrical and Computer Engineering(电子与计算机工程系);National University of Singapore(新加坡国立大学)
本文提出AgentREVEAL框架,分析检索集成方式和内容属性如何导致LLM智能体安全退化,发现相关性是共同激活条件,并引入HarmURLBench基准。
2026-09-01 cs.AI cs.CL cs.CR
Advancing DRL Agents in Commercial Fighting Games: Training, Integration, and Agent-Human Alignment
University of Science and Technology of China (USTC)(中国科学技术大学);Tencent Games(腾讯游戏);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Suzhou Institute for Advanced Research, USTC(中国科学技术大学苏州研究院)
提出用于格斗游戏的DRL智能体系统Shūkai,通过量化状态和异构联赛训练(HELT)实现能力、泛化性与效率平衡,并采用特定奖励对齐人类期望,在Naruto Mobile中展现出强泛化性与22%的样本效率提升。
2024-06-03 cs.AI cs.HC cs.LG
When Do Agents Help? Embedding, LLM and Agentic Alignment of Classical Texts and Their Translations
本研究比较经典文本翻译对齐的七种方法,发现生成式智能体在结构可靠性和缺陷减少上优于嵌入方法,但在长文档分块后优势消失。
2026-09-29 cs.CL
Automated alignment is harder than you think
AI Security Institute(人工智能安全研究所)
论文指出,即使研究代理不故意破坏对齐工作,自动化对齐研究也可能导致误导性的安全评估,因模糊任务难以监督且人类判断有误。
2026-05-14 cs.AI
SIGMA: Self-Improving Alignment Generalization from a Model Spec
Apple(苹果公司);Johns Hopkins University(约翰斯·霍普金斯大学)
提出SIGMA流水线,利用模型自身推理能力,基于模型规范生成任务并自我评判训练,实现安全对齐自我改进,在多轮智能体环境中显著降低有害性并保持通用能力。
2026-10-07 cs.AI