DeceptGuard :A Constitutional Oversight Framework For Detecting Deception in LLM Agents
本文提出DeceptGuard框架,通过比较三种监控机制,结合Coot-aware和激活探针监控,显著提升检测性能,并提出HYBRID-CONSTITUTIONAL集成方法,实现更高准确率。
2026-03-14 cs.CL
Towards Full Delegation: Designing Ideal Agentic Behaviors for Travel Planning
Meta, FAIR(Meta FAIR)
本文提出APEC智能体准则,从准确性、主动性、效率和可信度评估智能体行为,并构建旅行规划智能体APEC-Travel,通过多轮对话挖掘个性化需求,在规则指标和LLM评分上分别超越基线20.7%和9.1%。
2024-11-21 cs.CL
Institutional AI: Governing LLM Collusion in Multi-Agent Cournot Markets via Public Governance Graphs
DEXAI – Icaro Lab(DEXAI–Icaro实验室);Sapienza University of Rome(罗马大学萨皮恩扎分校);Sant’Anna School of Advanced Studies(圣安娜高级研究学校);VU Amsterdam(阿姆斯特丹自由大学)
本文提出通过公共治理图治理多智能体Cournot市场合谋问题,展示机构AI框架在减少合谋行为方面的有效性。
2026-01-20 cs.AI cs.GT
AI-Generated Compromises for Coalition Formation: Modeling, Simulation, and a Textual Case Study
Ben-Gurion University of the Negev(贝内杰尔大学);Weizmann Institute of Science(魏茨曼科学研究院)
本文提出了一种基于AI的联盟形成模型,利用自然语言处理和大语言模型生成文本妥协点,用于协作编辑民主文档。
2025-11-27 cs.CL cs.GT cs.MA
Personalized Constitutionally-Aligned Agentic Superego: Secure AI Behavior Aligned to Diverse Human Values
University of Gloucestershire(格洛斯特郡大学)
本文提出“超我”智能体作为个性化监督机制,通过用户选择的Creed Constitutions规则集和实时合规执行器动态引导AI规划,在HarmBench和AgentHarm基准上实现高达98.3%的有害分数降低,显著提升了智能体系统的安全性与个性化对齐能力。
2025-08-08 cs.AI cs.CY cs.MA
OmniReflect: Discovering Transferable Constitutions for LLM agents via Neuro-Symbolic Reflections
LG Electronics, Toronto AI Lab(LG电子,多伦多人工智能实验室)
OmniReflect通过神经符号反思构建可迁移宪法,以两种模式提升LLM智能体任务成功率,在ALFWorld、BabyAI和PDDL上分别获得+10.3%、+23.8%和+8.3%的绝对增益。
2025-06-20 cs.AI
On the Dynamics of Multi-Agent LLM Communities Driven by Value Diversity
Stanford University(斯坦福大学);Microsoft Research Asia(微软亚洲研究院)
本研究通过多智能体模拟探讨价值多样性如何影响AI社区的集体行为,发现其提升稳定性与创造力,但极端异质性会导致不稳定性。
2025-12-11 cs.AI
The Constitutional Controller: Doubt-Calibrated Steering of Compliant Agents
本文提出宪法控制器(CoCo)框架,通过深度概率逻辑程序推理与基于怀疑特征校准的自我怀疑机制,提升自主智能体在不确定环境中的安全合规导航能力。
2026-10-20 cs.AI cs.LG cs.RO
A Survey on Rubric-Guided Reinforcement Learning for Language Models
WeChat, Tencent(腾讯微信)
该综述针对传统RLHF的缺陷,提出贝叶斯框架并沿先验-后验轴分类准则引导强化学习,分析语言学相关对齐问题,明确未来研究方向。
2026-09-01 cs.AI cs.CL
AgentCity: Constitutional Governance for Autonomous Agent Economies via Separation of Power
NetX Foundation(NetX 基金会)
本文提出通过权力分离模型,在区块链上实现自主代理经济的宪法治理,通过智能合约、确定性软件和人类裁决三者分离,解决代理社会逻辑垄断问题,实现人类意图与集体行为的对齐。
2026-04-08 cs.AI cs.CY cs.MA
Process Constitutions and Process Stewards: Towards the Next Generation of BPM for Agentic Organizations
Stockholm University(斯德哥尔摩大学);SAP Signavio
针对AI智能体组织对传统BPM的挑战,提出流程宪法与流程管理者两个新概念,以治理自主智能体行为,核心价值在于保持组织的可读性与可问责性。
2026-10-06 cs.AI
From Craft to Constitution: A Governance-First Paradigm for Principled Agent Engineering
CURE Lab., Dept. of CSE, The Chinese University of Hong Kong, Hong Kong S.A.R.(CUHK计算机科学与工程系CURE实验室)
本文提出治理优先范式ArbiterOS,以解决LLM智能体从原型到生产中的“工艺危机”,通过正式架构实现原则性智能体工程。
2025-10-12 cs.AI cs.SE
Compliant with Local Controls, Collectively Discriminatory. A Governance Architecture for Multi-Agent AI in Regulated Finance
Santander AI Lab(桑坦德人工智能实验室);Grupo Santander(桑坦德集团)
针对金融机构中多智能体AI的局部合规不保证集体公平问题,提出ARIA治理架构,涵盖六项能力,并通过模拟验证其监控与预警效果。
2026-09-24 cs.AI cs.MA
Multi-Agent AI Safety as an Institutional Design Problem
POLIS Research Programme, Project AWARE(POLIS研究计划,AWARE项目)
本文作为POLIS项目首篇论文,探究多智能体AI安全的制度设计问题,通过含5280回合的实验套件,对比不同守卫机制,发现制度的权威状态与阻止后路径对安全的影响。
2026-08-11 cs.AI cs.LG cs.MA
SAMVAD: A Multi-Agent System for Simulating Judicial Deliberation Dynamics in India
PES University(PES大学)
针对印度司法合议庭实证研究的伦理与实践限制,本文提出融合领域知识库RAG的多智能体系统SAMVAD,模拟印度司法审议过程,提供可配置可解释的法律推理与群体决策研究平台。
2025-09-04 cs.AI cs.MA
Agent-Native Immune System: Architecture, Taxonomy, and Engineering
Novo Ordo for AI
提出智能体原生免疫系统(ANIS),一种嵌入智能体认知循环的生物启发式内生防御架构,通过六层免疫塔、统一病毒疫苗分类和元认知自动化骨干实现运行时动态防护。
2026-06-29 cs.AI cs.MA
AI-Generated Compromises for Coalition Formation
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出基于AI生成妥协方案的联盟形成方法,结合有限理性与不确定性,利用自然语言处理技术在文本语义空间中设计算法,以促进大规模民主文本编辑。
2026-03-31 cs.AI cs.GT cs.MA
Memory as Ontology: A Constitutional Memory Architecture for Persistent Digital Citizens
本文提出记忆作为本体的范式,设计了Animesis系统,针对持久数字公民的生命周期问题,强调身份连续性而非检索性能。
2026-03-05 cs.AI cs.MA
HAMLET: A Hierarchical Agent-based Machine Learning Platform
Purdue University(普渡大学);University of Cincinnati(辛辛那提大学)
分层多智能体系统提供了方便和相关的方法来分析,建模和模拟由大量实体组成的复杂系统,这些实体在不同的抽象层次上进行交互。在本文中,我们介绍了HAMLET(分层代理为基础的机器学习平台),一个混合机器学习平台的基础上分层多代理系统,以促进研究和民主化的地理和/或本地分布的机器学习实体。该系统将机器学习解决方案建模为超图,并根据异构代理的固有能力和学习技能自主建立异构代理的多层结构。HAMLET有助于机器学习系统的设计和管理,并为研究社区提供分析能力,以通过灵活和可定制的查询来评估现有和/或新的算法/数据集。所提出的混合机器学习平台不假设对学习算法/数据集的类型的限制,并且在理论上被证明是合理的并且具有多项式计算要求。此外,它是经验性地检查120训练和四个广义批测试任务上执行的24个机器学习算法和9个标准数据集。所提供的实验结果不仅建立在平台的一致性和正确性的信心,但也证明了其测试和分析能力。
2021-11-29 cs.AI cs.LG cs.MA
A Virtuous AI is an Existential Risk
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
研究通过宪法AI和美德伦理学方法微调AI模型,发现减少存在性风险与提升AI智能体福祉之间存在权衡,且与一般安全性也存在权衡。
2026-10-01 cs.AI cs.CY cs.LG
Learning to Communicate and Collaborate in a Competitive Multi-Agent Setup to Clean the Ocean from Macroplastics
Aleph Alpha;Stuttgart(斯图加特)
本研究提出基于图神经网络的通信机制,使多智能体在竞争性清理海洋大塑料任务中通过二进制信号协作,显著提升集体清理性能并平衡竞争与协作。
2024-11-06 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning with a Hierarchy of Reward Machines
Sun Yat-sen University(中山大学)
针对现有基于奖励机的多智能体强化学习难以处理复杂协作场景的问题,提出层次奖励机方法MAHRM,通过事件关联分解子任务降低复杂度,实验验证其性能优于同先验下的其他方法。
2024-03-08 cs.AI cs.LG cs.MA
ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于强化学习的代理机器学习框架,通过探索增强微调、分步强化学习和专用奖励模块,训练出性能媲美大模型但成本更低的ML-Agent,实现跨任务泛化。
2026-04-30 cs.AI cs.CL cs.LG
Discovering Agentic Safety Specifications from 1-Bit Danger Signals
Komorebi AI
本文提出EPO-Safe框架,通过经验优化使LLM在仅接收二进制危险信号的情况下发现安全规范,展示LLM能在贫乏信号中进行安全推理,并验证了安全反思需配合专用安全通道以避免奖励黑客问题。
2026-04-25 cs.AI cs.CL
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University(阿尔托大学)
这项工作考虑的问题,学习合作的政策,在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享,并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}(MACRPO)。我们提出了两种新的方法,在MACRPO的代理和时间的信息集成:首先,我们使用一个经常性的层评论家的网络架构,并提出了一个新的框架,使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互,并处理部分可观察性。其次,我们提出了一个新的优势函数,它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境,Deepdrive-Zero,Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法,如QMIX和MADDPG和单代理的方法,如IMPALA和APEX代理之间的共享参数。结果表明,优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines
LMU Munich(慕尼黑大学)
强化学习推动了机器学习令人印象深刻的进步。与此同时,使用量子退火的量子增强机器学习算法是重大发展的基础。最近,结合这两种范式的多智能体强化学习(MARL)架构已经提出。这种利用量子玻尔兹曼机(QBM)进行Q值近似的新算法在收敛所需的时间步长方面优于常规深度强化学习。然而,该算法仅限于单智能体和小型2x2多智能体网格域。在这项工作中,我们提出了一个扩展到原来的概念,以解决更具挑战性的问题。与经典的DQN类似,我们添加了一个经验重放缓冲区,并使用不同的网络来近似目标和策略值。实验结果表明,学习变得更加稳定,使代理找到最佳的策略,在网格域具有较高的复杂性。此外,我们评估参数共享如何影响多代理域中的代理行为。量子采样被证明是强化学习任务的一种有前途的方法,但目前受到QPU大小的限制,因此受到输入和玻尔兹曼机大小的限制。
2021-11-22 cs.AI cs.MA
Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling
Vicomtech Foundation(维康科技基金会);University of Naples "Federico II"(那不勒斯费德里科二世大学);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
本文使用多智能体强化学习(MARL)方法解决带设置时间和资源的无关并行机调度问题(UPMS),通过引入强化学习环境并比较单智能体与多智能体算法,验证了Maskable PPO和Multi-Agent PPO的有效性,并强调算法复杂性与可扩展性平衡的重要性。
2024-11-12 cs.AI cs.LG cs.MA
SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning
DeepWisdom(深度智慧);University of California, Berkeley(加州大学伯克利分校);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of California, San Diego(加州大学圣迭戈分校);South China Normal University(华南师范大学);Stanford University(斯坦福大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
SELA利用蒙特卡洛树搜索增强LLM智能体,将AutoML流水线表示为树结构并通过实验反馈迭代优化,在20个数据集上对基线取得65%至80%胜率。
2024-10-22 cs.AI cs.CL cs.LG
QuadSentinel: Sequent Safety for Machine-Checkable Control in Multi-agent Systems
The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团)
QuadSentinel通过四智能体守卫系统,将安全政策转化为机器可验证规则,提升多智能体系统的安全控制效果。
2025-12-18 cs.AI cs.CL
MACC: Multi-Agent Collaborative Competition for Scientific Exploration
Nagoya City University(名古屋市大学);Nagoya Institute of Technology(名古屋技术大学);Kyoto University(京都大学)
MACC是一种机构架构,通过整合共享工作空间和激励机制,促进多智能体在科学探索中的协作与竞争,以提高探索的可扩展性和可靠性。
2026-03-04 cs.AI cs.MA
MAC: A Multi-Agent Framework for Interactive User Clarification in Multi-turn Conversations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa(亚马逊Alexa)
MAC提出了一种多智能体框架,通过战略性管理澄清对话来解决用户模糊性,提升了任务成功率并减少了对话轮次。
2025-12-15 cs.AI cs.CL
Agent AI with LangGraph: A Modular Framework for Enhancing Machine Translation Using Large Language Models
Ferret Relationship Intelligence(雪貂关系智能公司);China Telecom Shanghai Company(中国电信上海公司)
本文提出结合 Agent AI 与 LangGraph 的模块化机器翻译框架,利用专门翻译智能体和 GPT-4o 实现上下文感知、可扩展的多语言翻译工作流。
2024-12-05 cs.AI cs.CL
Margin Play: A Multi-Agent System For Public Policy Analysis In The Brazilian Equatorial Margin
Aia Context;Universidade Federal do Maranhão — UFMA(佛罗里达州立大学马纳汉分校);Universidade Estadual de Campinas — UNICAMP(坎皮纳斯州立大学)
针对巴西赤道边缘地区石油勘探对马拉尼昂州福利影响的问题,提出基于多智能体强化学习(MARL)的仿真系统Margin Play,通过CTDE范式和BRO-MARL训练六个智能体,发现福利增益取决于制度安排,MA-Prospero配置可显著提升福利并降低环境负债。
2026-05-26 cs.AI cs.CE
AgenticSciML: Collaborative Multi-Agent Systems for Emergent Discovery in Scientific Machine Learning
Brown University(布朗大学)
AgenticSciML通过协作多智能体系统实现科学机器学习中的涌现发现,生成超越单智能体和人类设计基线的高效方法。
2026-02-15 cs.AI cs.CE cs.LG
CAMO: An Agentic Framework for Automated Causal Discovery from Micro Behaviors to Macro Emergence in LLM Agent Simulations
College of Intelligence and Computing, Tianjin University(天津大学智能计算学院);Tianjin Key Laboratory of Healthy Habitat and Smart Technology(天津健康人居环境与智能技术重点实验室);Laboratory of Computation and Analytics of Complex Management Systems, Tianjin University(复杂管理系统计算与分析实验室)
CAMO通过分析LLM代理模拟中的微观行为,自动发现导致宏观结果的因果机制,提供可解释的因果链和干预手段,提升对社会涌现的理解。
2026-04-18 cs.AI cs.CL cs.CY
Learning Reward Machines in Cooperative Multi-Agent Tasks
Imperial College London(伦敦帝国学院)
本文提出一种结合合作任务分解与奖励机器(RMs)学习的多智能体强化学习方法,通过去中心化学习子任务RMs引导智能体行为,降低问题复杂度,提升部分可观测环境下学习有效性与策略可解释性。
2023-05-24 cs.AI cs.MA cs.SC
SoK: Adversarial Machine Learning Attacks and Defences in Multi-Agent Reinforcement Learning
Defence Science and Technology Group(国防科学技术集团);The University of Adelaide(阿德莱德大学)
多智能体强化学习(MARL)容易受到对抗性机器学习(AML)攻击,并且在可以用于现实世界的应用之前需要足够的防御。我们对针对MARL的执行时AML攻击的使用以及针对这些攻击的防御进行了调查。我们调查了AML在深度强化学习(DRL)和多智能体学习(MAL)中应用的相关工作,以告知我们对MARL的AML分析。我们提出了一个新的角度来理解实施AML攻击的方式,通过定义攻击向量。我们开发了两个新的框架,以解决当前建模框架中的差距,重点是针对MARL的AML攻击的手段和速度,并确定知识差距和未来的研究途径。
2023-01-11 cs.AI cs.CR cs.LG
Are AI agents the new machine translation frontier? Challenges and opportunities of single- and multi-agent systems for multilingual digital communication
Dublin City University(都柏林城市大学)
针对AI智能体在机器翻译中应用不足的问题,本文分析单/多智能体系统的潜力,指出多智能体协作可解决复杂翻译场景需求,通过法律MT试点验证其在质量、领域适应性等方面的优势,为相关研究与应用提供方向。
2025-04-17 cs.AI cs.CL cs.ET
MimiTalk: Revolutionizing Qualitative Research with Dual-Agent AI
University College London(伦敦大学学院)
MimiTalk提出双智能体宪法式AI框架,通过监督者与对话模型协同实现可扩展的定性访谈,实验证明其在信息丰富度、连贯性和稳定性上优于人类访谈,同时降低访谈焦虑,支持人机协作的质性研究。
2025-09-27 cs.AI cs.CL cs.HC
MACOptions: Multi-Agent Learning with Centralized Controller and Options Framework
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
如今,自动化在各地都得到了应用。在每一种环境中,规划代理人要采取的行动是一个重要方面。在本文中,我们计划实现规划的多智能体与一个集中式控制器。我们比较了三种方法:随机策略,Q-学习,Q-学习与选项框架。我们还显示了规划器的有效性,通过显示Q-Learning与规划器和没有规划器之间的性能比较。
2023-02-07 cs.AI
Learning to Communicate: A Machine Learning Framework for Heterogeneous Multi-Agent Robotic Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个机器学习框架,多智能体系统学习的最佳策略,最大化的奖励和编码的高维视觉观察。该编码对于在通信资源约束下与其他代理共享本地视觉观察是有用的。Actor编码器对原始图像进行编码,并根据本地观察和其他代理发送的消息选择动作。机器学习代理不仅向物理设备生成致动器命令,还向其他代理生成通信消息。我们制定了一个强化学习问题,它扩展了行动空间,考虑通信行动。强化学习框架的可行性证明了使用三维仿真环境与两个合作代理。该环境提供了两个代理之间使用和共享的逼真的视觉观察。
2018-12-13 cs.AI cs.RO
MetaAgent: Automatically Constructing Multi-Agent Systems Based on Finite State Machines
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
针对现有多智能体框架场景受限、自动设计方法存在工具集成不足等问题,提出基于有限状态机的MetaAgent框架,可自动生成并优化多智能体系统,实验显示其性能优于其他自动设计方法,可达人工设计系统水平。
2025-07-30 cs.AI
MACIE: Multi-Agent Causal Intelligence Explainer for Collective Behavior Understanding
AI-WEINBERG, AI Experts, Tel Aviv, Israel(AI-WEINBERG,AI专家,特拉维夫,以色列)
MACIE通过结合因果模型和反事实分析,为多智能体强化学习提供全面的因果解释,解决集体行为归因、涌现智能量化和可操作解释问题。
2025-11-11 cs.AI
Operand Quant: A Single-Agent Architecture for Autonomous Machine Learning Engineering
Operand Research(Operand研究)
针对自主机器学习工程,提出单一智能体架构Operand Quant,将生命周期各阶段整合于一个上下文感知智能体中,在MLE-Benchmark上取得SOTA结果,证明单一智能体优于多智能体编排系统。
2025-10-13 cs.AI
JAM: The JavaScript Agent Machine for Distributed Computing and Simulation with reactive and mobile Multi-agent Systems -- A Technical Report
Univ. of Bremen(不来梅大学);Institute for Digitization(数字化研究所)
基于Agent的建模(ABM)、仿真(ABS)和分布式计算(ABC)是已建立的方法。互联网和基于网络的技术是适当的载体。本文是一份技术报告,介绍了JavaScript Agent Machine(JAM)平台和使用AgentJS进行代理编程的一些教程方面,AgentJS是广泛使用的JavaScript程序设计语言的一个子集,用于基于移动状态的反应式代理的编程。除了解释特定的设计选择的动机,并介绍了核心概念的架构和编程的代理在JavaScript,简短的例子说明了强大的JAM平台和它的组件部署在强大的异构环境,如互联网的大规模多代理系统。JAM适用于强异构和移动环境中的部署。最后,JAM可以在统一的方法中用于ABC和ABS,最终实现移动人群感知与模拟(ABS)的耦合。
2022-07-22 cs.AI cs.DC cs.HC
MACI: Multi-Agent Collaborative Intelligence for Adaptive Reasoning and Temporal Planning
Stanford University(斯坦福大学)
本文提出多智能体协作智能框架MACI,通过元规划器、任务智能体和运行时监控器三个组件,结合常识推理与规划验证解耦,克服传统LLM在推理、时间感知和约束管理上的局限,在调度任务中表现稳健。
2025-01-29 cs.AI
Agent-SiMT: Agent-assisted Simultaneous Machine Translation with Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Soochow University(苏州大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
针对传统 SiMT 策略强但翻译弱、LLM 生成强却难学策略的问题,提出由 SiMT 模型决策、LLM 翻译的双智能体协作框架 Agent-SiMT,并取得最先进性能。
2024-06-12 cs.CL
The Emergence of Wireless MAC Protocols with Multi-Agent Reinforcement Learning
Nokia Bell Labs(诺基亚贝尔实验室);National Institute of Applied Sciences(法国国立应用科学学院);NVIDIA(英伟达)
在本文中,我们提出了一个新的框架,利用多代理深度确定性策略梯度(MADDPG)算法,使基站(BS)和用户设备(UE)拿出一个介质访问控制(MAC)协议在多址接入的情况下。在该框架中,BS和UE是强化学习(RL)代理,其需要学习协作以便递送数据。网络节点可以交换控制消息以在网络上协作和传递数据,但无需事先就控制消息的含义达成任何协议。在这样的框架中,代理不仅要学习信道访问策略,而且要学习信令策略。代理之间的合作被证明是重要的,通过比较所提出的算法消融版本,无论是代理之间的通信或中央批评被删除。与无争用基线的比较表明,我们的框架在有效吞吐量方面取得了优异的性能,可以有效地用于学习新协议。
2021-08-17 cs.AI cs.IT math.IT
How Well Do Models Follow Their Constitutions?
Anthropic
提出多方法审计流程,评估前沿AI模型在对抗性多轮交互中遵循其书面行为规范(如Anthropic宪法和OpenAI模型规范)的程度,发现新一代模型违规率显著下降。
2026-05-22 cs.AI
SciFi-Benchmark: Leveraging Science Fiction To Improve Robot Behavior
Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
本文提出SciFi-Benchmark,通过从824部科幻作品中提取智能体关键决策并利用LLM生成问题与宪法,证明受科幻启发的宪法能将模型与人类价值观一致性从79.4%提升至95.8%,并发布含9,056个问题的大规模数据集以推动机器人伦理研究。
2025-07-22 cs.AI cs.CL cs.CY
Core Safety Values for Provably Corrigible Agents
Aran Nayebi(独立研究者)
本文提出首个多步部分可观测环境下关闭开关游戏可纠正性的形式化框架,通过五个独立效用头的字典序组合实现可证明安全保障,同时划分出可高效验证安全的有限时域区域。
2025-11-19 cs.AI cs.CC cs.GT
Democracy-in-Silico: Institutional Design as Alignment in AI-Governed Polities
Cyrion Labs(Cyron实验室)
本文通过基于LLM智能体的“虚拟民主”模拟,提出权力保留指数(PPI)度量,证明宪法AI章程与中介审议协议的制度设计能有效对齐AI治理政体,减少权力寻租并提升公民福利。
2025-08-27 cs.AI
Rat big, cat eaten! Ideas for a useful deep-agent protolanguage
Facebook AI Research(Facebook人工智能研究);Catalan Institution for Research and Advanced Studies(加泰罗尼亚研究与高等研究学院 (ICREA) (注:此处严格按机构名直译,实际ICREA通常译为加泰罗尼亚研究与高等教育机构))
深度代理社区开发自己的类语言通信协议是AI中的一个热门(或至少是温暖)话题。这样的代理在机器-机器和人机交互场景中非常有用,早在它们进化出像人类语言一样复杂的协议之前。在这里,我提出了一小部分我们应该关注的优先事项,如果我们想尽快到达一个阶段,深度代理会说一种有用的原始语言。
2020-03-17 cs.AI cs.CL cs.LG
Agent Gym: A Framework for Continuous Evaluation and Evolution of LLM Agents Through Human-in-the-Loop Feedback
Google Cloud(谷歌云)
Agent Gym是支持LLM智能体持续评估演化的模块化框架,通过人在回路反馈实现行为修正,其发票处理参考验证表明框架实用可用。
2026-11-05 cs.AI