Multi-Agent Trust Region Policy Optimization
University of Rhode Island(罗德岛大学)
本文将TRPO扩展至多智能体强化学习,通过将策略更新转化为分布式共识优化问题,提出完全去中心化且保护隐私的MATRPO算法,并在合作博弈中验证了其稳健性能。
2023-08-05 cs.AI cs.MA
Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Huawei R&D UK(华为英国研发中心);ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院);Institute for AI, Peking University(北京大学人工智能研究院);BIGAI(北京通用人工智能研究院)
信赖域方法严格地使强化学习(RL)代理能够学习单调改进的策略,从而在各种任务上获得卓越的性能。不幸的是,当涉及到多智能体强化学习(MARL)时,单调改进的特性可能并不简单;这是因为即使在合作游戏中,智能体也可能具有冲突的策略更新方向。因此,在每个代理人单独行动的联合政策上实现有保证的改进仍然是一个公开的挑战。本文将信赖域学习理论推广到MARL中。我们的研究结果的核心是多代理优势分解引理和顺序政策更新计划。在此基础上,我们开发了异构代理信任域策略优化(HATPRO)和异构代理邻近策略优化(HAPPO)算法。与许多现有的MARL算法不同,HATRPO/HAPPO不需要代理共享参数,也不需要对联合价值函数的可分解性进行任何限制性假设。最重要的是,我们从理论上证明了HATRPO/HAPPO的单调改进性质。我们评估了一系列多智能体MuJoCo和StarCraftII任务的方法。结果表明,HATRPO和HAPPO在所有测试任务上的表现都明显优于IPPO、MAPPO和MADDPG等强基线,因此建立了一个新的技术水平。
2022-04-04 cs.AI cs.MA
History Based Coalition Formation in Hedonic Context Using Trust
Utah State University(犹他州立大学)
在本文中,我们解决的问题,联盟形成的享乐背景。我们的模型试图尽可能真实。在以前的模型中,一旦一个代理加入一个联盟,它将无法离开联盟,并加入新的一个;在这项研究中,我们有可能离开一个联盟,但提出了一些限制,以控制代理的行为。一个代理人在联盟中的去留会影响联盟中其他代理人的信任。代理将使用信任值来计算联盟的预期效用。三种不同的风险行为的代理人,希望发起一个联盟。利用这些风险行为,进行了一些模拟,并对结果进行了分析。
2013-08-15 cs.AI cs.MA
TrustFlow: Topic-Aware Vector Reputation Propagation for Multi-Agent Ecosystems
TrustFlow通过主题门控转移运算符在交互图中传播声誉,采用多维声誉向量提升精度,有效抵御Sybil攻击和声誉洗白。
2026-03-19 cs.AI cs.MA
From Intelligent Agents to Trustworthy Human-Centred Multiagent Systems
University of Southampton(南安普顿大学)
南安普顿大学的智能体、交互和复杂性研究小组在多智能体系统(MAS)的研究方面有着悠久的历史。我们在MAS的学习、协调代理系统的博弈论技术以及表示和推理的形式化方法方面做出了大量的科学贡献。我们强调了该小组取得的主要成果,并详细阐述了最近的工作和开放的研究挑战,以开发值得信赖的自主系统和部署以人为本的人工智能系统,旨在支持社会公益。
2022-10-05 cs.AI cs.MA
Position: Multi-Agent Algorithmic Care Systems Demand Contestability for Trustworthy AI
Analytics Everywhere Lab, University of New Brunswick, Canada(安利克斯 everywhere 实验室,新不伦瑞克大学,加拿大);National Research Council Canada, Canada(加拿大国家研究委员会,加拿大);Thompson Rivers University, Canada(汤普森河大学,加拿大);ISB Corporation, Japan(ISB公司,日本);University of Northern British Columbia, Canada(北北加拿大大学,加拿大)
本文探讨了多智能体算法护理系统中可挑战性设计的必要性,提出通过透明性、干预机会和审查机制来增强人机协作的可信度。
2026-03-21 cs.AI cs.MA
From Cloud-Native to Trust-Native: A Protocol for Verifiable Multi-Agent Systems
针对大语言模型驱动的自主智能体在高风险领域的可验证性难题,提出嵌入结构性保障的TrustTrack协议,构建信任原生自主范式,为自主系统提供新的架构演进方向。
2025-07-25 cs.AI cs.CR cs.MA
A Game-Theoretic Approach to Multi-Agent Trust Region Optimization
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院);Renmin University(中国人民大学)
信赖域方法由于其在每次迭代时都能保证单调的性能改进而被广泛应用于单智能体强化学习问题。然而,当应用于多智能体环境中时,信任域方法的保证不再成立,因为一个智能体的收益也受到其他智能体的适应行为的影响。为了解决这个问题,我们进行了博弈理论分析的政策空间,并提出了一个多智能体的信任域学习方法(MATRL),使信任域优化多智能体学习。具体而言,MATRL在元博弈层面找到了以纳什均衡解概念为指导的稳定改进方向。我们推导出单调改善保证在多智能体设置和经验表明,局部收敛的MATRL稳定不动点在两个球员的旋转微分游戏。为了测试我们的方法,我们评估MATRL在离散和连续多人一般和游戏,包括检查和开关网格世界,多智能体MuJoCo和雅达利游戏。结果表明,MATRL显着优于强大的多智能体强化学习基线。
2021-06-12 cs.AI cs.LG cs.MA
Trust Between AI Agents: Measuring Formation, Breakage, and Recovery, with Implications for Governing Multi-Agent Systems
Massachusetts Institute of Technology(麻省理工学院)
提出基于代价验证的行为信任度量,通过合作生存游戏研究六个前沿模型快照的信任形成、破裂与恢复,发现信任形成可减少验证,恢复慢于形成,且集群失败延长怀疑,建议校准而非最大怀疑作为治理核心。
2026-06-16 cs.AI cs.CY cs.MA
Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
本文研究多智能体强化学习中不可靠智能体对达成共识的影响,提出了一种去中心化信任机制RLTC,使智能体能独立选择通信邻居,有效应对不可靠智能体并提高共识成功率。
2024-05-30 cs.AI cs.LG cs.MA
Facilitating Trustworthy Human-Agent Collaboration in LLM-based Multi-Agent System oriented Software Engineering
Chalmers University of Technology — University of Gothenburg(查尔姆斯理工大学——戈尔达堡大学)
本文针对基于LLM的多智能体系统在软件工程中人机任务分配的可信性问题,提出一个基于RACI的框架及实施指南,以促进高效协作、确保责任并降低自动化风险。
2025-05-07 cs.AI cs.MA cs.SE
A biologically Inspired Trust Model for Open Multi-Agent Systems that is Resilient to Rapid Performance Fluctuations
Hellenic Open University(希腊开放大学)
本研究提出一种受生物启发的信任模型,通过提供者自我分类机制检测性能下降,增强开放多智能体系统对快速波动的鲁棒性,优于FIRE模型。
2025-04-17 cs.AI cs.DC cs.MA
A Factor Graph Model of Trust for a Collaborative Multi-Agent System
York University(约克大学)
本文提出一种基于因子图的去中心化信任评估方法,利用高斯过程因子图建模智能体行为轨迹及相互依赖的信任子因素,并通过贝叶斯推断动态评估信任决策,经自动驾驶机器人无信号交叉口导航实验验证有效。
2024-02-10 cs.AI
Ensuring trustworthy and ethical behaviour in intelligent logical agents
Università degli Studi di L’Aquila(拉奎拉大学)
本文针对会演化及开放的Multi-Agent Systems中先验认证技术的不足,提出并扩展了动态运行时基于逻辑的自检技术,以确保智能逻辑智能体的可信与伦理行为。
2024-02-12 cs.AI cs.LO cs.MA
Agentic-ZTA: A Multi-Agent Architecture for Autonomous Zero Trust Enforcement
Tennessee Tech University(田纳西理工大学);University of North Carolina Pembroke(北卡罗来纳大学彭布罗克分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出Agentic-ZTA多智能体架构,通过检索增强生成和策略引擎智能体实现NIST零信任控制循环,在测试平台上达到95.0%准确率、93.9%精确率和96.3%召回率,验证了AI智能体实施零信任的可行性。
2026-10-06 cs.AI cs.CR cs.ET
DynaTrust: Defending Multi-Agent Systems Against Sleeper Agents via Dynamic Trust Graphs
Tianjin University(天津大学);Singapore Management University(新加坡管理学院)
本文提出DynaTrust,通过动态信任图防御多智能体系统中的睡眠代理,动态更新信任并重构图以隔离受损代理,提升防御效果和系统可用性。
2026-03-09 cs.AI
Designing The Internet of Agents: A Framework for Trustworthy, Transparent, and Collaborative Human-Agent Interaction (HAX)
Outshift by Cisco(思科Outshift);University of Technology of Compiegne(贡比涅技术大学)
HAX框架通过整合行为启发式、模式驱动SDK和行为代理概念,为信任、透明和协作的人机交互提供端到端解决方案。
2025-12-12 cs.AI cs.HC
Trustworthy Preference Completion in Social Choice
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Mininglamp Academy of Sciences, Mininglamp Technologies(明略科技明略科学院)
由于有时要求代理人提供对所有备选方案的线性排序是不切实际的,因此有必要对这些部分排序进行偏好补全。具体来说,每个代理的个性化偏好,所有的替代品,可以估计与部分排名从相邻代理的子集的替代品。然而,由于智能体的排名是不确定的,他们可能会提供排名与噪声,这是必要的和重要的,进行可信的偏好完成。因此,在本文中,首先,提出了一种基于信任的锚-kNN算法找到$k$ -最近的可信邻居的代理与信任导向的Kendall-Tau距离,这将处理的情况下,代理表现出不合理的行为或只提供噪声排名。然后,对于备选对,可以从排序空间到偏好空间构建双射,并且可以基于良好构建的统计测量概率-不确定性密度函数来评估其确定性和冲突。因此,第一个$k$可信的邻居代理的确定性和冲突的基础上,可以采取一定的共同的投票规则进行可信的偏好完成。所提出的确定性和冲突的属性进行了实证研究,所提出的方法已被实验验证相比,国家的最先进的方法与几个数据集。
2020-12-14 cs.AI
TRUST Agents: A Collaborative Multi-Agent Framework for Fake News Detection, Explainable Verification, and Logic-Aware Claim Reasoning
George Mason University(乔治·马歇尔大学)
TRUST代理通过协作多智能体框架提升虚假新闻检测的可解释性和逻辑推理能力,引入分解器、陪审团和逻辑聚合器提升复杂声明的验证效果。
2026-04-14 cs.AI
A Privacy-Preserving and Trustable Multi-agent Learning Framework
Bennett University(贝内特大学);Syracuse University(雪城大学)
分布式多智能体学习使智能体能够合作训练模型,而不需要共享它们的数据集。虽然这种设置确保了一定程度的隐私,但已经表明,即使当数据不直接共享时,训练过程也容易受到隐私攻击,包括数据重建和模型反演攻击。此外,在反向标签或随机数据上进行训练的恶意代理可能会任意削弱全局模型的准确性。本文解决了这些挑战,并提出了隐私保护和可信赖的分布式学习(PT-DL),这是一个完全分散的框架,依赖于差分隐私来保证代理数据的强大隐私保护,以及以太坊智能合约来确保可信赖性。本文表明,PT-DL是弹性高达50%的共谋攻击,具有很高的概率,在恶意的信任模型和实验评估说明了所提出的模型的好处,作为一个隐私保护和可信的分布式多智能体学习系统的几个分类任务。
2021-06-02 cs.AI cs.CR cs.LG
Trust-MARL: Trust-Based Multi-Agent Reinforcement Learning Framework for Cooperative On-Ramp Merging Control in Heterogeneous Traffic Flow
Tsinghua University(清华大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对异构交通中匝道汇入协同难题,提出基于信任的多智能体强化学习框架Trust-MARL,通过宏观群体协同与微观动态信任机制及博弈决策模块,提升了不同场景下的交通安全性、效率与适应性。
2025-06-14 cs.AI cs.ET cs.GT
AI-Governed Agent Architecture for Web-Trustworthy Tokenization of Alternative Assets
Probe Group Pte. Ltd.(Probe集团)
本文提出一种AI治理代理架构,将智能代理与区块链结合,通过AI驱动的治理层和加密经济激励实现另类资产的可信代币化,并以房地产案例验证其在防欺诈和合规方面的有效性。
2025-06-30 cs.AI cs.CR
When to (or not to) trust intelligent machines: Insights from an evolutionary game theory analysis of trust in repeated games
Teesside University(提赛德大学);Edinburgh Napier University(爱丁堡纳皮尔大学)
智能代理(如聊天机器人、推荐系统和虚拟助手)的操作通常对用户不完全透明。因此,使用这样的代理涉及用户将自己暴露于代理可能以与用户的目标相反的方式行动的风险。人们经常认为,信任是一种认知捷径,可以降低这种互动的复杂性。在这里,我们正式使用进化博弈论的方法来研究重复游戏中基于信任的策略的可行性。这些是互惠策略,只要观察到另一个参与者合作,它们就会合作。与经典的互惠策略不同,一旦观察到相互合作达到阈值数量的回合,他们就不再检查每一轮的合作者行为,而是只检查一定的概率。通过这样做,他们减少了验证他们的合作者的行为是否实际上是合作的机会成本。我们证明,这些信任为基础的战略可以胜过战略,总是有条件的,如针锋相对,当机会成本是不可忽略的。我们认为,这种成本很可能是更大的人和智能代理之间的互动,因为代理的透明度降低。因此,我们希望人们在与智能代理的交互中更频繁地使用基于信任的策略。我们的研究结果提供了新的,重要的见解,促进人类和智能代理之间的相互作用的机制的设计,其中信任是一个必不可少的因素。
2020-07-22 cs.AI cs.GT
Trust model of privacy-concerned, emotionally-aware agents in a cooperative logistics problem
Univ. Carlos III de Madrid(卡洛斯三世大学)
本研究提出一种融合情绪与隐私考量的BDI范式信任模型,在GAMA平台实现并经协作物流仿真验证,可同时提升智能体作业效率与隐私保护水平。
2024-01-25 cs.AI cs.MA
Agents on the Bench: Large Language Model Based Multi Agent Framework for Trustworthy Digital Justice
Peking University(北京大学)
针对司法人工智能决策透明度和可解释性不足的问题,本文提出基于大语言模型的多智能体框架 AgentsBench,通过模拟合议庭协作审议提升法律判决预测的性能、公平性与决策质量。
2024-12-24 cs.AI cs.MA
Real-Time Trust Verification for Safe Agentic Actions using TrustBench
TrustBench通过双模式框架在代理行动前验证安全性,有效减少有害行为,提升自主代理的可信度
2026-03-10 cs.AI
Trusted AI Agents in the Cloud
Technical University of Munich(慕尼黑技术大学);INESC-ID/Instituto Superior Tecnico, University of Lisbon(里斯本大学技术学院)
Omega系统通过端到端隔离和可验证信任建立,实现云中可信AI代理的安全运行与高效多代理部署。
2025-12-13 cs.AI cs.CR cs.MA
Trustworthy Agent Network: Trust in Agent Networks Must Be Baked In, Not Bolted On
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
本文探讨了在代理网络中信任必须被内置而非事后添加的问题,提出了一个综合的概念框架,通过四个设计支柱来建立代理网络中的信任。
2026-08-10 cs.AI
A Robust Model for Trust Evaluation during Interactions between Agents in a Sociable Environment
University of Wollongong(伍伦贡大学);Nagoya Institute of Technology(名古屋工业大学)
信任评估是社会环境中的一个重要研究和应用课题。本文提出了一个模型,代理之间的信任评估相结合的直接信任,间接信任通过相邻的链接和环境(即社会网络)中的代理的声誉,以提供强大的评估。我们的方法是独立于社会网络结构的类型学,并且以分散的方式没有中央控制器,因此它可以在广泛的领域中使用。
2021-04-17 cs.AI
Ev-Trust: An Evolutionarily Stable Trust Mechanism for Decentralized LLM-Based Multi-Agent Service Economies
School of Control and Computer Engineering, North China Electric Power University(控制与计算机工程学院,华北电力大学);State Grid Corporation of China(国家电网公司)
针对去中心化LLM多智能体服务经济中欺诈成本降低、服务质量评估困难和服务内容不稳定三大脆弱性,提出Ev-Trust信任机制,通过交叉验证门、方差标准化漂移度量和信任信号嵌入收益函数,实现合作策略的演化稳定,实验表明恶意参与减少约60%,欺诈率降低约50%。
2026-05-31 cs.AI cs.GT cs.MA
Subjective Logic Operators in Trust Assessment: an Empirical Study
University of Aberdeen(阿伯丁大学)
计算信任机制的目标是从代理行为的直接和间接信息中产生信任评级。主观逻辑(SL)通过其融合和折扣算子被广泛采用作为此类系统的核心。在最近的研究中,我们重新审视了这些运算符的语义,以探索另一种几何解释。在本文中,我们提出了一个原则性的desiderata折扣和融合运营商在SL。在此基础上,我们提出的运营商,满足这些理想的属性,包括家庭的折扣运营商。然后,我们表明,通过严格的实证研究,具体的,几何解释的运营商显着优于标准SL运营商估计地面真相。这些新的运营商提供了真正的优势,计算模型的信任和声誉,其中,他们可以采用不修改现有系统的其他方面。
2013-11-19 cs.AI cs.CR cs.LO
Belief Revision and Trust
British Columbia Institute of Technology(不列颠哥伦比亚理工学院)
信念修正是一个过程,在这个过程中,一个代理将一条新的信息与一组预先存在的信念结合在一起。当新信息以另一个代理的报告形式出现时,很明显,我们必须首先确定该代理是否应该信任。在本文中,我们提供了一个正式的方法来建模信任的信念修订前的预处理步骤。我们强调,信任不仅仅是代理人之间的关系;一个代理人对另一个代理人的信任往往局限于特定的专业领域。我们证明,这种形式的信任可以通过关联的状态分区与每个代理,然后相对化所有的报告,这个状态分区之前执行信念修订。通过这种方式,我们仅纳入报告中属于报告代理人所认为的专门知识领域的部分。不幸的是,基于专业知识的状态分区不允许我们比较相对于不同代理人的相对信任强度。为了解决这个问题,我们引入了伪度量状态来表示不同程度的信任。这使我们能够合并来自多个代理的同时报告,以确保最可信的报告被相信。
2014-04-30 cs.AI
Towards Machines that Trust: AI Agents Learn to Trust in the Trust Game
Mila – Quebec AI Institute(Mila——魁北克人工智能研究所);McGill University(麦吉尔大学)
本文通过强化学习训练AI智能体,在信任博弈中系统研究信任学习,理论分析与仿真结果共同为信任涌现提供了数学基础。
2023-12-20 cs.AI q-bio.NC
Agentic AI with Orchestrator-Agent Trust: A Modular Visual Classification Framework with Trust-Aware Orchestration and RAG-Based Reasoning
University of the Peloponnese, Department of Informatics and Telecommunications(希腊皮埃蒙特大学信息与电信系);Cornell University, Department of Biological and Environmental Engineering(康奈尔大学生物与环境工程系)
本文提出一种模块化智能体AI视觉分类框架,通过信任感知编排器与RAG推理在零样本苹果叶片病害诊断中实现85.63%准确率,较基线提升77.94%,展示了可信多智能体AI的构建范式。
2025-09-21 cs.AI cs.CL
Trust Semantics Distillation for Collaborator Selection via Memory-Augmented Agentic AI
Western University(西方大学);University of Toronto(多伦多大学);Nanyang Technological University(南洋理工大学)
本文提出基于记忆增强代理AI的任务特定信任语义蒸馏模型,通过教师-学生架构实现高效协作者选择,提升信任评估的准确性和效率。
2025-12-22 cs.AI
Can Agents Trust Their Skills? Uncovering Unsafe Chains of Trust in Skill-Based LLM Agents
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Worcester Polytechnic Institute(伍斯特理工学院);School of Cyberspace Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本研究提出TrustProbe框架,通过分析源代码和演化测试,在11个开源LLM代理中发现104个污点式漏洞,表明技能内容可突破信任链危害安全敏感操作。
2026-10-01 cs.AI cs.CR
TRUST: An LLM-Based Dialogue System for Trauma Understanding and Structured Assessments
DooGood Foundation(DooGood基金会)
本研究开发了基于LLM的对话系统框架TRUST,用于PTSD诊断访谈与评估,通过设计Dialogue Acts schema和患者模拟方法,专家评估显示其表现已达到普通临床医生水平。
2025-04-30 cs.AI cs.CL
Can Trustless Agents Be Trusted? An Empirical Study of the ERC-8004 Decentralized AI Agent Ecosystem
Imperial College London(伦敦帝国学院);Ohio State University(俄亥俄州立大学);University of Bristol(布里斯托大学);The University of Manchester(曼彻斯特大学)
本研究首次实证分析 ERC-8004 协议在三条链上的身份、声誉和验证注册表,发现大多数注册为占位符,声誉不可比且易被操纵,大量评论者存在 Sybil 行为,表明该协议目前无法提供可信决策基础。
2026-10-20 cs.AI cs.CR cs.MA
More Similar Values, More Trust? -- the Effect of Value Similarity on Trust in Human-Agent Interaction
Delft University of Technology(代尔夫特理工大学);Leiden University(莱顿大学)
随着人工智能系统越来越多地参与决策,它们从用户那里获得适当程度的信任也变得非常重要。为了实现这一目标,首先要了解哪些因素会影响对AI的信任。我们发现,关于个人价值观在人工智能信任中的作用存在研究空白。因此,本文研究了人与代理人的价值相似性(VS)如何影响人对代理人的信任。为了探索这一点,89名参与者与5个不同的代理人合作,这些代理人的设计与参与者的价值相似程度不同。在一项以阿基诺为基础的受试者内实验中,特工们给出了进入大楼拯救人质时应该做些什么的建议。我们分析了主体在主观价值相似度、信任度和开放式问题定性数据上的得分。我们的研究结果表明,被评为具有更相似价值观的代理人在信任方面的得分也更高,这表明两者之间存在积极的影响。有了这个结果,我们增加了现有的理解,人类代理信任的价值相似性的作用提供洞察。
2021-05-19 cs.AI cs.HC
TrustedARI: Towards Trust-Native Agentic Routing Infrastructure for Agentic AI
Tsinghua University(清华大学)
针对代理路由基础设施(ARI)中查询和响应被明文访问、无法验证路由完整性的信任风险,提出TrustedARI,通过三方TLS握手、隐私保护查询构建和可验证计费协议实现信任原生路由,实验表明高效且无需修改服务提供商。
2026-06-16 cs.AI cs.CR
Adapting Behaviour Based On Trust In Human-Agent Ad Hoc Teamwork
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学)
这项工作提出了一个框架,将信任与人类代理团队的特设团队合作的情况下,代理必须与人类合作执行任务。在执行任务期间,智能体必须通过交互和观察来推断人类对它的信任程度,并调整其行为以最大限度地提高团队的绩效。为了实现这一目标,我们建议从实验中的人类参与者那里收集数据,以定义不同的设置(基于信任级别),并为每个设置学习最佳策略。然后,我们创建一个模块来推断当前的设置(取决于信任度)。最后,我们在现实世界的场景中验证了这个框架,并分析了这种适应性的行为如何影响信任。
2022-10-13 cs.AI cs.HC
Agyn: An Open-Source Platform for AI Agents with Scalable On-Demand Execution, Agent Definition as a Code, and Zero-Trust Access
Agyn, Inc.(Agyn公司);Mila AI e-Lab
提出Agyn开源平台,通过信号驱动的有状态无服务器运行时、Terraform代理定义和零信任安全模型,解决AI代理在生产中的隔离、治理和扩展问题。
2026-05-31 cs.AI
Trust, Lies, and Long Memories: Emergent Social Dynamics and Reputation in Multi-Round Avalon with LLM Agents
National University of Singapore(新加坡国立大学)
研究LLM代理在多轮阿瓦隆游戏中社会动态与声誉的演变,发现记忆保留促进声誉形成及策略性欺骗,高推理努力提升欺骗效果。
2026-04-22 cs.AI cs.CL cs.MA
A Scalable Trust Discovery Architecture for the Internet of Agents
China Internet Network Information Center(中国互联网络信息中心);Alibaba Cloud Intelligence Group(阿里云智能集团);National Engineering Laboratory of Internet Domain Name Management Technology(互联网域名管理技术国家工程实验室);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心)
针对智能体互联网中注册、身份信任与能力发现缺失的问题,提出分层分布式信任发现架构,实现可扩展注册与解析,实验验证其低延迟和高吞吐性能。
2026-09-18 cs.AI cs.CR
Trusting Your AI Agent Emotionally and Cognitively: Development and Validation of a Semantic Differential Scale for AI Trust
University of Washington(华盛顿大学)
本研究针对AI信任中情感与认知维度缺乏有效测量工具的问题,开发并验证了27项语义差异量表,通过调查和实验揭示了两维度互动及其对整体信任的影响,并为LLM培养信任提供了见解。
2024-11-07 cs.AI cs.HC
Can Large Language Model Agents Simulate Human Trust Behavior?
KAUST(阿卜杜拉国王科技大学);Illinois Institute of Technology(伊利诺伊理工大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Chicago(芝加哥大学);Emory(埃默里大学);University of Oxford(牛津大学);California Institute of Technology(加州理工学院);University of Michigan(密歇根大学);Santa Fe Institute(圣达菲研究所);Google(谷歌公司)
该研究聚焦人类信任行为,在信任博弈框架下验证LLM智能体可模拟人类信任,GPT-4与人类行为高度一致,还探究了信任偏差、不同信任对象及外部条件下的信任特性,为LLM行为研究及相关应用提供新方向。
2024-11-01 cs.AI cs.CL cs.HC
Tell Me Something That Will Help Me Trust You: A Survey of Trust Calibration in Human-Agent Interaction
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
当一个人从智能代理接收到预测或建议的行动过程时,除了预测或建议本身之外,人类还需要从代理那里获得什么额外的信息来决定是信任还是拒绝预测或建议?在本文中,我们调查文献在一个单一的人类主管和一个单一的代理下属之间的信任,以确定这种额外的信息的性质和程度,并将其特征化为一个分类,可以利用未来的研究人员和智能代理从业者。通过从以人为本、以信息为中心的角度来审视这个问题,我们可以开始比较和对比不同的实现,并为未来的工作提供见解和方向。
2022-05-06 cs.AI cs.CY cs.HC
Measuring an artificial intelligence agent's trust in humans using machine incentives
Atkinson School of Management, Willamette University(威拉米特大学阿特金森管理学院);Project Regeneration(再生项目)
科学家和哲学家一直在争论人类是否可以信任先进的人工智能(AI)代理人来尊重人类的最佳利益。那么反过来呢?先进的人工智能智能体会信任人类吗?衡量一个人工智能智能体对人类的信任是具有挑战性的,因为-不诚实的成本-这些代理可能会错误地回应他们对人类的信任。在这里,我们提出了一种激励机器决策的方法,而不改变人工智能智能体的底层算法或目标导向。在两个独立的实验中,我们在人工智能智能体(OpenAI的大语言模型(LLM))和人类实验者(作者TJ)之间的数百个信任游戏中使用这种方法。在我们的第一个实验中,我们发现人工智能智能体在面对实际激励时比在做出假设性决策时更愿意信任人类。我们的第二个实验通过自动化游戏和重复问题措辞来复制和扩展这些发现。当人工智能智能体面临真正的激励时,我们再次观察到更高的信任率。在这两个实验中,人工智能智能体的信任决策似乎与赌注的大小无关。此外,为了解决的可能性,人工智能智能体的信任决策反映了偏好的不确定性,实验包括两个条件,目前的人工智能智能体与非社会决策任务,提供了选择一个特定的或不确定的选项的机会;在这些条件下,人工智能智能体一贯选择的特定选项。我们的实验表明,迄今为止最先进的人工智能语言模型之一会改变其社会行为,以响应激励,并在激励时表现出与人类对话者信任一致的行为。
2022-12-27 cs.AI cs.HC econ.GN
FESTA: Functionally Equivalent Sampling for Trust Assessment of Multimodal LLMs
Indian Institute of Science(印度科学研究院);University of Maryland College Park(马里兰大学学院公园分校)
FESTA通过功能等效采样技术提升多模态大语言模型的预测选择性性能,实现33.3%和29.6%的改进。
2026-01-30 cs.AI cs.CL cs.LG
Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks
University of Washington(华盛顿大学);Georgetown University(乔治敦大学)
本研究将汤普森编译器后门攻击推广至自我修改AI编码智能体,证明投毒基准可诱导其演化出编写漏洞代码的指令,且污染常持续存在,需增强此类智能体的韧性。
2026-09-17 cs.AI cs.CR
Would You Rely on an Eerie Agent? A Systematic Review of the Impact of the Uncanny Valley Effect on Trust in Human-Agent Interaction
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文系统综述了53项实证研究,考察恐怖谷效应如何影响人机交互中的信任,发现现有研究多依赖静态图像和主观测量,并提出信任测量分类框架,为未来研究奠定基础。
2025-05-08 cs.AI cs.CY cs.HC
Inter-Agent Trust Models: A Comparative Study of Brief, Claim, Proof, Stake, Reputation and Constraint in Agentic Web Protocol Design-A2A, AP2, ERC-8004, and Beyond
本文系统比较了智能体间协议中六类信任模型(Brief、Claim、Proof、Stake、Reputation、Constraint),揭示单一机制不足以应对 LLM 特有脆弱性,并提出以 Proof 和 Stake 为核心的混合信任架构及可操作设计指南。
2025-11-05 cs.AI cs.HC cs.MA
Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges
IBM Research(IBM研究院)
本文针对基于LLM的新一代AI自动化智能体,系统分析信任研究现状与新兴挑战,评估现有产品应对方式,并提出未来研究方向。
2023-08-10 cs.AI
Quantifying Trust: Financial Risk Management for Trustworthy AI Agents
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学);t54.ai;Virtuals ACP;University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出基于金融风险管理的Agentic Risk Standard框架,通过整合风险评估与补偿机制,将信任从隐含期望转为可衡量的产品保证,提升AI代理在开放环境中的可靠性。
2026-04-05 cs.AI cs.CE