DynaTrust: Defending Multi-Agent Systems Against Sleeper Agents via Dynamic Trust Graphs
Tianjin University(天津大学);Singapore Management University(新加坡管理学院)
本文提出DynaTrust,通过动态信任图防御多智能体系统中的睡眠代理,动态更新信任并重构图以隔离受损代理,提升防御效果和系统可用性。
2026-03-09 cs.AI
Trustworthy Preference Completion in Social Choice
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Mininglamp Academy of Sciences, Mininglamp Technologies(明略科技明略科学院)
由于有时要求代理人提供对所有备选方案的线性排序是不切实际的,因此有必要对这些部分排序进行偏好补全。具体来说,每个代理的个性化偏好,所有的替代品,可以估计与部分排名从相邻代理的子集的替代品。然而,由于智能体的排名是不确定的,他们可能会提供排名与噪声,这是必要的和重要的,进行可信的偏好完成。因此,在本文中,首先,提出了一种基于信任的锚-kNN算法找到$k$ -最近的可信邻居的代理与信任导向的Kendall-Tau距离,这将处理的情况下,代理表现出不合理的行为或只提供噪声排名。然后,对于备选对,可以从排序空间到偏好空间构建双射,并且可以基于良好构建的统计测量概率-不确定性密度函数来评估其确定性和冲突。因此,第一个$k$可信的邻居代理的确定性和冲突的基础上,可以采取一定的共同的投票规则进行可信的偏好完成。所提出的确定性和冲突的属性进行了实证研究,所提出的方法已被实验验证相比,国家的最先进的方法与几个数据集。
2020-12-14 cs.AI
TRUST Agents: A Collaborative Multi-Agent Framework for Fake News Detection, Explainable Verification, and Logic-Aware Claim Reasoning
George Mason University(乔治·马歇尔大学)
TRUST代理通过协作多智能体框架提升虚假新闻检测的可解释性和逻辑推理能力,引入分解器、陪审团和逻辑聚合器提升复杂声明的验证效果。
2026-04-14 cs.AI
A Value-based Trust Assessment Model for Multi-agent Systems
Macquarie University(麦考瑞大学);University of Wollongong(伍伦贡大学)
一个代理人对另一个代理人的信任评估通常被认为是后者行动的可靠性/可预测性的度量。它基于委托人过去对受托人行为的观察,不需要了解受托人的内部运作。然而,在新的或不熟悉的情况下,过去的观察对评估信任没有什么帮助。在这种情况下,了解受托人可以有所帮助。一种特殊类型的知识是价值观--对委托人和受托人都很重要的东西。在本文中,基于的前提下,越多的价值观,两个代理商,他们应该信任对方,我们提出了一个简单的方法来评估代理商之间的信任的基础上的价值观,考虑到代理商的信任谨慎或大胆,如果他们依赖于他人在执行任务。
2019-05-31 cs.AI cs.MA
Enhancing Trust in LLM-Based AI Automation Agents: New Considerations and Future Challenges
IBM Research(IBM研究院)
本文针对基于LLM的新一代AI自动化智能体,系统分析信任研究现状与新兴挑战,评估现有产品应对方式,并提出未来研究方向。
2023-08-10 cs.AI
Towards Trustworthy Multi-Turn LLM Agents via Behavioral Guidance
Gonca Gürsun(独立研究者)
本文提出一种框架,通过行为指导使大语言模型代理在多轮任务中实现可靠和可验证的行为。
2025-12-12 cs.AI
Symposium: Trust via Auditable Records for Communities of AI Scientist Agents
Symposium是面向AI科学家智能体社群的可审计记录信任框架,通过保留科研活动的不可变历史与科学论证,支持信任评估,且提供可快速部署的实现。
2026-08-21 cs.AI
Towards Machines that Trust: AI Agents Learn to Trust in the Trust Game
Mila – Quebec AI Institute(Mila——魁北克人工智能研究所);McGill University(麦吉尔大学)
本文通过强化学习训练AI智能体,在信任博弈中系统研究信任学习,理论分析与仿真结果共同为信任涌现提供了数学基础。
2023-12-20 cs.AI q-bio.NC
Agentic AI with Orchestrator-Agent Trust: A Modular Visual Classification Framework with Trust-Aware Orchestration and RAG-Based Reasoning
University of the Peloponnese, Department of Informatics and Telecommunications(希腊皮埃蒙特大学信息与电信系);Cornell University, Department of Biological and Environmental Engineering(康奈尔大学生物与环境工程系)
本文提出一种模块化智能体AI视觉分类框架,通过信任感知编排器与RAG推理在零样本苹果叶片病害诊断中实现85.63%准确率,较基线提升77.94%,展示了可信多智能体AI的构建范式。
2025-09-21 cs.AI cs.CL
MLA-Trust: Benchmarking Trustworthiness of Multimodal LLM Agents in GUI Environments
Department of Computer Science & Technology, Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint Center for ML(计算机科学与技术系、人工智能研究院、BNRist中心、THBI实验室、清华-博世联合机器学习中心);Shanghai Key Lab. of Multidimensional Info. Processing(上海多维信息处理重点实验室)
本文提出MLA-Trust基准框架,从真实性、可控性、安全性和隐私性四个维度系统评估多模态大语言模型智能体在GUI环境中的可信性,并通过13个智能体的大规模实验揭示了交互场景特有的可信性漏洞。
2025-06-02 cs.AI
Multi-Agent Trust Region Policy Optimisation: A Joint Constraint Approach
针对多智能体强化学习中为智能体分配相同 KL 阈值导致更新慢且局部最优的问题,提出 HATRPO-W 和 HATRPO-G 两种 KL 阈值分配方法,显著提升了收敛速度和最终奖励,且最终性能提升均超过 22.5%。
2025-08-14 cs.AI
Can Agents Trust Their Skills? Uncovering Unsafe Chains of Trust in Skill-Based LLM Agents
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Worcester Polytechnic Institute(伍斯特理工学院);School of Cyberspace Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本研究提出TrustProbe框架,通过分析源代码和演化测试,在11个开源LLM代理中发现104个污点式漏洞,表明技能内容可突破信任链危害安全敏感操作。
2026-10-01 cs.AI cs.CR
Know When to Trust the Skill: Delayed Appraisal and Epistemic Vigilance for Single-Agent LLMs
Globeholder Paris, France(巴黎Globeholder机构)
本文提出MESA-S框架,通过延迟评估和认知警惕机制提升单智能体LLM的可靠性,减少供应链漏洞并防止自信膨胀。
2026-04-17 cs.AI
More Similar Values, More Trust? -- the Effect of Value Similarity on Trust in Human-Agent Interaction
Delft University of Technology(代尔夫特理工大学);Leiden University(莱顿大学)
随着人工智能系统越来越多地参与决策,它们从用户那里获得适当程度的信任也变得非常重要。为了实现这一目标,首先要了解哪些因素会影响对AI的信任。我们发现,关于个人价值观在人工智能信任中的作用存在研究空白。因此,本文研究了人与代理人的价值相似性(VS)如何影响人对代理人的信任。为了探索这一点,89名参与者与5个不同的代理人合作,这些代理人的设计与参与者的价值相似程度不同。在一项以阿基诺为基础的受试者内实验中,特工们给出了进入大楼拯救人质时应该做些什么的建议。我们分析了主体在主观价值相似度、信任度和开放式问题定性数据上的得分。我们的研究结果表明,被评为具有更相似价值观的代理人在信任方面的得分也更高,这表明两者之间存在积极的影响。有了这个结果,我们增加了现有的理解,人类代理信任的价值相似性的作用提供洞察。
2021-05-19 cs.AI cs.HC
TrustedARI: Towards Trust-Native Agentic Routing Infrastructure for Agentic AI
Tsinghua University(清华大学)
针对代理路由基础设施(ARI)中查询和响应被明文访问、无法验证路由完整性的信任风险,提出TrustedARI,通过三方TLS握手、隐私保护查询构建和可验证计费协议实现信任原生路由,实验表明高效且无需修改服务提供商。
2026-06-16 cs.AI cs.CR
Adapting Behaviour Based On Trust In Human-Agent Ad Hoc Teamwork
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico(高等技术学院);University of Lisbon(里斯本大学)
这项工作提出了一个框架,将信任与人类代理团队的特设团队合作的情况下,代理必须与人类合作执行任务。在执行任务期间,智能体必须通过交互和观察来推断人类对它的信任程度,并调整其行为以最大限度地提高团队的绩效。为了实现这一目标,我们建议从实验中的人类参与者那里收集数据,以定义不同的设置(基于信任级别),并为每个设置学习最佳策略。然后,我们创建一个模块来推断当前的设置(取决于信任度)。最后,我们在现实世界的场景中验证了这个框架,并分析了这种适应性的行为如何影响信任。
2022-10-13 cs.AI cs.HC
A Scalable Trust Discovery Architecture for the Internet of Agents
China Internet Network Information Center(中国互联网络信息中心);Alibaba Cloud Intelligence Group(阿里云智能集团);National Engineering Laboratory of Internet Domain Name Management Technology(互联网域名管理技术国家工程实验室);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心)
针对智能体互联网中注册、身份信任与能力发现缺失的问题,提出分层分布式信任发现架构,实现可扩展注册与解析,实验验证其低延迟和高吞吐性能。
2026-09-18 cs.AI cs.CR
Trusting Your AI Agent Emotionally and Cognitively: Development and Validation of a Semantic Differential Scale for AI Trust
University of Washington(华盛顿大学)
本研究针对AI信任中情感与认知维度缺乏有效测量工具的问题,开发并验证了27项语义差异量表,通过调查和实验揭示了两维度互动及其对整体信任的影响,并为LLM培养信任提供了见解。
2024-11-07 cs.AI cs.HC
Human-in-the-loop online multi-agent approach to increase trustworthiness in ML models through trust scores and data augmentation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Lenovo Infrastructure Solutions Group, Lenovo(联想基础设施解决方案集团(联想))
提高ML模型的准确性是不够的,我们还必须提高其可信度。这是为汽车、金融和医疗保健等安全关键型应用构建弹性AI系统的重要一步。为此,我们提出了一个多智能体系统,结合了机器和人类代理。在该系统中,检查器代理使用基于一致性的方法计算每个实例的信任分数(其惩罚预测中的过度自信和过度谨慎)并对其进行排名;然后改进器代理基于基于人类规则的过程(其被认为是安全的)过滤异常实例,获得人类标签,应用几何数据增强,并使用迁移学习用增强的数据进行再训练。我们评估系统的损坏版本的MNIST和FashionMNIST数据集。与基线方法相比,我们只需增加一些标签就可以提高准确性和信任度。
2022-05-02 cs.AI cs.MA
Trust model of privacy-concerned, emotionally-aware agents in a cooperative logistics problem
Univ. Carlos III de Madrid(卡洛斯三世大学)
本研究提出一种融合情绪与隐私考量的BDI范式信任模型,在GAMA平台实现并经协作物流仿真验证,可同时提升智能体作业效率与隐私保护水平。
2024-01-25 cs.AI cs.MA
Designing The Internet of Agents: A Framework for Trustworthy, Transparent, and Collaborative Human-Agent Interaction (HAX)
Outshift by Cisco(思科Outshift);University of Technology of Compiegne(贡比涅技术大学)
HAX框架通过整合行为启发式、模式驱动SDK和行为代理概念,为信任、透明和协作的人机交互提供端到端解决方案。
2025-12-12 cs.AI cs.HC
Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks
University of Washington(华盛顿大学);Georgetown University(乔治敦大学)
本研究将汤普森编译器后门攻击推广至自我修改AI编码智能体,证明投毒基准可诱导其演化出编写漏洞代码的指令,且污染常持续存在,需增强此类智能体的韧性。
2026-09-17 cs.AI cs.CR
Can Large Language Model Agents Simulate Human Trust Behavior?
KAUST(阿卜杜拉国王科技大学);Illinois Institute of Technology(伊利诺伊理工大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Chicago(芝加哥大学);Emory(埃默里大学);University of Oxford(牛津大学);California Institute of Technology(加州理工学院);University of Michigan(密歇根大学);Santa Fe Institute(圣达菲研究所);Google(谷歌公司)
该研究聚焦人类信任行为,在信任博弈框架下验证LLM智能体可模拟人类信任,GPT-4与人类行为高度一致,还探究了信任偏差、不同信任对象及外部条件下的信任特性,为LLM行为研究及相关应用提供新方向。
2024-11-01 cs.AI cs.CL cs.HC
Tell Me Something That Will Help Me Trust You: A Survey of Trust Calibration in Human-Agent Interaction
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
当一个人从智能代理接收到预测或建议的行动过程时,除了预测或建议本身之外,人类还需要从代理那里获得什么额外的信息来决定是信任还是拒绝预测或建议?在本文中,我们调查文献在一个单一的人类主管和一个单一的代理下属之间的信任,以确定这种额外的信息的性质和程度,并将其特征化为一个分类,可以利用未来的研究人员和智能代理从业者。通过从以人为本、以信息为中心的角度来审视这个问题,我们可以开始比较和对比不同的实现,并为未来的工作提供见解和方向。
2022-05-06 cs.AI cs.CY cs.HC
How Can Robots Trust Each Other For Better Cooperation? A Relative Needs Entropy Based Robot-Robot Trust Assessment Model
University of Georgia(佐治亚大学)
多智能体和多机器人系统中的协作可以帮助智能体构建各种队形、形状和图案,以适应不同的情况,呈现相应的功能和目的。代理之间的关系,如他们的空间接近和功能相似性可以发挥至关重要的作用,代理之间的合作。代理之间的信任水平是评估其关系可靠性和稳定性的重要因素,就像人一样。本文提出了一种新的模型称为相对需求熵(RNE)来评估机器人代理之间的信任。RNE测量个体代理或代理组之间的需求分布距离。为了验证其效用,我们实现和证明我们的信任模型,通过实验模拟一个异构的多机器人分组任务,在一个持久的城市搜索和救援任务组成的任务,在两个级别的难度。结果表明,RNE基于信任的机器人分组可以实现更好的性能和适应性不同的任务执行相比,最先进的基于能量或基于距离的分组模型。
2021-08-31 cs.AI cs.MA cs.RO
Trust-aware Control for Intelligent Transportation Systems
University of Southern California(南加州大学)
许多智能交通系统是多智能体系统,即,交通基础设施内的交通参与者和子系统都可以被建模为交互代理。使用基于人工智能的方法来实现不同代理系统之间的协调,可以提供比仅包含人工操作车辆的运输系统更高的安全性,并且还可以在交通吞吐量,感测范围和实现协作任务方面提高系统效率。然而,增加的自主性使得运输基础设施容易受到车辆代理或基础设施的损害。本文提出了一个新的框架,通过嵌入到交通基础设施的信任权威系统量化的代理人的可信度使用认知逻辑称为主观逻辑。在本文中,我们做出了以下新的贡献:(一)我们提出了一个框架,使用量化的可信代理,使信任意识的协调和控制。(ii)我们演示了如何使用基于强化学习的方法来合成信任感知控制器。(iii)我们全面分析了一个自主交叉口管理(AIM)的案例研究,并开发了一个信任感知的版本称为AIM信任,导致事故率较低的情况下,由信任和不信任的代理的混合物。
2021-11-08 cs.AI cs.MA
Quantifying Trust: Financial Risk Management for Trustworthy AI Agents
Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学);t54.ai;Virtuals ACP;University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出基于金融风险管理的Agentic Risk Standard框架,通过整合风险评估与补偿机制,将信任从隐含期望转为可衡量的产品保证,提升AI代理在开放环境中的可靠性。
2026-04-05 cs.AI cs.CE
A biologically inspired computational trust model for open multi-agent systems which is resilient to trustor population changes
Hellenic Open University(希腊开放大学)
本文针对开放多智能体系统中智能体持续进出与行为变化问题,评估受生物启发的 CA 模型,并与 FIRE 对比,揭示二者分别适应委托方与受托方群体变化。
2024-04-13 cs.AI cs.MA
Measuring an artificial intelligence agent's trust in humans using machine incentives
Atkinson School of Management, Willamette University(威拉米特大学阿特金森管理学院);Project Regeneration(再生项目)
科学家和哲学家一直在争论人类是否可以信任先进的人工智能(AI)代理人来尊重人类的最佳利益。那么反过来呢?先进的人工智能智能体会信任人类吗?衡量一个人工智能智能体对人类的信任是具有挑战性的,因为-不诚实的成本-这些代理可能会错误地回应他们对人类的信任。在这里,我们提出了一种激励机器决策的方法,而不改变人工智能智能体的底层算法或目标导向。在两个独立的实验中,我们在人工智能智能体(OpenAI的大语言模型(LLM))和人类实验者(作者TJ)之间的数百个信任游戏中使用这种方法。在我们的第一个实验中,我们发现人工智能智能体在面对实际激励时比在做出假设性决策时更愿意信任人类。我们的第二个实验通过自动化游戏和重复问题措辞来复制和扩展这些发现。当人工智能智能体面临真正的激励时,我们再次观察到更高的信任率。在这两个实验中,人工智能智能体的信任决策似乎与赌注的大小无关。此外,为了解决的可能性,人工智能智能体的信任决策反映了偏好的不确定性,实验包括两个条件,目前的人工智能智能体与非社会决策任务,提供了选择一个特定的或不确定的选项的机会;在这些条件下,人工智能智能体一贯选择的特定选项。我们的实验表明,迄今为止最先进的人工智能语言模型之一会改变其社会行为,以响应激励,并在激励时表现出与人类对话者信任一致的行为。
2022-12-27 cs.AI cs.HC econ.GN
Would You Rely on an Eerie Agent? A Systematic Review of the Impact of the Uncanny Valley Effect on Trust in Human-Agent Interaction
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文系统综述了53项实证研究,考察恐怖谷效应如何影响人机交互中的信任,发现现有研究多依赖静态图像和主观测量,并提出信任测量分类框架,为未来研究奠定基础。
2025-05-08 cs.AI cs.CY cs.HC
AgentKernel: The Trust-Native Agentic Operating System
DeepKernel Lab(深度内核实验室)
AgentKernel提出以安全为第一约束的智能体操作系统,通过身份、感知、认知、执行四支柱强制边界,解决提示注入、内存投毒等安全威胁,实现全生命周期防护。
2026-09-25 cs.AI cs.CR
Agentic AI Software Engineers: Programming with Trust
National University of Singapore(新加坡国立大学);Carnegie Mellon University, KBR Inc., NASA Ames(卡内基梅隆大学、KBR公司、NASA阿姆斯特朗实验室);CISPA Helmholtz Center for Information Security, University of Stuttgart(CISPA海姆霍兹信息安全中心、斯图加特大学);Columbia University(哥伦比亚大学)
本文探讨了LLM智能体在软件工程中的应用前景,提出成功部署AI软件工程师需要建立不低于人类实践水平的信任,并主张编程重心应从规模化转向以信任为核心。
2025-09-21 cs.AI cs.SE
Trust-Based Social Learning for Communication (TSLEC) Protocol Evolution in Multi-Agent Reinforcement Learning
AI-WEINBERG, AI Experts, Tel Aviv, Israel(AI-WEINBERG,AI专家,特拉维夫,以色列)
TSLEC通过基于信任的社会学习方法,在多智能体强化学习中加速新兴通信,减少收敛次数并提高协议的稳健性。
2025-11-24 cs.AI cs.MA
When Should Agent Trust Be Conditional? Characterizing and Attacking Skill-Conditional Reputation in Agent Swarms
Shenzhen University(深圳大学)
研究异构LLM智能体群中技能条件信任的适用条件,通过相图分析揭示其在高异质性、稀疏证据和技能相关场景下有效,但存在跨技能证据被攻击者利用的风险,提出条件信息值测试(CIVT)量化攻击影响。
2026-06-15 cs.AI cs.LG
Toward a Unified Security Framework for AI Agents: Trust, Risk, and Liability
针对AI智能体中信任、风险与责任相互影响的问题,提出TRL框架以系统化地建立信任、降低风险并归因责任,适用于分析各类应用场景,旨在推动6G网络中可信且负责任的AI使用。
2025-09-18 cs.AI cs.CR
When to (or not to) trust intelligent machines: Insights from an evolutionary game theory analysis of trust in repeated games
Teesside University(提赛德大学);Edinburgh Napier University(爱丁堡纳皮尔大学)
智能代理(如聊天机器人、推荐系统和虚拟助手)的操作通常对用户不完全透明。因此,使用这样的代理涉及用户将自己暴露于代理可能以与用户的目标相反的方式行动的风险。人们经常认为,信任是一种认知捷径,可以降低这种互动的复杂性。在这里,我们正式使用进化博弈论的方法来研究重复游戏中基于信任的策略的可行性。这些是互惠策略,只要观察到另一个参与者合作,它们就会合作。与经典的互惠策略不同,一旦观察到相互合作达到阈值数量的回合,他们就不再检查每一轮的合作者行为,而是只检查一定的概率。通过这样做,他们减少了验证他们的合作者的行为是否实际上是合作的机会成本。我们证明,这些信任为基础的战略可以胜过战略,总是有条件的,如针锋相对,当机会成本是不可忽略的。我们认为,这种成本很可能是更大的人和智能代理之间的互动,因为代理的透明度降低。因此,我们希望人们在与智能代理的交互中更频繁地使用基于信任的策略。我们的研究结果提供了新的,重要的见解,促进人类和智能代理之间的相互作用的机制的设计,其中信任是一个必不可少的因素。
2020-07-22 cs.AI cs.GT
Multi-Agent Trust Region Policy Optimization
University of Rhode Island(罗德岛大学)
本文将TRPO扩展至多智能体强化学习,通过将策略更新转化为分布式共识优化问题,提出完全去中心化且保护隐私的MATRPO算法,并在合作博弈中验证了其稳健性能。
2023-08-05 cs.AI cs.MA
Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Huawei R&D UK(华为英国研发中心);ShanghaiTech University(上海科技大学);Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院);Institute for AI, Peking University(北京大学人工智能研究院);BIGAI(北京通用人工智能研究院)
信赖域方法严格地使强化学习(RL)代理能够学习单调改进的策略,从而在各种任务上获得卓越的性能。不幸的是,当涉及到多智能体强化学习(MARL)时,单调改进的特性可能并不简单;这是因为即使在合作游戏中,智能体也可能具有冲突的策略更新方向。因此,在每个代理人单独行动的联合政策上实现有保证的改进仍然是一个公开的挑战。本文将信赖域学习理论推广到MARL中。我们的研究结果的核心是多代理优势分解引理和顺序政策更新计划。在此基础上,我们开发了异构代理信任域策略优化(HATPRO)和异构代理邻近策略优化(HAPPO)算法。与许多现有的MARL算法不同,HATRPO/HAPPO不需要代理共享参数,也不需要对联合价值函数的可分解性进行任何限制性假设。最重要的是,我们从理论上证明了HATRPO/HAPPO的单调改进性质。我们评估了一系列多智能体MuJoCo和StarCraftII任务的方法。结果表明,HATRPO和HAPPO在所有测试任务上的表现都明显优于IPPO、MAPPO和MADDPG等强基线,因此建立了一个新的技术水平。
2022-04-04 cs.AI cs.MA
Trusted AI Agents in the Cloud
Technical University of Munich(慕尼黑技术大学);INESC-ID/Instituto Superior Tecnico, University of Lisbon(里斯本大学技术学院)
Omega系统通过端到端隔离和可验证信任建立,实现云中可信AI代理的安全运行与高效多代理部署。
2025-12-13 cs.AI cs.CR cs.MA
From Cloud-Native to Trust-Native: A Protocol for Verifiable Multi-Agent Systems
针对大语言模型驱动的自主智能体在高风险领域的可验证性难题,提出嵌入结构性保障的TrustTrack协议,构建信任原生自主范式,为自主系统提供新的架构演进方向。
2025-07-25 cs.AI cs.CR cs.MA
History Based Coalition Formation in Hedonic Context Using Trust
Utah State University(犹他州立大学)
在本文中,我们解决的问题,联盟形成的享乐背景。我们的模型试图尽可能真实。在以前的模型中,一旦一个代理加入一个联盟,它将无法离开联盟,并加入新的一个;在这项研究中,我们有可能离开一个联盟,但提出了一些限制,以控制代理的行为。一个代理人在联盟中的去留会影响联盟中其他代理人的信任。代理将使用信任值来计算联盟的预期效用。三种不同的风险行为的代理人,希望发起一个联盟。利用这些风险行为,进行了一些模拟,并对结果进行了分析。
2013-08-15 cs.AI cs.MA
TrustFlow: Topic-Aware Vector Reputation Propagation for Multi-Agent Ecosystems
TrustFlow通过主题门控转移运算符在交互图中传播声誉,采用多维声誉向量提升精度,有效抵御Sybil攻击和声誉洗白。
2026-03-19 cs.AI cs.MA
Distributed Online Life-Long Learning (DOL3) for Multi-agent Trust and Reputation Assessment in E-commerce
Indian Institute of Science(印度科学学院)
本文针对电子商务等非平稳开放环境中服务提供者信任与声誉评估问题,提出分布式在线终身学习算法DOL3,通过观察者自适应学习与邻居加权融合实现实时快速评估,仿真表明其在90%情况下优于现有方法。
2024-10-21 cs.AI cs.MA
A Game-Theoretic Approach to Multi-Agent Trust Region Optimization
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院);Renmin University(中国人民大学)
信赖域方法由于其在每次迭代时都能保证单调的性能改进而被广泛应用于单智能体强化学习问题。然而,当应用于多智能体环境中时,信任域方法的保证不再成立,因为一个智能体的收益也受到其他智能体的适应行为的影响。为了解决这个问题,我们进行了博弈理论分析的政策空间,并提出了一个多智能体的信任域学习方法(MATRL),使信任域优化多智能体学习。具体而言,MATRL在元博弈层面找到了以纳什均衡解概念为指导的稳定改进方向。我们推导出单调改善保证在多智能体设置和经验表明,局部收敛的MATRL稳定不动点在两个球员的旋转微分游戏。为了测试我们的方法,我们评估MATRL在离散和连续多人一般和游戏,包括检查和开关网格世界,多智能体MuJoCo和雅达利游戏。结果表明,MATRL显着优于强大的多智能体强化学习基线。
2021-06-12 cs.AI cs.LG cs.MA
Toward Standardized Cross-Vendor Agent Tool Trust Management in Autonomous Networks
研究自主网络中跨供应商代理工具信任管理问题,提出AgentToolMO模型,含信任状态机等内容。模拟评估显示该模型能减少传播范围、保证级联收敛,为可信多供应商自主网络管理提供标准化途径。
2026-07-29 cs.AI cs.CR cs.NI
Agentic Trust Coordination for Federated Learning through Adaptive Thresholding and Autonomous Decision Making in Sustainable and Resilient Industrial Networks
London South Bank University(伦敦南岸大学);Instituto de Telecomunicações(电信研究所)
本文提出一种轻量级代理信任协调方法,通过自适应阈值和自主决策提升联邦学习在可持续和抗灾工业网络中的可靠性。
2026-03-26 cs.AI cs.LG
Ev-Trust: An Evolutionarily Stable Trust Mechanism for Decentralized LLM-Based Multi-Agent Service Economies
School of Control and Computer Engineering, North China Electric Power University(控制与计算机工程学院,华北电力大学);State Grid Corporation of China(国家电网公司)
针对去中心化LLM多智能体服务经济中欺诈成本降低、服务质量评估困难和服务内容不稳定三大脆弱性,提出Ev-Trust信任机制,通过交叉验证门、方差标准化漂移度量和信任信号嵌入收益函数,实现合作策略的演化稳定,实验表明恶意参与减少约60%,欺诈率降低约50%。
2026-05-31 cs.AI cs.GT cs.MA
From Intelligent Agents to Trustworthy Human-Centred Multiagent Systems
University of Southampton(南安普顿大学)
南安普顿大学的智能体、交互和复杂性研究小组在多智能体系统(MAS)的研究方面有着悠久的历史。我们在MAS的学习、协调代理系统的博弈论技术以及表示和推理的形式化方法方面做出了大量的科学贡献。我们强调了该小组取得的主要成果,并详细阐述了最近的工作和开放的研究挑战,以开发值得信赖的自主系统和部署以人为本的人工智能系统,旨在支持社会公益。
2022-10-05 cs.AI cs.MA
Towards Trustworthy Report Generation: A Deep Research Agent with Progressive Confidence Estimation and Calibration
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Southeast University(东南大学)
本文提出一种深度研究代理,通过逐步置信度估计和校准提升报告生成的可信度,增强透明度和用户信任。
2026-04-07 cs.AI cs.CL
Agentic-ZTA: A Multi-Agent Architecture for Autonomous Zero Trust Enforcement
Tennessee Tech University(田纳西理工大学);University of North Carolina Pembroke(北卡罗来纳大学彭布罗克分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
提出Agentic-ZTA多智能体架构,通过检索增强生成和策略引擎智能体实现NIST零信任控制循环,在测试平台上达到95.0%准确率、93.9%精确率和96.3%召回率,验证了AI智能体实施零信任的可行性。
2026-10-06 cs.AI cs.CR cs.ET
Toward Trustworthy Agentic AI: A Multimodal Framework for Preventing Prompt Injection Attacks
Faculty of Computer and Information System(计算机与信息系统系);Islamic University of Madinah(麦地那伊斯兰大学);Arab Open University-Bahrain(巴林阿拉伯开放大学)
本文提出一种多模态框架,通过溯源感知机制防止代理AI中的提示注入攻击,提升系统安全性和稳定性。
2025-12-29 cs.AI cs.CR
Trust Between AI Agents: Measuring Formation, Breakage, and Recovery, with Implications for Governing Multi-Agent Systems
Massachusetts Institute of Technology(麻省理工学院)
提出基于代价验证的行为信任度量,通过合作生存游戏研究六个前沿模型快照的信任形成、破裂与恢复,发现信任形成可减少验证,恢复慢于形成,且集群失败延长怀疑,建议校准而非最大怀疑作为治理核心。
2026-06-16 cs.AI cs.CY cs.MA
TAME: A Trustworthy Test-Time Evolution of Agent Memory with Systematic Benchmarking
East China Normal University(东华师范大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Key Laboratory of Computer Software Evaluating and Testing(上海计算机软件评测与测试重点实验室);Huawei Noah’s Ark Lab(华为诺亚实验室)
提出TAME框架,通过执行器-评估器循环实现记忆的可信演化,解决良性任务演化中智能体可信度下降问题,在GPT-5.2 AIME上准确率提升14.6个百分点。
2026-06-06 cs.AI cs.LG
SoK: Trust-Authorization Mismatch in LLM Agent Interactions
本文通过B-I-P框架系统分析LLM代理交互中的信任-授权不匹配问题,揭示了动态信任与静态授权之间的脱节,并提出动态风险适应性授权的研究方向。
2026-02-09 cs.AI cs.CR