arXiv 2602.167082026-02cs.CRcs.AIcs.MA

面向现实代理系统的正式政策执行

Formal Policy Enforcement for Agentic Systems

University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）；Langroid

Nils Palumbo, Sarthak Choudhary, Jihye Choi, Guy Amir, Prasad Chalasani, Isil Dillig, Somesh Jha

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文提出基于面向切面编程的框架，通过Datalog语言实现跨代理系统的政策执行，解决传统方法无法保证正式执行的问题。

摘要：

当代代理系统中的安全策略执行主要通过将自然语言策略嵌入代理系统提示中，并委托给代理的推理过程。此方法缺乏正式执行保证，无法表达依赖执行因果历史的策略，这在多代理系统中尤为突出，因为执行必须跨代理进行推理。本文认为代理系统的策略执行最自然地被理解为一个横切关注点，并提出一个基于面向切面编程的框架，该框架独立于代理的推理过程，在每个相关政策相关的决策点执行策略。策略以Datalog语言编写，基于描述执行环境的一组抽象谓词，一个由正式assume/guarantee合同管理的可观测性服务维护这些谓词，参考监视器在每个动作咨询策略以产生执行决策。当环境合同成立时，执行决策与策略的预期语义一致。本文采用Datalog作为策略语言，因其支持声明性规则规范，允许递归处理传递关系，并产生确定性的执行。Datalog还允许可处理的静态分析用于矛盾、冗余、子sume和条件可达性，使作者能够验证策略意图并揭示自然语言规范中的模糊性。该框架在FORGE中实现，能够在不修改底层代理的情况下执行策略。本文在三个案例研究中评估了FORGE：信息流策略用于提示注入防御、多代理药物警报系统中的审批流程，以及组织政策用于客户服务。

英文摘要：

As agentic computing systems grow increasingly popular, they raise serious security concerns due to their susceptibility to various attacks. While prior research efforts aim to mitigate these concerns, they are often too coarse-grained and offer no formal correctness guarantees. In this work, we present a novel approach to agentic security based on runtime monitoring. Our method allows the user to specify their intended policy in Datalog and enforces the specified policy at runtime by constructing event graphs. When an agent is about to execute an action such as a tool call, our approach determines whether the action would violate the policy in light of the current system state and the history of past events. The action is then blocked or permitted accordingly. We implemented our approach and evaluated it across multiple benchmarks, demonstrating its merits in real-world settings. We view this work as a step towards agentic systems that are provably safe and secure.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

AI总结：

摘要：

英文摘要：

相关论文