大模型对齐与安全

QueryIPI: Query-agnostic Indirect Prompt Injection on Coding Agents

QueryIPI: 针对编码代理的查询无关间接提示注入

Yuchong Xie, Zesen Liu, Mingyu Luo, Zhixiang Zhang, Kaikai Zhang, Yuanyuan Yuan, Zongjie Li, Ping Chen, Shuai Wang, Dongdong She

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 QueryIPI通过利用系统不变性与工具描述，实现对编码代理的查询无关间接提示注入，实验显示其在模拟代理中达到87%的成功率，揭示了现实中的安全风险。

VIGIL: Defending LLM Agents Against Tool Stream Injection via Verify-Before-Commit

VIGIL: 通过验证后再提交协议保护LLM代理免受工具流注入攻击

Junda Lin, Zhaomeng Zhou, Zhi Zheng, Shuochen Liu, Tong Xu, Yong Chen, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； North Automatic Control Technology Research Institute（北自动控制技术研究所） 纠错

专题命中 提示注入 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 VIGIL通过验证后再提交协议保护LLM代理免受工具流注入攻击，有效提升安全性和效用平衡。

Advancing AI Negotiations: A Large-Scale Autonomous Negotiation Competition

推进人工智能谈判：大规模自主谈判竞赛

Michelle Vaccaro, Michael Caosun, Harang Ju, Sinan Aral, Jared R. Curhan

机构 * MIT Sloan School of Management（麻省理工学院斯隆管理学院） ； Johns Hopkins Carey Business School（约翰霍普金斯大学卡里商学院） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文通过大规模自主谈判竞赛发现，温暖特质在AI谈判中表现优异，主导策略在价值争夺中有效，需建立新的AI谈判理论以优化代理性能。