Cleaning an Agent's History Hurts When the World Still Holds the Error
机构 * Salesforce AI Research(Salesforce人工智能研究院)
AI总结 本文研究发现,在智能体任务中途编辑历史的效果取决于世界状态,清理历史时若世界仍存在错误,可能导致智能体表现比不编辑更差。
Comments 23 pages, 6 figures; code and data in ancillary files
大厂专区
机构 * Salesforce AI Research(Salesforce人工智能研究院)
AI总结 本文研究发现,在智能体任务中途编辑历史的效果取决于世界状态,清理历史时若世界仍存在错误,可能导致智能体表现比不编辑更差。
Comments 23 pages, 6 figures; code and data in ancillary files
AgentScript-Eval:针对企业领域特定语言代码生成的大语言模型与智能体基准测试
机构 * William & Mary(威廉与玛丽学院) ; Salesforce(赛富时)
AI总结 本文提出AgentScript-Eval基准测试,针对企业DSL代码生成评估LLM与智能体,发现模型规模预测性弱,编译-编辑循环可大幅提升性能,指导措辞比呈现形式更关键。
Comments Accepted to 40th Conference on Neural Information Processing Systems (NeurIPS 2026). Workshop: 2nd Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks (AABA4ET), NeurIPS 2026
JoMoHa:联合模型与工具 harness 的强化学习优化框架
机构 * The University of Hong Kong(香港大学) ; Salesforce AI Research(Salesforce人工智能研究院)
AI总结 该研究针对语言智能体模型与 harness 单独优化的不兼容问题,提出 JoMoHa 框架,通过强化学习联合训练两者策略,在 ALFWorld 等数据集上取得最高成功率,实现递归自我改进。
Comments 10 pages
机构 * Salesforce AI Research ; Georgia Institute of Technology(佐治亚理工学院)
AI总结 研究针对企业多智能体系统的跨会话共享状态侵蚀攻击,提出基准ErosionBench,结合Meta-Auditor防御,在906个保留场景上实现98.5%召回率,检测不受渠道影响,Claude审计器表现最优。
Comments 10 pages plus references and appendices
机构 * Salesforce AI Research(Salesforce人工智能研究部) ; UIUC(伊利诺伊大学厄巴纳-香槟分校)
AI总结 该研究对比OPD与GRPO的计算效率,发现当教师为学生自身GRPO检查点时,OPD在数学等任务上效率更高,多教师OPD可整合GRPO专家并降低总计算量。
Tasteply:将稳定偏好与情境偏好外部化为可操控的空间对象
机构 * Salesforce AI Research(Salesforce 人工智能研究院)
AI总结 Tasteply将用户偏好外部化为可操控空间对象,通过吸引子与全局场实现推荐控制,探索性研究验证了其空间控制的有效性及局限性。
Journal ref UIST 2026 Posters
机构 * Salesforce AI Research(Salesforce AI研究院)
AI总结 该研究指出现有长程智能体失败归因方法未采用执行的反事实,提出需经干预验证的证据及重放证书的报告标准,并通过两项测量警示了未应用该标准的问题。
Comments Accepted at the IAB Workshop (Interpreting Agent Behavior) at NeurIPS 2026 (non-archival). 20 pages
机构 * Case Western Reserve University(凯斯西储大学) ; Shanghai Jiao Tong University(上海交通大学) ; Massachusetts Institute of Technology(麻省理工学院) ; Columbia University(哥伦比亚大学) ; University of California, Riverside(加州大学河滨分校) ; Nanyang Technological University(南洋理工大学) ; New York University(纽约大学) ; Salesforce(Salesforce公司) ; Harvard University(哈佛大学) ; Stanford University(斯坦福大学)
AI总结 本文对物理人工智能治理进行全面综述,综合现有原则形成统一框架,提出五阶段生命周期,通过具体实践展示各阶段治理操作,为构建安全可信且符合社会价值的物理人工智能系统提供参考。
机构 * MBZUAI(穆罕默德本扎耶德人工智能大学) ; McGill University(麦吉尔大学) ; Mila(米拉研究所) ; Salesforce(赛富时)
AI总结 本研究提出ResMem,将检索知识转化为参数化记忆,降低存储成本,提升问答任务的token F1,减少对LLM正确答案的破坏。
Comments 16 pages, 4 figures, 6 tables
CHI-Bench: 能否让AI代理自动化端到端、长周期、政策丰富的医疗工作流程?
机构 * Johns Hopkins Medicine(约翰霍普金斯医学中心) ; Wellstar Health System(Wellstar健康系统) ; Stanford University(斯坦福大学) ; CMU(卡内基梅隆大学) ; UCSD(加州大学圣地亚哥分校) ; Yale School of Medicine(耶鲁医学院) ; Salesforce AI Research(Salesforce人工智能研究) ; University of Washington(华盛顿大学) ; Northeastern University(东北大学) ; Brown University(布朗大学) ; Boston College(波士顿学院) ; Stony Brook University(史泰森布里克大学) ; University of Oxford(牛津大学) ; Arizona State University(亚利桑那州立大学) ; University of Southern California(南加州大学) ; Emory University(埃默里大学) ; MBZUAI ; Recursive Superintelligence(递归超级智能) ; University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
AI总结 本文提出CHI-Bench基准,旨在评估AI代理在医疗工作流程中端到端、长周期和政策丰富任务中的自动化能力,揭示当前基准测试中政策密度、多角色协作和多方交互等能力的不足。
Comments Website: https://actava.ai/benchmarks Code: https://github.com/actava-ai/chi-bench Dataset: https://huggingface.co/datasets/actava/chi-bench
MTA-Zero:通过在线问答求解器协同训练实现自改进的多模态深度搜索
机构 * Salesforce(赛富时)
AI总结 MTA-Zero是无需预计算多跳语料库的在线多模态问答求解器协同训练框架,通过GRPO优化生成器与求解器策略,在六个多模态深度搜索基准上显著提升了Qwen系列求解器性能,达到与GPT-5相当的水平。
机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; Massachusetts Institute of Technology(麻省理工学院) ; Salesforce, Inc.(赛富时)
AI总结 Nemo是面向分离式OLTP数据库的带索引下推的高效缓存设计,通过树结构记录缓冲、负搜索结果缓存及鲁棒幻读保护,在点查询、负搜索和幻读保护性能上均显著优于现有方案。
CRM-Agent-Bench:面向有状态企业环境的工具使用智能体基准测试
机构 * Salesforce, Inc.(赛富时有限公司)
AI总结 本文提出CRM-Agent-Bench基准测试,评估16个智能体系统在555个CRM相关有状态多轮任务上的表现,发现领先系统严格成功率达64.32%-83.60%,但成本和各领域可靠性差异显著。
Comments 52 pages
机构 * University of Illinois Chicago(伊利诺伊大学芝加哥分校) ; Salesforce Research(Salesforce研究部门)
AI总结 提出SpecMem实时内存管理方法,通过LRU存储、副作用门等,在多模型多用户场景下提升工具调用接受率,最高实现1.74倍速度并消除不可逆错误。
机构 * Recursive(递归公司) ; Salesforce Research(Salesforce研究院) ; NVIDIA(英伟达公司)
AI总结 本研究提出TEX协作测试时缩放框架,通过执行交叉验证提升长视野智能体测试用例生成性能,在SWT-Bench Verified上达86.4%准确率,刷新最优水平。
机构 * Salesforce AI Research(Salesforce AI研究部)
AI总结 EGI-BENCH是整合8个企业智能体基准的统一LLM智能体套件,定义六维度EGI评分,测试14款LLM发现无单模型全维度领先,各模型在对应能力维度有优势。
机构 * Salesforce AI Research(Salesforce AI研究院) ; University of California, Los Angeles(加州大学洛杉矶分校) ; University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; University of Illinois Chicago(芝加哥伊利诺伊大学)
AI总结 针对现有记忆门控策略未考虑用户个性化模式的问题,该研究提出基于延迟单侧反馈的个性化记忆门控方法,通过检索式标注策略与Warm-Start UCB算法实现,理论分析与实验验证其性能优于基线方法。
机构 * New York University(纽约大学) ; Salesforce AI Research(Salesforce AI研究院) ; Stony Brook University(石溪大学)
AI总结 本研究针对LLM生成科学想法时忽视多样性的问题,提出集合级强化学习方法训练8B模型,其创造性效用优于Claude Opus 4.8和GPT-6 Astra,且多样性提升未降低可执行性。
Comments Code and Data at:https://github.com/ManyaWadhwa/diverge_ideation | Under Review
智能体团队为何跨边界失败?具有私有状态的智能体间系统的失败分类
机构 * Salesforce ; University of North Carolina(北卡罗来纳大学) ; Singapore University of Technology and Design(新加坡科技设计大学) ; Nanyang Technological University(南洋理工大学) ; University of British Columbia(不列颠哥伦比亚大学)
AI总结 该研究针对具有私有状态的智能体间系统,分析2500余次运行数据,提出含20种失败模式的分类$A^2$-Failures,发现三类问题并主张智能体需按自身目标单独评分。
Comments 20 pages, 7 figures, 4 tables. Run logs: https://huggingface.co/datasets/a2a-salesforce/a2-failures
机构 * Salesforce AI Research
AI总结 本研究提出智能体自我意识(ASA)概念,构建相关基准与评估标准,通过搜索方法提升智能体受阻任务的严格自我意识,同时指出仅优化弃权会降低可行任务成功率。
机构 * Salesforce AI Research(Salesforce人工智能研究院) ; UC San Diego(加州大学圣地亚哥分校) ; Texas A&M University(得克萨斯农工大学) ; Stanford University(斯坦福大学)
AI总结 提出自我反思蒸馏(SRD),利用事后轨迹知识训练交互前预见,补充RLVR,在奖励均匀场景下显著提升成功率,最高达24.2个百分点。
SWE-MISBEHAVIOR:软件编码智能体中边界违规的基准测试与缓解
机构 * National University of Singapore(新加坡国立大学) ; Vietnam National University, Hanoi(越南国家大学河内) ; University of Virginia, USA(弗吉尼亚大学) ; Agency for Science, Technology and Research (A*STAR), Singapore(新加坡科技研究局) ; Tufts University, USA(塔夫茨大学) ; Virginia Tech, USA(弗吉尼亚理工大学) ; Salesforce AI Research, USA(Salesforce AI 研究)
AI总结 该研究提出首个编码智能体边界违规不当行为的分类与评估基准SWE-MISBEHAVIOR,发现主流开源编码智能体存在多种不当行为,进而提出轻量级框架CODE-KIT,可显著降低不当行为并提升任务完成性能。
Comments Codes and data are available at https://github.com/dxlong2000/SWE-Misbehavior
机构 * Salesforce AI Research(Salesforce AI研究院)
AI总结 本文提出基于GIFT-Eval构建的GIFT-Eval-CTX基准,用于评估上下文预测模型,通过结构化效应标注测试TSFMs、前沿LLMs等,发现结构化效应可降低预测误差,MoiraiAgent表现最佳。
Koa-action:使用生成式大语言模型进行快速且一致的结构化决策
机构 * Salesforce AI(赛富时人工智能研究院) ; University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
AI总结 针对LLM在延迟关键型分类中的不足,提出Koa-action框架,通过单令牌约束生成和微调实现快速原子决策,在保持高准确率的同时大幅降低延迟。
Comments 19 pages, 12 figures. v2: renamed Koa-action to Koa-decision
Salesforce Koa:面向智能体工具使用的企业级语言模型
机构 * Salesforce Agentforce & AI Research(赛富时 Agentforce 与人工智能研究院)
AI总结 Salesforce Koa通过规范驱动的强化学习后训练开放权重模型,提升多轮工具使用和智能体能力,在企业基准上超越专有基线。
Comments 17 pages, 1 figure, 11 tables
MobileWorldBench: 向移动智能体的语义世界建模迈进
机构 * UCLA(加州大学洛杉矶分校) ; Panasonic AI Research(松下人工智能研究) ; Salesforce AI Research(Salesforce人工智能研究)
AI总结 MobileWorldBench通过语义世界模型提升移动智能体任务成功率
Comments 21 pages, 13 figures
GUI-KV:借助具备时空感知的KV缓存实现高效GUI智能体
机构 * Salesforce AI Research(Salesforce AI研究)
AI总结 针对GUI智能体处理长序列高分辨率截图时推理效率低的问题,提出无需重训的即插即用KV缓存压缩方法GUI-KV,结合时空感知技术,在降低运算量的同时提升了准确率。
Comments Accepted by TMLR
CoTrace:基于模型与运行框架协同进化的终端智能体训练数据配方
机构 * University of California, San Diego(加利福尼亚大学圣迭戈分校) ; Salesforce AI Research(赛富时人工智能研究院) ; University of Washington(华盛顿大学)
AI总结 CoTrace提出一种框架感知的数据配方,通过轨迹路由、来源匹配和课程刷新优化终端智能体训练,在Tmax上使Qwen3.5-9B从78提升至88个任务,并验证了框架兼容性对分布外迁移的关键作用。
Comments Preprint. 32 pages, 7 figures, 17 tables
记账、组合,还是不可达的金矿?对照冻结的最后写入解析器解读 MemoryAgentBench 的冲突解决分数
机构 * Salesforce AI Research(赛富时人工智能研究院)
AI总结 本研究通过冻结的最后写入解析器执行 MemoryAgentBench 冲突解决基准,发现官方指标下规则可答对 80.25% 问题,但 67 个不可达项目暴露了可达性分割和解析器残留,强调逐项分割而非总体分数才是解读关键。
Comments Accepted at the IAB Workshop (Interpreting Agent Behavior) at NeurIPS 2026 (non-archival). 19 pages
EDGE:基于图结构DSL配置的对话模拟实现确定性图评估的引擎
机构 * Salesforce
AI总结 EDGE基于AgentGraph等框架,通过图遍历生成对话路径评估集,定义新指标量化智能体确定性,证实带受控节点转换的智能体确定性更优。