OpenAI

OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents

OSWorld-Human: 评估计算机使用代理的效率基准

Reyna Abhyankar, Qi Qi, Yiying Zhang

机构 * OpenAI ； Anthropic ； Google DeepMind（谷歌DeepMind） ； ByteDance（字节跳动） ； Agent S2 ； GTA1 ； Lei ； Jedi 纠错

AI总结 本文研究了计算机使用代理在OSWorld基准上的时间性能，发现大模型调用导致高延迟，并构建了包含人类轨迹的OSWorld Human数据集，评估发现最佳代理仍需更多步骤。

DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy

DPrivBench：评估大语言模型在差分隐私推理中的基准测试

Erchi Wang, Pengrun Huang, Eli Chien, Om Thakkar, Kamalika Chaudhuri, Yu-Xiang Wang, Ruihan Wu

机构 * Halıcıoğlu Data Science Institute, UC San Diego（哈里奇奥格卢数据科学研究所，加州大学圣地亚哥分校） ； Department of Computer Science and Engineering, UC San Diego（计算机科学与工程系，加州大学圣地亚哥分校） ； Department of Electrical Engineering, National Taiwan University（电气工程系，国立台湾大学） ； OpenAI 纠错

AI总结 本文提出DPrivBench基准测试，用于评估大语言模型在差分隐私推理中的能力，发现当前模型在高级算法推理上存在显著差距，并为改进自动化差分隐私推理提供了方向。

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

基于张量结构更新的混合专家LLM可扩展知识编辑

Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

机构 * OpenAI ； DeepSeek-AI ； Qwen Team（Qwen团队） ； Shazeer et al.（Shazeer等人） ； Molodtsov et al.（Molodtsov等人） 纠错

AI总结 本文提出一种针对混合专家架构LLM的知识编辑方法，通过张量结构和Woodbury矩阵恒等式实现高效参数更新，提升编辑效率6倍，扩展了知识编辑的应用范围。

Comments 17 pages, 3 architectures, 1 figure, 6 tables