Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World
Claw-Anything: 对更广泛访问用户数字世界的始终在线个人助手的基准测试
机构 * Beijing Institute of Technology(北京理工大学) ; Huawei Technologies Co., Ltd(华为技术有限公司) ; Peking University(北京大学) ; Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
AI总结 提出Claw-Anything基准测试,通过扩展长期活动历史、相互依赖的后端服务以及跨多设备的GUI和CLI交互三个维度,评估大型语言模型代理在始终在线环境下的性能,发现GPT-5.5仅达34.5% pass@1,并发布自动化数据生成管道提升基线模型23.7%。