Amazon（亚马逊）

Emergent Strategic Reasoning Risks in AI: A Taxonomy-Driven Evaluation Framework

AI中涌现的策略推理风险：基于分类法的评估框架

Tharindu Kumarage, Lisa Bauer, Yao Ma, Dan Rosen, Yashasvi Raghavendra Guduri, Anna Rumshisky, Kai-Wei Chang, Aram Galstyan, Rahul Gupta, Charith Peris

机构 * Amazon Nova Responsible AI（亚马逊诺瓦负责任人工智能） 纠错

AI总结 提出ESRRSim框架，基于7类20子类的风险分类法，通过双评估标准自动评估LLM的策略推理风险，发现检测率在14.45%-72.72%之间，且模型代际提升显著。

SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

SkillsBench: 基准测试智能体技能在不同任务中的有效性

Xiangyi Li, Yimin Liu, Wenbo Chen, Bingran You, Zonglin Di, Yifeng He, Shenghan Zheng, Kyoung Whan Choe, Jiankai Sun, Shuyi Wang, Chujun Tao, Binxu Li, Xuandong Zhao, Hejia Geng, Xiaojun Wu, Junwei Zhou, Xiaokun Chen, Hanwen Xing, Yubo Li, Qunhong Zeng, Di Wang, Yuanli Wang, Roey Ben Chaim, Penghao Jiang, Haotian Shen, Luyang Kong, Xinyi Liu, Runhui Wang, Xuanqing Liu, Jiachen Li, Xin Lan, Yueqian Lin, Wengao Ye, Junwei He, Songlin Li, Yue Zhang, Yipeng Gao, Yijiang Li, Ze Ma, Liqiang Jing, Tianyu Wang, Kaixin Li, Yiqi Xue, Haoran Lyu, Yizhuo He, Yuchen Tian, Shutong Wu, Bowei Wang, Yixuan Gao, Bo Chen, Litong Liu, Sikai Cheng, Jiajun Bao, Shuaicheng Tong, Shuwen Xu, Terry Yue Zhuo, Tinghan Ye, Qi Qi, Miao Li, Longtai Liao, Zelin Tan, Chang Shi, Xilin Tang, Srinath Tankasala, Boqin Yuan, Yaoyao Qian, Jianhong Tu, Chenguang Wang, Yizhou Sun, Wei Wang, Aaron Taylor, Ziyue Yang, Changkun Guan, Zhikang Dong, Xinyu Zhang, Steven Dillmann, Han-chung Lee, Dawn Song

机构 * BenchFlow ； OSU ； Amazon ； UC Berkeley ； UC Santa Cruz ； UC Davis ； Dartmouth ； RLWRLD ； Independent ； Princeton University ； Oxford University ； Stanford University ； USC ； CMU ； Foxconn ； Zenity ； UNSW ； UT Austin ； MSU ； Duke University ； ByteDance ； UT Dallas ； UC San Diego ； Columbia University ； University of Rochester ； Cornell Tech ； Georgia Tech ； Cornell University ； NEU ； UCLA ； Snap Inc. ； Fanshawe College ； University of Science and Technology of China ； HKUST(GZ) ； Anyscale 纠错

AI总结 提出SkillsBench基准，包含8领域87个任务，通过配对评估证明技能提升平均通过率16.6个百分点，小模型配备技能可匹敌大模型。

Edit Knowledge, Not Just Facts via Multi-Step Reasoning over Background Stories

编辑知识，而不仅仅是事实：基于背景故事的多步推理

Ya Gao, Kalle Kujanpää, Pekka Marttinen, Harri Valpola, Alexander Ilin

机构 * Aalto University（阿莱大学） ； Amazon.com（亚马逊公司） ； System 2 AI（系统2人工智能） 纠错

AI总结 提出将知识更新视为推理问题，通过背景故事引入新知识、自生成多跳问题训练和知识蒸馏，使模型在多步推理中灵活运用新信息。

Comments Under review