University of California, San Diego（加州大学圣迭戈分校）

Beyond Perplexity: A Lightweight Benchmark for Knowledge Retention in Supervised Fine-Tuning

超越困惑度：一种轻量级的知识保留监督微调基准

Soheil Zibakhsh Shabgahi, Pedram Aghazadeh, Farinaz Koushanfar

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

AI总结 本文提出KR测试，一种轻量级基准，用于区分监督微调中的事实学习与语言学，通过对比示例评估知识保留，提升微调动态的可解释性。

Grading Scale Impact on LLM-as-a-Judge: Human-LLM Alignment Is Highest on 0-5 Grading Scale

评分尺度对LLM作为裁判的影响：人类与LLM的对齐在0-5评分尺度上最高

Weiyue Li, Minda Zhao, Weixuan Dong, Jiahui Cai, Yuze Wei, Michael Pocress, Yi Li, Wanyan Yuan, Xiaoyue Wang, Ruoyu Hou, Kaiyuan Lou, Wenqi Zeng, Yutong Yang, Yilun Du, Mengyu Wang

机构 * Harvard University（哈佛大学） ； CMU（卡内基梅隆大学） ； Stanford University（斯坦福大学） ； UC San Diego（圣地亚哥大学） 纠错

AI总结 本文研究了评分尺度对LLM作为裁判一致性的影响，发现0-5评分尺度在人类与LLM之间产生最强的一致性。

Web Fraud Attacks Against LLM-Driven Multi-Agent Systems

针对基于大语言模型的多智能体系统 的网络欺诈攻击

Dezhang Kong, Hujin Peng, Yilun Zhang, Lele Zhao, Zhenhua Xu, Shi Lin, Changting Lin, Meng Han

机构 * Zhejiang University（浙江大学） ； Changsha University of Science and Technology（长沙理工大学） ； Purdue University（普渡大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Zhejiang Gongshang University（浙江工商大学） 纠错

AI总结 本文提出了一种针对基于大语言模型的多智能体系统的新攻击类型，通过网络链接的独特结构欺骗系统，展示了其在不同架构中的破坏潜力及逃避优势。