Harvard University（哈佛大学）

DSGym: A Holistic Framework for Evaluating and Training Data Science Agents

DSGym: 一个全面的框架用于评估和训练数据科学代理

Fan Nie, Junlin Wang, Harper Hua, Federico Bianchi, Yongchan Kwon, Zhenting Qi, Owen Queen, Shang Zhu, James Zou

机构 * Stanford University（斯坦福大学） ； Together AI ； Duke University（杜克大学） ； Harvard University（哈佛大学） 纠错

AI总结 DSGym通过标准化框架提升数据科学代理的评估与训练，解决现有基准测试的碎片化和数据不足问题，提供可扩展的任务套件和数据合成管道。

Detecting High-Stakes Interactions with Activation Probes

通过激活探针检测高风险交互

Alex McKenzie, Urja Pawar, Phil Blandfort, William Bankes, David Krueger, Ekdeep Singh Lubana, Dmitrii Krasheninnikov

机构 * LASR Labs（LASR实验室） ； University College London（伦敦大学学院） ； MILA ； Harvard University（哈佛大学） ； NTT Research（NTT研究所） ； Goodfire ； University of Cambridge（剑桥大学） 纠错

AI总结 通过激活探针检测高风险交互，实现高效且资源敏感的监控系统

Comments Accepted at NeurIPS 2025

Evaluating Adversarial Robustness of Concept Representations in Sparse Autoencoders

评估稀疏自编码器中概念表示的对抗鲁棒性

Aaron J. Li, Suraj Srinivas, Usha Bhalla, Himabindu Lakkaraju

机构 * University of California, Berkeley（加州大学伯克利分校） ； Bosch Research（博世研究） ； Harvard University（哈佛大学） 纠错

AI总结 本研究评估了稀疏自编码器中概念表示的对抗鲁棒性，发现其易受微小输入扰动影响，可能不适合用于模型监控和监督。

Is What You Ask For What You Get? Investigating Concept Associations in Text-to-Image Models

你所要求的是你所得到的吗？探究文本到图像模型中的概念关联

Salma Abdel Magid, Weiwei Pan, Simon Warchol, Grace Guo, Junsik Kim, Mahia Rahman, Hanspeter Pfister

机构 * Department of Computer Science（计算机科学系） ； Harvard University（哈佛大学） 纠错

AI总结 本文提出 Concept2Concept 框架，用于审计文本到图像模型中提示与生成内容之间的概念关联，通过可解释的概念和度量标准进行可视化分析。

Journal ref Trans. Mach. Learn. Res, 2835-8856, 2025, https://openreview.net/forum?id=mk1YIkVvTQ