TMLR

Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability

叠加作为损失性压缩：通过稀疏自编码器测量并连接到对抗脆弱性

Leonard Bereska, Zoe Tzifa-Kratira, Reza Samavi, Efstratios Gavves

机构 * University of Amsterdam（阿姆斯特丹大学） ； Toronto Metropolitan University（多伦多 Metropolitan 大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

AI总结 本研究通过信息论框架测量神经网络的叠加程度，揭示其与对抗鲁棒性的关系，表明叠加在不同任务复杂性和网络容量下呈现不同表现。

Comments Accepted to TMLR, view HTML here: https://leonardbereska.github.io/blog/2025/superposition/

Journal ref Transactions on Machine Learning Research, 2025

Incorporating Interventional Independence Improves Robustness against Interventional Distribution Shift

引入干预独立性以提高对干预分布偏移的鲁棒性

Gautam Sreekumar, Vishnu Naresh Boddeti

机构 * Department of Computer Science and Engineering, Michigan State University（计算机科学与工程系，密歇根州立大学） 纠错

AI总结 本文提出RepLIn算法，通过强制干预表示之间的统计独立性，提高模型对干预分布偏移的鲁棒性。

Comments Transactions on Machine Learning Research (TMLR) 2025, camera-ready version

State Combinatorial Generalization In Decision Making With Conditional Diffusion Models

决策中的状态组合泛化与条件扩散模型

Xintong Duan, Yutong He, Fahim Tajwar, Wen-Tse Chen, Ruslan Salakhutdinov, Jeff Schneider

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本文提出利用条件扩散模型实现决策中的状态组合泛化，通过实验展示其在多环境中的优越性能。

Comments Accepted to Transactions on Machine Learning Research (TMLR), 2025