ICML

DNACHUNKER: Learnable Tokenization for DNA Language Models

DNACHUNKER: 用于DNA语言模型的可学习分词

Taewon Kim, Jihwan Shin, Hyomin Kim, Youngmok Jung, Jonghoon Lee, Won-Chul Lee, Sungsoo Ahn, Insu Han

机构 * Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院） ； Department of Electrical Engineering, KAIST（韩国科学技术院电气工程系） ； Inocras Korea Inc.（Inocras韩国公司） 纠错

AI总结 本文提出DNACHUNKER，一种可学习的DNA分词方法，通过动态分段模块生成上下文依赖的变长单元，提升DNA语言模型在基因组序列处理中的鲁棒性和效率。

Comments ICML 2026 camera-ready version

TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

TimeRewarder: 通过帧间时间距离从被动视频中学习密集奖励

Yuyang Liu, Chuan Wen, Yihang Hu, Dinesh Jayaraman, Yang Gao

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

AI总结 本文提出TimeRewarder方法，通过帧间时间距离从被动视频中学习密集奖励，以提升强化学习在稀疏奖励任务中的性能，实验表明其在多个任务中显著提高了成功率和样本效率。

Comments ICML 2026 spotlight paper

Effective Model Pruning: Measure The Redundancy of Model Components

有效模型剪枝：衡量模型组件的冗余性

Yixuan Wang, Dan P. Guralnik, Saiedeh Akbari, Warren E. Dixon

机构 * Department of Mechanical and Aerospace Engineering, University of Florida（佛罗里达大学机械与航空航天工程系） ； Department of Mathematics, Ohio University（俄亥俄大学数学系） 纠错

AI总结 本文研究了模型剪枝中的基本问题，提出了一种基于有效样本大小的剪枝方法，通过分析重要性评分分布来确定可丢弃的组件数量，并在多种网络架构上验证了该方法的有效性。

Comments 18 pages, 4 figures. Accepted at ICML 2026 (Spotlight)

Partitioning for Intrinsic Model Inversion Resistance in Collaborative Inference

划分以获得内在模型逆向攻击抵抗力的协作推理

Rongke Liu, Youwen Zhu, Lei Zhou, Xianglong Zhang, Dong Wang

AI总结 本文研究了在协作推理中如何划分模型以提高对逆向攻击的内在抵抗力，挑战了深度是逆向攻击抵抗力驱动因素的直觉，并提出了一种基于内在阻力的划分标准，即黄金划分区（GPZ）

Comments Accepted by ICML 2026

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

Universal Reasoner: 一个单一、可组合的即插即用推理器用于冻结的LLM

Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

机构 * Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology（人工智能研究生院，韩国科学技术院） 纠错

AI总结 本文提出Universal Reasoner，一种可组合且即插即用的推理模块，能够在冻结的大规模语言模型上提供专门的推理能力，通过共享或对齐的token空间实现弱到强的泛化，实验表明其在数学推理和机器翻译中优于现有微调方法。

Comments ICML 2026

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

LLMs on the Line: 数据决定损失-损失缩放定律

Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

机构 * Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） ； University of Tübingen（图宾根大学） 纠错

AI总结 研究探讨了影响LLM损失-损失缩放定律的主要因素，发现预训练数据决定了缩放趋势，而模型大小、优化超参数、分词器和架构差异对缩放影响有限，因此应精心选择预训练数据以获得最佳下游性能。

Comments ICML 2025 camera-ready version

Wolfpack Adversarial Attack for Robust Multi-Agent Reinforcement Learning

狼群对抗攻击用于鲁棒多智能体强化学习

Sunwoo Lee, Jaebak Hwang, Yonghyeon Jo, Seungyul Han

机构 * Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea（人工智能研究生院，UNIST，韩国乌山） 纠错

AI总结 本文提出狼群对抗攻击框架，用于对抗多智能体强化学习中的协同对抗攻击，并引入狼群-对抗学习框架来训练鲁棒的MARL策略以防御该攻击。

Comments 9 pages main, 23 pages appendix with reference. Accepeted by ICML 2025

Journal ref Proceedings of Machine Learning Research (PMLR), ICML 2025

Task-Aware Virtual Training: Enhancing Generalization in Meta-Reinforcement Learning for Out-of-Distribution Tasks

任务感知虚拟训练：增强元强化学习在分布外任务中的泛化能力

Jeongmo Kim, Yisak Park, Minung Kim, Seungyul Han

机构 * Graduate School of Artificial Intelligence, UNIST, Ulsan, South Korea（人工智能研究生院，UNIST，韩国乌山） 纠错

AI总结 本文提出Task-Aware Virtual Training方法，通过度量学习提升元强化学习在分布外任务中的泛化能力，采用虚拟任务保持任务特征并利用状态正则化技术减少状态变化环境中的过估计误差。

Comments 9 pages main paper, 20 pages appendices with reference. Accepted to ICML 2025

Journal ref Proceedings of Machine Learning Research (PMLR), ICML 2025

Learning junta distributions, quantum junta states, and QAC$^0$ circuits

学习 junta 分布、量子 junta 状态和 QAC$^0$ 电路

Jinge Bao, Francisco Escudero-Gutiérrez

AI总结 本文研究了学习 junta 分布、量子 junta 状态和 QAC$^0$ 电路的问题，展示了这些概念与 junta 的紧密关系。对于 junta 分布，证明了可以通过 O(2^k log(n)/ε²) 个样本在总变差距离下以误差 ε 学习；对于 junta 状态，证明了可以通过 O(12^k log(n)/ε²) 个单拷贝在迹距离下学习，并给出了下界；对于 QAC$^0$ 电路，改进了 Nadimpalli 等人的结果，证明了可以通过 O(2^{O(log(s²2^a)^d)} log(n)) 个 Choi 状态样本学习大小为 s、深度为 d、辅助 qubit 数为 a 的 QAC$^0$ 电路。

Comments 20 pages. Accepted to ICML'26

Score-Based Causal Discovery of Latent Variable Causal Models

基于得分的潜在变量因果模型因果发现

Ignavier Ng, Xinshuai Dong, Haoyue Dai, Biwei Huang, Peter Spirtes, Kun Zhang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

AI总结 本文提出了一种基于得分的方法，用于识别包含因果相关潜在变量的因果结构，并提供了可识别性保证，同时通过实验验证了方法的有效性。

Comments ICML 2024

Less Data, Faster Training: repeating smaller datasets speeds up learning via sampling biases

数据更少，训练更快：重复较小的数据集通过采样偏差加速学习

Jingwen Liu, Ezra Edelman, Surbhi Goel, Bingbin Liu

机构 * Columbia University（哥伦比亚大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Harvard University（哈佛大学） 纠错

AI总结 研究探讨了'小数据与大数据差距'现象，即使用更少样本重复训练比使用更大数据集更节省计算资源，通过层间增长和采样偏差机制实现加速，为优化提供了新的归纳偏差。

Comments ICML 2026

Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

插件式脉冲运算符：突破脉冲变换器中的非线性瓶颈

Xinzhe Yuan, Xiang Peng, Bin Gu, Huan Xiong

机构 * IASM, Harbin Institute of Technology, China（哈尔滨工业大学人工智能研究所，中国） ； School of Artificial Intelligence, Jilin University, China（吉林大学人工智能学院，中国） 纠错

AI总结 本文提出了一种插件式框架，通过将Transformer中的非线性运算分解为三个基本算子（除法、指数和ℓ2范数），并利用LIF神经元群体和轻量级位移缩放实现脉冲友好的近似，从而在不需微调的情况下支持常见的Transformer非线性运算。

Comments Accepted to ICML 2026. 9 pages main paper, 8 pages appendix, 6 figures, 5 tables. Correspondence to Bin Gu and Huan Xiong

Adaptive Probe-based Steering for Robust LLM Jailbreaking

适应性探针引导用于鲁棒大语言模型劫持

Junxi Chen, Junhao Dong, Xiaohua Xie

机构 * School of Computer Science（计算机科学学院） ； Engineering, Sun Yat-Sen University, China（中山大学工程学院，中国） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） 纠错

AI总结 本文提出了一种基于模型提取的适应性探针引导方法，通过动态调整引导强度来提升大语言模型劫持的鲁棒性和有效性，无需额外对比提示或手动调参，显著提高了攻击效果。

Comments 19 pages, 13 figures, accepted by ICML 2026

Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models

在遮蔽离散序列模型中神经估计成对互信息

Jai Sharma, Yifan Wang, Bryan Li

机构 * University of California, Berkeley, CA, USA（加州大学伯克利分校） 纠错

AI总结 本文提出了一种神经框架，直接从预训练的遮蔽扩散模型（MDMs）的隐藏状态中估计成对条件互信息（MI），利用模型自身条件分布计算的地面真实MI进行监督，从而捕捉模型内部对依赖结构的信念，并在单次前向传递中预测完整的MI矩阵，实现MI引导的并行解码。

Comments 6 pages, 3 figures; submitting to ICML 2026

An Approximation Algorithm for Graph Label Selection

图标签选择的近似算法

Josia John, Simon Meierhans, Maximilian Probst Gutenberg

机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） 纠错

AI总结 本文提出了一种新的图标签选择算法，在标准预算约束下，首次实现了O(log^{1.5}n)的近似比，解决了如何从整个图中选择少量代表性顶点以准确预测剩余顶点标签的问题。

Comments Accepted at ICML 2026. 9 pages, 7 figures

EpiCache: Episodic KV Cache Management for Long-Term Conversation on Resource-Constrained Environments

EpiCache: 为资源受限环境下的长对话提供 episodic KV 缓存管理

Minsoo Kim, Arnav Kundu, Han-Byul Kim, Richa Dixit, Minsik Cho

机构 * Apple（苹果公司） 纠错

AI总结 本文提出 EpiCache，一种无需训练的 KV 缓存管理框架，用于在固定内存预算下实现长对话问答（LongConvQA）。该方法通过块级预填充限制缓存增长，并通过 episodic KV 压缩保留主题相关上下文，从而在多个 LongConvQA 评估基准上提升了准确性并减少了延迟和峰值内存使用。

Comments ICML 2026

LAION-C: An Out-of-Distribution Benchmark for Web-Scale Vision Models

LAION-C: 一个用于网络级视觉模型的分布外基准

Fanfei Li, Thomas Klein, Wieland Brendel, Robert Geirhos, Roland S. Zimmermann

机构 * Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所，图宾根，德国） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 本文提出LAION-C作为ImageNet-C的替代基准，旨在评估网络级数据集下的分布外鲁棒性，通过引入六种新的分布外扰动类型，发现现代模型在这些扰动下的表现显著提升，甚至超过人类观察者。

Comments ICML 2025 camera ready version