ICLR

When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling

何时进行集成：识别令牌级点以实现稳定且快速的LLM集成

Heecheol Yun, Kwangmin Ki, Junghyun Lee, Eunho Yang

机构 * KAIST（韩国科学技术院） ； Korea University（韩国大学） ； AITRICS 纠错

AI总结 本文提出SAFE框架，通过考虑令牌化不匹配和下一个令牌概率分布的一致性，改进长形式生成中的模型集成，提升准确性和效率。

Comments ICLR 2026

Scaling Generalist Data-Analytic Agents

放大通用数据分析代理

Shuofei Qiao, Yanqiu Zhao, Zhisong Qiu, Xiaobin Wang, Jintian Zhang, Zhao Bin, Ningyu Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen

AI总结 本文提出DataMind，通过细粒度任务分类和递归易难任务组合机制，解决开源数据分析代理的数据不足、训练策略不当和代码多轮滚动不稳定问题，构建出性能优异的DataMind-14B和DataMind-7B代理。

Comments ICLR 2026

DRIFT-Net: A Spectral--Coupled Neural Operator for PDEs Learning

DRIFT-Net: 一种用于PDE学习的频谱耦合神经算子

Jiayi Li, Flora D. Salim

机构 * University of New South Wales（新南威尔士大学） 纠错

AI总结 DRIFT-Net通过双分支设计融合频谱和图像信息，提升PDE动态学习的精度与效率，减少误差积累和漂移。

Comments Accepted at ICLR 2026

SPELL: Self-Play Reinforcement Learning for Evolving Long-Context Language Models

SPELL: 自我扮演强化学习用于进化长上下文语言模型

Ziyi Yang, Weizhou Shen, Chenliang Li, Ruijun Chen, Fanqi Wan, Ming Yan, Xiaojun Quan, Fei Huang

机构 * Sun Yat-sen University（中山大学） ； Tongyi Lab, Alibaba Group（阿里云实验室） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

AI总结 本文提出SPELL框架，通过自我扮演问答和验证角色实现长上下文推理的无监督优化，实验显示其在多个基准上优于传统微调方法。

Comments Accepted to ICLR 2026

Robust Fine-Tuning from Non-Robust Pretrained Models: Mitigating Suboptimal Transfer With Epsilon-Scheduling

从非鲁棒预训练模型中实现鲁棒微调：通过epsilon调度缓解次优迁移

Jonas Ngnawé, Maxime Heuillet, Sabyasachi Sahoo, Yann Pequignot, Ola Ahmad, Audrey Durand, Frédéric Precioso, Christian Gagné

机构 * Université Laval (IID)（拉瓦尔大学） ； Mila ； CortAIx Labs, Thales Digital Solutions（CortAIx实验室，泰雷兹数字解决方案） ； Université Côte d’Azur, CNRS, INRIA, I3S, Maasai（蔚蓝海岸大学，国家科学研究中心，国家信息与自动化技术研究院，I3S，Maasai） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

AI总结 本文研究了从非鲁棒预训练模型中实现鲁棒微调的挑战，提出epsilon调度方法以避免次优迁移，提升模型鲁棒性与适应性。

Comments 10 pages, 7 figures, 4 tables

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

Intrinsic training dynamics of deep neural networks

深度神经网络内在训练动态

Sibylle Marcotte, Gabriel Peyré, Rémi Gribonval

机构 * ENS - PSL Univ.（巴黎-萨克雷大学） ； CNRS, ENS - PSL Univ.（国家科学研究中心、巴黎-萨克雷大学） ； Inria, CNRS, ENS de Lyon, Université Claude Bernard Lyon 1, LIP, UMR 5668（法国国家信息与自动化技术研究所、国家科学研究中心、里昂大学、 Claude Bernard 大学、LIP 实验室、UMR 5668） 纠错

AI总结 本文研究深度学习中梯度流如何促进参数属于低维结构的内在动态，提出基于核的必要条件，并应用于ReLU网络和线性神经ODE，展示松弛平衡初始化下的内在动态特性。

Comments Accepted at ICLR 2026

Improving Black-Box Generative Attacks via Generator Semantic Consistency

通过生成器语义一致性提升黑盒生成攻击

Jongoh Jeong, Hunmin Yang, Jaeseok Jeong, Kuk-Jin Yoon

AI总结 本文提出通过强制生成器早期中间特征与EMA教师对齐，提升黑盒攻击的转移性能，引入ACR指标评估语义稳定性，改进生成攻击的效率与效果。

Comments Accepted for publication at ICLR 2026

Token Distillation: Attention-aware Input Embeddings For New Tokens

令牌蒸馏：面向新令牌的注意力感知输入嵌入

Konstantin Dobler, Desmond Elliott, Gerard de Melo

机构 * Hasso Plattner Institute ELLIS Unit（波茨坦大学哈索普兰特纳研究所ELLIS单位） ； University of Copenhagen ELLIS Unit（哥本哈根大学ELLIS单位） 纠错

AI总结 本文提出令牌蒸馏方法，通过蒸馏原始分词获得的表示快速学习高质量新令牌嵌入，实验表明其优于现有基线。

Comments ICLR 2026 camera-ready

Understanding Dataset Distillation via Spectral Filtering

通过频谱过滤理解数据集蒸馏

Deyu Bo, Songhua Liu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 本文提出UniDD框架，通过频谱过滤统一不同数据集蒸馏目标，提出Curriculum Frequency Matching方法提升性能，验证了UniDD的实用性。

Comments Accepted by ICLR 2026. Code is available at https://github.com/bdy9527/UniDD

TopoBench: Benchmarking LLMs on Hard Topological Reasoning

TopoBench：在复杂拓扑推理上对LLM进行基准测试

Mayug Maniparambil, Nils Hoehing, Janak Kapuriya, Arjun Karuvally, Ellen Rushe, Anthony Ventresque, Noel O'Connor, Fergal Reid

机构 * Intercom Research（Intercom研究院） ； University College Dublin（都柏林大学） ； University of Galway（Galway大学） ； Salk Institute（Salk研究所） ； Dublin City University（都柏林城市大学） ； Trinity College Dublin（都柏林三一学院） 纠错

AI总结 TopoBench通过测试LLM在复杂拓扑推理任务上的表现，揭示了模型在提取空间约束方面的瓶颈，并提出缓解策略。

Comments Accepted, Workshop on Logical Reasoning of Large Language Models at ICLR 2026

Cross-Domain Policy Optimization via Bellman Consistency and Hybrid Critics

跨领域策略优化 via 域间Bellman一致性与混合批评者

Ming-Hong Chen, Kuan-Chen Pan, You-De Huang, Xi Liu, Ping-Chun Hsieh

AI总结 本文提出QAvatar方法，通过域间Bellman一致性与混合批评者解决跨领域RL中的可转移性问题，实现可靠的知识迁移。

Comments Accepted at ICLR 2026

BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs

BTZSC：跨跨编码器、嵌入模型、重排序器和大语言模型的零样本文本分类基准

Ilias Aarab

机构 * European Central Bank（欧洲中央银行） 纠错

AI总结 BTZSC是一个涵盖22个公开数据集的零样本文本分类基准，系统比较了跨编码器、嵌入模型、重排序器和LLMs四种模型家族，发现重排序器和LLMs在性能上表现突出，嵌入模型在准确性和延迟之间取得良好平衡。

Comments Accepted at ICLR 2026. 31 pages, 5 figures, 9 tables. Code: https://github.com/IliasAarab/btzsc ; Dataset: https://huggingface.co/datasets/btzsc/btzsc ; Leaderboard: https://huggingface.co/spaces/btzsc/btzsc-leaderboard . Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026

Statistical and structural identifiability in representation learning

表示学习中的统计和结构可识别性

Walter Nelson, Marco Fumero, Theofanis Karaletsos, Francesco Locatello

AI总结 本文提出统计和结构近可识别性概念，通过ICA后处理实现表示学习中的去纠缠，验证了在合成数据和细胞显微镜中的有效性。

Comments International Conference on Learning Representations (ICLR) 2026

Implicit Statistical Inference in Transformers: Approximating Likelihood-Ratio Tests In-Context

Transformer中的隐式统计推断：在上下文中近似似然比检验

Faris Chaudhry, Siddhant Gadkari

AI总结 Transformer通过构建任务自适应的统计估计器实现上下文学习，而非简单相似性匹配。

Comments Accepted at the Latent and Implicit Thinking Workshop (ICLR 2026)

Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks

熵限制与过参数神经网络中的模式连接

Luca Di Carlo, Chase Goddard, David J. Schwab

AI总结 本研究揭示了过参数神经网络中曲率诱导的熵力如何通过熵障碍影响模式连接与优化限制。

Comments ICLR 2026

On the Theoretical Limitations of Embedding-Based Retrieval

基于嵌入的检索的理论限制

Orion Weller, Michael Boratko, Iftekhar Naim, Jinhyuk Lee

机构 * Google DeepMind（谷歌DeepMind） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文揭示了基于嵌入的检索在现实场景中的理论限制，通过理论分析和实验验证，展示了高维嵌入的必要性，并提出了一种名为LIMIT的数据集来测试模型性能，表明现有模型在简单任务上仍存在不足。

Comments Accepted to ICLR'26

Seq vs Seq: An Open Suite of Paired Encoders and Decoders

序列 vs 序列：一个配对编码器和解码器的开放套件

Orion Weller, Kathryn Ricci, Marc Marone, Antoine Chaffin, Dawn Lawrie, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） ； LightOn 纠错

AI总结 本文提出SOTA开放数据Ettin模型套件，包含不同规模的编码器和解码器模型，通过统一训练方法在分类、检索和生成任务中取得最佳性能。

Comments Accepted to ICLR'26

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

NeuralOS: 通过神经生成模型实现操作系统的模拟

Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

机构 * University of Waterloo（滑铁卢大学） ； National Research Council Canada（加拿大国家研究委员会） 纠错

AI总结 NeuralOS通过神经生成模型模拟操作系统GUI，能准确预测用户交互并生成逼真界面，展示了合成数据在模拟未安装应用上的潜力。

Comments ICLR 2026

Strictly Constrained Generative Modeling via Split Augmented Langevin Sampling

通过分裂增广 Langevin 采样实现严格约束生成建模

Matthieu Blanke, Yongquan Qu, Sara Shamekh, Pierre Gentine

AI总结 本文提出 CASAL 算法，通过变量分裂逐步强制约束，用于严格约束生成建模，提升物理系统预测精度和守恒量保持。

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

HOG-Diff: Higher-Order Guided Diffusion for Graph Generation

HOG-Diff: 基于更高阶引导的图生成扩散模型

Yiming Huang, Tolga Birdal

AI总结 HOG-Diff通过高阶拓扑引导和扩散桥梁，实现图生成的高阶拓扑结构捕捉，展示了方法在多样领域和大规模设置中的优越性能。

Comments Accepted at ICLR 2026

Bounds on Representation-Induced Confounding Bias for Treatment Effect Estimation

对治疗效应估计中表示诱导混淆偏置的界限研究

Valentyn Melnychuk, Dennis Frauen, Stefan Feuerriegel

AI总结 本文提出了一种新的反驳框架，用于估计由降维或其他限制引起的表示诱导混淆偏置的界限，通过理论分析和实验验证其有效性。

Journal ref Proceedings of the Twelfth International Conference on Learning Representations (ICLR 2024), Vienna, Austria

Entropy-Preserving Reinforcement Learning

熵保持强化学习

Aleksei Petrenko, Ben Lipkin, Kevin Chen, Erik Wijmans, Marco Cusumano-Towner, Raja Giryes, Philipp Krähenbühl

AI总结 本文提出熵保持强化学习方法，通过监控和控制熵来维持探索多样性，提升策略性能和可训练性。

Comments Published at ICLR 2026

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

Toward Complex-Valued Neural Networks for Waveform Generation

迈向复值神经网络的波形生成

Hyung-Seok Oh, Deok-Hyeon Cho, Seung-Bin Kim, Seong-Whan Lee

机构 * Department of Artificial Intelligence（人工智能系） 纠错

AI总结 ComVo 是一种复值神经 vocoder，通过复数运算和相位量化提升波形生成质量，训练效率提高25%。

Comments ICLR 2026 (accepted)

Reference-Guided Machine Unlearning

基于参考的机器去学习

Jonas Mirlach, Sonia Laguna, Julia E. Vogt

机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） 纠错

AI总结 本文提出ReGUn框架，通过参考引导蒸馏实现分布不可区分性，提升去学习的遗忘-实用性权衡性能。

Comments 12 pages, 1 figure, 4 tables. Accepted at three ICLR 2026 workshops: Test-Time Updates (TTU), AI with Recursive Self-Improvement (RSI), and Agents in the Wild (AIWILD)

Graph Tokenization for Bridging Graphs and Transformers

图标记化：连接图与变换器

Zeyuan Guo, Enmao Diao, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecom.（北京邮电大学） 纠错

AI总结 本文提出图标记化框架，结合可逆图序列化与BPE，使变换器模型可直接应用于图结构数据，实现对图基准测试的高性能表现。

Comments Accepted as a poster at ICLR 2026. Code is available at https://github.com/BUPT-GAMMA/Graph-Tokenization-for-Bridging-Graphs-and-Transformers

Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series

结构感知的集合变换器：用于异步临床时间序列的时序和变量类型注意力偏差

Joohyung Lee, Kwanhyung Lee, Changhun Kim, Eunho Yang

机构 * AITRICS ； Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

AI总结 本文提出STAR-Set变换器，通过引入时间局部性惩罚和变量类型亲和力，解决异步临床时间序列中变量轨迹和时间局部上下文丢失的问题，提升预测性能。

Comments ICLR 2026 Workshop on Time Series in the Age of Large Models (TSALM)

On the Value of Tokeniser Pretraining in Physics Foundation Models

在物理基础模型中tokenizer预训练的价值

Hadi Sotoudeh, Payel Mukhopadhyay, Ruben Ohana, Michael McCabe, Neil D. Lawrence, Shirley Ho, Miles Cranmer

AI总结 本文探讨了在物理基础模型中预训练tokenizer对准确性和效率的影响，发现领域内预训练可显著提升模拟性能，并引入灵活的时空压缩操作以适应多样化的下游任务。

Comments 16 pages, 4 figures. Workshop paper at ICLR 2026 AI & PDE

Reasoning Boosts Opinion Alignment in LLMs

推理提升大语言模型中的观点一致性

Frédéric Berdoz, Yann Billeter, Yann Vonlanthen, Roger Wattenhofer

AI总结 本研究通过结构化推理提升大语言模型的观点一致性，验证了推理在改善观点建模中的有效性，但指出仍需进一步机制以减少偏见。

Comments Accepted at ICLR 2026

Subliminal Signals in Preference Labels

偏好标签中的潜意识信号

Isotta Magistrali, Frédéric Berdoz, Sam Dauncey, Roger Wattenhofer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

AI总结 研究揭示偏好标签可能传递潜意识行为特征，挑战传统二进制监督假设，强调需机制检测并缓解潜意识偏好传输以确保超对齐的稳健监督。

Comments Accepted at AITW@ICLR 2026

Extending Sequence Length is Not All You Need: Effective Integration of Multimodal Signals for Gene Expression Prediction

扩展序列长度并不足够：有效整合多模态信号用于基因表达预测

Zhao Yang, Yi Duan, Jiwei Zhu, Ying Ba, Chuan Cao, Bing Su

机构 * Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部） 纠错

AI总结 本文提出Prism框架，通过有效整合多模态表观基因组信号，克服长序列建模对基因表达预测性能的负面影响，实现仅使用短序列的最先进性能。

Comments Accepted at ICLR 2026