ICLR

DiffusionBlocks: Block-wise Neural Network Training via Diffusion Interpretation

DiffusionBlocks: 通过扩散解释进行分块神经网络训练

Makoto Shing, Masanori Koyama, Takuya Akiba

机构 * Sakana AI ； The University of Tokyo（东京大学） 纠错

AI总结 提出DiffusionBlocks框架，利用残差连接与动力系统的对应关系，将网络转换为去噪过程，通过分数匹配目标实现独立分块训练，在多种Transformer架构上达到与端到端训练相当的性能，同时降低内存需求。

Comments To appear at the 14th International Conference on Learning Representations (ICLR 2026). v4: Fixed typos in experimental details (Appendix E.4)

Unsupervised Learning of Efficient Exploration: Pre-training Adaptive Policies via Self-Imposed Goals

高效探索的无监督学习：通过自我设定目标预训练自适应策略

Octavio Pappalardo

机构 * University College London (UCL)（伦敦大学学院（UCL）） 纠错

AI总结 提出ULEE方法，结合上下文学习器与对抗性目标生成策略，在无监督元学习框架中优化多回合探索与适应，提升零样本和少样本性能。

Comments ICLR 2026; v2 adds link to code: https://github.com/Octavio-Pappalardo/ulee-jax

Journal ref The Fourteenth International Conference on Learning Representations, 2026

From Sorting Algorithms to Scalable Kernels: Bayesian Optimization in High-Dimensional Permutation Spaces

从排序算法到可扩展核：高维排列空间中的贝叶斯优化

Zikai Xie, Linjiang Chen

机构 * State Key Laboratory of Precision and Intelligent Chemistry（精准与智能化学国家重点实验室） 纠错

AI总结 针对高维排列空间贝叶斯优化中表示可扩展性差的问题，提出基于排序算法的核函数框架，其中Mallows核是枚举排序的特例，而新提出的Merge核通过归并排序的分解结构实现Θ(n log n)复杂度且无信息损失，在低维性能相当，高维显著提升优化效果与计算效率。

Comments 9 pages, published on ICLR-26

Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks

刀刃上的学习：多项式神经网络的可辨识性与奇异性

Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn

机构 * Department of Mathematics, KTH Royal Institute of Technology（数学系，皇家理工学院） 纠错

AI总结 研究以多项式为激活函数的MLP和CNN的函数空间（神经流形），证明MLP参数化几乎处处有限对一，CNN参数化一一对应，并刻画奇异性源于稀疏子网络，解释MLP的稀疏偏好。

Comments Published at ICLR 2026

Self-Evolving Vision-Language Models for Image Quality Assessment via Voting and Ranking

自进化视觉语言模型用于图像质量评估：基于投票与排序

Wen Wen, Tianwu Zhi, Kanglong Fan, Yang Li, Xinge Peng, Yabin Zhang, Yiting Liao, Junlin Li, Li Zhang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

AI总结 提出EvoQuality框架，通过自一致性生成伪标签，利用群体相对策略优化迭代提升VLM的图像质量感知能力，无监督下在多个IQA基准上超越监督方法。

Comments Published as a conference paper at ICLR 2026

MoReBench: Evaluating Procedural and Pluralistic Moral Reasoning in Language Models, More than Outcomes

MoReBench：评估语言模型中的程序性和多元道德推理，超越结果

Yu Ying Chiu, Michael S. Lee, Rachel Calcott, Brandon Handoko, Paul de Font-Reaulx, Raphaël Millière, Paula Rodriguez, Chen Bo Calvin Zhang, Ziwen Han, Udari Madhushani Sehwag, Yash Maurya, Christina Q Knight, Harry R. Lloyd, Florence Bacus, Conor Downey, Mantas Mazeika, Bing Liu, Yejin Choi, Mitchell L Gordon, Sydney Levine

机构 * University of Washington（华盛顿大学） ； New York University（纽约大学） ； Scale AI ； Harvard University（哈佛大学） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Center for AI Safety（人工智能安全中心） ； Stanford University（斯坦福大学） ； MIT（麻省理工学院） ； University of Oxford（牛津大学） 纠错

AI总结 提出MoReBench基准，包含1000个道德场景和超过2.3万条标准，用于评估语言模型在道德推理中的程序性推理能力，发现现有基准无法预测模型表现，且模型对特定道德框架存在偏好。

Comments 46 pages, 8 figures, 10 tables. Published in ICLR 2026. Accepted at CHAI workshop and SPP 2026 (non-archival)

Geometry of Lightning Self-Attention: Identifiability and Dimension

闪电自注意力的几何：可识别性与维度

Nathan W. Henry, Giovanni Luca Marchetti, Kathlén Kohn

机构 * University of Toronto（多伦多大学） ； Royal Institute of Technology (KTH)（皇家理工学院（KTH）） 纠错

AI总结 本文利用代数几何工具，分析了无归一化自注意力网络的函数空间几何，给出了深层注意力的可识别性描述并计算了函数空间维度，同时刻画了单层模型的奇异点和边界点，并推测了归一化情形的结果。

Comments Accepted at ICLR 2025

Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

稀疏探针与模糊物理：连续介质动力学基础模型可解释性挑战的案例研究

Katherine Rosenfeld, Maike Sonnewald

机构 * Gates Foundation（盖茨基金会） ； UC Davis（加州大学戴维斯分校） 纠错

AI总结 本研究通过稀疏自编码器探针分析连续介质动力学基础模型Walrus的内部机制，发现其内部特征与物理分解不完全一致，并存在输出级偏差，揭示了科学基础模型可解释性的关键挑战。

Comments 8 pages, 5 figures

Journal ref ICLR 2026 Workshop on Foundation Models for Science

ProcessThinker: Enhancing Multi-modal Large Language Models Reasoning via Rollout-based Process Reward

ProcessThinker: 通过基于展开的过程奖励增强多模态大语言模型推理

Jingpei Wu, Xiao Han, Weixiang Shen, Boer Zhang, Zifeng Ding, Volker Tresp

机构 * LMU Munich（慕尼黑大学） ； Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； Mina AI ； Konrad Zuse School of Excellence in Reliable AI (relAI)（康拉德·楚泽可靠人工智能卓越学校（relAI）） 纠错

AI总结 提出ProcessThinker，一种无需显式过程奖励模型的后训练方法，通过步骤标记格式和基于展开的过程奖励，为多步推理提供密集的步骤级奖励，提升多模态推理一致性。

Comments Accepted at ICLR 2026 Workshop on Logical Reasoning of Large Language Models. 7 pages, 1 figure

FOCUS on Contamination: Hydrology-Informed Noise-Aware Learning for Geospatial PFAS Mapping

聚焦污染：基于水文信息与噪声感知的地理空间PFAS测绘学习

Jowaria Khan, Alexa Friedman, Sydney Evans, Rachel Klein, Runzi Wang, Katherine E. Manz, Kaley Beins, David Q. Andrews, Elizabeth Bondi-Kelly

机构 * University of Michigan（密歇根大学） ； Environmental Working Group（环保工作组） ； University of California, Davis（加州大学戴维斯分校） 纠错

AI总结 提出FOCUS框架，结合稀疏PFAS观测与水文连通性等环境先验，通过噪声感知损失实现鲁棒训练，在PFAS污染测绘中优于传统方法。

Comments Best Paper Award at ICLR 2026 Machine Learning for Remote Sensing Workshop

DASH: Deterministic Attention Scheduling for High-throughput Reproducible LLM Training

DASH：确定性注意力调度用于高吞吐量可重复LLM训练

Xinwei Qiang, Hongmin Chen, Shixuan Sun, Jingwen Leng, Xin Liu, Minyi Guo

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； ByteDance Seed（字节跳动种子） ； Zhiyuan College, Shanghai Jiao Tong University（上海交通大学智源学院） 纠错

AI总结 本文提出DASH算法，通过优化计算和梯度缩减阶段调度，解决确定性注意力训练中的性能损失问题，提升LLM训练效率。

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

Grounding Computer Use Agents on Human Demonstrations

基于人类演示的计算机使用智能体基础构建

Aarash Feizi, Shravan Nayak, Xiangru Jian, Kevin Qinghong Lin, Kaixin Li, Rabiul Awal, Xing Han Lù, Johan Obando-Ceron, Juan A. Rodriguez, Nicolas Chapados, David Vazquez, Adriana Romero-Soriano, Reihaneh Rabbany, Perouz Taslakian, Christopher Pal, Spandana Gella, Sai Rajeswar

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； ServiceNow Research（ServiceNow研究） ； University of Waterloo（滑铁卢大学） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

AI总结 为解决桌面环境高质量基础数据稀缺问题，构建了包含87个应用、56K截图和3.56M人工标注的GroundCUA数据集，并基于此训练GroundNext模型，在5个基准上以少于先前十分之一的数据取得最优结果。

Comments Accepted at ICLR 2026

Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction

超越扩散：层级到层级自回归用于fMRI到图像重建

Xu Zhang, Ruijie Quan, Wenguan Wang, Yi Yang

机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University, China（脑机智能国家重点实验室，浙江大学，中国） ； ReLER, CCAI, College of Artificial Intelligence, Zhejiang University, China（ReLER、中国人工智能学会、人工智能学院、浙江大学、中国） 纠错

AI总结 提出MindHier框架，通过层级fMRI编码器、层级对齐和尺度感知粗到细引导策略，实现从粗到细的fMRI到图像重建，优于扩散方法。

Comments ICLR 2026

Neuron-based Personality Trait Induction in Large Language Models

基于神经元的大语言模型人格特质诱导

Jia Deng, Tianyi Tang, Yanbin Yin, Wenhao Yang, Wayne Xin Zhao, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院） ； Tongyi Lab（通义实验室） ； Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院） 纠错

AI总结 提出基于神经元的大语言模型人格特质诱导方法，通过构建PersonalityBench数据集、识别人格相关神经元并调整其值，实现无需训练的参数级控制，效果媲美微调模型。

Comments 25 pages. Published at ICLR 2025

Journal ref The Thirteenth International Conference on Learning Representations (ICLR 2025), 2025

SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration

SHAPO: 面向安全探索的锐度感知策略优化

Kaustubh Mani, Yann Pequignot, Vincent Mai, Liam Paull

机构 * Université de Montréal（蒙特利尔大学） ； Mila - Québec AI Institute（蒙特利尔人工智能研究所） ； Université Laval（拉瓦尔大学） ； IID - Institut Intelligence et Données（智能与数据研究所） ； LawZero ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

AI总结 提出SHAPO算法，通过锐度感知策略更新隐式重加权梯度，放大罕见不安全动作的影响，抑制安全动作的贡献，从而在欠探索区域实现保守行为，提升安全性与任务性能。

Comments ICLR 2026

Does Normalization Choice Matter for Causal Large Time-Series Models?

归一化选择对因果大规模时间序列模型重要吗？

Samy-Melwan Vilhes, Gilles Gasso, Mokhtar Z Alaya

机构 * INSA Rouen Normandie, Univ Rouen Normandie Univ, LITIS UR4108（INSA Rouen Normandie， Rouen Normandie 大学， LITIS UR4108 实验室） 纠错

AI总结 研究因果大规模时间序列模型中不同归一化策略对训练收敛和预测性能的影响，发现归一化选择显著影响模型效果。

Journal ref ICLR 2026 Workshop: Time Series in the Age of Large Models, Apr 2026, Rio De Janeiro, Brazil

SRT: Super-Resolution for Time Series via Disentangled Rectified Flow

SRT: 基于解缠校正流的时间序列超分辨率

Jufang Duan, Shenglong Xiao, Yuren Zhang

机构 * Bytedance（字节跳动） 纠错

AI总结 提出SRT框架，通过解缠校正流将低分辨率时间序列重建为高分辨率，分解趋势与季节成分，利用隐式神经表示对齐分辨率，并引入跨分辨率注意力机制生成细节。

Comments Accepted to the International Conference on Learning Representations (ICLR) 2026

Journal ref The Fourteenth International Conference on Learning Representations (ICLR 2026)

An Industrial-Scale Insurance LLM Achieving Verifiable Domain Mastery and Hallucination Control without Competence Trade-offs

一个工业级保险大语言模型，实现可验证的领域掌握与幻觉控制，无能力权衡

Qian Zhu, Xinnan Guo, Jingjing Huo, Jun Li, Pan Liu, Wenyan Yang, Wanqing Xu, Xuan Lin

机构 * Ant Group（蚂蚁集团） 纠错

AI总结 提出INS-S1保险专用大语言模型，通过可验证数据合成系统和渐进式SFT-RL课程框架，在领域任务上达到SOTA，同时保持通用能力并实现0.6%的低幻觉率。

Comments 21 pages, 12 figures, 17 tables

Journal ref ICLR 2026 Workshop Advances in Financial AI

The Price of Agreement: Measuring LLM Sycophancy in Agentic Financial Applications

同意的代价：在代理金融应用中衡量LLM的谄媚行为

Zhenyu Zhao, Aparna Balagopalan, Adi Agrawal, Dilshoda Yergasheva, Waseem Alshikh, Daniel M. Bikel

机构 * Writer, Inc.（Writer公司） 纠错

AI总结 研究评估LLM在金融代理任务中的谄媚行为，发现模型对用户反驳仅表现低至中等性能下降，但偏好信息导致多数模型失败，并测试了输入过滤等恢复方法。

Comments Accepted to ICLR 2026 FinAI Workshop

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

熵、分歧与基因组基础模型的局限性

Maxime Rochkoulets, Lovro Vrček, Mile Šikić

机构 * Genome Institute of Singapore, A*STAR（新加坡基因组研究院，A*STAR） ； KU Leuven（卢森堡大学） ； Faculty of Electrical Engineering and Computing, University of Zagreb（扎格雷布大学电子工程与计算学院） 纠错

AI总结 本文通过分析熵对模型学习的影响，发现基因组序列的高熵导致输出分布接近均匀、模型间分歧大和静态嵌入不稳定，且Fisher信息集中在嵌入层，表明仅靠序列自监督训练可能不适用于基因组数据。

Comments Accepted to LMLR Workshop at ICLR 2026

RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty

RankLLM: 通过量化问题难度对大型语言模型进行加权排名

Ziqian Zhang, Xingjian Hu, Yue Huang, Kai Zhang, Ruoxi Chen, Yixin Liu, Qingsong Wen, Kaidi Xu, Xiangliang Zhang, Neil Zhenqiang Gong, Lichao Sun

机构 * Lehigh University（莱维大学） ； University of Notre Dame（诺特大学） ； Zhejiang Wanli University（浙江万里大学） ； Squirrel Ai Learning ； City University of Hong Kong（香港城市大学） ； Duke University（杜克大学） 纠错

AI总结 提出RankLLM框架，通过量化问题难度和模型能力实现细粒度评估，在35550个问题上对30个模型进行评测，与人类判断一致性达90%。

Comments 32 pages, 9 figures. Accepted by ICLR 2026

The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws

训练过程至关重要：平均预训练参数计数统一了稀疏和密集的扩展规律

Tian Jin, Ahmed Imtiaz Humayun, Utku Evci, Suvinay Subramanian, Amir Yazdanbakhsh, Dan Alistarh, Gintare Karolina Dziugaite

机构 * MIT CSAIL（MIT 计算科学与人工智能实验室） ； Rice University（稻大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； IST Austria（奥地利科学院） 纠错

AI总结 本文通过研究80种不同的剪枝计划，发现预训练过程中在25%和75%的计算量启动和结束剪枝可获得最佳评估损失，提出新的扩展规律统一了稀疏和密集预训练的扩展规律。

Comments 17 pages

Journal ref The Thirteenth International Conference on Learning Representations (ICLR), 2025

BadRobot: Jailbreaking Embodied LLM Agents in the Physical World

BadRobot: 在物理世界中越狱具身LLM智能体

Hangtao Zhang, Chenyu Zhu, Xianlong Wang, Ziqi Zhou, Changgan Yin, Minghui Li, Lulu Xue, Yichen Wang, Shengshan Hu, Aishan Liu, Peijin Guo, Leo Yu Zhang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Beihang University（北航） ； Griffith University（格里菲斯大学） 纠错

AI总结 提出BadRobot攻击范式，利用LLM在机器人系统中的操纵、语言输出与物理动作的错位以及世界知识缺陷三个漏洞，通过语音交互使具身LLM执行有害行为，并在基准测试中验证了有效性。

Comments Accepted to ICLR 2025. Please cite the conference version. Project page: https://Embodied-LLMs-Safety.github.io

Journal ref International Conference on Learning Representations (ICLR) 2025

The Cost of Down-Scaling Language Models: Fact Recall Deteriorates before In-Context Learning

大语言模型降维的成本：事实回忆在内省学习之前恶化

Tian Jin, Nolan Clement, Xin Dong, Vaishnavh Nagarajan, Michael Carbin, Jonathan Ragan-Kelley, Gintare Karolina Dziugaite

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT Harvard University（麻省理工学院哈佛大学） ； Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 研究探讨了大语言模型参数数量缩放对核心能力的影响，发现模型规模缩减会显著降低事实回忆能力，但对内省信息处理影响较小。

Journal ref The Twelfth International Conference on Learning Representations (ICLR), 2024

Difference-Aware Retrieval Policies for Imitation Learning

差异感知的模仿学习检索策略

Quinn Pfeifer, Ethan Pronovost, Paarth Shah, Khimya Khetarpal, Siddhartha Srinivasa, Abhishek Gupta

机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院） ； Toyota Research Institute（丰田研究所） ； Google DeepMind（谷歌DeepMind） ； Mila 纠错

AI总结 提出DARP，一种半参数检索式模仿学习方法，通过基于k近邻的局部邻域结构重参数化，解决行为克隆的分布外泛化问题，在连续控制和机器人操作任务中性能提升15-46%。

Comments 12 pages, 7 figures, 3 tables. Accepted to ICLR 2026. Code and demos available at https://weirdlabuw.github.io/darp-site/

Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models

大语言模型适配的实证隐私保护基准测试

Bartłomiej Marek, Lorenzo Rossi, Vincent Hanke, Xun Wang, Michael Backes, Franziska Boenisch, Adam Dziedzic

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心） 纠错

AI总结 通过系统变化适配数据分布，使用鲁棒成员推断和金丝雀数据提取攻击，评估差分隐私下大语言模型的实际隐私风险，发现分布偏移显著影响隐私脆弱性，LoRA等参数高效微调方法对分布外数据提供最佳实证保护。

Comments Accepted at ICLR 2026 (Oral)

BSTabDiff: Block-Subunit Diffusion Priors for High-Dimensional Tabular Data Generation

BSTabDiff: 用于高维表格数据生成的块-子单元扩散先验

Al Zadid Sultan Bin Habib, Md Younus Ahamed, Prashnna Gyawali, Gianfranco Doretto, Donald A. Adjeroh

机构 * West Virginia University（西弗吉尼亚大学） ； The University of Utah（犹他大学） 纠错

AI总结 针对高维低样本量表格数据，提出BSTabDiff框架，通过将特征划分为潜在块并使用共享低维子单元变量生成每个块，结合扩散先验和copula依赖，实现稳定合成与可控基准生成。

Comments Published as a paper at the 2nd DeLTa Workshop, ICLR 2026

Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model?

迷失在非凸损失景观中：如何微调大型时间序列模型？

Xu Zhang, Peang Wang, Wei Wang

机构 * Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Fudan University（复旦大学） 纠错

AI总结 针对预训练大型时间序列模型微调时因非凸损失景观导致过拟合的问题，提出平滑全微调（SFF）方法，通过随机初始化辅助模型插值平滑损失景观，提升可训练性，在八个代表性模型上取得一致改进。

Comments This paper has been accepted by The Fourteenth International Conference on Learning Representations (ICLR 2026). The code is available at the link \url{https://github.com/Meteor-Stars/SFF}

OrderDP: A Theoretically Guaranteed Lossless Dynamic Data Pruning Framework

OrderDP：一种理论上保证无损的动态数据剪枝框架

Chenhan Jin, Shengze Xu, Qingsong Wang, Fan Jia, Dingshuo Chen, Tieyong Zeng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港 Baptist大学） ； Guangzhou Nanfang College（广州南方学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Xiangtan University（湘潭大学） ； University of Utah（犹他大学） 纠错

AI总结 提出OrderDP框架，通过随机子集选取与top-q样本选择实现无偏梯度估计，提供收敛性和泛化性理论保证，在CIFAR和ImageNet上降低40%训练成本且保持精度。

Comments Published as a conference paper at ICLR 2026

Journal ref International Conference on Learning Representations (ICLR), 2026

Characterizing the Discrete Geometry of ReLU Networks

表征ReLU网络的离散几何

Blake B. Gaines, Jinbo Bi

机构 * University of Connecticut（康涅狄格大学） 纠错

AI总结 本文研究全连接ReLU网络线性区域构成的复形，证明其连通图平均度上界为输入维度的两倍，且直径上界与输入维度无关。

Comments Selected for an oral presentation at ICLR 2026. Tagged PDF, reviews, and discussions are available at https://openreview.net/forum?id=TgLW2DiRDG

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026