JMLR

Architecture Before the Formula: Individuating Neural Architecture Beyond the Composite Map

几何注意力：一种针对Transformer注意力的显式操作语义

Luis F. Rosario Freytes

机构 * University of Michigan（密歇根大学） 纠错

AI总结 几何注意力提出了一种显式操作语义，通过四个独立输入定义注意力层，支持多头、混合核和计划锚等显式领域选择，实现注意力机制的原理性比较与扩展。

Comments 34 pages. Major reconstruction and retitling of the withdrawn previous version. The incorrect non-completability theorem and all dependent claims have been removed. The present version replaces the earlier operator-first development with an analysis of neural-architecture individuation and architecture under composition. Submitted to JMLR

The Matching Principle: When Does a Training Penalty Cover Deployment Shift?

匹配原则：面向干扰鲁棒表示学习的损失函数几何理论

Vishal Rajput

机构 * KU Leuven（根特大学） 纠错

AI总结 提出匹配原则，通过估计任务协方差矩阵并匹配惩罚矩阵的像空间，统一了多种鲁棒性方法，并在线性高斯模型中证明最优性。

Comments 51 pages. Journal-aligned revision of this preprint for JMLR. Title and abstract updated to the even-spread coverage framing. Same author, Matching Principle, and experimental lineage; not a new paper. Under submission at JMLR. Companion: arXiv:2604.21395

From Understanding Genetic Drift to a Smart-Restart Mechanism for Estimation-of-Distribution Algorithms

Weijie Zheng, Benjamin Doerr

Comments Extended version of our GECCO 2020 paper. This article supersedes arXiv:2004.07141

Journal ref Journal of Machine Learning Research 24 (2023) 1-40

SoftMCC: An MCC-Brier Calibration Bridge for Threshold-Free Model Selection under Class Imbalance

SoftMCC：用于类别不平衡下无阈值模型选择的MCC-Brier校准桥梁

Özkan Canay

机构 * Sakarya University（萨卡里亚大学） 纠错

AI总结 SoftMCC是一种用于类别不平衡二分类的无阈值模型选择框架，耦合MCC校准恒等式与共享池选择协议，在18种设置中稳定性排名最优，为校准敏感的MCC家族选择器。

Comments 28 pages, 4 figures. Submitted to the Journal of Machine Learning Research

The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data

伪标签在高维高斯混合数据上自训练线性分类器中的作用

Takashi Takahashi

AI总结 研究在高维高斯混合数据上自训练线性分类器中伪标签的作用，推导分析迭代ST行为，发现其依迭代次数不同提升泛化，标签不平衡时性能欠佳，提出两种启发式方法提升其性能。

Comments Accepted for publication in the Journal of Machine Learning Research (JMLR). Camera-ready version

Causal Falsification of Digital Twins

数字孪生的因果证伪

Rob Cornish, Muhammad Faaiz Taufiq, Arnaud Doucet, Chris Holmes

AI总结 本研究针对安全关键场景下数字孪生的准确性评估问题，提出仅需独立同分布观测轨迹数据的通用统计因果证伪方法，将其应用于Pulse生理引擎脓毒症建模，采用MIMIC-III数据集验证，可应对数据混杂问题。

Comments Accepted for publication in the Journal of Machine Learning Research (JMLR)

Supervised Learning Has a Geometric Blind Spot

监督学习具有一个必要的几何盲区：理论、后果和最小修复

Vishal Rajput

机构 * KU Leuven（卢森堡大学） 纠错

AI总结 监督学习存在几何盲区，导致对抗训练影响鲁棒性与清洁输入几何。本文通过理论分析揭示其本质，并提出PMH方法有效修复此问题。

Comments 35 pages. v2: JMLR-aligned revision of arXiv:2604.21395; Proposition 6 corrected to minimax (worst-case) anisotropy; title shortened to Supervised Learning Has a Geometric Blind Spot. Under submission at JMLR. Companion: arXiv:2605.22800

Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

探究原点之外齐次神经网络的梯度流动力学

Akshay Kumar, Jarvis Haupt

AI总结 本文研究齐次神经网络逃离原点后的梯度流动力学，刻画首个鞍点，证明特定条件下逃离前的稀疏结构会保留至下一个鞍点。

Comments jmlr-final-version

A neural network approach to learning solutions of a class of elliptic variational inequalities

一类椭圆变分不等式解学习的神经网络方法

Amal Alphonse, Michael Hintermüller, Alexander Kister, Chin Hang Lun, Clemens Sirotenko

AI总结 该研究提出一种弱对抗神经网络方法，将椭圆变分不等式类障碍问题转化为极小极大问题，采用改进的梯度下降上升算法求解，可处理传统方法难以应对的双活性障碍问题。

Comments Accepted in JMLR

Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies

基于机制稀疏性的非参数部分解缠：稀疏动作、干预与稀疏时间依赖关系

Sébastien Lachapelle, Pau Rodríguez López, Yash Sharma, Katie Everett, Rémi Le Priol, Alexandre Lacoste, Simon Lacoste-Julien

AI总结 本研究提出机制稀疏性正则化原理，建立非参数可识别性理论，提出基于变分自编码器的估计方法，实现部分解缠，可利用多节点未知目标干预实现解缠，是CLeaR 2022工作的大幅扩展版。

Comments JMLR 2026. 90 pages

Journal ref Journal of Machine Learning Research. 27(71):1-90, 2026

Deconvolution in unlinked linear models

未链接线性模型中的反卷积

Fadoua Balabdaoui, Antonio Di Noia, Cécile Durot

AI总结 本文研究了在未链接线性回归框架下非参数反卷积问题，提出了一种在Wasserstein距离下达到参数收敛速率的非参数估计器，且噪声平滑度不影响收敛速度。

Journal ref Journal of Machine Learning Research, 27(101):1-39, 2026

Keypoint-Guided Optimal Transport: Models, Algorithms, and Applications

关键点引导的最优传输：模型、算法及应用

Xiang Gu, Yucheng Yang, Wei Zeng, Jian Sun, Zongben Xu

AI总结 研究如何利用标注的关键点在最优传输中引导正确匹配，提出KPG-RL模型，在多种传输设置下开发并推导对偶公式，基于深度学习学习传输，开发新策略，应用于多领域并验证有效性。

Comments Accepted by JMLR

When Can Depth Replace Precision? A Resource Theory of Quantized Neural Computation

深度何时能取代精度？量化神经计算的资源理论

Mojtaba Soltanalian

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

AI总结 研究固定输入输出映射下低比特残差计算能否取代数值精度，通过建模量化残差系统刻画无限深度极限，得出纯调度接近松弛类的速率等结论，还探讨了多种相关情况，指出深度取代精度有条件限制。

Comments 141 pages, 26 figures, 15 tables. Includes complete proofs and documents the QReplace decision-support and Lean 4 verification companions. To be submitted to the Journal of Machine Learning Research

Are Flat Minima an Illusion?

平坦极小值是否只是一个幻觉？

Michael Timothy Bennett

机构 * School of Computing（计算学院） ； The Australian National University（澳大利亚国立大学） 纠错

AI总结 本文探讨了平坦极小值对泛化能力的影响，指出弱性才是关键因素，并通过实验验证了弱性与泛化能力的正相关关系。

Comments 27 pages, 1 figure. Major revision adds an affine-invariant joint completion score, PAC-Bayes certificates, a task-alignment theorem, three predeclared 100-network cohorts, a random-label control, and expanded references. Submitted to JMLR

Gradient Span Algorithms Make Predictable Progress in High Dimension

梯度跨度算法在高维中取得可预测进展

Felix Benning, Leif Döring

AI总结 研究梯度跨度算法在高维中的渐近确定性行为，此行为是随机二次函数和自旋玻璃类似结果的泛化，能解释机器学习模型训练的反直觉现象，自动机器学习社区借此避免超参数多次重试。

Journal ref Journal of Machine Learning Research 27, no. 121 (2026): 1-62. https://jmlr.org/papers/v27/25-1651.html

Symmetric Rank-$k$ Methods

对称秩-k方法

Chengchang Liu, Cheng Chen, Luo Luo

AI总结 本文提出了一种对称秩-k方法，用于改进块准牛顿方法的收敛速度，首次明确给出了超线性收敛速率，并展示了块BFGS和DFP方法的优越性能。

Comments Accepted by JMLR

Accelerating Constrained Sampling: A Large Deviations Approach

加速约束采样：大偏差方法

Yingli Wang, Changwei Tu, Xiaoyu Wang, Lingjiong Zhu

机构 * School of Mathematics, Shanghai University of Finance and Economics（上海财经大学数学学院） ； FinTech Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）金融科技学域） ； Department of Mathematics, Florida State University（佛罗里达州立大学数学系） 纠错

AI总结 本文提出通过大偏差原理分析约束采样中的Skew-Reflected非可逆 Langevin 采样方法，通过设计特定对称矩阵加速收敛并降低渐近方差。

Comments 59 pages, 15 figures

Journal ref Journal of Machine Learning Research 2026, Volume 27, Number 118, 1-61

Near-optimal Delta-convex Estimation of Lipschitz Functions

Lipschitz函数的近最优Delta-凸估计

Gábor Balázs

机构 * G&G 纠错

AI总结 本文针对从噪声观测中估计未知Lipschitz函数的问题，提出一种扩展最大仿射方法的算法。通过非线性特征扩展等技术，在随机设计设置下达到极小极大收敛速度。算法集成多种机制，还能适应凸形状受限回归，实验显示其性能优于其他理论方法。

Comments 41 pages, 7 figures

Journal ref Journal of Machine Learning Research, 27(134):1-41, 2026

Hierarchical Causal Models

分层因果模型

Eli N. Weinstein, David M. Blei

AI总结 研究数据分层情境下的因果推断问题，引入分层因果模型，开发图形识别技术与估计策略，通过模拟和实例分析表明分层数据能实现因果识别，解决非分层数据无法解决的问题。

Comments This version cleans up an issue in Prop. 15 in App. E.1. Supplementary code is available at https://github.com/EWeinstein/HCM

Journal ref Journal of Machine Learning Research, 27(37) 1-73, 2026

A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks

部分训练的三层神经网络的泛函空间平均场理论

Zhengdao Chen, Eric Vanden-Eijnden, Joan Bruna

机构 * Google Research（谷歌研究） ； Courant Institute, New York University（纽约大学Courant研究所） 纠错

AI总结 研究部分训练的三层神经网络无穷宽度极限，通过扩展平均场理论，将神经元表示提升到泛函空间，建立泛函梯度流，证明训练损失线性收敛，定义新型函数空间并证明复杂度界，适用于多种缩放选择，展现特征学习。

Comments 67 pages, 12 figures

Journal ref Journal of Machine Learning Research, 27(52):1-67, 2026

Approximation-Free Differentiable Oblique Decision Trees

无近似差分斜决策树

Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

机构 * College of Computing and Data Science Nanyang Technological University Singapore（南洋理工大学计算机与数据科学学院） 纠错

AI总结 本文提出DTSemNet，通过将硬斜决策树转化为神经网络，实现端到端训练，无需近似方法，在分类和回归中均取得优于现有差分决策树的性能。

Comments Accepted for publication in JMLR, Vol. 27, 2026

Journal ref JMLR 27(125):1-31, 2026

The Within-Orbit Adaptive Leapfrog No-U-Turn Sampler

轨道内适应性Leapfrog无U-turn采样器

Nawaf Bou-Rabee, Bob Carpenter, Tore Selland Kleppe, Sifan Liu

AI总结 本文提出WALNUTS，通过在轨道演化中固定时间间隔内适应Leapfrog步长，提升NUTS在多尺度后验分布中的采样效率和鲁棒性。

Comments for companion GitHub repo, see https://github.com/bob-carpenter/walnuts

Journal ref Journal of Machine Learning Research 27(113):1-64, 2026; https://www.jmlr.org/papers/v27/25-1452.html

Sparse topic modeling via spectral decomposition and thresholding

通过谱分解和阈值处理实现稀疏主题建模

Huy Tran, Yating Liu, Claire Donnat

AI总结 本文基于稀疏性假设，提出了一种新的谱方法估计主题词矩阵，证明其在高维情况下具有良好的误差界，且在不同参数 regime 中均有效。

Journal ref Journal of Machine Learning Research, 27(59):1-76, 2026

An Analysis of Posterior Collapse, Parameterization and Initialization in Variational Deep Gaussian Processes

变分深度高斯过程中的后验坍缩、参数化和初始化分析

Francisco Javier Sáez-Maldonado, Juan Maroñas, Daniel Hernández-Lobato

机构 * Department of Computer Science and Artificial Intelligence（计算机科学与人工智能系） ； Universidad de Granada（格拉纳达大学） ； Department of Quantitative Methods（定量方法系） ； CUNEF Universidad Madrid, Spain（CUNEF马德里大学, 西班牙） ； Department of Computer Science and Centro de Investigación Avanzada en Física Fundamental（计算机科学系和先进物理基础研究中心） ； Universidad Autónoma de Madrid（马德里自治大学） 纠错

AI总结 研究变分深度高斯过程的后验坍缩问题，发现线性先验均值函数的优势源于改善初始化时的优化条件，提出零先验均值的替代初始化方法，避免后验坍缩并提升稳定性。

Comments Submitted to the Journal of Machine Learning Research

Deep Network Approximation: Beyond ReLU to Diverse Activation Functions

深度网络近似：超越ReLU到多样化激活函数

Shijun Zhang, Jianfeng Lu, Hongkai Zhao

AI总结 本文研究了深度神经网络对多种激活函数的表达能力，证明了ReLU网络可通过特定激活函数网络近似，且在特定子集下可进一步减小规模参数。

Comments This arXiv version contains only minor typo corrections and small clarifications to improve readability

Journal ref Journal of Machine Learning Research, 25(35):1--39, 2024

Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination

通过逐层特征压缩与判别理解深度表示学习

Peng Wang, Xiao Li, Can Yaras, Zhihui Zhu, Laura Balzano, Wei Hu, Qing Qu

机构 * University of Michigan（密歇根大学） ； Ohio State University（俄亥俄州立大学） 纠错

AI总结 本文通过定义层内压缩和层间判别指标，理论证明深度线性网络在近正交输入和最小范数平衡低秩权重下，特征以几何率压缩、线性率判别，首次定量刻画深度线性网络的分层特征演化，并在非线性网络和迁移学习中验证。

Comments This paper has been accepted for publication in the Journal of Machine Learning Research

Impatient Bandits: Optimizing for the Long-Term Without Delay

不耐烦的赌博机：无需延迟地优化长期目标

Kelly W. Zhang, Thomas Baldwin-McDonald, Kamil Ciosek, Lucas Maystre, Daniel Russo

机构 * Imperial College London（帝国理工学院伦敦分校） ； University of Manchester（曼彻斯特大学） ； Spotify ； Reflection AI ； Columbia University（哥伦比亚大学） 纠错

AI总结 针对推荐系统中长期用户满意度优化问题，提出一种结合贝叶斯滤波的延迟奖励预测模型和赌博机算法，利用短期代理信号加速学习，理论证明遗憾界依赖于渐进反馈价值，在播客推荐A/B测试中显著优于基线方法。

Comments To appear in Journal of Machine Learning (JMLR)

Bayesian Model Averaging under Predictor Redundancy via Density-Ratio Posterior Compression

预测变量冗余下基于密度比后验压缩的贝叶斯模型平均

Hanqing Li, Xuewen Lu, Yuting Chen

机构 * Department of Mathematics and Statistics（数学与统计学系） ； University of Calgary（卡尔加里大学） ； Eastern Kentucky University（东部 Kentucky 大学） 纠错

AI总结 针对预测变量冗余导致后验质量分散的问题，提出通过密度比后验压缩生成硬或软支持区域报告，提供可计算的失真度量、诊断指标和误差界，实现用少量区域替代大量单个支持并保持主要后验信息。

Comments 48 pages, 6 figures. The manuscript uses the JMLR style file. Source code and reproducibility materials are available at https://github.com/lihanqing1997/bayesian-model-averaging-under-predictor-redundancy

Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions

打破维度诅咒：扩散模型高效学习低维分布

Peng Wang, Huijie Zhang, Zekai Zhang, Siyi Chen, Yi Ma, Qing Qu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 提出新数学框架，证明扩散模型通过等价于子空间聚类，能以线性于内在维度的样本复杂度学习低维分布，避免维度诅咒。

Comments 37 pages, 8 figures, 2 tables, JMLR publication

Scalable Inference-Time Annealing with Surrogate Likelihood Estimators

可扩展的推理时退火与代理似然估计器

Daniel Peñaherrera, Rishal Aggarwal, David Ryan Koes

机构 * CMU-Pitt PhD Program in Computational Biology Dept. of Computational & Systems Biology, University of Pittsburgh, Pittsburgh, PA 15260, USA（卡内基梅隆大学-匹兹堡联合博士项目 计算生物学部门 计算与系统生物学系，匹兹堡大学，匹兹堡，PA 15260，USA） 纠错

AI总结 提出可扩展推理时退火（SITA）方法，通过基于能量的模型实现快速代理似然，避免昂贵的散度计算，在丙氨酸二肽和三肽上取得最先进性能。

Comments 26 pages, 5 figures, submitted to JMLR 2026