Nonparametric estimation of a factorizable density using diffusion models
非参数估计因子化密度的扩散模型
AI总结 本文提出利用扩散模型进行非参数密度估计，通过因子化结构实现高维数据的高效估计。
Comments Accepted for publication in the Journal of Machine Learning Research (JMLR)
期刊&会议
JMLR
Journal of Machine Learning Research · 期刊 · Machine Learning
Variational Inverting Network for Statistical Inverse Problems of Partial Differential Equations
变分反演网络用于偏微分方程的统计反问题
AI总结 变分反演网络通过结合无限维变分推断和深度生成模型，解决PDE反问题中的不确定性量化问题，实现高效后验推断。
Comments 61 pages
Journal ref Journal of Machine Learning Research, 24(201), 1--60, 2023
Calibration of conditional composite likelihood for Bayesian inference on Gibbs random fields
条件复合似然的校准用于Gibbs随机场的贝叶斯推断
AI总结 本文提出了一种校准方法，用于通过复合似然进行Gibbs随机场的贝叶斯推断，通过实例验证了该方法的有效性。
Comments JMLR Workshop and Conference Proceedings, 18th International Conference on Artificial Intelligence and Statistics (AISTATS), San Diego, California, USA, 9-12 May 2015 (Vol. 38, pp. 921-929). arXiv admin note: substantial text overlap with arXiv:1207.5758
Journal ref Proceedings of the Eighteenth International Conference on Artificial Intelligence and Statistics, PMLR 38:921-929, 2015
Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection
通过镜像下降优化注意力：广义最大边际标记选择
机构 * Massachusetts Institute of Technology（麻省理工学院） ； University of Pennsylvania（宾夕法尼亚大学）
AI总结 本文通过镜像下降优化注意力机制，提出了一种广义最大边际标记选择方法，展示了其在分类任务中的收敛性和泛化能力提升。
Comments Published at JMLR
Adaptive Swarm Mesh Refinement using Deep Reinforcement Learning with Local Rewards
基于深度强化学习的自适应群体网格细化
AI总结 本文提出基于深度强化学习的自适应群体网格细化方法，通过智能体协作实现高效优化，生成高适应性网格，提升复杂模拟的效率和精度。
Comments Submitted to Journal of Machine Learning Research (JMLR)
Contraction rates for sparse variational approximations in Gaussian process regression
高斯过程回归中稀疏变分近似收缩速率研究
AI总结 本文研究了高斯过程回归中稀疏变分近似的收缩速率，通过诱导变量方法推导出收缩速率的充分条件，并展示了三种协方差核下实现最优收缩速率的实验结果。
Comments 26 pages, 6 figures, 1 table
Journal ref Journal of Machine Learning Research 23(205), pages 1-26 (2022)
Stochastic-Constrained Stochastic Optimization with Markovian Data
具有马尔可夫数据的随机约束随机优化
AI总结 本文提出两种适用于马尔可夫链数据的随机约束优化算法，通过数值实验验证其在公平性约束分类中的有效性。
Journal ref Journal of Machine Learning Research 25 (2024) 1-69
Reinforcement Learning with Exogenous States and Rewards
具有外源状态和奖励的强化学习
机构 * Intercom Dublin（Intercom 布鲁姆斯贝克） ； Collaborative Robotics and Intelligent Systems (CoRIS) Institute（协同机器人与智能系统研究所） ； Oregon State University（俄勒冈州立大学）
AI总结 本文提出了一种分解外源与内源状态和奖励的方法，通过分离外源噪声以提升强化学习效率。
Comments Substantial rewrite to improve rigor and clarity in response to referee reports at JMLR
Relaxed Gaussian process interpolation: a goal-oriented approach to Bayesian optimization
放松的高斯过程插值：面向目标的贝叶斯优化方法
AI总结 本文提出了一种放松的高斯过程插值方法，用于改进贝叶斯优化中的预测分布，尤其在平稳性假设不适用时表现更优。
Journal ref Journal of Machine Learning Research, 2025, 26, pp.1-70
An Anytime Algorithm for Good Arm Identification
一种用于良好臂识别的任何时间算法
机构 * EPFL（洛桑联邦理工学院） ； Inria Lille（里尔大学研究所） ； Université Paris Cité（巴黎城市大学） ； Inserm（法国国家医学研究院） ； Université Sorbonne Paris Nord（巴黎北大学校） ； BioComp, Institut de Biologie de l’ENS (IBENS UMR 8197)（生物计算，巴黎高等师范学校生物研究所） ； Université Paris Cité, Inserm, NeuroDiderot, UMR-1141（巴黎城市大学，法国国家医学研究院，NeuroDiderot，UMR-1141） ； University of Rostock（罗斯托克大学）
AI总结 本文提出了一种用于良好臂识别的任何时间算法APGAI，该算法在固定预算和置信度设置下具有高效性和良好的实证性能。
Comments 90 pages, 23 figures, 14 tables. To be published in the Journal of Machine Learning Research
Bayesian score calibration for approximate models
贝叶斯分数校准用于近似模型
AI总结 本文提出了一种贝叶斯分数校准方法，通过优化近似后验变换来减少偏差并提升后验覆盖性能，适用于复杂模型的不确定性量化。
Comments Accepted for publication in JMLR
Generation of Geodesics with Actor-Critic Reinforcement Learning to Predict Midpoints
利用Actor-Critic强化学习生成测地线以预测中点
机构 * OMRON SINIC X Corporation（OMRON SINIC X公司）
AI总结 本文提出了一种基于Actor-Critic强化学习的方法，通过递归预测中点来生成测地线，以提高在复杂运动学和多自由度机器人臂规划中的性能。
Comments 17 pages with 8 pages of appendices and references, 9 figures
Journal ref Journal of Machine Learning Research, 26(212):1-36, 2025
On the Representation of Pairwise Causal Background Knowledge and Its Applications in Causal Inference
关于成对因果背景知识的表示及其在因果推断中的应用
机构 * Peking University（北京大学） ； Xiaomi Corporation（小米公司） ； Inspur Industrial Innovation (Shandong) Intelligent Manufacturing Co., Ltd.（Inspur工业创新（山东）智能制造有限公司） ； Renmin University of China（中国人民大学）
AI总结 本文提出通过直接因果子句（DCC）统一表示三种成对因果背景知识，并证明因果效应的可识别性仅依赖于分解的MPDAG。
Journal ref Journal of Machine Learning Research 26, 1-73 (2025)
Are Ensembles Getting Better all the Time?
集成方法是否一直在变好？
机构 * Université Côte d’Azur Inria, Maasai team Laboratoire J.A. Dieudonné, CNRS Nice, France（法国尼斯大学 Inria 马萨伊团队 贾斯廷-马克斯-威廉姆斯大学 贾斯廷-马克斯-威廉姆斯实验室，CNRS Nice, France） ； Julius-Maximilians-Universität Würzburg Institute for Computer Science / CAIDAS Würzburg, Germany（德国魏玛-雅各布-马克斯-威廉姆斯大学 计算科学研究所 / CAIDAS 魏玛, Germany）
AI总结 研究发现，当损失函数为凸函数时，集成方法随着模型数量增加而持续变好，非凸情况下则表现不同。
Comments Final JMLR version, see journal version at http://jmlr.org/papers/v26/24-0408.html
Journal ref Journal of Machine Learning Research, vol. 26 (201), 1-46, 2025
Scaling Capability in Token Space: An Analysis of Large Vision Language Model
令牌空间中的扩展能力：对大视觉语言模型的分析
机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； Key Laboratory of Intelligent Detection and the Internet of Things in Manufacturing, Ministry of Education（教育部智能制造智能检测与物联网重点实验室） ； Guangdong Provincial Key Laboratory of Intelligent Systems and Optimization Integration（广东省智能系统与优化集成重点实验室） ； Medical Science Data-driven Mathematics Team, RIKEN Center for Interdisciplinary Theoretical and Mathematical Sciences（RIKEN跨学科理论与数学科学中心医学科学数据驱动数学团队） ； Medical Data Mathematical Reasoning Special Team, RIKEN Center for Integrative Medical Sciences（RIKEN整合医学科学中心医学数据数学推理特别团队） ； Department of Artificial Intelligence Medicine, Chiba University（千叶大学人工智能医学系） ； Tensor Learning Team, RIKEN Center for Advanced Intelligence Project（RIKEN高级人工智能项目中心张量学习团队）
AI总结 本研究通过理论分析和实证验证，揭示了视觉语言模型在视觉令牌数量上的扩展规律，发现不同数量的视觉令牌对应不同的扩展模式，并提出了扩展指数与视觉令牌表示相关结构的关系。
Journal ref Journal of Machine Learning Research, volume 26, number 253, page 1--61, 2025
Minimax Optimal Two-Sample Testing under Local Differential Privacy
在局部差分隐私下两样本检验的最优化
AI总结 本文在局部差分隐私下提出两样本检验方法，通过隐私排列检验和自适应检验实现最小分离率，平衡隐私与统计效用。
Comments 66 pages, 6 figures, 1 table; added a graphical illustration of central and local differential privacy in Section 1, referenced the Python package, fixed typos, and changed the citation style
Journal ref Journal of Machine Learning Research 26(252):1-79, 2025
Extrapolation of Periodic Functions Using Binary Encoding of Continuous Numerical Values
使用连续数值的二进制编码进行周期函数外推
机构 * NASA（美国国家航空航天局）
AI总结 通过归一化基2编码，多层感知机能够无需先验知识外推多种周期信号，揭示了位相表示对信号结构学习的关键作用。
Comments Submitted to JMLR, under review
Sampling and estimation on manifolds using the Langevin diffusion
在流形上使用兰格vin扩散进行采样和估计
AI总结 本文提出了一种在流形上使用兰格vin扩散进行采样和估计的方法，推导了误差界并验证了其在不同曲率流形上的实用性。
Journal ref Journal of Machine Learning Research (JMLR) 26 (2025), 71:1-50
GLL: A Differentiable Graph Learning Layer for Neural Networks
GLL：一种用于神经网络的可微图学习层
机构 * Department of Mathematics University of California, Los Angeles（数学系，加州大学洛杉矶分校） ； Computing + Mathematical Sciences (CMS) Department California Institute of Technology（计算与数学科学系（CMS），加州理工学院） ； School of Mathematics University of Minnesota（数学系，明尼苏达大学）
AI总结 本文提出GLL，一种可微图学习层，用于神经网络中，通过整合相似性图构建和图拉普拉斯标签传播，提升分类任务的泛化能力和鲁棒性。
Comments 58 pages, 12 figures. Preprint. Submitted to the Journal of Machine Learning Research. v2: several new experiments, improved exposition
DeepCAVE: A Visualization and Analysis Tool for Automated Machine Learning
DeepCAVE: 用于自动化机器学习的可视化和分析工具
机构 * Leibniz University Hannover（汉诺威莱布尼茨大学） ； University of Freiburg（弗赖堡大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； L3S Research Center（L3S研究中心）
AI总结 DeepCAVE是一款用于自动化机器学习超参数优化的可视化分析工具，通过交互式仪表盘帮助用户探索优化过程并提升模型可解释性。
Journal ref Journal of Machine Learning Research (2025)
Hard-Constrained Neural Networks with Physics-Embedded Architecture for Residual Dynamics Learning and Invariant Enforcement in Cyber-Physical Systems
具有物理嵌入架构的硬约束神经网络：用于残差动态学习和不变量执行在信息物理系统中
机构 * Department of Informatics and Statistics Federal University of Santa Catarina（信息与统计系弗拉斯卡廷联邦大学）
AI总结 本文提出了一种具有物理嵌入架构的硬约束神经网络，用于在信息物理系统中学习残差动态并强制执行不变量，通过理论分析和实验验证展示了其高精度和数据效率，同时揭示了物理一致性、计算成本和数值稳定性之间的权衡。
Comments 41 pages (30 pages main text + 11 pages appendices), 3 figures, 8 tables. Submitted to JMLR
Decentralized Bilevel Optimization: A Perspective from Transient Iteration Complexity
去中心化双层优化：从瞬态迭代复杂度的角度视角
机构 * Center for Data Science, Peking University（北京大学数据科学中心） ； Center for Machine Learning Research, Peking University AI for Science Institute（北京大学人工智能科学研究院机器学习研究中心）
AI总结 本文提出D-SOBA框架，通过分析瞬态迭代复杂度，首次理论探讨了网络拓扑、数据异质性及嵌套双层结构对去中心化随机双层优化的影响。
Comments 64 pages. Accepted by Journal of Machine Learning Research (JMLR)
(De)-regularized Maximum Mean Discrepancy Gradient Flow
去正则化的最大均值差梯度流
机构 * University College London（伦敦大学学院） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Institut Polytechnique de Paris（巴黎理工学院）
AI总结 DrMMD流通过去正则化方法实现了最大均值差的梯度流，能够在连续和离散时间下保证近全局收敛，并以闭式形式仅使用样本进行实现。
Journal ref Journal of Machine Learning Research 2025
High Probability Convergence Bounds for Non-convex Stochastic Gradient Descent with Sub-Weibull Noise
非凸随机梯度下降在亚韦尔分布噪声下的高概率收敛界
AI总结 本文在不假设凸性的情况下，证明了非凸随机梯度下降在亚韦尔分布噪声下的高概率收敛界，并提出了一种选择单个迭代点的后处理方法。
Comments V6: a typo in Lemma 13 was corrected (the $\sup_{ω\inΩ}$ was missing) and details were added to some steps in the proof
Journal ref Journal of Machine Learning Research, 25(241):1-36, 2024
Naga: Vedic Encoding for Deep State Space Models
机构 * Institute for Information Processing (TNT)（信息处理研究所） ； Leibniz University Hannover（汉诺威莱布尼茨大学） ； L3S Research Center（L3S研究中心）
Comments submitted to JMLR
Batch Matrix-form Equations and Implementation of Multilayer Perceptrons
机构 * Eindhoven University of Technology（埃因霍温理工大学） ； University of Luxembourg（卢森堡大学）
Comments 32 pages; submitted to JMLR
Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization
Comments Minor updates and exposition improved. Added a section with more numerical experiments. 45 pages, comments welcome. To appear in Journal of Machine Learning research
Journal ref Journal of Machine Learning Research 2024, Volume 25, Number 239
Toward Understanding Convolutional Neural Networks from Volterra Convolution Perspective
Journal ref Journal of Machine Learning Research. 23 (2022) 1-50
Stochastic interior-point methods for smooth conic optimization with applications
机构 * Department of Mathematics, Linköping University, Sweden（林雪平大学数学系） ； Academy for Advanced Interdisciplinary Studies, Peking University, China（北京大学交叉学科研究院）
Comments Accepted by Journal of Machine Learning Research
The Causal Round Trip: Generating Authentic Counterfactuals by Eliminating Information Loss
机构 * School of Management, University of Science and Technology of China（管理学院，中国科学技术大学）
Comments 50 pages, 10 figures. Submitted to the Journal of Machine Learning Research (JMLR). Keywords: Causal Inference, Diffusion Models, Causal Information Conservation, Structural Causal Models, Counterfactual Generation, BELM, Structural Reconstruction Error
