Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架，通过固定曲率二次上界最小化结合外推，在保持低迭代成本的同时提升收敛速度，并成功应用于大规模核正则化学习，提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes
School of Mathematics and Computational Science, Xiangtan University（数学与计算机科学学院，湘潭大学）
针对深度网络训练中同步更新导致的收敛不稳定和高计算成本，提出具有可训练步长的随机交替最小化（SAMT），通过逐块交替更新和元学习自适应步长，实现更优泛化性能与更少参数更新。
2025-08-06 cs.LG
On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
循环块坐标下降型（CBCD型）方法，它执行迭代更新的几个坐标（块）同时在整个过程中，已显示出显着的计算性能，解决强凸极小化问题。典型的应用包括许多流行的统计机器学习方法，如弹性网络回归，岭惩罚逻辑斯谛回归和稀疏加法回归。现有的优化文献已经表明，对于强凸最小化，CBCD型方法达到$\mathcal{O}(p\log(1/ε))$的迭代复杂度，其中$ε$是目标值的预定精度，并且$p$是块的数量。然而，这样的迭代复杂度明确地取决于$p$，并且因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/ε))$至少差$p$倍。为了弥合这一理论差距，我们提出了一个改进的CBCD型方法的收敛性分析。特别是，我们首先表明，对于一个家庭的二次最小化问题，迭代复杂性$\mathcal{O}(\log^2(p)\cdot\log(1/ε))$的CBCD型方法相匹配的GD方法在$p$的依赖，高达$\log^2 p$的因素。因此，我们的复杂性边界比现有的边界至少清晰$p/\log^2(p)$的一个因素。我们还提供了一个下界，以确认我们的改进的复杂性边界是紧的（高达$\log^2 (p)$因子），假设Hessian矩阵的最大和最小特征值不与$p$缩放。最后，我们将我们的分析推广到其他强凸极小化问题以外的二次。
2017-11-22 cs.LG math.OC stat.ML
Global Convergence of Unmodified 3-Block ADMM for a Class of Convex Minimization Problems
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Minnesota（明尼苏达大学）
乘子的交替方向法（ADMM）由于其优越的实用性能而被成功地应用于求解结构凸优化问题。2-块ADMM的收敛性质在文献中已经被广泛研究。具体地说，它已被证明，2块ADMM全局收敛的任何惩罚参数$γ>0$。在这个意义上，2块ADMM允许参数自由，即，在实现该算法时不需要限制参数的值以确保收敛。然而，对于3块ADMM，Chen \etal \cite{Chen-admm-failure-2013}最近构造了一个反例，表明如果不施加进一步的条件，它可以发散。已有的关于保证3-块ADMM收敛的充分条件的研究结果通常要求$γ$小于某个界，而这个界要么很难计算，要么太小而不能使其成为一个实用的算法.在本文中，我们证明了3-块ADMM在任意罚参数$γ>0$下仍然全局收敛，如果目标函数中的第三个函数$f_3$是光滑的，强凸的，并且它的条件数在$[1,1.0798)$中，以及其它一些温和的条件.这一要求涵盖了一类重要的问题，在本文中被称为正则化最小二乘分解（RLSD）。
2018-01-17 cs.LG math.OC stat.ML
Randomized block proximal damped Newton method for composite self-concordant minimization
Simon Fraser University（西蒙弗雷泽大学）
本文考虑复合自协调极小化问题，即极小化一个自协调函数$f$和一个（可能是非光滑的）真闭凸函数$g$的和. CSC极小化是路径跟踪内点法求解一类广泛的凸优化问题的基础。它在机器学习中也有许多应用。近端阻尼牛顿（PDN）方法已经在文献中得到了很好的研究，以解决这个问题，享受一个很好的迭代复杂度。考虑到在每次迭代时，这些方法通常需要评估或访问$f$的Hessian，并且还需要求解一个近似牛顿子问题，因此当应用于大规模问题时，每次迭代的成本可能非常高。受最近成功的块坐标下降法的启发，我们提出了一个随机块邻近阻尼牛顿（RBPDN）方法来解决CSC最小化。与PDN方法相比，RBPDN每次迭代的计算成本通常显著降低。对一类正则化逻辑斯谛回归问题的计算实验表明，RBPDN确实有希望解决大规模CSC极小化问题。文中还分析了RBPDN的收敛性。特别是，我们证明了RBPDN是全局收敛时，$g$是Lipschitz连续的。它也表明RBPDN享有局部线性收敛。此外，我们证明了对于一类$g$，包括$g$是Lipschitz可微的情形，RBPDN具有全局线性收敛.作为一个惊人的结果，它表明，经典的阻尼牛顿法[22，40]和PDN [31]这样的$g$是全局线性收敛，这是以前未知的文献。此外，这个结果可以用来锐化这些方法的现有迭代复杂度。
2016-07-01 cs.LG cs.NA math.NA
Faster Low-Rank Approximation and Kernel Ridge Regression via the Block-Nyström Method
Computer Science and Engineering, University of Michigan（计算机科学与工程系，密歇根大学）
本文提出Block-Nyström算法，通过在Nyström方法中引入块对角结构降低计算成本，用于改进二阶优化预条件子和高效求解核岭回归，并在相同预算下获得更强的谱尾部估计。
2025-07-19 cs.DS cs.LG
A Unifying View of Multiple Kernel Learning
University of California, Berkeley（加州大学伯克利分校）
最近对多核学习的研究已经导致了许多在正则化风险最小化中组合核的方法。所提出的方法包括不同的目标公式和不同的正则化策略。在本文中，我们提出了一个统一的通用多核学习的优化标准，并展示了如何将现有的配方作为特殊情况。我们还导出了该准则的对偶表示，它适用于一般的光滑优化算法。最后，我们评估多核学习在这个框架中分析使用拉德马赫复杂度的泛化误差和经验上的一组实验。
2010-05-04 cs.LG stat.ML
Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑潜在的非凸优化问题，其中最佳逼近率取决于参数空间的维数和函数的光滑性进行优化。在本文中，我们提出了一种算法，实现接近最优的先验计算保证，同时也提供了最优性的后验证书。我们的一般配方建立在无限维平方和和傅立叶分析，并实例化的多元周期函数的最小化。
2022-04-11 cs.LG math.OC
Kernelized Heterogeneous Risk Minimization
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）
在分布变化下的泛化能力对于可靠的机器学习至关重要，而使用经验风险最小化优化的模型通常在非$i.i.d$测试数据上失败。最近，不变量学习方法的分布外（OOD）推广建议找到因果不变的关系与多个环境。然而，现代数据集经常是多源的，没有明确的源标签，使得许多不变学习方法不适用。本文提出了核异构风险最小化（KerHRM）算法，该算法在核空间实现了潜在异构性探索和不变学习，并通过指定不变梯度方向反馈给原神经网络。我们从理论上证明我们的算法和经验验证我们的算法的有效性与广泛的实验。
2021-10-24 cs.LG
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
On regularization for a convolutional kernel in neural networks
China University of Geosciences（中国地质大学）；University of Kentucky（肯塔基大学）
卷积神经网络是深度学习中的一种重要模型。为了避免梯度爆炸/消失问题并且为了提高神经网络的可推广性，期望具有几乎保持范数的卷积运算，或者具有对应于围绕$1$定界的卷积核的变换矩阵的奇异值。我们提出了一个惩罚函数，可以用于卷积神经网络的优化，以约束周围的$1$的变换矩阵的奇异值。我们推导出一种算法来根据卷积核对该罚函数进行梯度下降最小化。数值算例验证了该方法的有效性。
2019-06-21 cs.LG cs.NA math.NA
RFN: A Random-Feature Based Newton Method for Empirical Risk Minimization in Reproducing Kernel Hilbert Spaces
Northeastern University（东北大学）
在使用核方法的监督学习中，我们经常遇到再生核希尔伯特空间（RKHS）上的大规模有限和极小化问题。大规模的有限和问题可以使用牛顿法的有效变体来解决，其中Hessian通过数据的子样本来近似。然而，在RKHS中，惩罚函数对内核的依赖使得标准的子采样方法不适用，因为gram矩阵不容易以低秩形式获得。在本文中，我们观察到，对于这类问题，人们可以很自然地使用核近似来加速牛顿方法。针对核函数逼近的随机特性，提出了一种新的二阶算法，该算法具有局部超线性收敛性和全局线性收敛性（具有高概率）。我们推导出理论上的下界的随机特征的数量所需的近似Hessian接近真正的Hessian在规范意义上。我们对真实数据的数值实验验证了我们的方法相比，几个基准的效率。
2022-06-06 cs.LG stat.ML
Enhancing Diversity in Bayesian Deep Learning via Hyperspherical Energy Minimization of CKA
Oregon State University（俄勒冈州立大学）；Horizon Robotics（地平线机器人）
针对贝叶斯深度学习中朴素相似性度量的缺陷，提出基于CKA特征核结合超球能量的优化方法，解决梯度消失问题并提升训练稳定性，在离群检测的不确定性量化任务上效果优于基线。
2024-10-31 cs.LG
Clustering in Partially Labeled Stochastic Block Models via Total Variation Minimization
Aalto University（阿尔托大学）
数据分析的一个主要任务是将数据点组织成连贯的组或簇。随机块模型是一种描述团簇结构的概率模型。该模型规定了不同的概率为一个集群内和不同的集群之间的边缘的存在。我们假设每个聚类中至少有一个数据点的聚类分配是已知的。在这种部分标记的随机块模型中，聚类相当于估计剩余数据点的聚类分配。我们研究总变差最小化作为这个聚类任务的方法。我们实现的聚类算法作为一个高度可扩展的消息传递协议。我们还提供了一个条件的模型参数，使总变差最小化允许准确的聚类。
2020-09-23 cs.LG stat.ML
On the Fine-Grained Complexity of Empirical Risk Minimization: Kernel Methods and Neural Networks
MIT（麻省理工学院）
经验风险最小化（ERM）在机器学习中无处不在，并且是大多数监督学习方法的基础。虽然已经有大量的工作，各种ERM问题的算法，确切的计算复杂性的ERM仍然没有被理解。我们解决这个问题的多个流行的ERM问题，包括内核支持向量机，内核岭回归，并训练神经网络的最后一层。特别是，我们给这些问题的复杂性理论假设的基础上，如强指数时间假设的条件硬度结果。在这些假设下，我们表明，有没有算法，解决上述ERM问题的高精度次二次时间。我们也给出了类似的硬度结果计算梯度的经验损失，这是主要的计算负担，在许多非凸学习任务。
2017-04-10 cs.CC cs.DS cs.LG
Multiple Kernel Clustering with Dual Noise Minimization
National University of Defense Technology（国防科技大学）
聚类是一种典型的无监督方法，广泛应用于多模态、多视角的场景。多核聚类（MKC）的目的是通过整合来自基本核的互补信息来对数据进行分组。作为一个代表，晚融合MKC首先将核分解成正交划分矩阵，然后从它们学习一个共识，最近取得了很好的性能。然而，这些方法未能考虑划分矩阵内的噪声，阻碍了聚类性能的进一步提高。我们发现，噪声可以分解为可分离的对偶部分，即N-噪声和C-噪声（空间噪声和列空间噪声）。在本文中，我们严格定义了对偶噪声，并提出了一种新的无参数MKC算法，通过最小化他们。为了解决由此产生的优化问题，我们设计了一个有效的两步迭代策略。据我们所知，这是第一次在核空间中研究分区内的对偶噪声。我们观察到，双噪声会污染块对角结构，导致聚类性能的退化，并且C噪声比N噪声具有更强的破坏性。由于我们的有效机制，以最大限度地减少双重噪声，该算法超越了最近的方法大幅度。
2022-07-13 cs.AI cs.LG
Kernel-Based Models for Influence Maximization on Graphs based on Gaussian Process Variance Minimization
University of Napoli（那不勒斯大学）；University of Padova（帕多瓦大学）；Bruno Kessler Foundation（布鲁诺·凯斯勒基金会）
新知识的推理，隐藏模式的发现，以及从来自多种来源的大量数据中发现见解，使数据科学（DS）成为一门艺术，而不仅仅是一门科学学科。能够分析信息的数学模型的研究和设计代表了DS的中心研究课题。在这项工作中，我们介绍和研究一种新的模型，影响力最大化（IM）的图形使用基于核的近似，高斯过程回归，和相应的方差项的最小化的想法。可以应用数据驱动的方法来确定该IM模型的适当内核，并且采用机器学习方法来调整模型参数。与依赖于昂贵的蒙特卡罗模拟的该领域的随机模型相比，我们的模型允许一个简单且具有成本效益的更新策略来计算图上的最佳影响节点。在几个数值实验中，我们展示了这个新模型的属性和好处。
2021-03-02 cs.LG cs.NA math.NA
An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization
Huawei Belgium Research Center（华为比利时研究中心）；HCMC University of Education（胡志明市教育大学）；University of Mons（蒙斯大学）
本文介绍了一种新的求解非光滑非凸优化问题的惯性块优化极小框架TITAN。据我们所知，TITAN是块坐标更新方法的第一个框架，它依赖于优化-最小化框架，同时将惯性力嵌入到块更新的每一步。惯性力是通过一个外推算子，其中包括重球和Nesterov型加速度块近端梯度法作为特殊情况。通过选择各种替代函数，如近端，Lipschitz梯度，Bregman，二次和复合替代函数，并通过改变外推算子，TITAN产生了丰富的惯性块坐标更新方法。我们研究了TITAN生成序列的子序列收敛性和整体收敛性。我们说明了TITAN的有效性上两个重要的机器学习问题，即稀疏非负矩阵分解和矩阵完成。
2022-09-20 cs.LG eess.SP math.OC
Taxonomy of Dual Block-Coordinate Ascent Methods for Discrete Energy Minimization
University of Heidelberg（海德堡大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们考虑离散图形模型中的最大后验推理问题，并研究基于对偶块坐标上升规则的求解器。我们将所有现有的求解器映射到一个框架中，以便更好地理解它们的设计原理。我们从理论上证明了一些块优化更新是次优的，以及如何严格改进它们。在各种各样的问题的情况下，不同的图形连接，我们研究现有的求解器的性能，以及新的变种，可以在框架内获得。作为这种探索的结果，我们建立了一个新的国家的最先进的求解器，执行均匀更好的整个范围内的测试实例。
2020-04-16 cs.LG stat.ML
A Representer Theorem for Hawkes Processes via Penalized Least Squares Minimization
NTT, Inc.（日本电报电话公司）
本文提出了一种基于惩罚最小二乘法的Hawkes过程代表定理，通过转换核和固定dual系数，提高了大规模数据处理效率和预测准确性。
2026-02-05 cs.LG stat.ML
A Learned Proximal Alternating Minimization Algorithm and Its Induced Network for a Class of Two-block Nonconvex and Nonsmooth Optimization
Department of Mathematics, University of Florida, Gainesville, FL 32611, USA（佛罗里达大学数学系）
本文提出了一种学习的近端交替最小化算法及其诱导网络，用于解决双块非凸非光滑优化问题，通过残差学习架构和块坐标下降方法实现高效收敛。
2024-11-10 cs.LG math.OC
Block-wise Minimization-Majorization algorithm for Huber's criterion: sparse learning and applications
Aalto University（阿尔托大学）
Huber准则可用于线性模型中回归参数和尺度参数的稳健联合估计。Huber（Huber，1981）引入该准则的动机源于联合极大似然目标函数的非凸性以及相关尺度ML估计的非鲁棒性（无界影响函数）。在本文中，我们说明了如何由Huber提出的原始算法可以设置在块最小化优化框架。此外，我们提出了新的数据自适应步长的位置和规模，这是进一步提高收敛。然后，我们说明如何Huber的标准可以用于稀疏学习欠定线性模型使用迭代硬阈值的方法。我们说明了有用的算法在图像去噪的应用和仿真研究。
2020-08-25 cs.LG stat.ME stat.ML
Modeling a Hidden Dynamical System Using Energy Minimization and Kernel Density Estimates
The Pennsylvania State University（宾夕法尼亚州立大学）
在本文中，我们开发了一个核密度估计（KDE）的方法来建模和预测经常性的轨迹上的一个紧凑的流形。为了本文的目的，轨迹是由潜在的隐藏动力系统定义的相空间中的坐标序列。我们的工作受到早期使用KDE使用高密度，高质量的自动信息系统（AIS）数据检测航运异常的工作以及我们自己早期在轨迹建模方面的工作的启发。我们专注于稀疏，嘈杂的轨迹重建问题，其中的数据是（i）稀疏采样和（ii）受到一个不完美的观察，引入噪声。在一定的规律性假设下，我们证明了所构造的估计最小化特定的能量函数定义的轨迹作为获得的样本数量的增长。
2019-07-30 cs.LG cs.NA math.DS
Value Function Approximations via Kernel Embeddings for No-Regret Reinforcement Learning
Boston University（波士顿大学）；The University of Sydney（悉尼大学）
我们考虑情景情境下的强化学习（RL）中的后悔最小化问题。在许多现实世界的RL环境中，状态和动作空间是连续的或非常大的。现有的方法建立遗憾的保证，无论是低维表示的随机过渡模型或近似的$Q$ -功能。然而，对状态-价值函数的函数近似方案的理解在很大程度上仍然缺失。在本文中，我们提出了一个在线的基于模型的RL算法，即CME-RL，学习表示的过渡分布作为嵌入在再生核希尔伯特空间，同时仔细平衡开发探索权衡。我们证明了我们的算法的效率，通过证明一个频率论（最坏情况下）的遗憾界是为了$\tilde{O}\big(Hγ_N\sqrt{N}\big)$ \footnote{ $\tilde{O}(\cdot)$ hides only absolute constant and poly-logarithmic factors.}，其中$H$是情节长度，$N$是时间步的总数和$γ_N$是一个信息理论量有关的有效尺寸的状态-动作特征空间。我们的方法绕过了估计转移概率的需要，并适用于可以定义内核的任何域。它也带来了新的见解核方法的近似推理和RL遗憾最小化的一般理论。
2022-06-28 cs.LG
Kernel Density Estimation by Stagewise Algorithm with a Simple Dictionary
Hyogo University of Health Sciences（兵库医疗大学）；Chiba University（千叶大学）
本文提出了基于$U$ -散度和一个简单字典的多变量核密度估计的阶段最小化算法。该字典由一个合适的标量带宽矩阵和一部分原始数据组成。由此产生的估计给我们带来了数据自适应的加权参数和带宽矩阵，并实现了核密度估计的稀疏表示。我们开发的非渐近误差界估计通过建议的阶段最小化算法。模拟研究证实，该估计量的性能与其他已知的密度估计量相比具有竞争力或更好。
2021-08-10 cs.LG stat.CO stat.ME
Block Majorization Minimization with Extrapolation and Application to $β$-NMF
Acapela Group（Acapela集团）；Institute of data sciences（数据科学研究所）；Faculty of Engineering（工程学院）；University of Mons（蒙斯大学）；Department of Mathematics and Operational Research（数学与运筹学系）
本研究提出带自适应外推的块优化最小化方法BMMe，证明其收敛性，将其用于设计带收敛保证的β-NMF乘性更新算法，并通过实验验证了显著的加速效果。
2025-04-15 cs.LG cs.NA eess.SP
FedFrozen: Two-Stage Federated Optimization via Attention Kernel Freezing
The University of Hong Kong（香港大学）
本文提出FedFrozen框架，通过两阶段训练冻结注意力核中的查询/键模块，提升异构联邦学习中Transformer模型的稳定性和效果。
2026-05-07 cs.LG
Large Scale Kernel Learning using Block Coordinate Descent
UC Berkeley（加州大学伯克利分校）
我们证明了分布式块坐标下降可以快速解决数百万数据点的核回归和分类问题。有了这种能力，我们进行了全面的内核，Nyström方法，并从不同领域的三个大型分类任务的随机特征之间的彻底比较。我们的研究结果表明，Nyström方法通常比随机特征实现更好的统计准确性，但可能需要更多的优化迭代。最后，我们推导出新的速率块坐标下降，支持我们的实验结果时，专门的内核方法。
2016-02-17 cs.LG math.OC stat.ML
MAP inference via Block-Coordinate Frank-Wolfe Algorithm
MPI for Informatics（马克斯·普朗克信息学研究所）；IST Austria（奥地利科学技术研究所）
提出了一种新的用于结构能量最小化问题的最大后验概率（MAP）推理的邻近束方法。该方法优化了拉格朗日松弛的原始能量最小化问题，使用多平面块坐标Frank-Wolfe方法，利用拉格朗日分解的特定结构。我们的经验表明，我们的方法优于一些具有挑战性的马尔可夫随机场，多标签离散断层扫描和图形匹配问题的最先进的拉格朗日分解为基础的算法。
2019-04-05 cs.AI cs.LG stat.ML
Activation Compression of Graph Neural Networks using Block-wise Quantization with Improved Variance Minimization
University of Copenhagen（哥本哈根大学）
本文提出基于分块量化的改进EXACT策略，通过修正激活分布假设和优化方差估计，在保持性能的同时进一步降低GNN内存消耗并提升训练速度。
2024-01-16 cs.LG stat.ML
Tuning Sequential Monte Carlo Samplers via Greedy Incremental Divergence Minimization
University of Pennsylvania（宾夕法尼亚大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种通过最小化递增KL分歧来调整SMC采样器马尔可夫核的通用框架，适用于Langevin Monte Carlo等内核，并展示了其在调节动能LMC中的应用。
2025-12-09 cs.LG stat.CO stat.ML
Distributed Submodular Minimization via Block-Wise Updates and Communications
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）
在本文中，我们处理网络的计算代理与本地处理和相邻的通信能力，旨在解决（没有任何中央单元）的子模块最优化问题。费用函数是许多局部次模函数的和，并且网络中的每个代理仅可以访问和中的一个函数。在这种\emph{distributed}设置中，为了保护自己的隐私，代理与邻居通信，但不共享其本地费用函数。我们提出了一种分布式算法，在该算法中，代理诉诸Lovàsz扩展其本地次模函数和执行本地更新和通信的整个优化变量的单块。通过贪婪算法执行更新，该算法仅运行到计算出所选块为止，从而导致计算负担减少。所提出的算法收敛于期望值的最优成本的问题，和一个近似解的子模块化问题的阈值操作检索。作为一个应用程序，我们考虑分布式图像分割问题，其中每个代理只能访问整个图像的一部分。虽然代理不能分割整个图像本身，他们正确地完成任务，通过合作，通过提出的分布式算法。
2020-05-25 cs.LG math.CO math.OC
ALMA: Alternating Minimization Algorithm for Clustering Mixture Multilayer Network
University of Central Florida（中佛罗里达大学）
本文考虑了一种混合多层随机块模型（MMLSBM），该模型将多层网络划分为多个相似的网络组，每个网络组中的网络具有不同的随机块模型。目标是将多层网络划分为相似层的集群，并识别这些层中的社区。Jing等人（2020）介绍了MMLSBM，并开发了一种基于正则化张量分解的聚类方法TWIST。本论文提出了一种不同的技术，交替最小化算法（ALMA），其目的是在同时恢复的层分区，连同不同层的连接概率的矩阵的估计。与TWIST相比，ALMA在理论和数值上都具有更高的精度。
2021-10-13 cs.LG math.ST stat.ML
Schrödinger bridge problem via empirical risk minimization
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（俄罗斯高等经济学院）
本文提出通过经验风险最小化求解薛定谔桥问题，改写系统为非线性不动点方程并估计正变换势能，结合随机控制生成样本。
2026-02-09 cs.LG math.PR math.ST
Block Basis Factorization for Scalable Kernel Matrix Evaluation
Stanford University（斯坦福大学）；Duke University（杜克大学）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
核方法广泛应用于机器学习中，但是，它们受到核矩阵的构造、应用和存储的二次复杂性的限制。低秩矩阵近似算法被广泛用于解决这个问题，并降低了运算和存储成本。然而，我们观察到，对于一些具有广泛的类内变异性的数据集，较小类的最佳核参数会产生一个矩阵，该矩阵不太适合低秩方法。在本文中，我们提出了一种有效的结构化低秩近似方法-块基分解（BBF）-及其快速构造算法来近似径向基函数（RBF）核矩阵。我们的方法具有线性内存成本和浮点运算的许多机器学习内核。BBF适用于广泛的内核带宽参数，并显着扩展了低秩近似方法的适用范围。我们的实证结果表明，稳定性和优越性的最先进的核近似算法。
2021-05-04 cs.LG cs.NA math.NA
High-Performance Deep Learning via a Single Building Block
Intel Corporation（英特尔公司）
深度学习（DL）是机器学习最重要的分支之一。由于DL工作负载的巨大计算成本，工业界和学术界已经为每个工作负载/架构开发了具有高度专业化内核的DL库，从而产生了大量复杂的代码库，这些代码库致力于性能，但它们难以维护并且无法推广。在这项工作中，我们介绍了批量减少GEMM内核，并显示如何最流行的DL算法可以制定与此内核作为基本的构建块。因此，DL库开发退化为仅仅（可能是自动的）围绕这个唯一优化的内核进行循环调优。通过利用我们的新内核，我们实现了递归神经网络，卷积神经网络和多层感知器训练和推理原语在短短3 K行的高级代码。我们的原语在多节点CPU集群上的性能优于供应商优化的库，我们还提供针对GPU的概念验证CNN内核。最后，我们证明了张量编译器中的批处理减少GEMM内核产生高性能的CNN原语，进一步放大了我们的方法的可行性。
2019-06-18 cs.DC cs.LG stat.ML
B-tests: Low Variance Kernel Two-Sample Tests
Center for Visual Computing（视觉计算中心）；École Centrale Paris（巴黎中央理工学院）；Gatsby Unit（盖茨比单元）；University College London（伦敦大学学院）；Équipe GALEN（GALEN团队）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）
介绍了一类最大均值差异（MMD）核两样本检验。检验家族的成员被称为块检验或B检验，因为检验统计量是在样本子集上计算的MMD的平均值。块大小的选择允许控制测试功率和计算时间之间的权衡。在这方面，$B$-测试族结合了先前提出的MMD双样本测试的有利特性：B-测试比线性时间测试更强大，其中块只是样本对，但它们比二次时间测试更有效，其中使用包含所有样本的单个大块来计算U-统计量。B检验的另一个重要优点是它们的渐近正态零分布：这与U统计量相反，U统计量在零假设下退化，并且零分布的估计需要计算。最近的结果核选择的假设检验无缝转移到B-检验，产生一种方法来优化测试电源通过内核的选择。
2014-02-10 cs.LG stat.ML
ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；School of Software, Tsinghua University（清华大学软件学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究所）；WMG Data Science, University of Warwick（华威大学WMG数据科学部）
由于在给定应用程序的上下文中设计适当的卷积神经网络（CNN）架构通常涉及繁重的人力工作或大量的GPU时间，研究界正在征求架构中立的CNN结构，它可以轻松地插入到多个成熟的架构中，以提高我们现实世界应用程序的性能。我们提出了非对称卷积块（ACB），这是一种架构中立的结构作为CNN构建块，它使用1D非对称卷积来增强平方卷积核。对于现成的架构，我们用ACB替换标准的平方核卷积层来构建非对称卷积网络（ACNet），它可以经过训练以达到更高的准确度。在训练之后，我们将ACNet等效地转换为相同的原始架构，因此不再需要额外的计算。我们已经观察到，ACNet可以明显提高CIFAR和ImageNet上各种模型的性能。通过进一步的实验，我们将ACB的有效性归因于其增强模型对旋转失真的鲁棒性和加强平方卷积核的中心骨架部分的能力。
2019-08-31 cs.CV cs.LG cs.NE
LKD-Net: Large Kernel Convolution Network for Single Image Dehazing
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于深度卷积神经网络（CNN）的单幅图像去雾方法取得了显著的成功。以前的方法致力于通过增加网络的深度和宽度来提高网络的性能。目前的方法集中在增加卷积核的大小，以提高其性能，受益于更大的感受野。然而，直接增加卷积核的大小会引入大量的计算开销和参数。因此，本文设计了一种新的大核卷积去雾块（LKD块），该块由分解深度大核卷积块（DLKCB）和信道增强前馈网络（CEFN）组成。设计的DLKCB可以在不引入大量参数和计算开销的情况下，将深度方向的大核卷积分解为较小的深度方向卷积和深度方向的扩张卷积。同时，所设计的CEFN将信道注意力机制引入前馈网络，以利用重要信道，增强鲁棒性。通过组合多个LKD块和上下采样模块，进行大核卷积去雾网络（LKD-Net）。在SOTS室内数据集上，LKD-Net的#Param和FLOP分别只有1.79%和48.9%，显著优于基于Transformer的Dehamer方法。我们的LKD-Net的源代码可以在https://github.com/SWU-CS-MediaLab/LKD-Net上找到。
2022-09-05 cs.CV cs.LG
Omni-Scale CNNs: a simple and effective kernel size configuration for time series classification
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Google（谷歌）；University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
接收场（RF）的大小一直是一维卷积神经网络（1D-CNN）在时间序列分类任务中最重要的因素之一。人们已经做出了很大的努力来选择合适的大小，因为它对性能有很大的影响，并且对于每个数据集都有很大的不同。在本文中，我们提出了一个用于1D-CNN的Omni-Scale块（OS块），其中内核大小由一个简单而通用的规则决定。特别地，它是一组内核大小，可以通过根据时间序列的长度由多个素数组成来有效地覆盖不同数据集的最佳RF大小。实验结果表明，具有OS块的模型可以实现与具有搜索到的最佳RF大小的模型相似的性能，并且由于强大的最佳RF大小捕获能力，具有OS块的简单1D-CNN模型在四个时间序列基准上实现了最先进的性能，包括来自多个域的单变量和多变量数据。全面的分析和讨论揭示了为什么OS块可以在不同的数据集上捕获最佳的RF大小。代码可用[https：//github.com/Wensi-Tang/OS-CNN]
2022-06-17 cs.LG stat.ML
KRNET: Image Denoising with Kernel Regulation Network
University of Florida（佛罗里达大学）；Sun Yat-Sen University（中山大学）
图像去噪的一种流行策略是设计一个广义正则化项，该项能够探索隐含的先验底层数据观测。卷积神经网络（CNN）已经显示出通过由输入上的内核（滤波器）的组合定义的层的堆栈来学习图像先验信息的强大能力。然而，现有的基于CNN的方法主要集中在合成灰度图像。这些方法在处理多通道彩色图像去噪时仍然表现出较低的性能。在本文中，我们通过开发核调节模块来优化CNN正则化能力。特别地，我们提出了一种核调节网络块，简称KR块，它综合了大核和小核的优点，可以有效地估计特征，解决图像去噪问题。我们通过连接多个KR块来构建一个基于CNN的深度去噪器，称为KRNET。我们评估KRNET加性高斯白噪声（AWGN），多通道（MC）噪声和现实噪声，其中KRNET获得显着的性能增益超过国家的最先进的方法在广泛的噪声水平。
2019-10-20 cs.CV cs.LG eess.IV
Alternating minimization algorithm with initialization analysis for r-local and k-sparse unlabeled sensing
Iowa State University（爱荷华州立大学）；Tufts University（塔夫茨大学）
该研究针对无标签感知这一带置换测量的线性逆问题，提出适配k-稀疏与r-局部两类置换模型的带初始化交替最小化算法，推导了初始化误差界，实验验证其高效、鲁棒且在真实数据集的关联回归任务上优于基线方法。
2024-12-12 cs.IT cs.LG eess.SP
A Parallel Best-Response Algorithm with Exact Line Search for Nonconvex Sparsity-Regularized Rank Minimization
University of Luxembourg（卢森堡大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文针对不可微非凸稀疏正则秩极小化问题，提出了一种基于精确线搜索的收敛并行最佳反应算法。一方面，它表现出比次梯度算法和块坐标下降算法更快的收敛性。另一方面，它的收敛到一个稳定点是有保证的，而ADMM算法只收敛于凸问题。此外，在所提出的算法中，精确的线搜索过程中有效地进行封闭形式，以避免细致的选择的步长，这是一个共同的瓶颈，然而，在次梯度算法和连续凸近似算法。最后，对算法进行了数值验证.
2017-11-13 cs.DC cs.LG stat.ML
A Neural Network-enhanced Reproducing Kernel Particle Method for Modeling Strain Localization
University of California, San Diego（加州大学圣地亚哥分校）
在受损固体中对局部强烈变形进行建模需要高度精细的离散化以进行准确预测，这显著增加了计算成本。虽然可以采用自适应模型细化来增强有效性，但是传统的基于网格的方法在对不断发展的局部化进行建模时执行起来很麻烦。在这项工作中，神经网络增强再生核粒子方法（NN-RKPM），其中的位置，方向和形状的解决方案过渡附近的本地化是自动捕获的NN近似通过块级神经网络优化。分块参数化网络中的权重和偏置控制定位的位置和方向。所设计的基本四核神经网络块能够捕获三结点或四结点拓扑模式，而更复杂的本地化拓扑模式被捕获的叠加多个四核神经网络块。然后利用标准的RK近似来近似解的平滑部分，这允许比用常规方法捕获尖锐解过渡所需的高分辨率离散化更粗糙的离散化。此外，还引入了一个正则化的神经网络近似离散独立的材料响应。一系列的数值验证所提出的NN-RKPM的有效性进行了验证。
2022-05-17 cs.CE cs.LG cs.NA
Spectral partitioning for $k$-block averaging kernels of finite Markov chains
National University of Singapore（新加坡国立大学）
提出基于马尔可夫链核底部特征模式的谱划分算法，用于加速平均核收敛，在三类实验中验证了其收敛与统计估计的迭代改进效果。
2026-08-25 cs.IT cs.LG math.IT
