The Optimization Landscape of Carathéodory Decomposition of Toeplitz Covariances
School of Computer Science and Engineering, The Hebrew University of Jerusalem（计算机科学与工程学院，特拉维夫大学）
研究通过过参数化Carathéodory分解优化Toeplitz协方差估计，证明联合优化振幅和频率的总体景观良性，每个正定协方差的驻点恢复真实协方差。
2026-10-14 cs.LG stat.ML
Certifiably Optimal Sparse Inverse Covariance Estimation
Massachusetts Institute of Technology（麻省理工学院）
本文考虑稀疏逆协方差阵的极大似然估计。我们表明，目前的启发式方法主要是鼓励鲁棒性，而不是所需的稀疏性。我们给出了一种新的方法，解决基数约束的似然问题的可证明的最优性。该方法使用混合整数优化和凸优化技术，并提供了一个高质量的解决方案，保证其次优性，即使算法提前终止。使用各种合成和真实数据集，我们证明了我们的方法可以解决逆协方差阵的维数高达1,000 s的问题。我们还证明，我们的方法比Glasso和其他流行的学习程序产生更稀疏的解决方案，使更少的错误发现，同时仍然保持最先进的准确性。
2019-06-25 cs.LG math.OC stat.ML
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Borealis AI（北极光人工智能）
在随机优化算法中，批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果，但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题，我们建议向梯度中添加协方差噪声。我们证明，我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构，而不是梯度的方差。此外，在凸二次型上，我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明，我们的方法不仅提高了大批量训练中的泛化性能，而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
A Coordinate-wise Optimization Algorithm for Sparse Inverse Covariance Selection
本文提出一种坐标优化算法解决稀疏逆协方差选择问题，保证收敛到坐标最小点，并在合成和真实数据上优于现有方法。
2018-04-04 cs.LG cs.NA math.NA
Learning Convex Optimization Models
凸优化模型通过求解凸优化问题来从输入预测输出。凸优化模型的类别很大，并且包括许多众所周知的模型，如线性和逻辑回归。我们提出了一个启发式的学习参数的凸优化模型给定的输入输出对的数据集，使用最近开发的方法区分凸优化问题的解决方案，其参数。我们描述了三个一般类的凸优化模型，最大后验概率（MAP）模型，效用最大化模型和代理模型，并提出了一个数值实验。
2020-06-18 cs.LG stat.ML
Accelerated Bayesian Optimization throughWeight-Prior Tuning
Deakin University（迪肯大学）；Office of National Statistics（国家统计局）；University of Western Sydney（西悉尼大学）；National University of Singapore（新加坡国立大学）
贝叶斯优化（BO）是一种广泛使用的优化昂贵（评估）问题的方法。大多数BO方法的核心是使用高斯过程（GP）对目标函数建模，该高斯过程的协方差选自一组标准的协方差函数。从权重空间的角度来看，这将目标建模为由给定协方差K隐含的特征空间中的线性函数，具有任意高斯权重先验${\bf w} \sim \mathcal{N} ({\bf 0}, {\bf I})$。在许多实际应用中，存在与目标具有类似（协方差）结构的可用数据，但是其具有不同的形式，不能直接用于标准迁移学习。在本文中，我们将展示如何使用这些辅助数据来构建一个GP协方差对应于一个更合适的权重之前的目标函数。在此基础上，我们表明，我们可以加速BO建模的目标函数使用这个（学习）权重先验，我们证明了测试功能和短聚合物纤维制造的实际应用。
2020-02-06 cs.LG stat.ML
Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes
Northwestern University（西北大学）
寻找有效且可证明的方法来解决非凸优化问题是机器学习和优化理论中的一个突出挑战。用于解决非凸问题的一种流行方法是使用凸松弛技术来寻找问题的凸替代。不幸的是，凸松弛通常必须在逐个问题的基础上找到。因此，提供一种通用的策略来估计凸松弛将具有广泛的影响。在这里，我们介绍凸松弛回归（CoRR），一种学习一类光滑函数凸松弛的方法。我们的方法背后的主要思想是通过在一组$T$随机点处评估$f$，然后将凸函数拟合到这些函数评估来估计函数$f$的凸包络。我们证明了在概率大于$1-δ$的情况下，对于某些$α> 0$，算法的解收敛到$f$的全局最优解，且误差为$\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$.我们的方法使使用凸优化工具来解决一类非凸优化问题。
2016-03-03 cs.LG stat.ML
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储，而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University（纽约大学理工学院）
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性，采用非凸优化也是标准实践。在本文中，我们采用第三种方法。我们利用一个非凸的正则化项，这样总成本函数（包括数据一致性和正则化项）是凸的。因此，稀疏性比标准凸公式更强有力地促进，但不会牺牲凸优化的吸引人的方面（唯一的最小值，鲁棒算法等）。我们使用这个想法，以改善最近开发的“重叠组收缩”（OGS）算法的去噪组稀疏信号。该算法应用于语音增强问题，在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Convex Optimization on Functionals of Probability Densities
在信息论中，一些优化问题可以归结为概率密度的严格凸泛函上的凸优化问题。本文研究了这类问题，给出了极小元存在的条件和极小元的唯一性。
2020-03-14 cs.IT cs.LG math.IT
An optimal algorithm for bandit convex optimization
Princeton University（普林斯顿大学）
我们考虑的问题，在线凸优化对任意对手与强盗反馈，被称为强盗凸优化。我们给出了第一个$\tilde{O}(\sqrt{T})$ -遗憾算法的基础上设置的一个新的应用程序的椭球方法在线学习。已知该界限紧到对数因子。我们的分析介绍了新的工具，在离散凸几何。
2016-03-15 cs.DS cs.LG
Convex Banding of the Covariance Matrix
我们引入了一个新的稀疏估计的协方差阵的高维模型中的变量有一个已知的顺序。我们的估计，这是一个凸优化问题的解决方案，等价地表示为一个估计，该估计由Toeplitz，稀疏带状，数据自适应矩阵的样本协方差阵。由于这种自适应性，凸带状估计享有理论上的最优性能没有达到以前的带状或锥形估计。特别是，我们的凸带估计是极小极大率自适应Frobenius和运营商的规范，对数因子，在共同研究类的协方差阵，并在更一般的类。此外，它正确地恢复带宽时，真正的协方差是完全带状。我们的凸公式承认一个简单而有效的算法。实证研究证明了它的实际有效性，并说明我们的确切带状估计工作良好，即使当真正的协方差阵只是接近带状矩阵，证实了我们的理论结果。我们的方法与所有现有的方法相比，在精度和速度方面。我们说明了凸带估计的实际优点，它可以用来提高性能的判别分析分类录音。
2014-05-23 math.ST stat.CO stat.ME
Tyler's Covariance Matrix Estimator in Elliptical Models with Convex Structure
针对椭圆分布中受凸集约束的协方差估计问题，本文提出可高效求解的凸松弛估计器 COCA，并证明其有限样本与渐近紧致性，实验表明其优于 Tyler 估计器等方法。
2014-09-11 stat.ML
L0 Sparse Inverse Covariance Estimation
针对稀疏逆协方差估计，本文研究非凸 $l_0$ 惩罚的对数似然优化，提出循环下降算法并证明其收敛到局部极小值，仿真显示其偏差低于 $l_1$ 方法且估计质量更优。
2015-03-19 stat.ML
LoCoV: low dimension covariance voting algorithm for portfolio optimization
最小方差投资组合优化依赖于精确的协方差估计来获得最优投资组合。然而，当样本大小$n$不显著大于资产数量$p$时，它通常遭受来自样本协方差矩阵的较大误差。我们分析了投资组合优化的随机矩阵方面，并确定了样本最优投资组合权重的误差顺序，并表明使用样本时投资组合风险被低估。我们还提供了LoCoV（低维协方差投票）算法，以减少从随机样本继承的错误。从各种实验中，LoCoV表现出优于经典方法的大幅度。
2022-04-01 math.OC q-fin.PM stat.ML
High-dimensional Joint Sparsity Random Effects Model for Multi-task Learning
Georgia Institute of Technology（佐治亚理工学院）；Baidu Inc.（百度公司）；Rutgers University（罗格斯大学）
近年来，多任务学习中的联合稀疏正则化方法引起了人们的广泛关注。传统的凸公式采用组Lasso松弛来实现跨任务的联合稀疏性。虽然这种方法导致一个简单的凸公式，它遭受了几个问题，由于松弛。为了解决这个问题，我们将联合稀疏多任务学习视为一个专门的随机效应模型，并推导出一个涉及两个步骤的凸松弛方法。第一步使用我们称为稀疏协方差编码的凸公式学习系数的协方差矩阵;第二步基于第一步中获得的协方差矩阵使用稀疏二次正则化器解决岭回归问题。结果表明，这种方法产生了一个渐近最优的二次正则化的多任务学习设置时，任务的数量接近无穷大。实验结果表明，通过该模型获得的凸公式显着优于组Lasso（和相关的多阶段公式
2013-09-26 cs.LG stat.ML
Exact and Stable Covariance Estimation from Quadratic Sampling via Convex Programming
Stanford University（斯坦福大学）
本文研究了通过凸优化从二次采样中提取高维数据协方差结构的方法，探讨了低秩、Toeplitz低秩、稀疏性等结构假设，并展示了在无噪声情况下能实现准确的协方差估计。
2015-03-19 cs.IT cs.LG cs.NA
Scalable sparse covariance estimation via self-concordance
我们考虑一类凸极小化问题，由一个自协调函数，如$\log\det$度量，凸数据保真度项$h(\cdot)$和正则化-可能是非光滑-功能$g(\cdot)$。这类问题最近引起了极大的兴趣，主要是由于它们在一流的应用程序中无处不在。在这个\emph{locally} Lipschitz连续梯度设置下，我们分析了近似牛顿格式的收敛行为，并增加了可能存在的不精确估计的扭曲。我们证明有吸引力的收敛速度保证和增强国家的最先进的优化方案，以适应这种发展。稀疏协方差估计的实验结果表明，我们的算法的优点，无论是在恢复效率和复杂度。
2014-05-13 cs.IT math.IT math.OC
Portfolio Optimization with Robust Covariance and Conditional Value-at-Risk Constraints
本研究评估了多种稳健协方差估计量在投资组合优化中的表现，发现在极端市场下需引入CVaR约束控制尾部风险，并结合K-means的NCO算法以缓解数值不稳定性并降低回撤。
2024-06-02 econ.EM math.OC q-fin.MF
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有（DP）算法估计的平均值，协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布，满足两个良好的研究性质，在以前的工作稳健估计：可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”：平均值，乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计，我们是第一个有效的算法（即使在没有离群值的情况下），成功没有任何条件数假设。我们的算法产生于一个新的框架，提供了一个通用的蓝图修改凸松弛稳健估计，以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和（SoS）半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的，在该机制中，噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的，更普遍地获得DP对应的强大的估计。独立于我们的工作，Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Fused-Lasso Regularized Cholesky Factors of Large Nonstationary Covariance Matrices of Longitudinal Data
Texas A&M University（德克萨斯A&M大学）
大协方差阵的Cholesky因子的次对角线的光滑性与时间序列和纵向数据的自回归模型的非平稳程度密切相关。启发式地，人们期望对于接近平稳的协方差阵，在连续项的绝对值之和很小的意义上，其逆的Cholesky因子的每个次对角线中的条目接近相同。从统计学上讲，这种平滑是通过使用融合型套索惩罚正则化每个次对角线来实现的。我们依赖于标准的Cholesky因子作为正则化正态似然设置中的新参数，该设置保证：（1）似然函数的联合凸性，（2）即使当$n<p$时，似然函数也严格凸于每个次对角线，以及（3）估计的协方差阵的正定性。提出了一种分块坐标下降算法，其中每个分块都是次对角线，并在较弱的条件下证明了算法的收敛性。缺乏解耦的罚似然函数到一个总和的功能，涉及个人subdiagals产生了一些计算上的挑战和优势，相对于最近的两个算法的稀疏估计的Cholesky因子，行式解耦。仿真结果和实际数据分析表明所提出的方法的范围和良好的性能。
2020-07-22 cs.LG stat.ML
Sparse Inverse Covariance Selection via Alternating Linearization Methods
Lehigh University（利哈伊大学）；Columbia University（哥伦比亚大学）
高斯图模型在统计学习中有很大的兴趣。由于不同节点之间的条件独立性对应于高斯分布的逆协方差矩阵中的零项，因此可以通过从样本数据估计稀疏逆协方差矩阵，通过求解具有$\ell_1$正则化项的凸最大似然问题来学习图的结构。在本文中，我们提出了一个一阶方法的基础上交替线性化技术，利用问题的特殊结构，特别是，在每次迭代中解决的子问题有封闭形式的解决方案。此外，我们的算法在$O(1/ε)$迭代中获得了一个$ε$ -最优解.在基因关联网络的合成数据和真实数据上的数值实验表明，该算法的实用版本优于其他竞争算法。
2010-10-30 cs.LG math.OC stat.ML
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University（阿尔托大学）；NVIDIA（英伟达）
近端策略优化（PPO）是一种非常流行的无模型强化学习（RL）方法。然而，我们观察到，在连续的动作空间中，PPO会过早地缩小探索方差，这会导致进展缓慢，并可能使算法容易陷入局部最优。从CMA-ES，一个黑盒进化优化方法的鲁棒性，在类似的情况下设计的灵感，我们提出了PPO-CMA，一个近端策略优化的方法，自适应地扩大探索方差，以加快进度。PPO只有很小的变化，我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明，与PPO相反，PPO-CMA对超参数的选择明显不敏感，允许人们在复杂的运动优化任务中使用它，而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation
CFAR, IHPC（CFAR、IHPC）；A*STAR（新加坡科技研究局）；College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
本文针对扩散模型定向生成问题，将定向储备时间SDE微调建模为序列黑盒优化，提出协方差自适应序列优化算法，在无光滑和强凸假设下证明 $O(\frac{d^2}{\sqrt{T}})$ 收敛速率，并在数值测试和三维分子生成任务中验证其优越性。
2024-06-08 cs.LG stat.ML
A multilevel framework for sparse optimization with application to inverse covariance estimation and logistic regression
University of British Columbia（不列颠哥伦比亚大学）；Intel Labs（英特尔实验室）；Technion—Israel Institute of Technology（以色列理工学院）
本文提出一种多级框架高效解决l1正则化稀疏优化问题，应用于逆协方差估计和逻辑回归，通过分层问题加速优化过程，提升大规模数据处理效率。
2016-07-01 cs.NA math.NA math.OC
Robust Estimation of Structured Covariance Matrix for Heavy-Tailed Elliptical Distributions
本文研究了均值已知的椭圆型分布下结构协方差阵的稳健估计问题。在协方差阵本身具有一定结构的应用中，在估计过程中考虑先验结构信息有利于提高估计精度。我们建议将先验结构信息纳入泰勒的M-估计，并制定的问题最小化泰勒的估计的成本函数下的先验结构约束。首先，一般凸结构约束下的估计被引入一个有效的算法来寻找估计的基础上的优化最小化（MM）算法框架。然后，该算法是定制的几个特殊的结构，享有广泛的应用在信号处理相关领域，即，秩一矩阵，Toeplitz和带状Toeplitz结构的总和。此外，两种类型的非凸结构，即，的Kronecker结构和尖峰协方差结构，也进行了讨论，其中它表明，简单的算法，可以推导出MM的指导下。数值结果表明，所提出的估计器实现了一个更小的估计误差比基准估计在较低的计算成本。
2015-06-17 stat.AP stat.ML
Communication-Avoiding Optimization Methods for Distributed Massive-Scale Sparse Inverse Covariance Estimation
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Berkeley Institute for Data Science, UC Berkeley（加州大学伯克利分校伯克利数据科学研究所）；UC Santa Barbara（加州大学圣塔芭芭拉分校）；Google Brain（谷歌大脑）
在各种科学学科中，稀疏逆协方差估计是用于捕获多变量数据中的潜在依赖关系的流行工具。不幸的是，大多数估计器的可扩展性不足以处理现代高维数据集的大小（通常为TB级），并假设高斯样本。为了解决这些不足，我们引入HP-CONCORD，一个高度可扩展的优化方法，用于估计稀疏逆协方差阵的基础上正则化的pseudolikestry框架，而不假设高斯。我们的并行邻近梯度方法使用了一种新型的通信避免线性代数算法，并在多达1 k个节点（24 k个核心）的多节点集群上运行，实现了高达8190亿个参数（128万个维度）的问题的并行可扩展性;即使在单个节点上，HP-CONCORD也表现出可扩展性，优于最先进的方法。我们还使用HP-CONCORD从fMRI数据中估计大脑的潜在依赖结构，并使用结果自动识别功能区域。结果显示出良好的协议，从神经科学文献的聚类。
2018-04-08 cs.DC cs.LG stat.ML
