Convex Approaches to Model Wavelet Sparsity Patterns
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
小波系数之间的统计相关性通常由图形模型表示,如隐马尔可夫树(HMT)。然而,在线性逆问题,如反卷积,层析成像和压缩传感,传感或观测矩阵的存在产生简单的马尔可夫依赖结构的线性混合。这导致了非凸优化的重建问题。过去的工作已经处理了这个问题,采取贪婪或次优迭代重建方法。在本文中,我们提出了新的建模方法的基础上,组稀疏处罚,导致凸优化,可以准确和有效地解决。我们表明,我们开发的方法在反卷积和压缩传感应用中表现得更好,同时与标准系数方法(如套索)一样具有计算效率。
2011-04-22 cs.CV stat.ML
A Short Note of Comparison between Convex and Non-convex Penalized Likelihood
本文比较了高维统计中凸与非凸惩罚似然方法,凸惩罚高效但引入偏差,非凸惩罚减少偏差但优化难,选择取决于问题背景。
2025-02-24 stat.ME
A totally unimodular view of structured sparsity
EPFL(洛桑联邦理工学院)
本文描述了一个简单的框架结构稀疏恢复的基础上凸优化。我们发现,许多结构化稀疏模型可以自然地表示为线性矩阵不等式的支持下的未知参数,其中的约束矩阵有一个完全么模(TU)结构。对于这样的结构化模型,紧凸松弛可以通过线性规划在多项式时间内获得。我们的建模框架统一了文献中普遍存在的结构化稀疏规范,引入了新的有趣的规范,并使其紧密性和易处理性参数透明。
2015-03-03 cs.LG stat.ML
Convex-constrained Sparse Additive Modeling and Its Extensions
Eller College of Management, University of Arizona(亚利桑那大学埃勒管理学院);School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院)
稀疏可加模型是实现高维非参数回归的一类有效方法。在这项工作中,我们将展示如何形状约束,如凸性/凸性及其扩展,可以集成到添加剂模型。提出的稀疏差分凸可加模型(SDCAM)可以估计大多数连续函数,而无需任何先验光滑性假设。受凸函数差异的表征的启发,我们的方法结合了一个自然的正则化泛函,以避免过拟合和降低模型的复杂性。在计算上,我们开发了一个有效的回拟合算法与线性每次迭代的复杂性。在合成数据和真实数据上的实验验证了我们的方法与最先进的稀疏加性模型相比具有竞争力,在大多数情况下都具有更好的性能。
2017-05-01 cs.LG stat.ML
Conic Scan-and-Cover algorithms for nonparametric topic modeling
我们提出了新的算法的主题建模时,主题的数量是未知的。我们的方法依赖于分析的质量和角度的几何形状的主题单纯形,一个凸多面体构造的顶点,代表潜在的主题的凸包。在实践中,我们的算法被证明具有可比的吉布斯采样器的主题估计,这需要给定的主题的数量方面的准确性。此外,他们是最快的几个国家的最先进的参数化技术之一。在一定条件下证明了该估计量的统计相合性。
2017-10-09 stat.ML
Flexible Low-Rank Statistical Modeling with Side Information
我们提出了一个矩阵值数据降秩建模的一般框架。通过应用广义核范数惩罚,我们可以直接对与行和列相关的低维潜变量进行建模。我们的框架灵活地结合了行和列的功能,平滑内核,和其他来源的边信息,通过惩罚行和列模型的偏差。此外,这些模型中的一大类可以使用凸优化进行可扩展地估计。在每种情况下的计算瓶颈是一个大的,但易于应用的矩阵的每次迭代的奇异值分解。我们的框架概括了传统的凸矩阵完成和多任务学习方法,以及最大后验估计下的一大类流行的分层贝叶斯模型。
2017-08-22 stat.ML
Mirror Flow Matching with Heavy-Tailed Priors for Generative Modeling on Convex Domains
本文提出基于正则化镜像映射和Student-t先验的Mirror Flow Matching方法,解决了凸域生成建模中重尾分布导致的动力学不适定和先验耦合表现差的问题,并提供了理论保证和实验验证。
2025-10-10 cs.LG stat.ML
A New Geometric Approach to Latent Topic Modeling and Discovery
提出了一种新的基于几何动机的非负矩阵分解算法,并将其应用于文本和图像“文档”语料库的潜在“主题”发现。该算法是基于鲁棒性的发现和聚类极值点的经验跨文档的词频,对应于新的“词”,每个主题的独特。与基于使用次优近似、局部最优方法或算法来解决非凸优化问题的相关方法相比,新算法是凸的,具有多项式复杂度,并且与当前最先进的合成和真实世界数据集方法相比具有竞争力的定性和定量性能。
2013-01-05 stat.ML
Application of Machine Learning and Convex Limiting to Subgrid Flux Modeling in the Shallow-Water Equations
Dept. of Mathematics, University of Houston(数学系,休斯顿大学);Dept. of Mathematics, TU Dortmund(数学系,杜伊斯堡-埃森大学)
本文提出将机器学习与通量限制相结合,用于一维浅水方程有限体积方法中的保性质次网格尺度建模,通过神经网络参数化次网格分量并使用凸限制器确保正性保持,实验证明该方法在未训练场景中也能产生有意义的闭合。
2025-04-28 cs.LG physics.ao-ph physics.comp-ph
Probable convexity and its application to Correlated Topic Models
Hanoi University of Science and Technology(河内理工大学);Japan Advanced Institute of Science and Technology(北陆先端科学技术大学院大学)
非凸优化问题通常来自概率建模,例如后验分布的估计。非凸性使得问题变得棘手,并给我们设计有效的算法带来了各种障碍。在本文中,我们首先通过引入\emph{probable convexity}的概念来分析实函数在实际中的凸性,从而攻击非凸性。然后,我们使用新的概念来分析推理问题的\emph{Correlated Topic Model}(CTM)和相关的非共轭模型。相反,现有的信念的棘手性,我们表明,这个推理问题是凹在一定条件下。我们的分析的结果之一是一种新的算法学习CTM这是显着更具可扩展性和定性比现有的方法。最后,我们强调,随机梯度算法可能是一个实际的选择,以有效地解决非凸问题。这一发现可能在许多超出概率建模的情况下是有益的。
2013-12-16 cs.LG stat.ML
Extremal graphical modeling with latent variables via convex optimization
本文针对含潜变量的极值图模型学习问题,提出可求解的凸规划方法 eglatent,通过将 Hüsler-Reiss 精度矩阵分解为稀疏与低秩分量,一致恢复条件图和潜变量数量,并在合成与真实数据上验证了性能提升。
2025-04-11 math.ST stat.ME stat.ML
Convex Hybrid Modeling: An Operator-Based Approach
North Carolina State University(北卡罗来纳州立大学)
本文提出一种基于算子的凸混合建模框架,通过凸学习问题系统性地融入可解释性约束,高效生成替代模型,并涵盖三种设置:参考模型正则化、可解释子空间限制以及非线性可解释流形限制。
2026-05-22 cs.SY eess.SY stat.ML
Generalized Kalman Smoothing: Modeling and Algorithms
状态空间平滑在科学和工程中有许多应用。在线性和高斯假设下,平滑估计可以使用有效的递归来获得,例如Rauch-Tung-Striebel和Mayne-Fraser算法。这样的计划是等价的线性代数技术,最小化的凸二次目标函数的结构引起的动态模型。这些经典的公式在许多重要的情况下都有不足之处。例如,当数据中存在离群值时,使用二次惩罚获得的平滑器可能会失败,并且无法跟踪脉冲输入和突然的状态变化。受这些缺点的启发,在过去的几年中,已经提出了广义卡尔曼平滑公式,用更合适的,通常是非光滑的,凸函数代替二次模型。与经典模型相比,这些通用估计器需要使用迭代算法,并且这些算法已经受到控制,信号处理,机器学习和优化社区的越来越多的关注。在这项调查中,我们表明,优化的观点提供了控制和信号处理社区的新的建模和推理框架的发展动力系统的巨大自由。我们讨论动态系统的一般统计模型,充分利用非光滑凸惩罚和约束,并提供信号处理和机器学习中的重要模型的链接。我们还调查这些配方的优化技术,密切关注动态问题结构。建模的概念和算法的数值例子说明。
2016-09-25 math.OC stat.ML
Fitting Sparse Markov Models to Categorical Time Series Using Convex Clustering
本文提出一种基于凸聚类和正则化的稀疏马尔可夫模型拟合方法,通过BIC选择正则化参数,并证明其模型选择一致性,模拟和疾病亚型分类实证验证了方法的有效性。
2025-07-02 stat.ME stat.ML
Riemannian Convex Potential Maps
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院);Weizmann Institute of Science(魏茨曼科学研究所)
对黎曼流形上的分布建模是理解非欧几里德数据的关键组成部分,例如,物理学和地质学。在这一领域的萌芽方法受到代表性和计算权衡的限制。我们提出并研究了一类流,使用凸势从黎曼最优运输。这些都是通用的,可以在任何紧凑的黎曼流形上建模分布,而不需要将流形的领域知识集成到架构中。我们证明,这些流量可以模拟标准分布的领域,环面,合成和地质数据。我们的源代码可以在http://github.com/facebookresearch/rcpm上免费获得
2021-06-18 cs.LG stat.ML
Convex Parameter Recovery for Interacting Marked Processes
Georgia Institute of Technology(佐治亚理工学院);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
我们介绍了一种新的通用建模方法的多变量离散事件数据分类相互作用的标志,我们称之为标记伯努利过程。在所提出的模型中,特定类别的事件在一个位置发生的概率可能会受到这个位置和其他位置的过去事件的影响。我们并不像通常所采用的那样,将相互作用限制为积极的或随着时间的推移而衰减的,这使我们能够从历史事件、地点和不同类别的事件中捕捉任意形状的影响。在我们的建模中,先验知识被纳入允许一般凸约束模型参数。我们开发了两个参数估计程序,利用约束最小二乘(LS)和最大似然(ML)估计,这是解决使用变分不等式与单调算子。我们讨论了不同的应用程序,我们的方法,并说明了性能的建议恢复例程合成的例子和现实世界的警察数据集。
2020-11-12 cs.LG math.ST stat.ML
Structured Hammerstein-Wiener Model Learning for Model Predictive Control
本文的目的是提高最优控制的可靠性,使用机器学习方法构建的模型。基于这类模型的最优控制问题一般是非凸的,难以在线求解。在本文中,我们提出了一个模型,结合了Hammerstein-Wiener模型与输入凸神经网络,这是最近提出的机器学习领域。所提出的模型的一个重要特点是,所产生的最优控制问题是有效地解决利用其凸性和部分线性,同时保持灵活的建模能力。该方法的实际用途是通过其应用程序的建模和控制的发动机气路系统检查。
2021-07-09 cs.SY eess.SY math.OC
On Quadratic Convergence of DC Proximal Newton Algorithm for Nonconvex Sparse Learning in High Dimensions
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
提出了一种求解高维非凸正则化稀疏学习问题的DC近似牛顿算法。我们提出的算法集成了近似牛顿算法和基于凸规划差分的多阶段凸松弛算法,并且具有很强的计算和统计保证。具体地,通过利用稀疏建模结构/假设的复杂表征(即,局部约束强凸性和Hessian光滑性),证明了在凸松弛的每一阶段,算法均达到(局部)二次收敛,并最终在几次凸松弛后得到具有最优统计性质的稀疏近似局部最优解.数值实验支持我们的理论。
2018-02-15 cs.LG math.OC stat.ML
A Differential Equation for Modeling Nesterov's Accelerated Gradient Method: Theory and Insights
我们推导出一个二阶常微分方程(ODE),这是Nesterov的加速梯度法的极限。该常微分方程与Nesterov的差分格式近似等价,可以作为分析的工具。我们表明,连续时间常微分方程可以更好地理解Nesterov的计划。作为一个副产品,我们得到了一个家庭的计划具有类似的收敛速度。ODE的解释也建议重新启动Nesterov的计划,导致一个算法,它可以被严格证明收敛于线性速率时,目标是强凸的。
2015-10-27 math.CA math.OC stat.ML
Spectral Regularization: an Inductive Bias for Sequence Modeling
Tsinghua University(清华大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能讲席)
学习任务中各种形式的正则化都追求不同的简单性概念。本文提出了一种谱正则化技术,它附加了一个独特的归纳偏见的序列建模的基础上定义的乔姆斯基层次结构中的直观概念的简单性。从Hankel矩阵和正则文法之间的基本联系出发,我们提出使用Hankel矩阵的迹范数,其秩的最紧凸松弛,作为谱正则化子。针对Hankel矩阵是双无穷大矩阵的情况,提出了其迹范数的无偏随机估计。最后,我们展示了实验结果富田文法,表现出潜在的好处谱正则化和验证所提出的随机估计。
2022-11-04 cs.AI cs.CL cs.LG