Macroscopic Traffic Flow Modeling with Physics Regularized Gaussian Process: Generalized Formulations
Dalian Maritime University(大连海事大学);University of Utah(犹他大学)
尽管经典业务流(例如,二阶宏观)模型和数据驱动(例如,机器学习- ML)方法在交通状态估计中的应用,这些方法要么需要大量的参数校准,要么缺乏理论解释。为了填补这一研究空白,本研究提出了一种新的建模框架,命名为物理正则化高斯过程(PRGP)。这种新颖的方法可以编码物理模型,即,经典的业务流模型,到高斯过程架构,以便正则化ML训练过程。特别地,本研究旨在讨论当原始物理模型具有离散形式时,如何建立PRGP模型。然后基于后验正则化推理框架,提出了一种有效的随机最优化算法来最大化系统似然的证据下界。为了证明所提出的模型的有效性,本文进行了实证研究的真实世界的数据集,从一个延伸的I-15高速公路,犹他州。结果表明,新的PRGP模型在估计精度和输入鲁棒性方面优于以往的兼容方法,如校准物理模型和纯机器学习方法。
2022-03-19 cs.LG eess.SP stat.ML
Sparse Bayesian Inference with Regularized Gaussian Distributions
正则化是变分反问题中对问题参数进行假设的常用工具。其中一个假设是稀疏性,通常使用套索和类全变差正则化来提升稀疏性。虽然许多这样的正则化反问题的解决方案可以被认为是精心选择的后验分布的最大概率点,这些分布的样本通常不是稀疏的。在本文中,我们提出了一个框架,隐式地定义一个概率分布,结合了稀疏性的影响施加正则化与高斯分布。与连续分布不同,这些隐式分布可以将正概率分配给稀疏向量。我们研究这些正则化分布的各种正则化函数,包括总变差正则化和分段线性凸函数。我们将所开发的理论应用于贝叶斯线性逆问题的不确定性量化,并推导出贝叶斯分层模型的吉布斯采样器。为了说明我们的稀疏诱导框架和连续分布之间的差异,我们将我们的框架应用于小规模去模糊和计算机断层扫描的例子。
2023-02-14 math.ST stat.TH
Modeling Stochastic Microscopic Traffic Behaviors: a Physics Regularized Gaussian Process Approach
University of Utah(犹他大学)
在微观层次上对车辆跟驰和换道等随机交通行为进行建模,是理解交通流中车辆之间相互作用的关键。利用物理正则化高斯过程(PRGP)理论,提出了一种能够捕捉真实世界中的随机性和度量误差的随机微观流量模型。将经典跟驰模型中的物理知识转化为多变量PRGP的物理正则化子,以阴影高斯过程的形式表示,提高建模精度。更具体地说,一个贝叶斯推断算法被开发来估计平均值和核的GP,和一个增强的潜在的力量模型被制定到随机过程编码的物理知识。同时,基于后验正则化推理框架,提出了一种有效的随机最优化算法来最大化系统似然的证据下界。为了评估所提出的模型的性能,本研究进行了实证研究,从NGSIM数据集的真实世界的车辆轨迹。由于所提出的框架的一个独特的功能是捕捉车辆跟随和换道行为与一个单一的模型的能力,数值测试进行了两个单独的数据集,一个包含换道机动,另一个不。结果表明,该方法在估计精度上优于以往有影响的方法。
2020-07-17 cs.LG eess.SP stat.ML
Minimizing Negative Transfer of Knowledge in Multivariate Gaussian Processes: A Scalable and Regularized Approach
University of Michigan(密歇根大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对多元高斯过程卷积构造中计算量大及知识负迁移问题,提出一种正则化成对建模方法,将多元模型分解为多个二元GP进行估计并惩罚信息共享潜函数,在保证可扩展性的同时有效最小化了不相关输出间的负迁移。
2019-03-31 cs.LG stat.ML
Regularized Multi-output Gaussian Convolution Process with Domain Adaptation
Peking University(北京大学);the University of Iowa(爱荷华大学)
本文提出带域自适应的正则化多输出高斯卷积过程框架,通过稀疏协方差矩阵惩罚项和输入域对齐方法,解决MGP迁移学习中的负迁移与输入域不一致问题,并在仿真和陶瓷制造案例中验证其优越性。
2024-09-04 cs.LG stat.AP stat.ML
Implicit Copulas from Bayesian Regularized Regression Smoothers
我们展示了如何从带有高斯扰动的贝叶斯正则化回归平滑器中提取响应向量的隐式copula。Copula可以用来比较采用不同收缩先验和函数基的平滑器。我们说明了三个流行的选择收缩先验-成对先验,马蹄铁先验和g先验增强与一个点质量作为贝叶斯变量选择-和单变量和多变量函数的基础。隐式copula是高维的,具有灵活的依赖结构,远离高斯copula,并且在封闭形式中不可用。然而,我们展示了如何通过首先构建正则化参数的高斯Copula条件,然后在这些条件下进行积分来评估它们。结合非参数边界,正则化平滑器可用于以协变量为条件对非高斯单变量响应的分布进行建模。有效的马尔可夫链蒙特卡罗计划评估Copula的情况下。使用模拟和真实数据,我们展示了这样的Copula平滑模型如何提高所得函数估计和预测分布的质量。
2018-05-14 stat.ME
Hierarchical Non-Stationary Temporal Gaussian Processes With $L^1$-Regularization
本文研究了层次非平稳时间高斯过程(NSGPs)的正则化扩展,其中参数(例如,长度尺度)被建模为GP。特别是,我们考虑两个常用的NSGP的建设是基于显式构造的非平稳协方差函数和随机微分方程,分别。我们扩展这些NSGPs包括$L^1$ -正则化的过程,以诱导稀疏。为了解决正则化NSGP(R-NSGP)回归问题,我们开发了一种基于交替方向乘子法(ADMM)的方法,并从理论上分析了其收敛性。我们还评估了所提出的方法在模拟和真实世界的数据集的性能。
2021-05-20 stat.CO stat.ME stat.ML
Spatially Regularized Gaussian Mixtures for Clustering Spatial Transcriptomic Data
Department of Statistical Sciences, University of Padova(帕多瓦大学统计科学系)
本研究针对空间转录组基因聚类需求,提出基于高斯过程的空间正则化高斯混合建模框架,利用空间结构构建精度矩阵广义Cholesky分解,可识别不同细胞类型组织区域中具独特空间相关模式的基因簇。
2025-10-21 stat.AP stat.ME
A Regularized Spatial Market Segmentation Method with Dirichlet Process Gaussian Mixture Prior
由于现代全球定位系统技术的发展,空间参照数据越来越多。它们还为营销科学领域的空间分析提供了丰富的机会。我们的主要兴趣是提出一个新的有效的统计框架,对位于美国大都市区的餐馆进行空间分割分析。空间分割问题带来了重要的统计挑战:选择最佳数量的细分市场的基础结构,捕捉复杂和灵活的空间结构,以及解决在潜在类分析中可能是典型的任何可能的小n和大p问题。现有的方法试图以启发式的方式解决这些问题,或者似乎对它们保持沉默。为了克服这些挑战,我们提出了一个新的统计框架的基础上正则化贝叶斯空间混合回归Dirichlet过程集成岭或套索正则化。我们的模拟研究表明,所提出的模型成功地恢复了底层的空间聚类结构,并优于现有的两个基准模型。在使用Yelp在线客户满意度数据的实证分析中,我们的模型提供了关于客户满意度的细分级别关键驱动因素以及区域人口统计与餐馆特征之间的可解释关系的有趣见解。
2018-11-24 stat.AP stat.ME
Accelerated Regularized Wasserstein Proximal Sampling Algorithms
Department of Mathematics, University of California, Los Angeles, CA 90095(加州大学洛杉矶分校数学系);Department of Mathematics, University of South Carolina, Columbia, SC 29208(南卡罗来纳大学数学系)
本文提出了一种加速的正则化Wasserstein近端采样算法,通过二阶分数ODE提升粒子混合效率,实现更快的收敛和更优的泛化性能。
2026-01-16 cs.LG math.OC stat.CO
Fast sampling in a linear-Gaussian inverse problem
我们解决逆问题去模糊的像素化图像的木星使用正则化反卷积和基于样本的贝叶斯推断。通过对超参数的边缘后验分布进行有效采样,然后对去模糊图像进行完全条件采样,我们发现,当考虑正则化参数的选择时,我们可以比正则化反演更快地评估后验均值。据我们所知,这是第一次演示采样和推理,比逆问题中的正则化反演花费更少的计算时间。与随机游走Metropolis-Hastings和块Gibbs MCMC的比较表明,边际条件采样也优于这些更常见的采样算法,具有更好的问题大小缩放。当特定问题的计算是可行的独立样本的渐近成本是一个线性解决方案,这意味着基于样本的贝叶斯推断可以直接在函数空间上执行,当该限制存在时。
2016-02-23 stat.CO
Bayesian $l_0$-regularized Least Squares
贝叶斯$l_0$ -正则化最小二乘法是一种用于高维预测的变量选择技术。挑战是通过在由所有可能的预测器组合组成的模型空间上搜索来优化非凸目标函数。钉板(又称Bernoulli-Gaussian)先验是贝叶斯变量选择的黄金标准,但需要注意计算速度和可扩展性。单一最佳替换(SBR)提供了一种快速可扩展的替代方案。我们提供了贝叶斯正则化和最近更新之间的联系,这提供了一个等价的后验模式和后验均值与不同的正则化先验。这允许我们使用SBR来找到尖峰和板估计器。为了说明我们的方法,我们提供了模拟证据和一个真实的数据的统计特性和计算效率的SBR与直接后验抽样使用穗和板先验的例子。最后,我们总结了未来研究的方向。
2018-12-18 stat.CO stat.ML
Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation
本文研究了高维非渐近条件下两组分各向异性高斯混合模型下的监督聚类问题。首先,我们推导出一个下和匹配的上界的极小极大风险的聚类在这个框架中。我们还表明,在高维制度,线性判别分析(LDA)分类原来是次优的极大极小意义上。接下来,我们精确地描述了$\ell_2$ -正则化监督最小二乘分类器的风险。我们推断的事实是,插值的解决方案可能优于正则化分类器,在温和的假设下的噪声的协方差结构。我们的分析还表明,插值可以是强大的腐败的协方差的噪声时,信号是对齐的协方差的“干净”的一部分,为正确定义的对齐的概念。据我们所知,这种特殊的现象还没有被调查,在迅速增长的文献有关插值。我们的结论是,插值不仅是良性的,但也可以是最佳的,在某些情况下,强大的。
2021-11-13 math.ST stat.ML stat.TH
Regularized-Likelihood Deconvolution with Posterior-Density Reconstruction
University of Chieti-Pescara(基耶蒂-佩斯卡拉大学);University of Luxembourg(卢森堡大学)
针对密度反卷积的不适定问题,提出两阶段基于似然的方法,建立高斯误差下的收敛速率,数值实验及弗雷明汉血压数据应用验证其互补的有限样本表现。
2026-09-17 math.ST stat.TH
Regularized Small Area Estimation with Graph Laplacian Benchmarking priors
University of California, Davis(加州大学戴维斯分校);George Mason University(乔治梅森大学)
该研究提出带图拉普拉斯基准先验的贝叶斯框架,用于小区域估计,通过定制MCMC算法实现后验计算,经模拟和哥伦比亚市级平均家庭规模估计验证,多视图模型表现更优。
2026-10-09 stat.CO stat.ME stat.ML
Optimal Gaussian approximations to the posterior for log-linear models with Diaconis-Ylvisaker priors
在列联表分析中,即使是少量变量也经常遇到稀疏数据,导致不存在最大似然估计。一种常见的解决方案是获得对数线性模型的参数的正则化估计。贝叶斯方法为正则化提供了一种连贯的方法,但通常是计算密集型的。共轭先验简化了计算需求,但对数线性模型参数的共轭Diaconis-Ylvisaker先验不会产生封闭形式的可信区域,从而使后验推理复杂化。在这里,我们得到了最佳高斯近似的后验的对数-线性模型与Diaconis-Ylvisaker先验,并提供收敛速度和有限样本界之间的库尔贝克-莱布勒散度的确切后验和最佳高斯近似。我们在模拟和实际数据应用中的经验表明,即使在相对较小的样本中,近似也是高度准确的。所提出的近似提供了一个计算上可扩展的和原则性的方法来正则化估计和近似贝叶斯推断的对数线性模型。
2015-11-03 stat.ME
A Unifying Framework in Vector-valued Reproducing Kernel Hilbert Spaces for Manifold Regularization and Co-Regularized Multi-view Learning
针对结构化输入空间和结构化输出空间之间未知函数依赖关系的学习问题,提出了一种通用的向量值再生核希尔伯特空间(RKHS)框架.我们的公式包括向量值流形正则化和协同正则化多视图学习,特别是提供了一个统一的框架,连接这两个重要的学习方法。在最小二乘损失函数的情况下,我们提供了一个封闭的形式的解决方案,这是通过求解线性方程组。在支持向量机(SVM)分类的情况下,我们的配方推广特别是二进制拉普拉斯SVM的多类,多视图设置和多类单纯锥SVM的半监督,多视图设置。该解决方案是通过解决一个单一的二次优化问题,在标准SVM,通过顺序最小优化(SMO)的方法。使用几个具有挑战性的数据集,在对象识别任务上获得的实证结果表明,与其他最先进的方法相比,我们的算法具有竞争力。
2015-03-17 stat.ML
Entropy-Regularized $2$-Wasserstein Distance between Gaussian Measures
Aalto University(阿尔托大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
高斯分布在处理不确定性量化和扩散性的应用中很丰富。此外,它们是为概率测度提供几何的框架的重要特例,因为高斯上的结果几何通常可以在框架下以封闭形式表示。在这项工作中,我们研究了高斯几何下的熵正则化2-瓦瑟斯坦距离,通过提供封闭形式的解决方案的距离和插值元素之间。此外,我们提供了一个固定点的人口重心时,限制到高斯流形,它允许通过固定点迭代算法的计算。因此,结果得到2-Sinkhorn发散的封闭形式的表达式。由于通过改变正则化幅度的几何形状的变化,我们研究的极限情况下的消失和无限的幅度,重新确认著名的结果的限制的Sinkhorn发散。最后,我们说明了由此产生的几何与数值研究。
2020-06-05 cs.LG stat.ML
Fitting Laplacian Regularized Stratified Gaussian Models
我们考虑的问题,联合估计多个相关的零均值高斯分布的数据。我们建议使用Laplacian正则化分层模型拟合来联合估计这些协方差阵,其中包括每个协方差阵的损失和正则化项,以及鼓励不同协方差矩阵接近的项。这种方法从相邻协方差中“借用力量”,以改善其估计。通过精心选择的超参数,这些模型可以表现得非常好,特别是在低数据状态下。我们提出了一个分布式的方法,规模大的问题,并说明了金融,雷达信号处理和天气预报的例子,该方法的有效性。
2020-05-22 cs.LG eess.SP math.OC
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland(昆士兰大学);University of Caen(卡昂大学);La Trobe University(拉筹伯大学)
混合专家模型及其基于期望最大化算法的极大似然估计(MLE)已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下,高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE,用于聚类和回归,并提出了一个$\ell_1$正则化的MLE,以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计,并利用BIC类标准来选择模型参数,包括稀疏调整超参数。仿真数据上的实验表明,与标准的期望最大化算法相比,所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Consistent and Complementary Graph Regularized Multi-view Subspace Clustering
Xi’an Jiaotong University(西安交通大学);Shanghai University(上海大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
研究了多视图聚类问题,多个视图包含一致的信息,每个视图也包含互补的信息。探索所有信息对于良好的多视图聚类至关重要。然而,大多数传统的方法盲目或粗糙地结合多个视图进行聚类,无法充分利用有价值的信息。因此,我们提出了一种方法,涉及一致和互补图正则化多视图子空间聚类(GRMSC),它同时集成了一个一致的图正则化与互补图正则化的目标函数。特别地,一致图正则化器学习由所有视图共享的数据点的内在亲和关系。互补图正则化器研究多个视图的特定信息。值得注意的是,一致的和互补的正则化公式由两个不同的图构造从多个视图的一阶接近和二阶接近,分别。采用增广拉格朗日乘子法优化目标函数,实现多视图聚类。在六个基准数据集上的实验验证了该方法的有效性。
2020-04-07 cs.LG stat.ML
Convergence and finite sample approximations of entropic regularized Wasserstein distances in Gaussian and RKHS settings
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文研究了Hilbert空间中熵正则化瓦瑟斯坦距离的收敛性和有限样本逼近。我们的第一个主要结果是,对于无限维Hilbert空间上的高斯测度,在2-Sinkhorn发散下的收敛比在精确的2-瓦瑟斯坦距离下的收敛{ \it严格弱}.具体地说,如果相应的协方差算子收敛于希尔伯特-施密特范数,则中心高斯测度序列收敛于2-Sinkhorn发散。这与先前已知的结果形成对比,该结果是:当且仅当协方差算子在迹类范数中收敛时,中心高斯测度序列在精确的2-瓦瑟斯坦距离中收敛。在再生核希尔伯特空间(RKHS)设置中,{ \it核高斯-辛霍恩发散}是在RKHS上定义的高斯测度之间的辛霍恩发散,它定义了波兰空间上的波莱尔概率测度集合上的半度量,给定该空间上的特征核。在Hilbert-Schmidt范数收敛的条件下,得到了核Gaussian-Sinkhorn发散的有限样本近似的{ \it维数无关}收敛速度,其阶数与最大均值离散的阶数相同.这些收敛速度特别适用于Sinkhorn发散高斯措施之间的欧几里得和无限维希尔伯特空间。在欧氏空间上的高斯测度之间的2-瓦瑟斯坦距离的样本复杂度,虽然依赖于维度并且大于Sinkhorn发散,但比文献中的最坏情况要快。
2021-02-15 cs.LG stat.ML
On Gaussian approximation for entropy-regularized Q-learning with function approximation
HSE University(俄罗斯高等经济大学);Mohamed Bin Zayed University of AI(阿布扎克人工智能大学);EPITA(EPITA研究所);Steklov Mathematical Institute of Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了熵正则化异步Q学习在高维中心极限定理下的收敛速率,通过线性函数逼近和多项式步长,建立了在凸距离下的高斯近似界,并推导了算法最后迭代的高阶矩界。
2026-05-17 cs.LG stat.ML
Learning rates for the risk of kernel based quantile regression estimators in additive models
可加模型在半参数统计中起着重要的作用。本文给出了正则化核方法的学习率。这些学习率比较有利,特别是在高维度的最佳学习率为纯粹的非参数正则化内核为基础的分位数回归使用高斯径向基函数内核的最近的结果,提供了一个加性模型的假设是有效的。另外,通过一个具体例子说明了只依赖于一个变量的高斯函数位于由加性高斯核生成的再生核Hilbert空间中,而不属于由相同方差的多元高斯核生成的再生核Hilbert空间.
2014-05-14 stat.ML
Regularized Estimation of Piecewise Constant Gaussian Graphical Models: The Group-Fused Graphical Lasso
分段常数高斯图模型的时间演化精度矩阵编码了多变量时间序列的动态条件依赖结构。传统上,图形模型是在假设数据是从生成分布中相同提取的情况下估计的。引入稀疏性和稀疏差分诱导先验,我们放松这些假设,并提出了一种新的正则化M-估计,共同估计的图形和变点结构。由此产生的估计拥有的能力,因此有利于稀疏依赖结构和/或平滑地演变的图形结构,根据需要。此外,我们的方法扩展了目前的方法,允许估计的变化点,在系统中的多个依赖关系分组。提出了一种有效的结构估计算法。我们研究的经验恢复性能在一个合成的设置。分组变点估计的定性效果,然后证明通过应用该方法在两个现实世界的数据集。
2017-10-31 stat.CO stat.ME stat.ML
Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model
研究高斯位置模型下岭正则化对数密度比估计,通过变分与谱方法推导高维渐近等价,比较两者风险并分析核范数惩罚的特征学习。
2026-07-03 cs.LG math.OC math.ST
A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra(庞培法布拉大学)
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程(MDP)的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化,以适应凸正则化函数。我们的关键结果是表明,使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体,从而讨论这些方法的收敛特性。特别是,我们证明了Schulman等人(2015)的TRPO算法的精确版本实际上收敛到最优策略,而Mnih等人(2016)的熵正则化策略梯度方法可能无法收敛到固定点。最后,我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
Model Inconsistent but Correlated Noise: Multi-view Subspace Learning with Regularized Mixture of Gaussians
the Hong Kong Polytechnic University(香港理工大学);Harbin Institute of Technology(哈尔滨工业大学)
多视图子空间学习(MSL)的目的是找到一个低维的子空间的数据从多个视图。与单视图的情况不同,多视图语义学既要考虑视图间的共性知识,也要考虑视图间的特定知识。为了提高模型的鲁棒性,应充分考虑多视图数据中噪声的复杂性、非一致性和相似性。现有的MSL方法只假设噪声服从简单的高斯或拉普拉斯分布,而忽略了实际数据中各视图中复杂的噪声结构和不同视图间的噪声相关性。针对这一问题,本文提出了一种基于多视点共享和单视点噪声知识的MSL方法。具体来说,我们将每个视图中的数据噪声建模为单独的高斯混合(MoG),它可以适应比传统高斯/拉普拉斯更广泛的复杂噪声类型。此外,我们将所有的单视图噪声作为一个整体,通过一个共同的MoG组件,编码共享的噪声知识。这种正则化分量可以在MAP框架下表示为一个简洁的KL-散度正则化项,从而对我们的模型有很好的解释,并且可以使用简单的基于EM的求解策略来解决问题。实验结果证实了我们的方法的优越性。
2018-11-07 cs.LG stat.ML
The Similarity-Consensus Regularized Multi-view Learning for Dimension Reduction
Dalian University of Technology(大连理工大学);Dalian Maritime University(大连海事大学)
在过去的几十年里,学习具有判别信息的低维空间以进行降维(DR)引起了人们的极大兴趣。然而,当面对来自多个视图的特征时,这些DR方法无法获得令人满意的性能。在多视图学习问题中,一个实例可以由多个异构特征表示,这些特征高度相关,但有时看起来彼此不同。此外,来自多个视图的特征之间的相关性总是变化很大,这对多视图学习方法的能力提出了挑战。因此,构建一个具有泛化性和可扩展性的多视图学习框架,以尽可能多地利用多视图信息,是非常必要的,但具有挑战性。为了实现上述目标,本文提出了一种基于相似性一致性的多视图学习框架,该框架充分利用了多视图特征之间的相关性,同时兼顾了框架的可扩展性和鲁棒性。它的目的是直接将现有的DR方法扩展到多视图学习领域,通过保持不同视图之间的相似性来捕获低维嵌入。分别提出了两种基于成对一致性和质心一致性的方案来强制多个视图相互学习,然后提出了一种迭代交替策略来获得最优解。该方法在5个基准数据集上进行了评估,综合实验表明,我们提出的多视图框架可以产生与最近文献中提出的方法相当的和有前途的性能。
2019-11-15 cs.LG stat.ML
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization
Stanford University(斯坦福大学)
提出了一种新的基于草图的求解L2正则化最小二乘问题的随机算法。我们考虑两个最流行的随机嵌入,即高斯嵌入和子采样随机阿达玛变换(SRHT)。虽然目前的最小二乘优化的随机求解器规定的嵌入维数至少大于数据维数,我们表明,嵌入维数可以减少到有效的优化问题的尺寸,并仍然保持高概率收敛保证。在这方面,我们推导出尖锐的矩阵偏差不等式在椭球高斯和SRHT嵌入。具体来说,我们改进了经典高斯浓度界的常数,而对于SRHT嵌入,我们的偏差不等式涉及一种新的技术方法。利用这些界限,我们能够设计一个实用的和自适应的算法,不需要事先知道的有效尺寸。我们的方法从初始嵌入维数等于1开始,经过迭代,嵌入维数最多增加到有效维数。因此,我们的算法提高了最先进的计算复杂性求解正则化最小二乘问题。此外,我们在数值上表明,它优于标准的迭代求解器,如共轭梯度法及其预处理版本在几个标准的机器学习数据集。
2020-10-23 cs.LG stat.ML
Pairwise Ranking with Gaussian Kernels
Fudan University(复旦大学)
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式,推导出在低本征维数等条件下可克服维度灾难的快速学习率,填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Regularized Multi-Task Learning for Multi-Dimensional Log-Density Gradient Estimation
对数密度梯度估计是一个基本的统计问题,具有聚类和非高斯性测量等多种实际应用。首先估计密度然后取其对数梯度的简单两步方法是不可靠的,因为准确的密度估计不一定导致准确的对数密度梯度估计。针对这一问题,本文提出了一种不需要密度估计而直接估计对数密度梯度的方法,并证明了该方法比两步法的效果好得多。本文的目的是进一步提高这种直接方法在多维情况下的性能。我们的思想是把每个维度上的对数密度梯度估计问题看作一个任务,并将正则化多任务学习应用于直接对数密度梯度估计器。我们的实验表明,所提出的多任务方法在对数密度梯度估计和模式寻求聚类的有用性。
2015-08-01 stat.ML
L1-Regularized Least Squares for Support Recovery of High Dimensional Single Index Models with Gaussian Designs
已知对于某类单指数模型(SIMs)$Y = f(\boldsymbol{X}_{p \times 1}^\intercal\boldsymbolβ_0, \varepsilon)$,当$\boldsymbol{X} \sim \mathcal{N}(0, \mathbb{I}_{p \times p})$和模型复杂度调整的样本大小低于临界阈值时,支持度恢复是不可能的。近年来,提出了基于切片逆回归(SIR)的优化算法。这些算法在设计$\boldsymbol{X}$来自i.i.d.的假设下可证明地工作。高斯分布在本文中,我们分析算法的基础上协方差筛选和最小二乘法与$L_1$惩罚(即LASSO),并证明他们也可以享受最佳的(标量)重新调整的样本大小方面的支持恢复,虽然在$f$和$\varepsilon$的假设略有不同的SIR算法相比。此外,我们更一般地表明,LASSO成功地恢复有符号的支持$\boldsymbolβ_0$,如果$\boldsymbol{X} \sim \mathcal{N}(0, \boldsymbolΣ)$,协方差$\boldsymbolΣ$满足不可表示的条件。我们的工作扩展了现有的结果支持恢复LASSO的线性模型,更一般的类SIM卡。
2016-06-23 math.ST stat.ML stat.TH
Spectral Graph Matching and Regularized Quadratic Relaxations I: The Gaussian Model
Yale University(耶鲁大学);Duke University(杜克大学)
图匹配的目的是找到两个未标记图之间的顶点对应,最大化总的边权重相关性。这相当于解决一个计算上难以处理的二次分配问题。本文提出了一种新的谱方法,GRAph配对特征对齐(GRAMPA)。从以前的谱方法,只比较顶部的特征向量,或特征向量的相同的顺序,GRAMPA首先构造一个相似性矩阵作为两个图的所有对特征向量之间的外积的加权和,与柯西核应用到相应的特征值的分离给出的权重,然后通过一个简单的舍入过程输出匹配。相似矩阵也可以解释为二次分配问题的正则化二次规划松弛的解。对于高斯维格纳模型,其中$n$顶点上的两个完全图具有高斯边权重与相关系数$1-σ^2$,我们表明,GRAMPA准确地恢复正确的顶点对应,以高概率时,$σ= O(\frac{1}{\log n})$。这与多项式时间算法的现有技术相匹配,并且显著地改进了要求$σ$在$n$中多项式地小的现有谱方法。GRAMPA的优越性也表现在各种合成和真实的数据集,在统计精度和计算效率方面。普适性结果,包括稠密和稀疏Erdens-Rényi图的类似保证,被推迟到配套文件。
2019-07-20 cs.LG math.PR math.SP
Statistical Inference in Classification of High-dimensional Gaussian Mixture
Auburn University(奥本大学)
本文针对一般协方差下的高维二元高斯混合分类,利用副本方法分析正则化凸分类器的渐近泛化与变量选择性质,并构造去偏估计量进行假设检验。
2024-10-25 cs.LG stat.ML
Sparse Inverse Covariance Matrix Estimation Using Quadratic Approximation
University of Texas, Austin(德克萨斯大学奥斯汀分校)
L1-正则化高斯最大似然估计(MLE)已被证明具有很强的统计保证,在恢复稀疏逆协方差矩阵,或替代的高斯马尔可夫随机场的底层图形结构,从非常有限的样本。我们提出了一种新的算法来解决由此产生的优化问题,这是一个正则化的对数行列式程序。与最近的最先进的方法,主要使用一阶梯度信息,我们的算法是基于牛顿的方法,并采用二次近似,但有一些修改,利用稀疏高斯MLE问题的结构。我们证明了我们的方法是超线性收敛的,并使用合成和真实世界的应用数据,证明了我们的方法的性能相比,其他国家的最先进的方法有相当大的改善目前的实验结果。
2013-06-13 cs.LG stat.ML