Stable Distillation and High-Dimensional Hypothesis Testing
针对高维回归中非正交预测变量难以独立检验的问题，提出 Stable Distillation，通过向结果向量注入噪声使效应估计正交，生成独立 p 值，并在模拟中达到或超过现有方法功效。
2025-01-09 stat.ME
Uniform Post Selection Inference for LAD Regression and Other Z-estimation problems
在具有同方差误差的高维稀疏中位数回归模型中，我们给出了回归系数的一致有效置信区域。我们的方法是基于一个时刻方程，免疫对非正规估计的滋扰部分的中位数回归函数，通过使用奈曼的正交化。我们建立了目标回归系数的工具中位数回归估计是渐近正态分布均匀相对于底层稀疏模型，是半参数有效的。我们还将我们的方法推广到一般的非光滑Z-估计框架，目标参数$p_1$的数量可能远大于样本量$n$。我们扩展胡贝尔的结果渐近正态性的设置，证明一致的渐近正态性的估计超过$p_1$维矩形，同时构建置信带的所有$p_1$的目标参数，并建立渐近有效性的乐队一致的基本近似稀疏模型。关键词：工具;后选择推理;稀疏性;奈曼正交评分检验;一致有效推理; Z-估计。
2020-10-18 econ.EM math.ST stat.ME
A Muon-Accelerated Algorithm for Low Separation Rank Tensor Generalized Linear Models
Iowa State University（爱荷华州立大学）
本文提出LSRTR-M算法，通过引入Muon更新方法优化低分离秩张量广义线性模型的估计与分类，提升收敛速度和计算效率。
2026-04-06 cs.LG eess.SP stat.ML
Extrapolation Estimation for Parametric Regression with Normal Measurement Error
对于协变量含有正态测量误差的一般参数回归模型，本文提出了一种经典模拟外推算法的加速版本来估计回归函数中的未知参数。通过将条件期望直接应用于目标函数，所提出的算法成功地消除了模拟步骤，通过生成一个估计方程，无论是立即使用或外推，从而显着减少了计算时间。讨论了估计量的大样本性质，包括相合性和渐近正态性。潜在的广泛应用所提出的估计程序的例子，模拟研究，以及一个真实的数据分析。
2021-07-10 stat.ME
Large Scale Constrained Linear Regression Revisited: Faster Algorithms via Preconditioning
Department of Computer Science and Engineering（计算机科学与工程系）；State University of New York at Buffalo（纽约州立大学布法罗分校）
在本文中，我们重新审视了大规模约束线性回归问题，并根据草图和优化方面的一些最新发展提出了更快的方法。我们的算法结合（加速）小批量SGD与一种新的方法，称为两步预处理，以实现一个近似的解决方案，时间复杂度低于国家的最先进的技术，为低精度的情况下。我们的想法也可以扩展到高精度的情况下，这给出了一个替代的实现迭代Hessian草图（IHS）方法显着改善时间复杂度。在基准数据集和合成数据集上的实验表明，我们的方法在低精度和高精度的情况下确实优于现有的方法。
2018-02-09 cs.LG math.OC stat.ML
Model selection for high-dimensional linear regression with dependent observations
National Tsing Hua University（国立清华大学）
研究了正交贪婪算法（OGA）在具有相依观测的高维回归模型中的预测能力。在各种稀疏性条件下，得到了OGA预测误差的收敛速度。为了防止OGA的过拟合，我们引入了一个高维赤池的信息准则（HDAIC）来确定OGA的迭代次数。这项工作的一个关键贡献是表明，OGA，与HDAIC结合使用，可以实现最佳的收敛速度，而不需要知道底层的高维模型是多么稀疏。
2019-06-18 cs.LG math.ST stat.ML
An explicit mean-covariance parameterization for multivariate response linear regression
我们开发了一种新的方法来拟合多变量响应线性回归模型，该模型利用了回归系数矩阵和误差协方差阵之间的参数联系。具体来说，我们假设多元误差随机向量中的条目之间的相关性与其对应的回归系数矩阵列之间的角度的余弦成比例，因此随着两个回归系数矩阵列之间的角度减小，对应误差之间的相关性增大。我们强调两种模型下，这种参数化出现：潜变量降秩回归模型和变量误差回归模型。我们提出了一种新的非凸加权残差平方和准则，利用这种参数化，并承认一类新的惩罚估计。该优化算法采用加速近端梯度下降算法求解。我们的方法用于研究在NCI-60细胞系上测量的microRNA表达和癌症药物活性之间的关联。实现我们的方法MCMVR的R包可以在github.com/ajmolstad/MCMVR上获得。
2021-12-08 stat.ME
Nonconvex penalized multitask regression using data depth-based penalties
我们提出了一类新的非凸罚函数，基于数据深度函数，多任务稀疏惩罚回归。这些罚分量化了系数矩阵的行相对于以原点为中心的固定分布的相对位置。利用罚函数的局部线性逼近，推导了系数矩阵的近似一步稀疏估计的理论性质，并给出了计算算法。对于正交设计和独立响应，所得到的阈值规则具有接近极小极大的最优风险性能，类似于自适应套索（Zou，2006）。仿真研究和实际数据分析表明，该方法的有效性相比，目前的一些方法，提供稀疏的解决方案，多元回归。
2017-06-23 stat.ME
Generalized Linear Models with Linear Constraints for Microbiome Compositional Data
受微生物组成分数据回归分析的启发，本文考虑了具有成分协变量的广义线性回归分析，其中对回归系数施加一组线性约束以解释数据的成分性质并实现亚成分一致性。为了有效地估计回归系数，提出了一种基于广义加速邻近梯度法的惩罚似然估计方法。一个去偏的程序，以获得渐近无偏和正态分布的估计，这导致有效的置信区间的回归系数。仿真结果表明，在适当的线性约束条件下，置信区间的覆盖概率是正确的，估计的方差较小。这些方法通过微生物组研究来说明，以鉴定与炎症性肠病（IBD）相关的细菌物种，并使用粪便微生物组预测IBD。
2018-01-10 stat.ME
On the Use of $L$-functionals in Regression Models
本文综述并统一了回归模型中响应变量的条件分布的一大类$L$ -泛函。这包括稳健的措施的位置，规模，偏度，和heavytailedness的反应，有条件的协变量。我们推广了$L$ -矩（Sittinen，1969），$L$ -偏度，和$L$ -峰度（Hosking，1990）的概念，并通过分位数函数的正交级数展开，引入了一大类$L$ -泛函的阶数.特别是，我们激励为什么位置，规模，偏度和heavytailedness有顺序编号分别为1，2，（3，2），（4，2）和描述如何家庭的$L$ -泛函，具有不同的顺序编号，是从勒让德，厄米，拉盖尔或其他类型的多项式。我们的框架适用于模型的响应和协变量的分位数之间的关系遵循一个转换的线性模型，与链接函数，确定适当的类的$L$ -泛函。在此设置中，响应的分布被参数化或非参数化处理，响应变量被删失/截断或不被截断。我们还提供了一个统一的渐近理论估计的$L$ -泛函，并说明我们的方法通过分析候鸟的到达时间分布。在这种情况下，一个新的版本的决定系数的介绍，它利用上述正交级数展开。
2022-04-28 math.ST q-bio.QM stat.TH
Encrypted accelerated least squares regression
University of Oxford（牛津大学）
根据定义，以加密格式存储的信息通常不适合统计分析或机器学习方法。在本文中，我们提出了详细的分析坐标和加速梯度下降算法，能够拟合最小二乘和惩罚岭回归模型，使用数据加密下的全同态加密方案。梯度下降的加密计算速度方面占主导地位，并证明了理论结果给出的参数范围，确保解密的正确性。经验表明，加密计算的特性有利于非标准的加速技术。这证明了使用加密数据近似传统统计回归方法而不损害隐私的可能性。
2017-03-02 cs.LG stat.ML
Weighted Orthogonal Components Regression Analysis
在多元线性回归设置，我们提出了一个一般的框架，称为加权正交成分回归（WOCR），其中包括许多已知的方法作为特殊情况下，包括岭回归和主成分回归。WOCR利用正交分量固有的单调性来参数化权重函数。该公式允许调谐参数的有效确定，因此在计算上是有利的。此外，WOCR为衍生新的更好的变体提供了见解。具体来说，我们主张根据它们与响应的相关性对组件进行加权，这会提高预测性能。模拟研究和真实数据的例子提供了评估和说明所提出的方法的优点。
2018-01-22 stat.ML
XBART: Accelerated Bayesian Additive Regression Trees
University of Chicago（芝加哥大学）；Arizona State University（亚利桑那州立大学）
贝叶斯加性回归树（Bayesian additive regression trees，BART）（Chipman et.例如，2010）是一个强大的预测模型，在样本外预测方面往往优于其他模型。BART特别适合于具有非结构化预测变量和大量不可测量变化来源的环境，这在社会，行为和健康科学中是典型的。本文提出了一种改进的BART算法，它可以进行快速后验估计。我们提出了一个随机爬山算法，匹配显着的预测精度以前的BART实现，但速度快了很多倍，内存密集度低。仿真研究表明，新方法在计算时间上与随机森林和梯度提升方法相当，在函数估计上更准确。
2019-03-14 cs.LG stat.ML
Adversarial Orthogonal Regression: Two non-Linear Regressions for Causal Inference
Sharif University of Technology（谢里夫理工大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了两种非线性回归方法，命名为对抗正交回归（AdOR）的加性噪声模型和对抗正交结构方程模型（AdOSE）的一般情况下的结构方程模型。这两种方法都试图使回归残差与回归变量无关，同时不对噪声分布作任何假设。在这两种方法中，同时训练两个对抗网络，其中回归网络输出预测，损失网络估计互信息（在AdOR中）和KL发散（在AdOSE中）。这些方法可以被公式化为一个极大极小两人博弈;在均衡时，AdOR发现输入和输出之间的确定性映射，并估计残差和输入之间的互信息，而AdOSE估计给定输入的输出的条件概率分布。所提出的方法可以用作子程序来解决因果关系中的几个学习问题，例如因果方向确定（或更一般地，因果结构学习）和因果模型估计。合成和真实世界的实验表明，所提出的方法具有显着的性能相对于以前的解决方案。
2019-09-10 cs.LG stat.ML
Penalized Orthogonal-Components Regression for Large p Small n Data
我们提出了一个惩罚正交成分回归（POCRE）的大p小n数据。按顺序构建正交分量，以在标准化后最大化其与响应残差的相关性。一个新的惩罚框架，通过经验贝叶斯阈值实现，有效地识别每个组件的稀疏预测。POCRE是计算效率，由于其领先的稀疏主成分的顺序构造。此外，这种构造提供了其他属性，例如对高度相关的预测器进行分组，并允许共线或近似共线的预测器。POCRE可以通过多变量响应构造公共成分，从而建立大p小n数据的潜变量模型。
2008-12-18 stat.ME stat.ML
ASBART:Accelerated Soft Bayes Additive Regression Trees
Shanghai University of Finance and Economics（上海财经大学）
针对Soft BART在MCMC循环中计算缓慢的问题，提出加速变体ASBART，在保持相当精度的同时将速度提升约10倍。
2023-10-21 cs.LG stat.CO stat.ML
l1-norm Penalized Orthogonal Forward Regression
University of Reading（雷丁大学）；University of Southampton（南安普顿大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；CSIRO Mathematics and Information Sciences（联邦科学与工业研究组织数学与信息科学研究所）；Charles Sturt University（查尔斯特大学）
基于留一均方误差（LOOMSE）的概念，提出了一种l1-范数惩罚正交前向回归（l1-POFR）算法。首先，在构造的正交空间中定义一个新的l1范数惩罚代价函数，每个正交基对应一个可调的正则化参数。其次，由于正交计算，LOOMSE可以解析计算，而无需实际分裂的数据集，而且最优正则化参数的最小LOOMSE的封闭形式推导。第三，提出了一个正则化参数的下界，它可以用于鲁棒LOOMSE估计通过自适应检测和删除回归到一个无效的集合，使算法的计算成本显着降低。包括说明性的例子来证明这种新的l1-POFR方法的有效性。
2015-09-04 cs.LG stat.ML
Survival regression with accelerated failure time model in XGBoost
Stony Brook University（石溪大学）；NVIDIA（英伟达）；Northern Arizona University（北亚利桑那大学）
生存回归用于估计事件发生时间与特征变量之间的关系，在医学、市场营销、风险管理和销售管理等应用领域具有重要意义。在XGBoost、scikit-learn、LightGBM和CatBoost等库中实现的基于非线性树的机器学习算法在实践中通常比线性模型更准确。然而，现有的基于树的模型的最先进的实现提供了有限的支持生存回归。在这项工作中，我们实现了损失函数的学习加速故障时间（AFT）模型在XGBoost，以增加对不同类型的标签删失生存建模的支持。我们用真实和模拟实验证明了AFT在XGBoost中相对于一些基线的有效性，在两个方面：泛化性能和训练速度。此外，我们利用XGBoost中对NVIDIA GPU的支持，实现了对多核CPU的大幅加速。据我们所知，我们的工作是第一个利用NVIDIA GPU处理能力的AFT实现。从1.2.0版本开始，XGBoost包原生支持AFT模型。在XGBoost中添加AFT在开源社区中产生了重大影响，一些统计软件包现在使用XGBoost AFT模型。
2021-08-21 cs.LG stat.ML
A regression algorithm for accelerated lattice QCD that exploits sparse inference on the D-Wave quantum annealer
我们提出了一种回归算法，该算法利用D-Wave量子退火机上针对稀疏推理优化的学习字典。在这种回归算法中，我们将自变量和因变量连接为组合向量，并将它们之间的高阶相关性编码到针对稀疏重建优化的字典中。在测试数据集上，将因变量初始化为其平均值，然后获得组合向量的稀疏重建，其中因变量通常被移动到更接近其真实值，如在标准修复或去噪任务中那样。在这里，一个量子退火器，它可能可以利用一个完全纠缠的初始状态，以更好地探索复杂的能量景观，是用来解决高度非凸稀疏编码优化问题。使用D-Wave 2000 Q量子退火机对晶格量子色动力学模拟数据进行了回归算法验证，取得了良好的预测性能。使用20到64之间的六个不同的全连接逻辑量子比特的数量值来执行回归测试。缩放结果表明，更大数量的量子比特提供更好的预测精度。
2021-01-04 hep-lat quant-ph stat.ML
Supervised feature selection with orthogonal regression and feature weighting
有效的特征可以提高模型的性能，从而帮助我们理解复杂数据的特征和底层结构。以往的特征选择方法通常不能保留更多的局部结构信息。为了解决上述缺陷，我们提出了一种新的监督正交最小二乘回归模型与特征加权特征选择。目标函数的优化问题可以通过广义幂迭代（GPI）和增广拉格朗日乘子（ALM）方法求解。实验结果表明，与传统的特征选择方法相比，该方法能更有效地降低特征维数，获得更好的分类结果。证明了该迭代法的收敛性。理论和实验验证了该方法的有效性和优越性。
2019-10-09 cs.LG stat.ML
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University（普林斯顿大学计算机科学系）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research, India（微软研究院印度）；Stanford University（斯坦福大学）
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$，我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $，其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术，近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能，但进一步提高时，杠杆分数的行是小的（多对数因子）。我们还提供了一个非线性推广这些结果，提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
Risk Bounds of Accelerated SGD for Overparameterized Linear Regression
University of California, Los Angeles（加州大学洛杉矶分校）；Simons Institute, University of California, Berkeley（加州大学伯克利分校西蒙斯研究所）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文研究了过参数化线性回归中ASGD的泛化问题，在数据协方差矩阵的特征子空间内建立了超额风险界，揭示了ASGD在小特征值子空间中偏差误差衰减更快但方差误差更大的特性，并给出了强凸设置下更紧的偏差误差界。
2023-11-23 cs.LG math.OC stat.ML
Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints
Yunnan University（云南大学）
本文针对带$\ell_0$约束的多线性稀疏逻辑回归模型提出APALM$^+$加速算法，解决了非凸非光滑优化难题，并证明了其全局收敛性及收敛速率，实验表明其在准确性和速度上优于现有方法。
2023-09-17 cs.LG stat.ML
Pre-processing with Orthogonal Decompositions for High-dimensional Explanatory Variables
解释变量之间的强相关性对于高维正则化回归方法是有问题的。由于违反了不可表示条件，流行的LASSO方法可能会遭受虚假包含无效变量。在本文中，我们提出了预处理与正交分解（PROD）的解释变量的高维回归。PROD程序是根据设计矩阵的通用正交分解构造的。我们通过两个具体的例子证明了PROD方法可以有效地提高高维惩罚回归的性能。我们的理论分析揭示了他们的性质和好处高维惩罚线性回归与LASSO。大量的数值模拟和数据分析表明，有前途的性能的PROD。
2021-06-16 math.ST stat.ME stat.ML
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）；Baidu Inc.（百度公司）
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法，并通过内-外迭代流程提升其效率，改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
Accelerated Sparse Subspace Clustering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
用于稀疏子空间聚类的现有技术算法对相似性矩阵执行谱聚类，该相似性矩阵通常通过使用基追踪（BP）或正交匹配追踪（OMP）将每个数据点表示为其他点的稀疏组合来获得。基于BP的方法在实践中往往令人望而却步，而基于OMP的方案的性能并不令人满意，特别是在数据点高度相似的情况下。在本文中，我们提出了一种新的算法，利用正交最小二乘的加速变量，有效地找到底层的子空间。我们表明，在一定条件下，该算法返回一个子空间保持的解决方案。仿真结果表明，所提出的方法与基于BP的方法相比，在运行时间方面，而显着更准确的基于OMP的计划。
2017-10-31 cs.CV cs.LG stat.ML
Covariate Balancing and Riesz Regression Should Be Guided by the Neyman Orthogonal Score in Debiased Machine Learning
Data Analytics Department, Mizuho-DL Financial Technology, Co., Ltd.（摩根大通数字技术财务科技部门）
本文指出，在去偏机器学习中，平衡函数应基于奈曼正交分数推导，而非仅作为协变量函数。协变量平衡在回归误差可由协变量表示时有效，但针对处理效应异质性下的ATE估计，分数误差通常包含处理特定成分，因此提倡通过里斯回归实现回归平衡。
2026-05-07 cs.LG econ.EM math.ST
Signal and Noise Statistics Oblivious Orthogonal Matching Pursuit
IIT Madras（印度理工学院马德拉斯分校）
正交匹配追踪（OMP）算法是一种广泛应用于恢复线性回归模型中稀疏高维向量的算法。OMP的最佳性能要求\textit{a priori}知道回归向量的稀疏性或噪声统计。这两个统计量都很少为\textit{a priori}所知，并且很难估计。在本文中，我们提出了一种新的技术，称为剩余比阈值（RRT）操作OMP没有任何\textit{a priori}知识的稀疏性和噪声统计，并建立有限样本和大样本支持恢复保证相同。在真实数据集和合成数据集上的分析结果和数值模拟表明，RRT具有与具有稀疏性和噪声统计的\textit{a priori}知识的OMP相当的性能。
2018-06-02 cs.IT cs.LG math.IT
Orthogonal Matching Pursuit with Noisy and Missing Data: Low and High Dimensional Results
许多稀疏回归模型通常假设协变量是完全已知的，并且没有噪声。特别是在高维应用中，情况往往并非如此。本文开发了高效的OMP类算法来处理正是这种设置。我们的算法是有效的OMP，并改善最知名的结果，在回归中的缺失和噪声数据，无论是在高维设置，我们试图从只有几个测量恢复稀疏向量，并在经典的低维设置，我们恢复一个非结构化的回归。在高维环境中，我们的支持恢复算法甚至不需要了解噪声的统计信息。一路上，我们还获得了改进的性能保证OMP的标准稀疏回归问题与高斯噪声。
2015-03-30 cs.IT math.IT math.ST
Ultra-high Dimensional Multiple Output Learning With Simultaneous Orthogonal Matching Pursuit: A Sure Screening Approach
我们提出了一个新的应用程序的同时正交匹配追踪（S-OMP）过程中的稀疏变量选择超高维多任务回归问题。在\cite{fan08sis}中引入的变量筛选是一种有效且高度可扩展的方法，用于从所有变量的集合中删除许多不相关的变量，同时保留所有相关变量。S-OMP可以应用于具有数十万个变量的问题，并且一旦变量的数量减少到可管理的大小，则可以使用计算要求更高的程序来识别每个回归输出的相关变量。据我们所知，这是第一次尝试利用多个输出的相关性来执行相关变量的快速筛选。作为我们的主要理论贡献，我们证明，渐近，S-OMP是保证减少超高数量的变量，低于样本量，而不会失去真正的相关变量。我们还提供了正式的证据表明，修改后的贝叶斯信息准则（BIC）可以用来有效地确定在S-OMP的迭代次数。我们进一步提供经验证据的好处，变量选择使用多个回归输出联合，而不是单独执行变量选择每个输出。S-OMP的有限样本性能证明了广泛的模拟研究，并在遗传关联映射问题。$Keywords$自适应套索;贪婪前向回归;正交匹配追踪;多输出回归;多任务学习;同时正交匹配追踪;确定筛选;变量选择
2010-12-17 stat.ML
Accelerated Information Gradient flow
我们提出了一个框架Nesterov的加速梯度流在概率空间设计有效的平均场马尔可夫链蒙特卡罗（MCMC）算法的贝叶斯逆问题。本文考虑了四种信息度量的例子，包括Fisher-Rao度量、Wasserstein-2度量、Kalman-Wasserstein度量和Stein度量。对于Fisher-Rao和Wasserstein-2度量，我们证明了加速梯度流的收敛性质。在实现中，我们提出了一个采样有效的离散时间算法的Wasserstein-2，Kalman-Wasserstein和Stein加速梯度流与重新启动技术。我们还制定了一个核带宽选择方法，学习密度的对数梯度从布朗运动样本。数值实验，包括贝叶斯逻辑斯谛回归和贝叶斯神经网络，表明所提出的方法相比，国家的最先进的算法的强度。
2022-06-23 cs.IT math.IT math.OC
Overparameterized random feature regression with nearly orthogonal data
University of California, San Diego（加州大学圣地亚哥分校）；University of California, Irvine（加州大学欧文分校）
本文研究过参数化随机特征岭回归在近正交单位长度数据下的非渐近表现，证明其误差集中于期望核 KRR，并通过 Hermite 多项式核近似得到非线性学生–教师模型的泛化下界。
2023-08-13 cs.LG math.PR math.ST
Tuning Free Orthogonal Matching Pursuit
正交匹配追踪（OMP）是一种广泛应用的压缩感知（CS）算法，用于恢复噪声线性回归模型中的稀疏信号。OMP的性能取决于其停止准则（SC）。在文献中讨论的用于OMP的SC通常假设要估计的信号的稀疏性$k_0$或噪声方差$σ^2$的知识，这两者在许多实际应用中是不可用的。在这篇文章中，我们开发了一个修改版本的OMP称为调谐自由OMP或TF-OMP，它不需要SC。TF-OMP被证明是成功的稀疏恢复在通常的假设下的限制等距常数（RIC）和设计矩阵的互相关。数值上显示，与具有$k_0$或$σ^2$的\textit{a priori}知识的OMP相比，TF-OMP提供高度竞争性的性能。贪婪鲁棒去噪算法（Greedy Algorithm for Robust De-noising，GARD）是一种OMP类算法，用于估计稀疏离群值破坏的超定线性回归模型。然而，GARD需要内点噪声方差的知识，这是很难估计的。我们还产生了一个调谐免费算法（TF-GARD）的有效估计稀疏离群值的存在下，通过扩展TF-OMP的工作原理GARD。TF-GARD的数字显示，以实现与GARD的现有实施的性能。
2017-03-15 cs.IT math.IT stat.ML
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人们普遍认为，由于快速梯度法的不稳定性和误差积累，不可能有效地利用快速梯度法（例如Nesterov的加速法、共轭梯度法、重球法）进行随机最优化，这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近，我们的主要结果驳斥了传统的智慧，表明加速可以强大的统计误差。特别是，这项工作介绍了一种加速随机梯度方法，可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题，设计简单，有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
Signal classification using weighted orthogonal regression method
本文提出了一种新的基于数据内在属性的分类器。在基于数据采掘的应用中，分类是一项重要的任务.当训练集的大小不足以与问题的维度进行比较时，分类问题将具有挑战性。本文提出了一种新的分类方法，利用每个类的内在结构，通过相应的本征分量。每个组件都通过特定的权重对每个类的学习广度做出贡献。权重由相关的特征值确定。该方法在面对有限训练数据的分类问题时，具有可靠的学习鲁棒性。所提出的方法涉及到从每个类的数据的奇异值分解得到的特征向量选择每个子空间的基。此外，它认为一个有效的加权决策标准区分两类。除了在人工数据上的高性能外，该方法还提高了国际比赛的最佳成绩。
2020-10-12 cs.AI cs.LG stat.ML
Nudged elastic band calculations accelerated with Gaussian process regression
在热化系统中，原子和/或自旋重排等跃迁的最小能量路径是统计权重最大的跃迁路径。这种路径通常使用轻推弹性带方法计算，其中初始路径迭代地移动到最近的最小能量路径。计算工作量可能很大，特别是当从头计算或电子密度泛函计算用于评估能量和原子力时。在这里，我们展示了如何使用高斯过程回归方法，在每次迭代中生成近似能量表面并进行细化，从而将此类评估的数量减少一个数量级。当目标是评估谐波过渡态理论内的过渡速率时，可以预先执行初始和最终状态最小值处的海森矩阵的评估，并将其用作最小能量路径计算中的输入，从而提高稳定性并减少收敛所需的迭代次数。高斯过程模型还提供了近似能量表面的不确定性估计，并且这可以用于将计算集中在路径的鲜为人知的部分上，从而将当前计算中所需的能量和力评估的数量减少到一半。该方法说明了使用二维Müller-Brown势面和性能评估的一个既定的基准涉及13个重排过渡的七聚体岛在固体表面上。
2017-09-12 physics.atm-clus physics.chem-ph physics.comp-ph
Readouts for Echo-state Networks Built using Locally Regularized Orthogonal Forward Regression
回声状态网络（ESN）被看作是一个时间非正交扩展与伪随机参数。这种扩展自然会产生与教师输出相关的各种回归变量。我们说明，往往只有一定数量的生成的回声回归有效地解释教师输出的方差，也是唯一的局部正则化是无法提供深入的信息，所生成的回归的重要性。因此，通过使用局部正则化正交前向回归（LROFR）算法联合计算个体方差贡献和贝叶斯相关性来确定重要性。该信息可以有利地以各种方式用于深入分析ESN结构及其与潜在问题的未知动态相关的状态空间参数。我们提出了使用LROFR构建的局部正则化线性读出。读出可以具有与ESN模型本身不同的维度，并且除了提高ESN的鲁棒性和准确性之外，它还将回波回归量与训练数据的不同特征相关联，并且可以确定什么类型的附加读出适合于手头的任务。此外，由于线性读出的灵活性有局限性，有时可能不足以满足某些任务，我们还提出了一个径向基函数（RBF）读出使用LROFR。它是一个灵活的和吝啬的读出具有良好的泛化能力，是一个可行的替代读出基于前馈神经网络（FFNN）或RBF网络建立使用相关向量机（RVM）。
2012-07-02 stat.ME stat.ML
GPU-accelerated partially linear multiuser detection for 5G and beyond URLLC systems
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute (HHI)（弗劳恩霍夫电信研究所，海因里希·赫兹研究所（HHI））；Technical University Of Berlin（柏林工业大学）；NVIDIA（英伟达）
在这项可行性研究中，我们已经实现了最近提出的部分线性多用户检测算法在再生核希尔伯特空间（RKHS）的GPU加速平台上。针对非正交多址接入（NOMA）的大规模连接情况，部分线性多用户检测结合了线性检测的鲁棒性和非线性检测的优势。这是一种有前景的方法，但是检测接收到的正交频分复用（OFDM）无线电帧内的有效载荷需要执行大量的内积运算，这是该算法的主要计算负担。虽然内积运算由简单的内核计算组成，但它们的数量之多在超低延迟（UWB）应用程序中构成了挑战，因为计算内积所需的时间可能超过亚毫秒延迟要求。为了解决这个问题，本研究演示了通过大规模并行化加速内积运算。其结果是GPU加速的实时OFDM接收器，可实现亚毫秒级延迟检测，以满足第五代（5G）及超可靠和低延迟通信（URLLC）系统的要求。此外，并行化和加速技术的探索和证明，在这项研究中可以扩展到许多其他信号处理算法在希尔伯特空间，如那些基于投影到凸集（POCS）和自适应投影次梯度法（APSM）算法。实验结果和与最先进的比较证实了我们的技术的有效性。
2022-05-17 cs.IT cs.LG eess.SP
Approximated Orthogonal Projection Unit: Stabilizing Regression Network Training Using Natural Gradient
Zhejiang University（浙江大学）
针对工业软测量在线优化中稳定性和可解释性优先于精度的问题，提出具有坚实数学基础的新型神经网络 AOPU，通过截断梯度反向传播优化参数更新并近似自然梯度，在化学过程数据集上实现了更稳定的收敛。
2024-09-23 cs.AI cs.LG stat.ML
Prior-preconditioned conjugate gradient method for accelerated Gibbs sampling in "large $n$ & large $p$" Bayesian sparse regression
在基于医疗保健数据库的现代观察性研究中，观察结果和预测因子的数量通常在$10^5$ ~ $10^6$和$10^4$ ~ $10^5$之间。尽管样本量很大，但数据很少提供足够的信息来可靠地估计如此大量的参数。稀疏回归技术提供了潜在的解决方案，一个值得注意的方法是基于收缩先验的贝叶斯方法。然而，在“大n &大p”设置中，后验计算在从高维高斯分布重复采样时遇到主要瓶颈，其精度矩阵$Φ$的计算和因式分解是昂贵的。在这篇文章中，我们提出了一种新的算法，以加快这一瓶颈的基础上，以下观察：我们可以廉价地产生一个随机向量$b$，使解决方案的线性系统$Φβ= b$具有所需的高斯分布。然后，我们可以通过共轭梯度（CG）算法通过$Φ$的矩阵向量乘法来求解线性系统;这不涉及$Φ$本身的显式因式分解或计算。快速收敛的CG在这种情况下，保证了我们开发的先验预处理理论。我们将我们的算法应用于一项临床相关的大规模观察性研究，其中n = 72，489例患者，p = 22，175个临床协变量，旨在评估两种替代血液抗凝剂不良事件的相对风险。我们的算法在后验推理中表现出数量级的加速，在我们的情况下，将计算时间从两周减少到不到一天。
2022-03-03 stat.CO stat.ML
Online Orthogonal Matching Pursuit
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Univ. Paris-Sud（巴黎南大学）；Université Paris-Saclay（巴黎萨克雷大学）
特征选择的贪婪算法被广泛用于恢复线性模型中的稀疏高维向量。在经典的过程中，主要的重点放在样本的复杂性，很少或根本没有考虑所需的计算资源。提出了一种新的在线算法：在线正交匹配追踪（OOMP），用于稀疏线性回归随机设计环境下的在线支持度恢复。我们的程序选择功能顺序，交替之间的分配样本只需要候选功能，并优化选定的一组变量，以估计的回归系数。证明了算法输出的理论保证，并分析了算法的计算复杂度。
2021-02-10 cs.LG stat.ML
Overcoming error-in-variable problem in data-driven model discovery by orthogonal distance regression
针对SINDy类数据驱动模型发现方法的变量误差问题，提出结合正交距离回归与贝叶斯模型选择的ODR-BINDy方法，在多系统含噪数据上的模型恢复表现优于现有方法。
2025-07-31 nlin.CD stat.ME stat.ML
Accelerated SGD for Non-Strongly-Convex Least Squares
EPFL（洛桑联邦理工学院）
考虑非强凸情形下最小二乘回归问题的随机逼近。我们提出了第一个实用的算法，实现了最佳的预测出错率的依赖于噪声的问题，$O(d/t)$，同时加速忘记的初始条件$O(d/t^2)$。我们的新算法是基于一个简单的修改的加速梯度下降。我们提供了收敛结果的平均值和最后一次的算法。为了描述这些新的界限的紧密性，我们提出了一个匹配的下限在无噪声设置，从而显示我们的算法的最优性。
2022-03-03 cs.LG math.OC stat.ML
Multi-kernel Regression For Graph Signal Processing
KTH Royal Institute of Technology（KTH皇家理工学院）
我们开发了一种基于多核的回归方法，用于图形信号处理，其中假设目标信号在图形上是平滑的。在多核回归中，一个有效的核函数被表示为多个基核函数的线性组合。我们估计的线性权重学习有效的核函数通过适当的正则化的基础上图的光滑性。我们表明，由此产生的优化问题被证明是凸的，并提出一个加速投影梯度下降为基础的解决方案。使用真实世界的图形信号的仿真结果表明基于多核的方法比基于标准核的方法的效率。
2018-03-12 cs.LG stat.ML
A Spectral Series Approach to High-Dimensional Nonparametric Regression
现代统计学中的一个关键问题是如何对复杂的高维数据进行快速可靠的推断。虽然稀疏技术引起了人们的极大兴趣，但目前的方法不能很好地推广到具有非线性结构的数据。在这项工作中，我们提出了一个正交系列的预测是复杂的聚合对象，如自然图像，星系光谱，轨迹和电影估计。我们的系列方法将内核机器学习和傅立叶方法的思想联系在一起。我们扩展未知回归的数据方面的特征函数的内核为基础的运营商，我们利用正交的基础上的基本数据分布，P，以加快计算和调整参数。如果核被适当地选择，则特征函数适应于数据的内在几何形状和维度。我们提供了理论上的保证，径向内核具有不同的带宽，我们与光滑的回归函数相对于P稀疏的特征基。最后，使用模拟和真实世界的数据，我们系统地比较了经典的核平滑，k-最近邻回归，核岭回归，和国家的最先进的流形和局部回归方法的性能的谱序列方法。
2016-02-01 stat.ME stat.ML
Accelerated Block Coordinate Proximal Gradients with Applications in High Dimensional Statistics
Hong Kong University of Science and Technology（香港科技大学）
非凸最优化问题在信号处理、统计学和机器学习等领域都有广泛的应用。在这项工作中，我们探讨了加速近梯度法和它的一些变种，最近已被证明是收敛于非凸的情况下。我们表明，这里提出的一种新的变体，它利用自适应动量和块坐标更新与特定的更新规则，进一步提高了性能的广泛的一类非凸问题。在稀疏线性回归的正则化，如Lasso，分组Lasso，加盖$\ell_1$和SCAP的应用中，所提出的计划享有可证明的局部线性收敛，与实验的理由。
2017-12-03 cs.LG math.OC stat.ML
Lass-0: sparse non-convex regression by local search
我们使用L1正则化（也称为Lasso）作为初始化步骤来计算L0正则化线性回归的近似解。我们的算法，Lass-0（“Lass零”），使用计算效率的逐步搜索，以确定一个局部最优的L0解决方案，任何L1正则化解决方案。我们提出的理论结果的一致性下的正交性和适当的处理冗余功能。经验上，我们使用合成数据来证明Lass-0解决方案比L1正则化模型更接近真实的稀疏支持。此外，在现实世界的数据中，Lass-0找到了比L1正则化更简约的解决方案，同时保持了类似的预测精度。
2016-02-17 stat.ML
RAPID: Rapidly Accelerated Proximal Gradient Algorithms for Convex Minimization
Boston University（波士顿大学）
本文提出了一种新的加速邻近梯度（APG）算法。为了最小化一个凸函数$f(\mathbf{x})$，我们的算法在APG中的每个邻近梯度步骤之后引入一个简单的线搜索步骤，使得在固定变量$\mathbf{x}$的情况下，双凸函数$f(θ\mathbf{x})$在标量变量$θ>0$上最小化。我们提出了两种新的方法来构建辅助变量的APG的基础上的中间解决方案的最近梯度和线搜索步骤。我们证明了在任意迭代步长$t (t\geq1)$，我们的算法可以达到一个更小的上限之间的差距的当前和最优的目标值比传统的APG方法，如FISTA，使它在实践中收敛速度更快。事实上，我们的算法可以潜在地应用于许多重要的凸优化问题，如稀疏线性回归和核支持向量机。我们的实验结果清楚地表明，我们的算法收敛速度比APG在上述所有的应用程序，甚至与一些复杂的求解器。
2014-06-18 cs.LG math.OC stat.ML
Orthogonal Machine Learning: Power and Limitations
Microsoft Research New England（微软新英格兰研究院）；Operations Research Center, MIT（麻省理工学院运筹学研究中心）
双机器学习提供了感兴趣参数的$\sqrt{n}$一致估计，即使在以$n^{-1/4}$速率估计高维或非参数干扰参数时也是如此。关键是采用奈曼正交矩方程，这是一阶不敏感的干扰参数的扰动。我们表明，$n^{-1/4}$的要求可以提高到$n^{-1/(2k+2)}$通过采用$k$阶的正交性，授予更复杂或更高维的滋扰参数的鲁棒性的概念。在部分线性回归设置流行的因果推理，我们表明，我们可以构建二阶正交矩当且仅当治疗残差不呈正态分布。我们的证明依赖于斯坦引理，可能是独立的利益。最后，我们展示了一个显式的双正交估计程序的治疗效果的鲁棒性的好处。
2018-08-01 cs.LG econ.EM math.ST
