Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps on Neighborhood Graphs
本文研究了Laplacian特征映射主成分回归(PCR-LE)的统计性质,PCR-LE是一种基于Laplacian特征映射(LE)的非参数回归方法。PCR-LE通过将观察到的响应的向量${\bf Y} = (Y_1,\ldots,Y_n)$投影到由邻域图拉普拉斯算子的某些特征向量所跨越的子空间上来工作。我们证明了PCR-LE在索伯列夫空间上实现了随机设计回归的极大极小收敛率。在设计密度$p$上的充分平滑条件下,PCR-LE实现了估计(其中平方$L^2$范数中的最优速率已知为$n^{-2s/(2s + d)}$)和拟合优度检验($n^{-4s/(4s + d)}$)的最优速率。我们还表明,PCR-LE是\emph{manifold adaptive}:也就是说,我们考虑的情况下,设计是支持在一个小的内在维度$m$流形,并给出上界建立PCR-LE实现更快的极小极大估计($n^{-2s/(2s + m)}$)和测试($n^{-4s/(4s + m)}$)的收敛速度。有趣的是,这些速率几乎总是比已知的图拉普拉斯特征向量收敛到其总体水平极限的速率快得多;换句话说,对于这个问题,从统计学上讲,估计特征的回归似乎比估计特征本身容易得多。我们支持这些理论结果与经验证据。
2021-11-14 math.ST stat.ML stat.TH
On the application of Jammalamadaka-Jiménez Gamero-Meintanis test for circular regression model assessment
针对角误差分布为包裹柯西分布的圆-圆乘法回归模型,提出基于改编的Jammalamadaka-Jiménez Gamero-Meintanis圆分布拟合优度检验的规范程序,经模拟和真实数据集验证其功效与通用性。
2024-11-28 stat.ME
Efficient sampling for Gaussian linear regression with arbitrary priors
本文提出了一种适用于任意先验贝叶斯线性回归模型的切片抽样方法。新的采样器有两个优点,目前的方法。第一,如果回归变量的数量很大,它比许多依赖于辅助潜变量的自定义实现更快。第二,它可以与任何先验一起使用,其密度函数可以被评估为归一化常数,使其成为研究新收缩先验属性的理想选择,而无需开发自定义采样算法。新的采样器利用特殊结构的线性回归的可能性,使其能够产生更好的有效样本量每秒比常见的替代方法。
2018-06-14 stat.CO stat.ML
Statistical Properties of the log-cosh Loss Function Used in Machine Learning
University of British Columbia(不列颠哥伦比亚大学);Carleton University(卡尔顿大学)
本文首次对机器学习中常用的 log-cosh 损失函数进行统计分析,推导其分布、似然及费雪信息,比较稳健估计量,并应用于分位数回归,提出基于 log-cosh 的 M 估计量。
2024-03-15 cs.LG stat.ML
Asymptotic Distribution-Free Tests for Ultra-high Dimensional Parametric Regressions via Projected Empirical Processes and $p$-value Combination
Hunan University(湖南大学);Wuhan University of Technology(武汉理工大学);Beijing Normal University at Zhuhai(北京师范大学珠海校区)
本文提出了一种基于投影经验过程和p值组合的混合检验方法,用于超高维参数回归模型的拟合优度检验,通过结合低频和高频信号检测提升检验效能。
2026-01-02 math.ST stat.TH
Sparsification and feature selection by compressive linear regression
最小描述长度(MDL)原则指出,给定数据集的最佳模型是最佳压缩的模型。由于实际的限制,该模型可以被限制为一类,如线性回归模型,我们在这项研究中解决。与其他公式(如LASSO和前向逐步回归)一样,我们对稀疏化特征集同时保持泛化能力感兴趣。我们为参数和误差残差导出了一组原则性很好的代码,以及对这些代码长度的平滑近似,以允许描述长度的梯度下降优化,并继续表明使用我们的方法的稀疏化和特征选择比LASSO更快来自UCI和StatLib存储库的几个数据集,具有良好的泛化精度,同时是全自动的,既不需要交叉验证,也不需要调整正则化超参数,甚至允许在稀疏化之后对特征集进行非线性扩展。
2009-10-21 stat.ML
On estimation of skewed stable linear regression
针对偏斜稳定误差的线性回归,提出两阶段估计法:差分后使用柯西拟极大似然估计回归系数,再基于残差矩估计稳定参数,计算高效且可作极大似然优化的初值。
2025-06-24 math.ST stat.TH
Adaptive Test for High Dimensional Quantile Regression
Tiangong University(天津工业大学);Nankai University(南开大学);Fujian Normal University(福建师范大学)
本文提出了一种自适应检验方法,用于高维分位数回归系数检验,通过结合max型和sum型统计量的特性,实现了在不同稀疏水平下的稳健性能。
2025-12-25 stat.ME
The Rule of link functions on Binomial Regression Model: A Cross Sectional Study on Child Malnutrition, Bangladesh
本研究利用MICS-2019调查数据,在GLM框架下应用logit、probit、cloglog和cauchy等链接函数的二项回归模型分析孟加拉国0-5岁儿童营养不良比例,发现probit模型基于最低标准误差和拟合优度表现最佳。
2024-03-06 stat.ME
Efficient Computation for Centered Linear Regression with Sparse Inputs
稀疏输入的回归是大规模模型的常见主题。针对稀疏输入优化底层线性代数允许更快地估计此类模型。与此同时,集中输入有利于改善模型的解释和收敛。然而,将数据居中自然会使稀疏数据变得密集,从而限制了优化的机会。我们提出了一种有效的策略,估计中心回归,同时利用稀疏结构的数据,提高计算性能和减少内存占用的估计。
2019-10-29 stat.CO
An Efficient Multi Quantile Regression Network with Ad Hoc Prevention of Quantile Crossing
University of Kassel(卡塞尔大学)
本文提出了SCQRNN模型,通过在训练中集成ad hoc排序机制有效防止分位数交叉,在降低计算复杂度并加快收敛速度的同时,为多领域自感知系统提供了更可靠的预测不确定性评估。
2024-05-31 cs.LG stat.ML
Smoothed Rank-Based Regression Estimation Using Wilcoxon Score Functions
Western Illinois University(西伊利诺伊大学)
提出用平滑秩代替整数秩的Wilcoxon秩回归估计,通过核分布函数近似指示函数,在保持稳健性的同时提高重尾误差下的效率并处理结数据,推导了Wald检验并证明渐近正态性。
2026-06-12 stat.ME
Inference for Fréchet Regression
University of California, Davis(加州大学戴维斯分校);University of Southern California(南加州大学);Brigham Young University(杨百翰大学)
本文研究了Fréchet回归中响应变量为非欧几里得随机对象的推断问题,提出了一种显著性检验方法以检验回归函数是否依赖于预测变量,并通过模拟和实际数据展示了方法的有效性。
2026-11-19 stat.ME
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science(魏茨曼科学研究所)
我们考虑半监督回归时,预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是:(i)使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及(ii)基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点,这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差,如果已知的流形。此外,我们展示了如何可以有效地实现这种方法,只需要O(k N log N)的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法:使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下,测地线kNN比流行的拉普拉斯特征向量回归更准确,更快。
2017-03-06 cs.LG stat.ML
Quantile Regression by Dyadic CART
在本文中,我们提出并研究了Donoho(1997)的二进分类和回归树(DCART)估计的一个版本(固定设计)分位数回归在一般维度。我们把这个估计量称为QDCART估计量。就像平均回归版本,我们表明,a)一个快速的动态规划为基础的算法与计算复杂性$O(N \log N)$存在用于计算QDCART估计和b)预言风险界(权衡平方误差和真实信号的复杂性参数)持有的QDCART估计。这个预言的风险界,然后让我们证明,QDCART估计享有自适应率最优估计保证分段常数和有界变差函数类。在现有的结果相比,DCART估计需要亚高斯的误差分布,我们的估计保证举行,我们不需要任何限制性的尾部衰减假设的误差分布。例如,即使当误差分布没有一阶矩,如柯西分布,我们的结果仍然成立。除了二元CART方法,我们还考虑了其他变体方法,例如Chatterjee和Goswami(2019)中介绍的最优回归树(ORT)估计量。特别是,我们还扩展了ORT估计的分位数设置,并建立它享有类似的保证。因此,本文将这些基于全局最优回归树的方法的范围扩展到适用于重尾数据。然后,我们进行了大量的数值模拟和真实数据,说明所提出的方法的实用性。
2021-10-16 math.ST stat.ME stat.TH
Improved Likelihood Inference in Birnbaum-Saunders Regressions
Birnbaum-Saunders回归模型常用于可靠性研究。我们解决的问题,在这类模型中进行推理时,观察的数量是小的。我们证明了当样本量较小时,似然比检验趋于自由,并且我们得到了一个校正因子,它减小了检验的样本量失真。这种修正使检验的误差率随着样本量的增加而消失得更快。数值结果表明,在有限样本情况下,改进的似然比检验比通常的似然比检验更可靠。我们还提出了一个经验的应用。
2009-04-22 stat.ME
Minimax rates of convergence for nonparametric location-scale models
本文在Hellinger可微性等温和条件下,证明非参数位置-尺度模型中回归函数估计的极小极大收敛速率由函数类的度量熵决定,并通过多种误差分布实例及低阶交互模型和多指标模型加以验证。
2023-07-03 math.ST stat.TH
High-dimensional robust approximated M-estimators for mean regression with asymmetric data
随着数据维数的增加,非对称性和异方差或污染现象经常出现。在超高维数据分析中,这种不规则的设置通常被忽略的理论和计算的方便。在本文中,我们建立了一个框架,估计在高维回归模型中使用惩罚稳健近似二次M-估计(PRAM)。该框架允许一般设置,如随机误差缺乏对称性和均匀性,或协变量不是亚高斯。为了减少均值回归中由于数据的不规则性而可能引起的偏差,PRAM采用了一个损失函数,其稳健性参数随样本量的增加而变化。在理论上,我们首先证明,在超高的维度设置,PRAM估计有本地估计的一致性在极大极小率享受的LS-Lasso。然后,我们证明了具有适当的非凸惩罚的PRAM实际上与局部预言解一致,从而获得了它的预言性质。在计算上,我们证明了六个PRAM估计使用三种类型的损失函数近似(胡贝尔,Tukey的双权和柯西损失)结合两种类型的罚函数(拉索和MCP)的性能。我们的模拟研究和实际数据分析表明,令人满意的有限样本性能的PRAM估计在一般的不规则设置。
2022-07-18 math.ST stat.TH
Combining Concurrent and Historical Functional Linear Regression
Institute of Finance and Statistics, University of Bonn(波恩大学金融与统计研究所);Department of Econometrics and Statistics, University of Cologne(科隆大学计量经济学与统计学系)
本文研究函数-函数线性回归模型,刻画其不可识别性,提出平滑样条估计量,揭示路径正则性与特征值衰减的权衡,验证区分并发与历史效应的实践重要性。
2026-08-21 math.ST stat.ME stat.TH
A new method for estimation and model selection: $ρ$-estimation
本文的目的是提出一种新的估计程序,可以应用在许多统计框架,包括密度和回归,并导致强大的和最佳的(或接近最佳的)估计。在密度估计中,至少当统计模型足够正则且包含待估计的真密度时,它们与著名的极大似然估计渐近相合。对于非常一般的密度模型,包括非紧的,这些估计是强大的相对于Hellinger距离和收敛在最佳速率(可能的对数因子)在所有情况下,我们知道。在回归环境中,我们的方法从许多方面改进了经典的最小二乘。例如,在简单线性回归中,它提供了对异常值鲁棒的系数估计,并且同时对于包括高斯、拉普拉斯、柯西和均匀等的大类误差分布是速率最优的(或接近速率最优的)。
2016-06-01 math.ST stat.TH
A Minimax Theory of Nonparametric Regression Under Covariate Shift
Universität Bielefeld(比勒费尔德大学)
本文提出了一种非参数回归在协变量偏移下的极小极大理论,引入转移函数并展示了其域性质对收敛速率的影响,覆盖了协变量无界支持的情况。
2026-03-06 math.ST stat.TH
Hypotheses tests in boundary regression models
考虑一个具有单侧误差的非参数回归模型,回归函数在一般Hölder类中。我们估计的回归函数通过最小化的局部积分的多项式逼近。我们显示了统一的简单回归估计的收敛速度,以及一个光滑的版本。这些比率延续到具有对称和有界误差分布的均值回归模型。在这样的设置中,对于在端点附近集中足够质量的不规则误差分布,比对于通常的规则分布获得更快的速率。结果证明渐近$\sqrt{n}$等价的残差为基础的(顺序)经验分布函数的(顺序)经验分布函数的未观察到的错误的情况下,不规则的误差分布。这一结果与具有规则误差的均值回归的相应结果有显著的不同。它可以很容易地应用于开发的拟合优度测试的误差分布。我们提出了一些例子,并在模拟研究中研究小样本性能。我们进一步讨论了渐近分布自由假设检验的独立性的误差分布的测量点和单调性的边界函数以及。
2016-10-11 math.ST stat.ME stat.TH
Multiscale Asymptotic Normality in Quantile Regression: Hilbert Matrices and Polynomial Designs
本文研究多项式设计下分位数回归估计量的渐近正态性,推导出由Hilbert矩阵刻画的协方差结构与各系数显式尺度率,并提出松弛置信区间以改善重尾噪声下的有限样本覆盖。
2025-06-06 math.ST stat.TH
On a phase transition in general order spline regression
在$\mathbb{R}^n$中的高斯序列模型$Y= θ_0 + \varepsilon$中,我们研究了一类带自由结点的(广义)样条函数$Θ(d,d_0,k)$逼近信号$θ_0$的基本极限.这里$d$是样条的阶数,$d_0$是每个内节点处的可微阶数,$k$是最大片段数。我们发现,给定任何整数$d\geq 0$和$d_0\in\{-1,0,\ldots,d-1\}$,极大极小估计率在$Θ(d,d_0,k)$表现出以下相变:\begin{equation*} \begin{aligned} \inf_{\widetildeθ}\sup_{θ\inΘ(d,d_0, k)}\mathbb{E}_θ\|\widetildeθ - θ\|^2 \asymp_d \begin{cases} k\log\log(16n/k), & 2\leq k\leq k_0,\\ k\log(en/k), & k \geq k_0+1. \end{cases} \end{aligned} \end{equation*}过渡边界$k_0$,它采取的形式$\lfloor{(d+1)/(d-d_0)\rfloor} + 1$,演示了一个更快的$\log \log(16n)$和一个更慢的$\log(en)$率之间的分离的正则性参数$d_0$的关键作用。我们进一步表明,一旦鼓励一个额外的“$d$ -单调性”的形状约束(…
2020-05-07 math.ST stat.TH
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说,在实践中最快的程序之一是迭代硬控制(IHT)。然而,IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计,支持恢复和优化之间的相互作用,我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是,它是完全自适应的,使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比,例如,经典算法的套索。此外,我们建立了尖锐的最优结果的估计和支持恢复。因此,我们提出了一种新的迭代硬阈值算法的高维线性回归,是规模的最小最大最优(实现的预言,知道稀疏模式的估计误差,如果可能的话),快速和自适应。
2020-08-27 math.ST stat.TH
Hebbian learning inspired estimation of the linear regression parameters from queries
University of Twente(特文特大学);CWI(荷兰数学和计算机科学国家研究中心)
本研究探索一种赫布学习规则变体用于线性回归向量恢复,证明仅能获取损失查询时该零阶方法可达近最优速率,且快于所有非自适应查询方法。
2023-09-26 cs.LG cs.NE math.ST
Survival Isotonic Distributional Regression
University of Copenhagen(哥本哈根大学);Tsinghua University(清华大学);ETH Zürich(苏黎世联邦理工学院)
本研究提出S-IDR,将IDR扩展至右删失场景,无调参且适配多类型协变量,在基准套件及肝移植MELD评分验证案例中表现良好,配套多语言包可用。
2026-08-05 math.ST stat.TH
An Asymptotic Analysis of Minibatch-Based Momentum Methods for Linear Regression Models
动量方法在理论上和实践中都被证明可以加速标准梯度下降算法的收敛。特别是基于小批量的动量梯度下降方法(MGDM)被广泛用于解决大规模优化问题。尽管MGDM方法在实践中取得了成功,但它们的理论特性仍然没有得到充分的研究。为此,我们研究了基于线性回归模型的MGDM方法的理论性质。我们首先研究了MGDM算法的数值收敛性质,并进一步给出了理论上的最优调整参数规格,以实现更快的收敛速度。此外,我们探索的统计性质之间的关系,从而产生的MGDM估计和调谐参数。基于这些理论发现,我们给出了所得到的估计达到最优统计效率的条件。最后,进行了大量的数值实验,以验证我们的理论结果。
2021-11-02 math.ST stat.CO stat.ME
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick(华威大学)
可扩展的算法来解决优化和回归任务,甚至近似,需要与大型数据集一起工作。在本文中,我们研究有效的技术,从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”(IHS),并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下,同时大大提高了时间成本。其结果是,我们获得了显着更快的算法约束回归,稀疏和密集的输入。我们的经验结果表明,对于稀疏数据,我们可以以大约100倍的速度汇总数据,而令人惊讶的是,对于密集数据,我们可以以10倍的速度汇总数据!因此,可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Faster Principal Component Regression and Stable Matrix Chebyshev Approximation
Princeton University(普林斯顿大学);IAS(高等研究院)
本文提出了一种通过减少黑盒调用次数来实现主成分回归的算法,其精度为1+γ,且无需显式构造主成分,适用于大规模数据。同时,开发了稳定的矩阵切比雪夫多项式递推公式和最优多项式逼近矩阵符号函数的方法。
2017-04-24 cs.DS cs.LG cs.NA
Faster $p$-Norm Regression Using Sparsity
对于矩阵$A\in \mathbb{R}^{n\times d}$与$n\geq d$,我们考虑$\min \|Ax-b\|_p^p, \, b\in \mathbb{R}^n$与$\min_{A^\top x=b} \|x\|_p^p,\, b\in \mathbb{R}^d$的对偶问题.我们提高了运行时解决这些问题的高精度为每个$p>1$足够稀疏的矩阵。我们表明,最近的进展,快速稀疏线性求解器可以利用获得比矩阵乘法算法更快的任何$p > 1$,即,在时间$\tilde{O}(pn^θ)$中,对于某些$θ< ω$,矩阵乘法常数。通过对平滑$p$ -范数函数的行采样定理,我们给出了第一个用$1 < p \leq 2$求解$\min \|Ax-b\|_p^p$的高精度输入稀疏$p$-范数回归算法.对于任何$1<p\leq 2$,该算法在时间上运行$\tilde{O}(\text{nnz}(A) + d^4)$,对于接近$2$的$p$,该算法在时间上运行$\tilde{O}(\text{nnz}(A) + d^θ)$,改进了先前的最佳界限,其中$d$的指数随着$\max\{p, p/(p-1)\}$增长。
2021-11-19 cs.DS
Coordinate Methods for Accelerating $\ell_\infty$ Regression and Faster Approximate Maximum Flow
我们提供了更快的算法近似解决$\ell_{\infty}$回归,一个基本的问题,在组合和连续优化。特别是,我们提供了加速坐标下降的方法,能够证明利用动态措施的坐标平滑度,并将它们应用到$\ell_\infty$回归框给算法收敛在$k$迭代在$O(1/k)$率。我们的算法可以被视为Sherman [She 17]最近突破性结果的替代方法,该方法实现了与经典算法方法(即平滑和梯度下降)相似的运行时间改进,这些算法要么以$O(1/\sqrt{k})$速率收敛,要么运行时间对问题参数的依赖性更差。我们的运行时在广泛的参数范围内与[She 17]相匹配,并在某些结构化情况下实现了改进。我们证明了我们的结果的有效性,提供更快的算法研究的最大流问题。直接利用我们的加速$\ell_\infty$回归算法意味着一个$\tilde{O}\left(m + \sqrt{mn}/ε\right)$运行时来计算一个$ε$ -近似最大流的无向图与$m$边和$n$顶点,一般改善了以前最好的已知运行时的$\tilde{O}\left(m/ε\right)$在[She 17]每当图是稍微密集。我们进一步设计了一个算法,适应于最大流引起的回归问题的结构,获得运行时间的$\tilde{O}\left(m + \max(n, \sqrt{ns})/ε\right)$,其中$s$是平方$\ell_2$规范的任何最优流的拥塞…
2020-04-02 cs.DS math.OC
Faster Low-Rank Approximation and Kernel Ridge Regression via the Block-Nyström Method
Computer Science and Engineering, University of Michigan(计算机科学与工程系,密歇根大学)
本文提出Block-Nyström算法,通过在Nyström方法中引入块对角结构降低计算成本,用于改进二阶优化预条件子和高效求解核岭回归,并在相同预算下获得更强的谱尾部估计。
2025-07-19 cs.DS cs.LG
Faster Kernel Ridge Regression Using Sketching and Preconditioning
Tel Aviv University(特拉维夫大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出利用随机特征映射和预处理技术加速核岭回归线性系统的求解,通过有效预处理方法提升大规模数据集的计算效率。
2017-07-15 cs.DS cs.LG cs.NA
Exploiting Numerical Sparsity for Efficient Learning : Faster Eigenvector Computation and Regression
Stanford University(斯坦福大学)
在本文中,我们得到了改进的运行时间的回归和顶部特征向量计算的数值稀疏矩阵。给定一个数据矩阵$A \in \mathbb{R}^{n \times d}$,其中每一行$a \in \mathbb{R}^d$具有$\|a\|_2^2 \leq L$和最多$s$的数值稀疏性,即$\|a\|_1^2 / \|a\|_2^2 \leq s$,我们在许多参数设置下为这些问题提供了更快的算法。对于顶部特征向量计算,我们获得了$\tilde{O}(nd + r(s + \sqrt{r s}) / \mathrm{gap}^2)$的运行时间,其中$\mathrm{gap} > 0$是$A^\top A$的顶部两个特征向量之间的相对间隙,$r$是$A$的稳定秩。该运行时间比$O(nd + r d / \mathrm{gap}^2)$之前的最佳未加速运行时间有所改善,因为$r \leq d$和$s \leq d$始终是这种情况。对于回归,我们获得$\tilde{O}(nd + (nL / μ) \sqrt{s nL / μ})$的运行时间,其中$μ> 0$是$A^\top A$的最小特征值。此运行时间比$\tilde{O}(nd + n L d / μ)$先前的最佳未加速运行时间有所改进。这一结果扩展了从$L/μ= \tilde{O}(1)$时到$L / μ= \tilde{O}(d^{2/3} / (…
2018-11-27 cs.DS cs.LG math.OC
Acceleration Meets Inverse Maintenance: Faster $\ell_{\infty}$-Regression
本文提出结合加速与逆维护数据结构的MWU算法,显著提升了低精度下 $\ell_{\infty}$ 回归的运行时间,并设计了更快的确定性版本,首次使现代凸优化的两大核心模块高效兼容。
2025-04-28 cs.DS math.OC
$L_p$ Isotonic Regression Algorithms Using an $L_0$ Approach
本文提出一种基于$L_0$保序回归和二元$L_1$划分的插件方法,系统整合流算法进展,为$L_p$保序回归构建出比现有统计包及已发表算法更快的求解方案。
2023-06-30 cs.DS
The power of block-encoded matrix powers: improved regression techniques via faster Hamiltonian simulation
我们将Low和Chuang(以标准形式)引入的块编码框架应用于量子机器学习算法的研究,并得出适用于各种输入模型的一般结果,包括稀疏矩阵预言机和存储在数据结构中的矩阵。我们在块编码框架内开发了几种工具,例如块编码矩阵的奇异值估计,以及使用块编码的量子线性系统求解器。所提出的结果给出了非稀疏矩阵的哈密顿模拟的新技术,这可能与某些量子化学应用相关,并且这反过来意味着非稀疏矩阵的量子线性系统求解器对精度的依赖性的指数改进。此外,我们还开发了一种基于Ambainis的可变时间幅度放大技术的可变时间幅度估计技术,我们也能够在该框架内应用该技术。作为应用,我们设计了以下算法:(1)求解量子加权最小二乘问题的量子算法,与Kerenkash和Prakash的最佳算法相比,该算法对条件数的依赖性有6次方的改进,对精度的依赖性有指数级的改进;以及(3)用于估计电网量(包括有效电阻和耗散功率)的量子算法,改进了之前的工作。
2018-09-03 cs.DS quant-ph
Faster SVD-Truncated Least-Squares Regression
IBM T.J. Watson Research Center(IBM T.J.沃森研究中心);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出一种快速算法,用于计算最小二乘问题的SVD截断正则化解,通过随机化子空间迭代方法,在O(nnz(A)k log n)时间内近似计算。
2014-05-28 cs.DS cs.NA math.NA
In-Database Regression in Input Sparsity Time
草图是一种强大的降维技术,用于加速数据分析算法。草图绘制方法中的关键步骤是计算大型矩阵$\mathbf{A} \in \mathbb{R}^{N \times d}$的子空间嵌入(SE)。SE是获得许多线性代数任务的非常有效的解决方案的主要工具,例如最小二乘回归和低秩近似。计算SE通常需要$\mathbf{A}$的显式表示以及与$\mathbf{A}$的大小成比例的运行时间。但是,如果$\mathbf{A}= \mathbf{T}_1 \Join \mathbf{T}_2 \Join \dots \Join \mathbf{T}_m$是对几个较小的表$\mathbf{T}_i \in \mathbb{R}^{n_i \times d_i}$进行数据库连接查询的结果,那么这个运行时间可能会非常长,因为$\mathbf{A}$本身可以有多达$O(n_1 n_2 \cdots n_m)$的行。在这项工作中,我们设计的子空间嵌入数据库连接,可以计算显着快于计算连接。对于两个表连接$\mathbf{A} = \mathbf{T}_1 \Join \mathbf{T}_2$的情况下,我们给输入稀疏算法计算子空间嵌入,与运行时间的限制由非零条目的数量在$\mathbf{T}_1,\mathbf{T}_2$。这导致了用于高精度回归的输入稀疏时间算法,显著改善了先前基于FAQ的回归方法的运行时间。我…
2021-07-12 cs.DS
Faster Linear Algebra Algorithms with Structured Random Matrices
Department of Computing and Mathematical Sciences, California Institute of Technology(加州理工学院计算与数学科学系)
本文提出遗忘子空间注入(OSI)性质以统一分析结构化随机降维,证明其支撑低秩近似与最小二乘回归,并给出多类OSI矩阵及接近最优的加速效果。
2026-11-06 cs.DS cs.NA math.NA