Hadamard Flattening and Gaussian Pooling Sketch for Least Squares with Coordinate-wise Guarantee
Massachusetts Institute of Technology（麻省理工学院）
该研究针对带逐坐标保证的最小二乘问题，提出结合Hadamard展平与高斯池化的新随机变换，将草图行数优化至O(ε⁻²d log d)，解决了现有方法的独立性假设缺陷，实现高效的超约束ℓ₂回归加速。
2026-08-28 cs.DS cs.LG stat.ML
Engineering Compressed Matrix Multiplication with the Fast Walsh-Hadamard Transform
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
该研究通过快速沃尔什-哈达玛变换改进压缩矩阵乘法，实现高速计算并优于现有DGEMM性能。
2026-01-14 cs.DS
Fast Exact Algorithms Using Hadamard Product of Polynomials
假设$C$是作为输入给出的$poly(n)$大小的算术电路，其计算多项式$f\in\mathbb{F}[X]$，其中$X=\{x_1,x_2,\ldots,x_n\}$和$\mathbb{F}$是其中可以有效地执行字段算术的任何字段。我们获得了新的算法，以下两个问题首先研究Koutis和威廉姆斯\cite{Kou08, Wi09, KW16}。k-MLC：计算多项式$f$中所有次数$k$多线性单项式的系数之和。k-MMD：测试在多项式$f$中是否存在非零次$k$多线性单项式。我们的算法是基于这样一个事实，即Hadamard产品$f\circ S_{n,k}$，是$f$，其中$S_{n,k}$是$k^{th}$基本对称多项式的程度$k$多线性部分。1.对于k-MLC问题，我们给出了一个运行时的确定性算法$O^*(n^{k/2+c\log k})$（其中$c$为常数），回答了Koutis和Williams \cite [ICALP'09]{KW 16}的一个公开问题.作为推论，我们给出了几个组合问题的$O^*(\binom{n}{\downarrow k/2})$ -时间精确计数算法：k-树，t-支配集，m-维k-匹配。2.对于k-MMD问题，我们给出了一个运行时的随机化算法$4.32^k\cdot poly(n,k)$。我们的算法只使用$poly(n,k)$空间。这与$k-MMD$的…
2020-06-01 cs.DS
Quantizing With Randomized Hadamard Transforms: Efficient Heuristic Now Proven
UCL and Broadcom（UCL和Broadcom）；Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；Microsoft（微软）；VMware Research by Broadcom（Broadcom的VMware研究）
本文研究了随机哈达玛变换在量化中的应用，证明了使用两个变换可近似均匀随机旋转的效果，并展示了三个变换在向量量化中的优势。
2026-11-03 cs.AI cs.DS cs.LG
An improved analysis and unified perspective on deterministic and randomized low rank matrix approximations
本文提出了一种用于低秩矩阵逼近的广义LU-因子分解（\textbf{GLU}）。我们将其与过去的方法，并广泛地分析其近似特性。所建立的确定性保证相结合的草图合奏满足约翰逊-林登施特劳斯性质，目前完整的界限。特别是良好的性能示出的子采样随机Hadamard变换（SRHT）合奏。此外，因子分解是统一和推广许多过去的算法。这也有助于解释在高斯消去法中，素描对生长因子的影响。
2019-10-01 cs.DS cs.NA math.NA
Hadamard Response: Estimating Distributions Privately, Efficiently, and with Little Communication
Cornell University（康奈尔大学）
研究了在$\varepsilon$ -局部差分隐私下$k$ -元分布的估计问题. $n$样本分布在将其样本的私有化版本发送到中央服务器的用户之间。所有先前已知的样本最优算法都需要来自高隐私机制$(\varepsilon=O(1))$中的每个用户的线性（以$k$表示）通信，并且在以$n\cdot k$增长的时间上运行，这对于大域大小$k$是禁止的。我们提出了Hadamard响应（HR），一个本地私有化方案，不需要共享的随机性和对称的用户。我们的方案具有顺序最优的样本复杂度为所有的$\varepsilon$，在最多的$\log k+2$位每个用户的通信，和接近线性的运行时间的$\tilde{O}(n + k)$。我们的编码和解码是基于阿达玛矩阵，并且是简单的实现。统计性能依赖于Hadamard矩阵的编码理论方面，即行之间的大汉明距离。使用快速Walsh-Hadamard变换的算法的有效实现给出了计算增益。我们比较我们的方法与随机响应（RR），RAPPOR，和子集选择机制（SS），无论是理论上，还是实验。对于$k=10000$，我们的算法比SS和RAPPOR快100倍。
2018-06-27 cs.DS cs.IT cs.LG
Faster Least Squares Approximation
最小二乘近似是一种技术，用于找到没有精确解的线性方程组的近似解。在典型的设置中，让$n$为约束的数量，$d$为变量的数量，其中$n \gg d$。然后，现有的精确方法在$O(nd^2)$时间内找到解向量。我们提出了两个随机算法，提供非常准确的相对误差近似的最佳值和最小二乘近似问题的解向量更快地比现有的精确算法。我们的两个算法预处理的数据与随机阿达玛变换。然后，一个均匀随机采样约束，并解决这些约束上的较小问题，另一个执行稀疏随机投影，并解决这些投影坐标上的较小问题。在这两种情况下，解决较小的问题提供了相对误差近似，并且如果$n$充分大于$d$，则近似解可以在$O(nd \log d)$时间内计算。
2010-09-26 cs.DS
Optimal Algorithms for Linear Algebra in the Current Matrix Multiplication Time
我们研究线性代数中的基本问题，例如找到行或列的最大线性无关子集（基），求解线性回归或计算子空间嵌入。对于这些问题，我们考虑输入矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$与$n > d$。可以在$\text{nnz}(\mathbf{A})$时间内读取输入，该时间表示$\mathbf{A}$的非零条目数。在本文中，我们表明，除了读取输入矩阵所需的时间外，这些基本线性代数问题可以在$d^ω$时间内解决，即，其中，$ω\approx 2.37$是当前矩阵乘法指数。要做到这一点，我们引入了一个常数因子子空间嵌入的最佳$m=\mathcal{O}(d)$行数，并可以应用在时间$\mathcal{O}\left(\frac{\text{nnz}(\mathbf{A})}α\right) + d^{2 + α}\text{poly}(\log d)$的任何权衡参数$α>0$，收紧Chepurko等最近的结果。等人[SODA 2022]的方法，其在$\mathcal{O}\left(\frac{\text{nnz}(\mathbf{A})}α+d^{2+α+o(1)}\right)$时间内实现具有$m=d\cdot\text{poly}(\log\log d)$行的$\exp(\text{poly}(\log\log n))$失真。我们的子空间嵌入使用最近显示的…
2023-01-19 cs.DS
Faster Subset Selection for Matrices and Applications
IBM T. J. Watson Research Center（IBM 沃森研究中心）
研究矩阵子集选择问题，提出多种近似算法，在Frobenius和谱范数下达到最优近似比，并发现与图论中低伸展生成树问题的联系。
2013-06-21 cs.DS cs.NA math.NA
Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种随机二阶优化方法，称为牛顿草图：它基于使用随机投影或子采样Hessian执行近似牛顿步骤。对于自协调函数，我们证明了该算法具有指数高概率的超线性收敛，收敛性和复杂性的保证是独立的条件数和相关的问题依赖量。给定一个合适的初始化，类似的保证也适用于强凸和光滑的目标，没有自我和谐。当使用基于子采样Hadamard基的随机投影来实现时，该算法通常具有比牛顿法低得多的复杂度。我们还描述了扩展我们的方法，涉及凸约束的程序，配备了自我和谐的障碍。我们讨论并举例说明应用线性规划，二次规划与凸约束，逻辑斯谛回归和其他广义线性模型，以及半定规划。
2015-05-09 cs.DS cs.LG math.OC
Improved Sparse Recovery for Approximate Matrix Multiplication
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
该研究提出了一种改进的随机算法，用于近似矩阵乘法，通过伪随机旋转技术实现更快的计算速度和更优的误差控制。
2026-02-04 cs.DS
Approximate Modularity Revisited
具有方便属性（如子模块性）的集合函数出现在当前感兴趣的应用领域，如算法博弈论，并允许改进的优化算法。这是很自然的要求（例如，在数据驱动优化的上下文中）这些属性的鲁棒性如何，以及是否可以容忍与它们的小偏差。我们考虑两个这样的问题中的重要特殊情况下的线性集函数。我们要解决的一个问题是，任何近似满足模块化方程的集合函数（线性函数完全满足模块化方程）是否接近线性函数。这个问题的答案是肯定的（在精确的形式意义上），如Kalton和Roberts [1983]所示（并由Bondarenko，Prymak和Radchenko [2013]进一步改进）。我们重新审视了他们基于扩展图的证明思想，并通过将其与新技术相结合来提供更强的上界。此外，我们提供了改进的下界这个问题。我们解决的另一个问题是如何学习接近近似线性函数$f$的线性函数$h$，同时仅在少量集合上查询$f$的值。我们提出了一种确定性算法，该算法仅使线性许多（在项目数量上）非自适应查询，通过这种改进Chierichetti，Das，Dasgupta和Kumar [2015]的先前算法，该算法是随机的，并使查询的数量超过二次。我们的学习算法是基于阿达玛变换。
2018-03-29 cs.DS
Optimal approximate matrix product in terms of stable rank
MIT（麻省理工学院）；Harvard（哈佛大学）；IBM Almaden（IBM阿尔马登研究中心）
我们证明，使用子空间嵌入保证在一个黑盒的方式，可以实现谱范数保证近似矩阵乘法的降维映射有$m = O(\tilde{r}/\varepsilon^2)$行。这里，$\tilde{r}$是最大稳定秩，即被相乘的两个矩阵的弗罗贝纽斯范数和算子范数的平方比。这是对[MZ 11，KVZ 14]以前工作的定量改进，并且对于任何不经意的降维映射也是最佳的。此外，由于黑盒依赖于子空间嵌入属性在我们的证明，我们的定理可以应用到一个更一般的类的素描矩阵比以前所知道的，除了实现更好的界限。例如，可以将我们的定理应用于有效的子空间嵌入，例如子采样随机Hadamard变换或稀疏子空间嵌入，甚至可以应用于未来可能开发的子空间嵌入构造。我们的主要定理，通过连接与谱误差矩阵乘法在以前的工作中，意味着定量的改进近似最小二乘回归和低秩近似。我们的主要结果也已经被应用于改善$k$ -均值聚类的降维保证[CEMMP 14]，并暗示了非参数回归的新结果[YPW 15]。我们还分别指出[BSS 12]的“BSS”确定性行采样结果的证明可以修改为：对于任何稳定秩至多为$\tilde{r}$的矩阵$A, B$，通过对多项式时间内找到的$O(\tilde{r}/\varepsilon^2)$行进行确定性采样，可以实现$A^T B$的近似矩阵乘法的谱范数保证。[BSS 12]的原始结果是秩而不是稳定秩。我们的观察导致[KMST 1…
2016-03-02 cs.DS cs.LG stat.ML
Universal Matrix Sparsifiers and Fast Deterministic Algorithms for Linear Algebra
本文利用 Ramanujan 扩展图的缩放邻接矩阵构造通用矩阵稀疏化器，为 PSD 和非 PSD 矩阵给出确定性稀疏化方法，去随机化并改进了随机稀疏化结果，并据此获得奇异值逼近等问题的首个快于矩阵乘法时间的确定性算法。
2024-01-12 cs.DS cs.NA math.NA
