Fast Matrix Multiplication with Sketching
本文提出基于矩阵抽样技术的近似矩阵乘法算法,通过稀疏化矩阵降低计算成本,证明在样本数足够大时算法精度与现有方法相当。
2014-06-11 cs.DS cs.NA math.NA
On Sketching the $q$ to $p$ norms
我们开始研究数据降维,或素描,为$q\to p$规范。给定一个$n \times d$矩阵$A$,$q\to p$范数,表示为$\|A\|_{q \to p} = \sup_{x \in \mathbb{R}^d \backslash \vec{0}} \frac{\|Ax\|_p}{\|x\|_q}$,是在数据流和草图模型中研究的几个矩阵和向量范数的自然推广,应用于数据挖掘,近似的硬度和不经意路由。我们说随机矩阵$L \in \mathbb{R}^{nd} \rightarrow \mathbb{R}^k$上的分布$S$是$(k,α)$ -草图族,如果从$L(A)$,人们可以近似$\|A\|_{q \to p}$直到具有常数概率的因子$α$。我们为每个$p, q \in [1, \infty]$提供草图尺寸$k$的上限和下限,并且在许多情况下,我们的界限很紧。虽然我们主要关注常数$α$,但我们也考虑大的近似因子$α$,以及问题的其他变体,例如当$A$具有低秩时。
2018-06-17 cs.CC cs.DS
Efficient Symmetric Norm Regression via Linear Sketching
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);University of California, Los Angeles(加州大学洛杉矶分校);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Columbia University(哥伦比亚大学)
我们提供了有效的算法过约束线性回归问题的大小$n \times d$时的损失函数是一个对称的范数(符号翻转和坐标置换下的范数不变)。一类重要的对称范数是Orlicz范数,其中对于函数$G$和向量$y \in \mathbb{R}^n$,相应的Orlicz范数$\|y\|_G$被定义为唯一值$α$,使得$\sum_{i=1}^n G(|y_i|/α) = 1$。当损失函数是一个Orlicz规范,我们的算法产生一个$(1 + \varepsilon)$ -近似解任意小常数$\varepsilon > 0$在输入稀疏时间,提高了以前最有名的算法,产生一个$d \cdot \mathrm{polylog} n$ -近似解。当损失函数是一个一般的对称范数,我们的算法产生一个$\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$近似的解决方案,在输入稀疏时间,其中$\mathrm{mmc}(\ell)$是一个数量相关的对称范数考虑。据我们所知,这是第一个输入稀疏时间算法与可证明的保证一般类对称范数回归问题。我们的研究结果揭示了解决线性回归的普遍素描问题,该技术可能是独立的兴趣,更广泛的数值线性代数问题。
2019-10-07 cs.DS cs.LG
Dimensionality reduction of SDPs through sketching
我们将展示如何使用正映射来绘制半定规划(SDP),以降低其维数。更准确地说,我们使用Johnson \hyp{} Lindenstrauss变换来产生更小的SDP,其解决方案保持可行性或以高概率近似原始问题的值。这些技术允许改进复杂性和存储空间要求。他们适用于问题中的Schatten 1-范数的矩阵指定的SDP和解决方案的问题是恒定的问题的大小。此外,我们提供了一些结果,澄清了积极的,线性草图在这种情况下的局限性。
2018-11-15 cs.DS math.OC
Computing Approximately Proportional Allocations of Indivisible Goods: Beyond Additive and Monotone Valuations
针对不可分割物品分配中PROP1公平性研究不足的问题,扩展至非可加性估值的饱和物品场景,证明EF1与PROP1的蕴含关系、给出多项式时间算法,并揭示最大纳什福利分配的PROP1性质。
2025-08-17 cs.DS cs.GT
Sketching Intersection Profiles: A Simple Proof and Three Applications
Sapienza University of Rome(罗马智慧大学);Google(谷歌)
本文通过连接交集轮廓草图问题,解决了三个草图问题的复杂度,给出了顶点邻域大小、覆盖函数和随机效用模型的紧界,并提供了一个仅用初等概率的简单下界证明。
2026-06-12 cs.CC cs.DS
Weighted Minwise Hashing Beats Linear Sketching for Inner Product Estimation
提出基于 Weighted MinHash 的紧凑草图方法用于高维向量内积估计,在稀疏向量上精度优于 CountSketch 等线性草图方法,并具备理论与实验支持。
2023-05-05 cs.DB cs.DS
Efficient Sketching and Nearest Neighbor Search Algorithms for Sparse Vector Sets
Northeastern University(东北大学);University of Pisa(比萨大学)
本文针对稀疏向量的近似最近邻搜索,提出结合理论草图、几何倒排索引及局部与全局信息融合的 Seismic 算法,在单 CPU 大规模基准上实现亚毫秒延迟与高准确率。
2025-09-29 cs.DS cs.IR cs.LG
On Differential Privacy for Adaptively Solving Search Problems via Sketching
本文研究利用差分隐私处理搜索问题中的自适应查询,针对最近邻查询和带任意十字转门更新的回归问题,识别关键参数并设计算法,在内存和时间依赖这些参数的情况下返回解向量。
2025-06-05 cs.DS
Almost Linear Constant-Factor Sketching for $\ell_1$ and Logistic Regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
本文改进了$\ell_1$与逻辑回归的草图算法,在实现$O(1)$-近似的同时给出了更小的近似线性草图维度,并支持通过权衡增加总大小以在输入稀疏度时间内获得$1+\varepsilon$近似,且可扩展至正则化逻辑回归。
2023-03-31 cs.DS cs.LG stat.ML
Learning Valuation Functions
在本文中,我们研究的近似可学习性的估值普遍使用的经济学和博弈论的定量编码的代理人的喜好。我们提供了上界和下界的可学习性的重要子类表示无互补性的估值函数。我们的主要研究结果关注他们的近似学习分布学习(PAC风格)设置。我们提供了几乎紧的上下界$\tildeΘ(n^{1/2})$的近似因子学习XOS和次加性估值,都广泛研究的超类的次模估值。有趣的是,我们表明,$\tildeΩ(n^{1/2})$下限可以绕过多项式复杂性的XOS功能,我们提供了一个学习类的XOS估值与多项式大小的表示实现$O(n^{\eps})$近似因子的时间$O(n^{1/\eps})$为任何$\eps > 0$的算法。这突出了考虑目标函数的复杂性对于多项式时间学习的重要性。我们还提供了新的学习结果的子模函数的有趣的子类。我们的分布学习的上限利用所有这些估值类的新结构的结果。我们发现,许多这些结果提供了新的学习结果在Goemans等人。模型(SODA 2009)的近似学习无处不在通过值查询。我们还引入了一个新的模型,在经济环境中,学习者可以设定价格,并观察购买决策,而不是直接观察估值函数。在这个模型中,尽管学习者接收到的信息更少(无论是在分布式环境中还是在值查询中),但我们的大多数上限仍然保持不变,而我们的下限自然会扩展。
2011-09-02 cs.DS cs.GT stat.ML
Faster and Simpler Sketches of Valuation Functions
我们提出了快速算法绘制赋值函数。设$N$($|N|=n$)是某个基集,$v:2^N\rightarrow \mathbb R$是一个函数。我们说$\tilde v:2^N\rightarrow \mathbb R$是$v$的$α$ -草图,如果对于每个$S$集合,我们有$\frac {v(S)} α \leq \tilde v(S) \leq v(S)$和$\tilde v$可以用$poly(n)$位来描述。Goemans等人。[SODA'09]表明,如果$v$是次模的,那么存在一个$\tilde O(\sqrt n)$ -草图,可以使用多项式许多值查询来构造(这是最好的可能性,因为Balcan和Harvey [STOC'11]表明没有次模函数允许$n^{\frac 1 3 - ε}$ -草图)。基于他们的工作,Balcan等人[COLT'12]和Badanidiyuru等人[SODA'12]表明,如果$v$是次可加的,则存在可以使用多项式许多需求查询来构造的$\tilde O(\sqrt n)$草图。所有以前的草图都是基于复杂的几何结构。在他们的建设的第一步是证明存在一个良好的草图通过找到一个椭圆,"近似“$v$好(这是通过应用约翰的定理,以确保存在一个椭圆是"接近”与$v$相关联的多拟阵)。第二步是证明这个椭球可以有效地找到,这是通过反复求解某个凸规划来获得约翰椭球的更好近似来…
2014-07-27 cs.DS cs.GT
Testing submodularity and other properties of valuation functions
我们表明,对于任何常数$ε> 0$和$p \ge 1$,它是可以区分的功能$f : \{0,1\}^n \to [0,1]$是子模块从那些是$ε$ -远离每一个子模块功能在$\ell_p$的距离与一个常数的查询。更一般地说,我们扩展了Diakonikolas等人(2007)的隐式学习测试框架,以表明对于某些$k = O(1)$,一类$k$ -juntas在$\ell_2$距离中很好地近似的实值函数的每个属性都可以在具有恒定查询次数的$\ell_p$测试模型中进行测试。这个结果,结合Feldman和Vondrak(2016)最近的一个junta定理,产生了子模块性的常量查询可测性。它还产生恒定查询测试算法的各种其他自然属性的估值函数,包括分数加性(XOS)功能,OXS功能,单位需求功能,覆盖功能,和自约束功能。
2016-11-23 cs.DS
Ranking with Submodular Valuations
研究了次模赋值的排序问题。这个问题的一个实例由一个基集$[m]$和一个$n$单调子模集函数$f^1, \ldots, f^n$的集合组成,其中每个$f^i: 2^{[m]} \to R_+$。输入的附加成分是权重向量$w \in R_+^n$。我们的目标是找到一个线性排序的地面设置元素,最大限度地减少加权覆盖时间的功能。函数的覆盖时间是线性序的前缀中形成其对应函数值大于单位阈值的集合的元素的最小数目。我们的主要贡献是一个$O(\ln(1 / ε))$ -近似算法的问题,其中$ε$是最小的非零边缘值,任何功能可能会获得一些元素。我们的算法使用自适应残差更新计划,这可能是独立的利益的元素的顺序。我们还证明了问题是$Ω(\ln(1 / ε))$ -难以近似,除非P = NP。这意味着我们的算法的结果是最佳的常数因子。
2010-07-15 cs.DS
An $O(\log \log n)$-approximate budget feasible mechanism for subadditive valuations
Univ. Waterloo(滑铁卢大学)
本文提出一种随机预算可行机制,针对子加性估值问题,实现O(log log n)的近似因子,且在多项式时间内运行。
2026-03-02 cs.DM cs.DS cs.GT
A Sketching Algorithm for Spectral Graph Sparsification
我们研究了在$G$顶点上压缩加权图$G$的问题,构建$G$的“草图”$H$,以便给定任何向量$x \in \mathbb{R}^n$,值$x^T L_G x$可以仅从$H$和$x$中逼近为乘法$1+ε$因子,其中$L_G$表示$G$的拉普拉斯算子。这个问题的一个解决方案是建立一个谱稀疏$G$,其中,使用Batson,Spielman和Srivastava的结果,由$G$的$O(n ε^{-2})$重加权边,并具有的属性,同时为所有$x \in \mathbb{R}^n$,$x^T L_H x = (1 \pm ε) x^T L_G x$。$O(n ε^{-2})$界对于谱稀疏器是最优的。我们表明,如果有兴趣只保留一个{ \it固定} $x \in \mathbb{R}^n$(在查询时指定)的$x^T L_G x$值具有很高的概率,那么有一个草图$H$只使用$\tilde{O}(n ε^{-1.6})$位的空间。这是第一个实现对$ε$的次二次依赖的数据结构。我们的工作建立在Andoni,Krauthgamer和Woodruff最近的工作基础上,他们表明空间的$\tilde{O}(n ε^{-1})$位可以用于保留固定的{ \it切割查询}(即,$x\in \{0,1\}^n$)的概率很高,在这里,我们表明,即使是一个一般的查询向量$x \in \mathbb{R}^n$,一个次二次依…
2014-12-28 cs.DS
Computing (1+epsilon)-Approximate Degeneracy in Sublinear Time
图的退化问题是k-核分解问题的一个子问题。在本文中,我们提出了一个(1 + n)-近似解决方案的退化问题,运行在O(n log n)的时间,次线性的输入大小密集图,通过抽样的少量邻居相邻的高度节点。我们的算法也可以扩展到一个O(n log n)时间的解决方案的k-核心分解问题。这改进了Bhattacharya等人的方法,这意味着退化问题的(4 + n)-近似~O(n)解,并且我们的技术类似于其他使用次线性空间的k-核和退化的素描方法。我们证明了我们的算法的理论保证,并提供优化,提高我们的算法在实践中的运行时间。在大量真实网络图上的实验表明,我们的算法比以前的计算退化的方法,包括Li等人的2022精确退化算法,执行速度明显更快。
2022-11-15 cs.DS
Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
该研究针对矩阵与向量范数残差估计问题,提出最优线性概要方法,改进了矩阵Frobenius范数残差估计的上下界,给出向量ℓₚ范数(p>2)残差及稀疏恢复问题的紧界,且算法具备更快的更新速度与实际性能优势。
2024-08-16 cs.DS cs.LG
Revisiting Co-Occurring Directions: Sharper Analysis and Efficient Algorithm for Sparse Matrices
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究了近似矩阵乘法(AMM)的流模型。我们感兴趣的情况下,该算法只能采取一次通过的数据与有限的内存。最先进的流式AMM的确定性草图绘制算法是同现方向(COD),它具有比随机算法小得多的近似误差,并且在经验上优于其他确定性草图绘制方法。在本文中,我们提供了一个更严格的误差界COD的领导项考虑潜在的近似低秩结构和输入矩阵的相关性。我们证明COD是空间最优的,我们改进的误差界。我们还提出了一个变种的COD稀疏矩阵的理论保证。在真实稀疏数据集上的实验表明,该算法比基线方法更有效。
2020-12-17 cs.DS cs.LG stat.ML
The Cost of Compression: Tight Quadratic Black-Box Attacks on Sketches for $\ell_2$ Norm Estimation
Google Research(谷歌研究);Tel Aviv University(特拉维夫大学)
本文提出一种通用黑盒攻击,仅需 Õ(k^2) 次查询即可破坏任意线性草图的 ℓ2 范数估计,并证明该下界与已知上界紧密匹配,揭示压缩表示的根本脆弱性。
2025-09-21 cs.DS cs.LG
Almost and Approximate EFX for Few Types of Agents
本文研究不可分物品公平分配中的近似 EFX 问题,证明在至多四种估值时任意数量智能体存在 2/3-EFX 分配,并将带慈善 EFX 的慈善物品界从依赖智能体数改进为依赖估值类型数。
2025-08-21 cs.DS cs.GT
Private Interdependent Valuations
我们考虑单个项目相互依赖的价值设置,其中有一个垄断者,$n$买家,每个买家都有一个私人信号$s_i$描述一条信息的项目。每个出价人$i$还具有估价函数$v_i(s_1,\ldots,s_n)$,该估价函数将所有购买者的(私有)信号映射到表示他们对物品的价值的正实数。此设置捕获项目信息不对称或分散在代理中的场景,例如在石油钻探权的竞争中,或在艺术品的拍卖中。由于与标准私人价值相比,该模型的复杂性增加,因此通常假设每个投标人的估价函数$v_i$是公共知识。但在许多情况下,卖方可能不知道投标人如何将信号汇总为估值。在本文中,我们设计的机制,保证近似最优的社会福利,同时满足事后激励相容性和个人理性的情况下,估价功能是私人的投标人。当估值是公开的时,单交叉条件下的最优社会福利有可能通过确定性机制实现。相反,当估值是投标人的私人信息,我们表明,没有有限的界限可以实现任何确定性机制,即使在单交叉。此外,没有随机化机制可以保证比$n$ -近似更好。因此,我们考虑的估值函数是次模信号(SOS),介绍了组合拍卖的背景下,在最近的突破性论文由伊登等人。[EC'19]。我们的主要结果是一个$O(\log^2 n)$ -近似的私人信号和估价的SOS条件下的买家。我们还给出了一个紧密的$Θ(k)$近似的情况下,每个代理的估值取决于最多$k$其他信号,即使是未知的$k$。
2021-11-02 cs.DS cs.GT
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick(华威大学)
可扩展的算法来解决优化和回归任务,甚至近似,需要与大型数据集一起工作。在本文中,我们研究有效的技术,从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”(IHS),并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下,同时大大提高了时间成本。其结果是,我们获得了显着更快的算法约束回归,稀疏和密集的输入。我们的经验结果表明,对于稀疏数据,我们可以以大约100倍的速度汇总数据,而令人惊讶的是,对于密集数据,我们可以以10倍的速度汇总数据!因此,可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
On Deterministic Sketching and Streaming for Sparse Recovery and Norm Estimation
我们研究经典的流和稀疏恢复问题,使用确定性的线性草图,包括l1/l1和linf/l1稀疏恢复问题(后者也被称为l1重打击者),范数估计,近似内积。我们专注于设计一个固定的矩阵A在R^{mxn}和一个确定性的恢复/估计过程,同时工作的所有可能的输入向量。我们的结果改进现有的工作,以下是我们的主要贡献:* 证明linf/l1稀疏恢复和内积估计是等价的,并且可以使用非相干矩阵来解决这两个问题。我们的测量次数的上限是m=O(eps^{-2}*min{log n,(log n / log(1/eps))^2})。利用快速Johnson-Lindenstrauss变换还可以得到快速的草图绘制和恢复算法。我们的运行时间和测量次数都比以前的工作有所改进。我们还可以获得更好的误差保证比以前的工作在一个较小的尾部的输入向量。* 求解l1/l1稀疏恢复所需线性测量数的新下界。我们证明了需要Omega(k/eps^2 + klog(n/k)/eps)测量来恢复x',|x - x'|(1+eps)|x_{tail(k)}|_1,其中x_{tail(k)}是x投影到除了其最大k坐标之外的所有坐标上。* m = Theta(eps^{-2}log(eps^2 n))对求解确定性范数估计所需的测量数的紧界,即,以回收|x| _2 +/- eps |x| _1。对于我们研究的所有问题,紧界已经知道从以前的工作随机复…
2012-06-25 cs.DS cs.IT math.IT
Learning Multi-item Auctions with (or without) Samples
McGill University(麦吉尔大学);EECS and CSAIL, MIT(麻省理工学院电气工程与计算机科学系及计算机科学与人工智能实验室)
我们提供的算法,学习简单的拍卖,其收入是近似最佳的多项目多投标人设置,为广泛的估值,包括单位需求,添加剂,约束添加剂,XOS,和次添加剂。我们在两种情况下获得学习结果。第一种是通常研究的设置,其中给出了投标人对估值的分布的样本访问,对于有界支持的规则分布和任意分布。我们的算法需要多项式的项目和投标人的数量的许多样本。第二个是我们引入的更一般的最大-最小学习设置,在这里我们给出了“近似分布”,我们试图计算一个拍卖,其收入对于所有接近给定分布的“真实分布”同时近似最优。这些结果是更一般的,因为它们意味着基于样本的结果,也适用于设置,我们没有样本访问的基础分布,但估计他们间接通过市场研究或观察以前运行,可能不真实的拍卖。我们的研究结果适用于满足标准(和必要的)独立跨项目属性的估值分布。他们还概括和改进了最近的作品,这些作品提供了算法,可以在更受限制的设置中学习近似最优拍卖,使用样本访问分布的加性,次加性和单位需求估值。我们将这些结果推广到完整的单位需求,添加剂和XOS设置,i.i.d.。次加法投标人,并到最大最小设置。我们的研究结果是使新的统一收敛界的假设类下的产品措施。我们的边界的结果在样本复杂性的指数节省边界的VC维的边界相比,是独立的利益。
2017-09-01 cs.DS cs.GT cs.LG
A Unifying Hierarchy of Valuations with Complements and Substitutes
我们引入了一个新的层次单调集函数,我们称之为$\mathcal{MPH}$(最大的正超图)。层次结构的级别对应于特定职能的互补程度。层次结构的最高级别$\mathcal{MPH}$ - $m$(其中$m$是项目总数)捕获所有单调函数。最低层,$\mathcal{MPH}$ - $1$,捕获所有单调子模函数,更一般地,捕获称为$\mathcal{XOS}$的函数类。每个具有秩$k$的正超图表示的单调函数(在Abraham,Babaioff,Dughmi和Roughgarden [EC 2012]定义的意义上)都在$\mathcal{MPH}$ - $k$中。每个具有超模度$k$(在Feige和Izsak [ITCS 2013]定义的意义上)的单调函数都在$\mathcal{MPH}$ - $(k+1)$中。在这两种情况下,相反的方向不成立,即使在近似意义上。我们提出了额外的结果,证明了表达能力的$\mathcal{MPH}$ - $k$。对于某些自然优化问题,只要函数要求位于$\mathcal{MPH}$层次的低层,就可以获得良好的逼近比。我们提出了两个这样的应用程序。一个表明,最大福利问题可以近似在$k+1$的比率,如果所有的球员持有$\mathcal{MPH}$ - $k$的估值函数。另一个是关于同时一价拍卖的无政府无政府代价价格的$2k$的上界。处于$\mathcal{MPH}…
2014-08-06 cs.DS cs.GT