On Maximization of Weakly Modular Functions: Guarantees of Multi-stage Algorithms, Tractability, and Hardness
{ \it non-submodular}函数的最大化出现在各种场景中,许多以前的作品研究了它的基础上的一些措施,量化的接近是submodular。另一方面,许多实际的非子模函数实际上接近于{ \it模化},这在很少的研究中被利用。本文研究了{ \it弱模}函数的基数约束最大化问题,其模接近度用{ \it子模度}和{ \it超模度比}来度量,并揭示了利用弱模度可以做什么和不能做什么.我们首先证明了多阶段算法的保证可以用弱模块性来证明,推广和改进了现有的一些结果,并通过实验证实了它们的有效性。然后,我们表明,弱模块化最大化是{ \it固定参数易处理}在一定条件下,作为副产品,我们提供了一个新的时间-精度权衡$\ell_0$约束最小化。我们最后证明,即使目标函数是弱模块化的,没有多项式时间算法可以提高现有的近似保证所取得的贪心算法。
2019-10-03 cs.DS
Fast and Space-Efficient Parallel Algorithms for Influence Maximization
针对影响最大化问题,提出草图压缩与并行种子选择技术,实现PaC-IM算法,在96核机器上处理9亿顶点、740亿边图,速度提升5-18倍,空间节省1.4-3.8倍。
2024-02-05 cs.DC cs.DS
Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications
Graduate School of Information Sciences and Technology(信息科学与技术研究生院);The University of Tokyo(东京大学)
例如,随着灵敏度分析和端到端学习的发展,对可微优化算法的需求显著增加。在本文中,我们建立了一个理论上有保证的通用框架,使单调子模函数最大化的贪心算法可微。我们通过随机化对贪心算法进行了光滑化,并证明了在基数和$κ$ -可扩展系统约束的情况下,它几乎可以在期望中恢复原始的近似保证。我们还展示了如何有效地计算任何预期的输出相关量的无偏梯度估计。我们证明了我们的框架的实用性,通过实例化它的各种应用程序。
2020-06-12 cs.DS cs.LG
On Sketching Quadratic Forms
Columbia University(哥伦比亚大学);Microsoft Research Silicon Valley(微软研究院硅谷分部);Indiana University Bloomington(印第安纳大学伯明顿分校);Weizmann Institute of Science, Israel(以色列魏茨曼科学研究所);Hong Kong University of Science and Technology(香港科技大学);IBM Almaden Research(IBM阿尔马登研究中心)
本文研究了二次型草图,针对正定矩阵和图拉普拉斯矩阵设计了更高效的草图,解决了“每个查询”和“所有查询”的保证问题。
2015-11-19 cs.DS
Submodular Maximization Under A Matroid Constraint: Asking more from an old friend, the Greedy Algorithm
研究了拟阵约束下的次模函数极大化问题。定义一个新的措施,增量的贪心算法在每一步,称为判别式,改进的近似比保证推导出的贪心算法。在每一步中,判别式度量了贪心算法选择的项目与未选择项目的最大潜在增量估值之间的增量估值的乘法差距,新的保证包含了贪心算法的所有已知结果,包括基于曲率的结果,并通过构造具体实例证明了所导出的保证是紧的.更精细的近似保证派生一个特殊的情况下,称为子模块化的福利最大化/分区问题,也是紧,离线和在线的情况下。
2018-10-30 cs.DS
Weakly Submodular Function Maximization Using Local Submodularity Ratio
弱次模是报酬递减性质的一种自然松弛,与次模等价。弱子模性已经被用来证明,许多在实践中出现的(单调)函数可以有效地最大化与可证明的保证。在这项工作中,我们介绍了两个自然推广的弱次模的非单调函数。我们表明,一个有效的随机贪心算法具有可证明的近似保证最大化这些功能的基数约束。然后,我们提供了更精确的分析,该分析考虑到弱子模块性参数可能会在算法执行过程中发生变化(有时会改善)。这导致在某些设置中改进的近似保证。我们提供应用程序的单调和非单调最大化问题的结果。
2020-09-23 cs.DS
StaticGreedy: solving the scalability-accuracy dilemma in influence maximization
影响力最大化,定义为找到一组种子节点以触发影响力最大化传播的问题,对于社交网络上的病毒式营销至关重要。对于大规模社交网络上的实际病毒式营销,要求影响力最大化算法既要有保证的准确性,又要有较高的可扩展性。然而,现有的算法存在可扩展性与精度的矛盾:传统的贪心算法以昂贵的计算量保证精度,而可扩展的启发式算法精度不稳定。在本文中,我们专注于解决这个可扩展性-准确性的困境。我们指出,困境的根本原因是令人惊讶的事实,子模块,一个贪心算法的目标函数的一个关键要求,是不能保证在所有传统的贪心算法的影响力最大化。因此,一个贪心算法必须提供大量的蒙特卡罗模拟,以减少所造成的痛苦,不保证子模块。基于这一重要发现,我们提出了一个静态的贪心算法,名为StaticGreedy,严格保证种子选择过程中的影响扩散函数的子模块。该算法在保证精度的前提下,使计算量减少了两个数量级。此外,我们还提出了一种动态更新策略,在大规模社交网络上,该策略可以将静态贪婪算法的速度提高2-7倍。
2014-02-17 cs.DS cs.SI physics.soc-ph
Guaranteed Non-convex Optimization: Submodular Maximization over Continuous Domains
ETH Zurich(苏黎世联邦理工学院)
次模连续函数是一类(一般)非凸/非凹函数,具有广泛的应用。我们描述这些功能,并证明他们可以有效地近似保证最大化。具体地说,i)我们引入了弱DR性质,给出了所有集合、整数格和连续函数的次模性的统一刻画; ii)对于一般下闭凸约束下的单调DR-次模连续函数,我们提出了一个具有$(1-1/e)$逼近保证和次线性收敛速度的Frank-Wolfe变式;(3)对于一般非单调子模连续函数的最大化问题,我们提出了一个具有$1/3$逼近保证的DoubleGreedy算法.子模块连续函数自然地找到应用程序在各种现实世界中的设置,包括影响力和收入最大化与连续分配,传感器能源管理,多分辨率数据汇总,设施位置等实验结果表明,所提出的算法有效地产生优越的解决方案相比,基线算法。
2019-05-06 cs.DS cs.LG
Guarantees for Greedy Maximization of Non-submodular Functions with Applications
ETH Zurich(苏黎世联邦理工学院)
研究了非次模非减集函数基数约束最大化问题的标准贪心算法的性能。虽然有很强的理论保证贪婪的性能最大化次模函数,有几个保证非次模的。然而,Greedy对于许多重要的非次模函数具有很强的经验性能,例如,实验设计中贝叶斯A-最优性目标。我们证明了支持实证性能的理论保证。我们的保证的特征在于(广义)曲率$α$和子模块比$γ$的组合。特别是,我们证明了贪婪享有紧逼近保证$\frac{1}α(1- e^{-γα})$基数约束最大化。此外,我们绑定的子模块比和曲率的几个重要的现实世界的目标,包括贝叶斯A-最优目标,一个正方形子矩阵的行列式函数和某些线性规划的组合约束。我们的实验验证了我们的理论研究结果的合成和现实世界的应用。
2019-05-14 cs.AI cs.DM cs.DS
Hadamard Flattening and Gaussian Pooling Sketch for Least Squares with Coordinate-wise Guarantee
Massachusetts Institute of Technology(麻省理工学院)
该研究针对带逐坐标保证的最小二乘问题,提出结合Hadamard展平与高斯池化的新随机变换,将草图行数优化至O(ε⁻²d log d),解决了现有方法的独立性假设缺陷,实现高效的超约束ℓ₂回归加速。
2026-11-10 cs.DS cs.LG stat.ML
Frequency Estimation with One-Sided Error
频率估计是流媒体算法中最基本的问题之一。给定来自某个全域$U=\{1 \ldots n\}$的元素的流$S$,目标是在单遍中计算$S$的简短草图,使得对于任何元素$i \in U$,可以仅基于草图来估计$S$中$i$出现的次数$x_i$。两个国家的最先进的解决方案,这个问题是计数最小和计数素描算法。由Count-Min产生的频率估计器$\tilde{x}$使用$O(1/\varepsilon \cdot \log n)$维数,保证$\|\tilde{x}-x\|_{\infty} \le \varepsilon \|x\|_1$具有高概率,并且$\tilde{x} \ge x$确定性地保持。此外,Count-Min在假设$x \ge 0$ .另一方面,Count-Sketch使用$O(1/\varepsilon^2 \cdot \log n)$尺寸,保证$\|\tilde{x}-x\|_{\infty} \le \varepsilon \|x\|_2$具有高概率。一个自然的问题是,是否有可能设计出两全其美的草图绘制方法,其误差保证取决于$\ell_2$范数和与Count-Sketch相当的空间,但(像Count-Min)也具有不可低估的属性。我们的主要结果表明,对上述问题的答案是否定的。我们在两个无与伦比的计算模型:线性素描和流算法。我们还研究了补充问题,其中要求草图不高估,即,$…
2021-11-06 cs.CC cs.DS
Guess Free Maximization of Submodular and Linear Sums
考虑了在一般可解多面体约束下,单调次模函数与线性函数之和的最大化问题。最近,Sviridenko等人(2017)描述了一种解决这个问题的算法,其近似保证在某些直观和形式意义上是最佳的。不幸的是,该算法涉及猜测步骤,这使得它不太干净,并显着影响其时间复杂度。在这项工作中,我们描述了一个干净的替代算法,使用一种新的加权技术,以避免有问题的猜测步骤,同时保持相同的近似保证Sviridenko等人的算法。
2018-10-09 cs.DS
Faster Guarantees of Evolutionary Algorithms for Maximization of Monotone Submodular Functions
研究了单调次模极大化问题。SM是从大小为$n$的论域中找到大小为$κ$的子集,该子集最大化单调子模目标函数$f$。我们表明,使用一种新的分析,帕累托优化算法实现了$(1-ε)(1-1/e)$的最坏情况下的比率,在期望的每个基数约束$κ< P$,其中$P\leq n+1$是一个输入,在$O(nP\ln(1/ε))$查询$f$。此外,一种新的进化算法,称为偏Pareto优化算法,提出了实现最坏情况下的比例$(1-ε)(1-1/e)$的期望为每个基数约束$κ< P$在$O(n\ln(P)\ln(1/ε))$查询$f$。此外,可以修改偏置帕累托优化算法,以便在$f$的$O(n\ln(1/ε))$查询中实现基数约束$κ$的期望中的最差情况比率$(1-ε)(1-1/e)$。经验评估证实了我们的理论分析的算法,因为算法超过随机贪婪的解决方案的值大致时,我们的分析的基础上预期。
2021-07-05 cs.DS
Efficient Algorithms for Influence Maximization in General Models and Observed Cascades
Boston University(波士顿大学);Khoury College of Computer Sciences, Northeastern University(东北大学科赫里计算机科学学院)
提出低自适应优化框架和自适应算法,首次实现观测级联上近线性时间可证明保证,并改进独立级联模型样本复杂度。
2026-06-23 cs.DS
Tight Bounds on the Cost of Adaptivity for the Meyerson Sketch
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Princeton University(普林斯顿大学)
本研究量化了在线设施选址中Meyerson草图对自适应输入的鲁棒性,证明自适应代价与重放代价之比有紧界,并推广至近似k聚类。
2026-09-09 cs.DS
Budget-Smoothed Analysis for Submodular Maximization
保证了基数约束下单调次模函数极大化问题的贪心算法在一个$1-1/e$因子内逼近最优解。虽然众所周知,这种保证在最坏的情况下基本上是严格的-对于贪婪算法和实际上任何有效的算法,实验表明贪婪算法在实践中表现得更好。我们观察到,对于实践中的许多应用,预算的经验分布(即,基数约束)在很宽的范围内得到支持,而且,所有现有的硬度导致在预算的大扰动下理论破裂。为了从算法和硬度的角度来理解预算的影响,我们引入了预算平滑分析的新概念。我们证明了贪婪是最优的每一个预算分布,我们给出了最坏情况下的子模函数的一个特征。基于这些结果,我们表明,在算法方面,根据现实的预算分布,贪婪和相关算法享有可证明更好的近似保证,即使是最坏情况下的功能,并在硬度方面,存在硬功能,是相当强大的所有预算分布。
2022-02-11 cs.DS
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université(索邦大学);Univ Évry, Université Paris-Saclay(埃夫里大学,巴黎-萨克雷大学)
子模优化是一个重要的研究领域,在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类,提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先,我们表明,离线最大化非单调DR-次模函数在一般的凸集上,Frank-Wolfe算法实现的近似保证依赖于凸集。其次,我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后,我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
Incremental Submodular Maximization: Better Than Greedy
University of Wrocław(弗罗茨瓦夫大学);CWI Amsterdam(阿姆斯特丹数学与计算机科学中心);University of Warwick(华威大学);TU Darmstadt(达姆施塔特工业大学)
针对基数递增约束下的子模最大化问题,提出自适应缩放算法,将竞争比从贪心算法的1.582改进至1.373,并给出1.25的下界。
2026-06-26 cs.DS
Batch greedy maximization of non-submodular functions: Guarantees and applications to experimental design
Massachusetts Institute of Technology(麻省理工学院)
提出并分析了非子模非减集函数基数约束最大化问题的批量贪婪算法。我们考虑标准的贪婪范式,以及它的分布式贪婪和随机贪婪的变种。我们的理论保证的特点是子模块化和超模块化比率的组合。我们认为,这些参数如何定义紧模块化边界的增量增益的基础上,并提供了一种新的重新解释的经典贪婪算法使用minorize-maximum(MM)的原则。基于这种类比,我们提出了一类新的方法,利用任何合理的模块化界限。在线性贝叶斯逆问题的最优试验设计中,当目标函数是基于互信息时,我们定义了子模块度和超模块度的比值.我们还开发了新的模块化界限的互信息在这种情况下,并描述了某些连接到多面体组合。我们讨论如何使用这些模块化的界限算法与建立的统计概念,如杠杆分数和最近的努力,如体积采样。我们展示了我们的理论研究结果的合成问题和现实世界的气候监测的例子。
2021-08-10 cs.DM cs.DS cs.LG
Oblivious Subspace Injection Is Not Enough for Relative Error
Cornell University(康奈尔大学)
研究指出,仅依赖盲目子空间注入(OSI)无法提供与OSE类似的相对误差保证,但通过补充残差控制可恢复近似相对误差界。
2026-08-05 cs.DS cs.NA math.NA
Continuous Submodular Maximization: Beyond DR-Submodularity
University of Haifa(海法大学);Yale University(耶鲁大学)
在本文中,我们提出了第一个连续优化算法,实现了常数因子近似保证问题的单调连续子模最大化的线性约束。我们首先证明了一个简单的变种香草坐标上升,称为Coordinate-Ascent+,实现了$(\frac{e-1}{2e-1}-\varepsilon)$ -近似保证,同时执行$O(n/\varepsilon)$迭代,其中每次迭代的计算复杂性大致为$O(n/\sqrt{\varepsilon}+n\log n)$(在这里,$n$表示优化问题的维度)。然后,我们提出了Coordinate-Ascent++,它实现了严格的$(1-1/e-\varepsilon)$近似保证,同时执行相同数量的迭代,但在一个更高的计算复杂性,大约$O(n^3/\varepsilon^{2.5} + n^3 \log n / \varepsilon^2)$每次迭代。然而,每轮Coordinate-Ascent++的计算可以很容易地并行化,使得每台机器的计算成本按$O(n/\sqrt{\varepsilon}+n\log n)$缩放。
2020-06-21 cs.DS cs.LG
Parallel Algorithm for Non-Monotone DR-Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们给出了一个新的并行算法的最大化问题的非单调递减收益次模函数的基数约束。对于任何期望的精度$ε$,我们的算法实现了$1/e - ε$近似使用$O(\log{n} \log(1/ε) / ε^3)$并行轮的功能评估。近似保证几乎匹配的最佳近似保证已知的问题在顺序设置和并行轮数是接近最佳的任何常数$ε$。以前的算法实现较差的近似保证使用$Ω(\log^2{n})$并行轮。我们的实验评估表明,我们的算法获得的解决方案,其目标值几乎匹配的最先进的顺序算法获得的值,它优于以前的并行算法的并行轮数,迭代次数和解决方案的质量。
2019-05-30 cs.DS cs.LG
Streaming Submodular Maximization under Matroid Constraints
最近的进展(半)流算法的单调子模函数最大化导致了一个简单的基数约束紧的结果。然而,目前的技术未能给出类似的理解自然的推广,包括拟阵约束。本文旨在缩小这一差距。对于秩为$k$的单个拟阵(即,任何解决方案具有至多$k$的基数),我们的主要结果是:1)使用$\widetilde{O}(k)$存储器并实现$0.3178$的近似保证的单遍流式算法,以及2)使用$\widetilde{O}(k)$存储器并通过在流上采取恒定(取决于$\varepsilon$)遍数来实现$(1-1/e - \varepsilon)$的近似保证的多遍流式算法。这改进了先前分别用于单通道和多通道流算法的$1/4$和$1/2$的最佳近似保证。事实上,我们的多通道流算法是严格的,因为任何具有比$1/2$更好的保证的算法都必须通过流进行多次传递,并且任何超过我们对$1-1/e$的保证的算法都必须进行线性多次传递(以及指数数量的值oracle查询)。此外,我们展示了如何使用的方法,多通道流可以进一步加强,如果流的元素到达均匀随机顺序,这意味着一个改进的结果为$p$ -matchoid约束。
2022-02-16 cs.DM cs.DS
Fast Regression with an $\ell_\infty$ Guarantee
UT-Austin(德克萨斯大学奥斯汀分校);IBM Almaden(IBM阿尔马登研究中心)
草图已经成为一种强大的技术,可以加速数值线性代数中的问题,例如回归。在过约束回归问题中,给定$n \times d$矩阵$A$,其中$n \gg d$,以及$n \times 1$向量$b$,并且想要找到向量$\hat{x}$以便最小化残差$\|Ax-b\|_2$。使用草图和求解范例,首先计算随机选择的矩阵$S$的$S \cdot A$和$S \cdot b$,然后输出$x' = (SA)^{\dagger} Sb$,以便最小化$\|SAx' - Sb\|_2$。当$A$条件良好时,草图-求解范式给出了对$\|x'-x^*\|_2$的限制。我们的主要结果是,当$S$是二次抽样随机傅立叶/阿达玛变换,错误$x' - x^*$的行为,如果它位于一个“随机”的方向在这个界限内:对于任何固定方向$a\in \mathbb{R}^d$,我们有$1 - d^{-c}$概率,\[ \langle a, x'-x^*\rangle \lesssim \frac{\|a\|_2\|x'-x^*\|_2}{d^{\frac{1}{2}-γ}}, \quad (1) \]其中$c, γ> 0$是任意常数。这意味着$\|x'-x^*\|_{\infty}$是小于$\|x'-x^*\|_2$的因子$d^{\frac{1}{2}-γ}$。它也给出了一个更好的界限$x'$的推广到新的例子:如果$A$行对应的例子…
2017-05-30 cs.DS cs.LG
Practical $0.385$-Approximation for Submodular Maximization Subject to a Cardinality Constraint
DataHeroes Israel(DataHeroes以色列公司);University of Haifa(海法大学)
针对基数约束下的非单调子模最大化,提出一种结合$0.385$近似保证与$O(n+k^2)$低查询复杂度的实用算法,并在多个机器学习应用中验证其有效性。
2024-05-22 cs.DM cs.DS cs.LG
Oblivious sketching for logistic regression
TU Dortmund University(多特蒙德工业大学);Carnegie Mellon University(卡内基梅隆大学)
在一个数据流上一次通过解决逻辑回归有什么保证?为了回答这个问题,我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流,并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点,其中$μ$是一个有用的参数,它捕获的复杂性压缩数据。在草图上求解(加权)逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速,简单,易于实现,我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML
Unmasking Vulnerabilities: Cardinality Sketches under Adaptive Inputs
本研究揭示基数草图在自适应输入下的固有脆弱性,提出针对标准估计器的攻击方法,并证明任何估计器均可被二次数量级查询攻破。
2024-05-28 cs.DS
Online Non-Monotone DR-submodular Maximization
IBISC;Univ. Evry(埃夫里大学);University Paris-Saclay(巴黎萨克雷大学)
在本文中,我们研究最大化DR-子模连续函数,在机器学习,经济学,运筹学和通信系统领域的实际应用的基本问题。它捕获了非凸优化的一个子类,提供了理论和实践保证。在这里,我们专注于最小化遗憾的在线到达非单调DR-次模函数在不同类型的凸集:超立方体,下闭和一般凸集。首先,我们提出了一个在线算法,实现了$1/e$ -近似比与遗憾的$O(T^{2/3})$最大化DR-子模函数在任何下闭凸集。请注意,$1/e$的近似比与问题的离线版本的最佳保证匹配。此外,当凸集是超立方体时,我们提出了一个紧1/2近似算法,其遗憾界为$O(\sqrt{T})$。接下来,我们给出了一个在线算法,实现了近似保证(取决于搜索空间)的问题,最大化非单调连续DR-次模函数的\emph{general}凸集(不一定下闭)。据我们所知,没有事先的算法与近似保证已知的非单调DR-子模极大化在线设置。最后,我们运行实验来验证我们的算法在机器学习领域与现实世界的数据集出现的问题的性能。
2020-06-23 cs.DS cs.LG stat.ML
Submodular Maximization Beyond Non-negativity: Guarantees, Fast Algorithms, and Applications
Yale University(耶鲁大学);Open University of Israel(以色列开放大学);Queen Mary University of London(伦敦玛丽女王大学)
一般认为,次模函数--以及更一般的$γ$类--弱次模函数--只能在非负性假设$f(S) \geq 0$下优化。在本文中,我们表明,一旦函数表示为差$f = g - c$,其中$g$是单调的,非负的,和$γ$-弱次模和$c$是非负模,那么强逼近保证可能会得到。我们提出了一个在$k$基数约束下最大化$g - c$的算法,该算法产生一个随机可行集$S$,使得运行时间为$O (\frac{n}ε \log^2 \frac{1}ε)$的$\mathbb{E} \left[ g(S) - c(S) \right] \geq (1 - e^{-γ} - ε) g(OPT) - c(OPT)$,即,独立于$k$。我们将这些结果扩展到无约束的设置,通过描述具有相同的近似保证和更快的$O(\frac{n}ε \log\frac{1}ε)$运行时的算法。我们的算法的主要技术是双重的:使用一个代理目标,不同的$g$和$c$之间的相对重要性在整个算法,和几何扫描可能的$γ$值。我们的算法保证补充了硬度的结果表明,没有多项式时间的算法访问$g$通过一个值Oracle可以做得更好。我们经验证明我们的算法的成功,将它们应用到波士顿住房数据集的实验设计和有向顶点覆盖的电子邮件欧盟数据集。
2019-04-19 cs.DS cs.LG math.OC
An Analytic 0.48-Approximation for Non-Monotone k-Submodular Maximization under a Matroid Constraint
University of Chinese Academy of Sciences(中国科学院大学)
本研究针对k≥2的拟阵约束下非单调k-子模最大化问题,提出结合前二标签规则等的随机多项式时间算法,在值预言模型中取得0.48的近似保证。
2026-10-21 cs.DS math.OC
Robust Maximization of Non-Submodular Objectives
EPFL(洛桑联邦理工学院)
我们研究的问题,最大化的单调集函数的基数约束$k$的设置中删除一些元素$τ$从返回的集合。这项工作的重点是最坏情况下的对抗性设置。虽然当函数是子模块时存在常数因子保证,但对于非子模块目标没有保证。在这项工作中,我们提出了一个新的算法遗忘贪婪,并证明了第一个常数因子近似保证更广泛的非次模目标。所获得的理论界限是第一个常数因子界限,也保持在线性制度,即当删除$τ$的数量是线性的$k$。我们的界限依赖于已建立的参数,如子模比和一些新的,如逆曲率。我们约束这些参数的两个重要目标,包括支持选择和方差减少。最后,我们在各种数据集上证明了遗忘贪婪算法对这两个目标的鲁棒性能。
2020-05-02 cs.AI cs.DS cs.LG
Submodular Maximization in Clean Linear Time
Ohio State University(俄亥俄州立大学);University of Haifa(海法大学);Google(谷歌);Yale University(耶鲁大学)
在本文中,我们提供了第一个确定性的算法,实现了紧$1-1/e$近似保证子模最大化的基数(大小)约束下,同时使一些查询,规模仅与地面集$n$的大小线性。为了补充我们的结果,我们还显示了强大的信息理论下限。更具体地说,我们表明,当最大基数允许的解决方案是恒定的,没有算法,使一个次线性数量的函数评估可以保证任何恒定的近似比。此外,当约束允许选择一个恒定的分数的地面集,我们表明,任何算法,使少于$Ω(n/\log(n))$功能评估不能执行比一个算法,简单地输出一个均匀的随机子集的地面集的正确大小。然后,我们提供了一个更一般的背包约束,这是第一个线性时间算法,实现$1/2$近似保证这个约束的确定性算法的变体。最后,我们将我们的结果扩展到一般情况下,最大化的单调子模函数的交集的$p$集系统和多个背包约束。我们广泛地评估了我们的算法在多个现实生活中的机器学习应用中的性能,包括电影推荐,位置摘要,twitter文本摘要和视频摘要。
2022-04-12 cs.DS cs.LG
UDDSketch: Accurate Tracking of Quantiles in Data Streams
我们提出了UDDSketch(均匀DDSketch),一个新的草图快速,准确地跟踪数据流中的分位数。该草图深受最近推出的DDSketch的启发,并且基于一种新颖的桶折叠过程,该过程允许克服相应DDSketch过程的固有限制。事实上,DDSketch桶折叠过程不允许导出不遵循次指数分布的数据的分位数估计的准确性的正式保证。相反,UDDSketch的设计使得可以在整个分位数范围内以及输入中的任意分布上提供准确性保证。此外,我们的算法充分利用预算的内存自适应,以保证最好的精度在整个范围内的分位数。在人工数据集上的大量实验结果证实了该方法的有效性。
2020-04-18 cs.DB cs.DS
Non-Monotone Submodular Maximization with Multiple Knapsacks in Static and Dynamic Settings
Hasso Plattner Institute(哈索普拉特纳研究所);The University of Adelaide(阿德莱德大学)
研究了多背包约束下非单调次模函数的最大化问题。我们提出了一个简单的离散贪心算法来解决这个问题,并证明了它产生强逼近保证的功能有界曲率。与其他算法相比,这不需要问题松弛到连续域,并且在问题大小上保持恒定因子近似保证。在单背包的情况下,我们的分析表明,标准的贪婪可以用于非单调设置。此外,我们研究这个问题在一个动态的设置,背包的变化过程中的优化过程。我们修改我们的贪心算法,以避免在每个约束更新完全重新启动。这种修改保留了静态情况下的近似保证。我们评估我们的实验结果的视频摘要和传感器的位置任务。我们表明,我们提出的算法竞争与国家的最先进的静态设置。此外,我们表明,在动态设置与紧张的计算时间预算,我们修改后的贪婪产生显着的改善从零开始的贪婪,在解决方案的质量。
2020-02-18 cs.DS cs.LG
Sublinear Sketches for Approximate Nearest Neighbor and Kernel Density Estimation
Department of Computer Science & Engineering, Indian Institute of Technology Bombay(计算机科学与工程系,印度理工学院班加罗尔)
本文提出针对动态数据流的次线性草图算法,用于近似最近邻搜索和核密度估计,在内存与误差间实现接近最优权衡,并首次给出滑动窗口下A-KDE的次线性保证。
2026-09-15 cs.DS cs.LG stat.ML