In-and-Out: Algorithmic Diffusion for Sampling Convex Bodies
School of Computer Science, Georgia Institute of Technology(佐治亚理工学院计算机科学系);Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Vector Institute(向量研究所)
本文提出一种新的随机游走算法,用于均匀采样高维凸体,实现了最先进的运行时间复杂度,并在输出保证上优于现有方法,特别是在Rényi散度方面。
2026-03-20 cs.DS cs.LG math.ST
Generalization Bounds for Uniformly Stable Algorithms
Google Brain(谷歌大脑);Stanford University(斯坦福大学)
学习算法的一致稳定性是一个经典的算法稳定性概念,用于推导泛化误差的高概率界(Bousquet and Elisseeff,2002)。具体地,对于在$[0,1]$中具有范围限制的损失函数,已知$γ$ -一致稳定学习算法在$n$样本上的泛化误差在经验误差的$O((γ+1/n) \sqrt{n \log(1/δ)})$内,概率至少为$1-δ$。不幸的是,在许多常见的设置中,这个界限并不导致有意义的泛化界限,其中$γ\geq 1/\sqrt{n}$。同时,已知只有当$γ= O(1/n)$。我们大大提高了一致稳定算法的泛化界,而不作任何额外的假设。首先,我们表明,在这种情况下的界限是$O(\sqrt{(γ+ 1/n) \log(1/δ)})$的概率至少为$1-δ$。此外,我们证明了$O(γ^2 + 1/n)$的估计误差的二阶矩的紧界。第二时刻的最佳前界是$O(γ+ 1/n)$。我们的证明是基于新的分析技术,我们的结果意味着更强的泛化保证几个良好的研究算法。
2019-03-18 cs.DS cs.LG stat.ML
The Algorithmic Phase Transition of Random $k$-SAT for Low Degree Polynomials
设$Φ$是具有$n$变量和$m$子句的一致随机$k$ -SAT公式。我们研究的算法任务,找到一个令人满意的分配$Φ$。已知满足的分配以高概率存在直到子句密度$m/n = 2^k \log 2 - \frac12 (\log 2 + 1) + o_k(1)$,而已知的最佳多项式时间算法,Coja-Oghlan的Fix算法,在低得多的子句密度$(1 - o_k(1)) 2^k \log k / k$找到满足的分配。这就提出了一个问题:在更高的子句密度下,是否有可能有效地找到一个令人满意的赋值?我们证明了这类低次多项式算法在子句密度为$(1 + o_k(1)) κ^* 2^k \log k / k$时不能找到一个令人满意的分配,其中子句密度为通用常数$κ^* \approx 4.911$。这个类包含修复,消息传递算法,包括置信度和调查传播引导的抽取(有界或温和增长的轮数),以及因子图上的局部算法。这是第一个硬度的结果,任何类的算法在子句密度内的一个常数因子的修复实现。我们的证明建立并利用了一个新的多路重叠间隙属性定制的随机$k$ -SAT。
2021-10-29 cs.CC cs.DS math-ph
High probability generalization bounds for uniformly stable algorithms with nearly optimal rate
Google Brain(谷歌大脑);Stanford University(斯坦福大学)
数学稳定性是理解和分析学习算法泛化误差的经典方法。大多数基于稳定性的泛化界的一个显著弱点是它们只在期望中成立。在Bousquet和Elisseeff(2002)的一篇里程碑式的论文中建立了高概率的推广,尽管代价是在界限中增加了一个额外的$\sqrt{n}$因子。具体地说,它们对$[0,1]$中的$n$样本和范围的任何$γ$ -一致稳定学习算法的估计误差的界是$O(γ\sqrt{n \log(1/δ)} + \sqrt{\log(1/δ)/n})$,概率为$\geq 1-δ$。$\sqrt{n}$开销使$γ\geq 1/\sqrt{n}$的公共设置中的边界为空。作者最近证明了一个更强的界限(Feldman和Vondrak,2018),将开销最多减少到$O(n^{1/4})$。尽管如此,这两个结果给出了最佳的推广界限时,只有$γ= O(1/n)$。我们证明了$O(γ\log(n)\log(n/δ) + \sqrt{\log(1/δ)/n})$对任何$γ$ -一致稳定算法的估计误差的一个近似紧界。这意味着对于具有$γ= O(1/\sqrt{n})$的一致稳定的算法,估计误差基本上与采样误差相同。我们的结果导致了第一个高概率的多通道随机梯度下降和正则化ERM的随机凸问题的推广界与近最优率--解决开放的问题在以前的工作。我们的证明技术是新的,我们介绍了几个分析工具,可能会发现其他应用程序。
2019-06-23 cs.DS cs.LG stat.ML
Faster generation of random spanning trees
本文提出了一种在无向图中生成近似一致随机生成树的新算法。我们展示了如何从一个在预期时间$\TO(m\sqrt{n}\log 1/δ)$均匀的乘法$(1+δ)$内的分布中采样。这改善了稀疏图的情况下,最好的以前已知的最坏情况下的界的$O(\min \{mn, n^{2.376}\})$,这已经站了二十年。为了实现这一目标,我们利用图和电网络上的随机游走之间的连接,我们用这个引入一个新的方法来解决这个问题,集成离散随机游走为基础的技术与连续线性代数方法。我们相信,我们使用的电气网络和稀疏线性系统解算器与随机游走和组合分区技术是一个有用的范例,将找到进一步的应用在算法图论。
2009-08-11 cs.DM cs.DS
Fast Generation of Random Spanning Trees and the Effective Resistance Metric
本文提出了一种在无向图中生成均匀随机生成树的新算法。我们的算法在预期的$\tilde{O}(m^{4/3})$时间内对这样的树进行采样。这改善了以前已知的最好的$\min(\tilde{O}(m\sqrt{n}),O(n^ω))$的界限-从Kelner和Mackdry [FOCS'09]和Colbourn等人的工作。[J.算法'96] -只要输入图是足够稀疏的。在高层次上,我们的结果源于仔细利用随机生成树,随机游走和有效电阻的概念的相互作用,以及从设计一种方法来算法将这些概念与图的组合结构。这特别涉及在有效电阻度量和底层图的切割结构之间建立新的连接。
2015-01-01 cs.DM cs.DS
Fast Arithmetic in Algorithmic Self-Assembly
在本文中,我们考虑的时间复杂度计算的总和和积的两个$n$位数内的瓷砖自组装模型。(抽象)瓦片组装模型是自组装的数学模型,其中系统组件是具有分配给瓦片边缘的不同胶水类型的正方形瓦片。当胶对瓦片的净吸引力超过某个固定阈值时,通过将单体瓦片附接到生长的种子组件来驱动组件。在这个框架内,我们研究的时间复杂度计算2个n位数的总和或产品,其中输入的数字被编码在一个初始的种子汇编,并在最后的输出编码,终端组装的系统。我们证明了加法和乘法问题在2D装配中有$Ω(\sqrt{n})$的最坏情况下界,在3D装配中有$Ω(\sqrt[3]{n})$的最坏情况下界。在加法的情况下,我们设计了二维和三维的算法,分别满足$O(\sqrt{n})$和$O(\sqrt[3]{n})$的最坏情况运行时间的上限,这击败了以前最好的已知上限O(n)。此外,我们认为平均情况下的复杂性,除了均匀分布的n位串,并显示如何实现$O(\log n)$平均情况下的时间与同时$O(\sqrt{n})$最坏情况下的运行时间在2D。对于乘法,我们提出了一个$O(n^{5/6})$时间乘法算法,它工作在3D,它击败了以前最好的已知的O(n)的上限。作为我们的算法的速度的额外证据,我们实现我们的加法算法,随着更简单的O(n)时间加法算法,到一个概率运行时模拟器和比较的时序结果。
2013-08-05 cs.CC cs.CG cs.DS
Splittable Spanning Trees and Balanced Forests in Dense Random Graphs
New College of Florida(佛罗里达新学院);Georgia Institute of Technology(佐治亚理工学院)
研究了密集随机图中生成树的可分割性,证明了其可分割概率为反多项式,并揭示了采样平衡分区的算法在特定图类中的失效问题。
2026-02-24 cs.DS
An FPRAS for Counting Common Bases of Two Matroids
Massachusetts Institute of Technology(麻省理工学院)
本文提出首个多项式时间近似计数与几乎均匀采样两个拟阵公共基的算法,通过软交集松弛和最大熵凸规划实现,并推广至更广场景。
2026-11-04 cs.CC cs.DM cs.DS
From algorithms to connectivity and back: finding a giant component in random k-SAT
我们采取一种算法的方法来研究相对稀疏的随机和有界度$k$ -CNFs的大$k$的解决方案空间的几何形状。在这样做的过程中,我们建立,以高概率,随机$k$ -CNF $Φ$与$n$变量和子句密度$α= m/n \lesssim 2^{k/6}$有一个巨大的组成部分的解决方案,连接在一个图中的解决方案是相邻的,如果他们有汉明距离$O_k(\log n)$和一个类似的结果保持有界度$k$ -CNF在类似的密度。我们也能够推导出松散的结果随机和有界度$k$ -CNFs在类似的制度。虽然我们的主要动机是了解几何的解决方案空间,我们的方法有算法的影响。为此,我们构建了一个理想化的块动力学,从随机$k$ -CNF $Φ$与密度$α= m/n \lesssim 2^{k/52}$的样本解决方案。我们表明,这种马尔可夫链可以以高概率在多项式时间内实现,并通过利用谱独立性,我们还观察到,它混合相对较快,给出了一个多项式时间算法,以高概率采样一个随机$k$ -CNF的均匀随机解。我们的工作表明,当一个巨大的组件存在时,牵制的自然途径是开发更清晰的算法,在随机$k$ -CNFs的采样解决方案。
2022-07-15 cs.DS
Perfectly Sampling $k\geq (8/3 +o(1))Δ$-Colorings in Graphs
我们提出了一个随机算法,它需要作为输入的无向图$G$的$n$顶点的最大程度$Δ$,和一些颜色$k \geq (8/3 + o_Δ(1))Δ$,并返回-在预期的时间$\tilde{O}(nΔ^{2}\log{k})$-一个适当的$k$ -着色的$G$完全均匀分布在所有适当的$k$ -着色的$G$。值得注意的是,我们的采样器打破了Bhandari和Chakraborty最近工作中遇到的$k = 3Δ$的障碍[STOC 2020]。我们还画出了如何修改我们的方法,以放宽对$k$的限制为$k \geq (8/3 - ε_0)Δ$的一个绝对常数$ε_0 > 0$。正如Bhandari和Chakraborty的工作以及Huber [STOC 1998]的开创性工作一样,我们的采样器基于来自过去的耦合[Propp&Wilson,Random Struct. Algorithms,1995]和边界链方法[Huber,STOC 1998; Häggström&Nelander,Scand. J. Statist,1999年]。我们的创新包括一个新的边界链例程的灵感来自Jerrum的分析的Glauber动力学[随机结构。算法,1995],以及一个预处理例程边界链使用算法的Lovász局部引理[Moser&Tardos,J.ACM,2010]。
2020-07-13 cs.DS math.CO math.PR
Random-Order Enumeration for Self-Reducible NP-Problems
在大量的数据分析任务中,一个基本且耗时的过程是产生大量的解决方案并将其输入下游处理。各种枚举算法已被开发用于此目的。枚举算法产生问题实例的所有解,而不重复。为了成为解空间的统计上有意义的表示,要求以均匀随机顺序枚举解。本文研究了一类多项式可数($Sr_{NP}^{FP}$)、允许FPTAS($Sr_{NP}^{FPTAS}$)和允许FPRAS($Sr_{NP}^{FPRAS}$)的自约NP问题。基于(几乎)一致生成元的平凡算法实际上是低效的。我们提供了一个新的见解,(几乎)均匀的发电机不是故事的结尾。更有效的算法框架,提出了在这三个层次的问题,以均匀随机顺序枚举的解决方案。(1)对于$Sr_{NP}^{FP}$中的问题,我们给出了一个具有多项式延迟的随机顺序枚举算法(PDREnum);(2)对于$Sr_{NP}^{FPTAS}$中的问题,我们给出了一个具有期望多项式延迟的Las Vegas随机顺序枚举算法(PDLVREnum);(3)对于$Sr_{NP}^{FPRAS}$中的问题,我们设计了一个完全多项式延迟的大西洋城随机顺序枚举算法具有在输入大小和给定错误概率$δ$(FPACREnum)中的预期延迟多项式,其具有至少$1-δ$成为拉斯维加斯随机顺序枚举算法的概率。最后,为了进一步提高随机顺序枚举算法的效率,基于主/从模式,提出了一种具有1.5最优枚举延迟和运行时间的并行化方案,并…
2023-02-27 cs.DS
Moments, Random Walks, and Limits for Spectrum Approximation
Stanford University(斯坦福大学);New York University(纽约大学)
我们研究了一维分布矩近似问题的下界,证明存在无法通过已知所有矩来高精度近似的分布,并指出改进谱近似算法对 $1/\epsilon$ 的依赖性需新方法。
2023-07-02 cs.DS cs.LG
Smoothed Analysis of Dynamic Graph Algorithms
本文用 Spielman–Teng 平滑分析框架刻画动态图算法在对抗输入与随机输入之间的复杂度,扩展若干不可能性结果并给出三类复杂度递增的平滑输入模型。
2025-02-18 cs.DS
Improved Approximation Algorithms for Stochastic-Matching Problems
我们考虑随机匹配问题,这是出于肾脏交换和在线约会的应用程序。在这个问题中,我们给出了一个无向图。每个边被分配一个已知的、独立的存在概率和一个正权重(或利润)。我们必须探测一个边缘,以发现它是否存在。每个节点都被分配一个正整数,称为超时(或耐心)。在这个随机图上,我们正在执行一个过程,该过程逐个探测边并逐渐构建匹配。这一进程受到两方面的限制。首先,如果存在探测的边,则必须将其可扩展地添加到匹配中(查询提交模型)。第二,节点$v$的超时使可以探测的与$v$关联的边的数量上界。目标是最大化构造的匹配的期望权重。对于这个问题,Bansal等人(Micromica 2012)提供了二分图的$0.33$ -近似算法和一般图的$0.25$ -近似算法。我们改进的逼近因子$0.39$和$0.269$,分别。在我们的研究结果的主要技术成分是一种新的方式探测边缘根据一个不均匀的随机排列。用一种最适合大概率边缘的算法(加上额外的想法)修补这种方法,可以改进近似因子。
2020-10-14 cs.DS
Random tensor isomorphism under orthogonal and unitary actions
University of Chicago(芝加哥大学);University of New South Wales(新南威尔士大学)
研究在正交和酉群作用下两个张量是否同构的问题,并提出基于随机张量的平均情况算法,结合高阶奇异值方法设计多项式时间精确和近似算法,分析轨道距离近似问题。
2026-03-28 cs.CC cs.DS math.PR
Strongly Refuting Random CSPs Below the Spectral Threshold
随机约束满足问题(CSP)具有阈值现象:给定一个具有$n$变量和$m$子句的CSP的均匀随机实例,存在一个$m = Ω(n)$值,超过该值,CSP将以高概率不可满足。强反驳是证明没有变量赋值满足超过子句的常数部分的问题;这是在不可满足状态下的自然算法问题(当$m/n = ω(1)$时)。随着子句密度$m/n$的增长,直观的强反驳应该变得更容易,因为随机子句引入的矛盾变得更加局部明显。对于诸如$k$-SAT和$k$-XOR之类的CSP,在已知有效强反驳算法的子句密度$m/n \ge \widetilde O(n^{k/2-1})$与实例以高概率变得不可满足的子句密度$m/n = ω(1)$之间存在长期存在的差距。在本文中,我们给出了谱和平方和算法的强反驳随机$k$-XOR实例的子句密度$m/n \ge \widetilde O(n^{(k/2-1)(1-δ)})$在时间$\exp(\widetilde O(n^δ))$或在$\widetilde O(n^δ)$轮的平方和层次,任何$δ\in [0,1)$和任何整数$k \ge 3$。我们的算法提供了一个平稳过渡的子句密度在多项式时间算法是已知的$δ= 0$,和蛮力反驳在满足性阈值时,$δ= 1$。我们还利用我们的$k$-XOR结果获得强反驳算法SAT(或任何其他布尔CSP)在类似的子句密度。我们的算法匹配已知的平方和下限由于Grigo…
2016-11-03 cs.CC cs.DS