Optimal Non-Adaptive Probabilistic Group Testing in General Sparsity Regimes
本文研究了以高概率恢复缺陷集为目标的无噪声非自适应概率群测试问题。我们通过简单的显式表达式证明,在$n$项目中$k$有缺陷的情况下,最小可能的测试次数等于$\min\{ C_{k,n} k \log n, n\}$直至低阶渐进项,其中$C_{k,n}$是一致有界常数(根据$k$相对于$n$的缩放而变化)。算法的上限如下从一个小的适应现有的分析的明确缺陷(DD)算法,算法独立的下限建立在现有的工作制度$k \le n^{1-Ω(1)}$和$k = Θ(n)$。在足够稀疏的情况下(包括$k = o\big( \frac{n}{\log n} \big)$),我们的主要结果推广了Coja-Oghlan { \em et al.}(2020)通过避免假设$k \le n^{1-Ω(1)}$,而在足够密集的区域(包括$k = ω\big( \frac{n}{\log n} \big)$),我们的主要结果表明,单个测试对于任何非零目标成功概率都是渐近最优的,从而加强了Aldridge(2019)在错误概率和假设的$k$缩放方面的现有结果。
2021-07-29 cs.IT math.IT math.PR
Boolean Compressed Sensing and Noisy Group Testing
分组测试的基本任务是从大的总体中恢复一个小的可区分的项目子集,同时有效地减少测试(测量)的总数。本文的主要贡献是采用了一种新的信息理论的角度来看群体测试问题。我们制定的组测试问题作为一个信道编码/解码问题,并推导出一个单字母的表征用于识别缺陷集的测试总数。虽然本文的重点主要是在组测试,我们的主要结果是普遍适用于其他压缩感知模型。对于许多有趣的嘈杂组测试场景,单字母特征被证明是有序紧密的。具体来说,我们考虑一个加性伯努利($q$)噪声模型,我们表明,$N$项目和$K$缺陷,测试$T$的数量是$O(\frac{K\log N}{1-q})$任意小的平均错误概率和$O(\frac{K^2\log N}{1-q})$的最坏情况下的错误标准。我们还考虑了稀释效应,即阳性样本池中的缺陷项可能以$u$的概率被稀释,并可能被遗漏。在这种情况下,它表明,$T$是$O(\frac{K\log N}{(1-u)^2})$和$O(\frac{K^2\log N}{(1-u)^2})$的平均和最坏情况下的错误标准,分别。此外,我们的界限,使我们能够验证现有的已知界限,包括确定性的无噪声的情况下,无噪声组测试和近似重建有界失真。我们的可实现性证明是基于随机编码和最大似然检测器的分析,我们的信息论下限是基于法诺不等式。
2013-12-10 cs.IT math.IT
Semi-Quantitative Group Testing for Efficient and Accurate qPCR Screening of Pathogens with a Wide Range of Loads
提出自适应半定量分组检测(SQGT)方案,通过两阶段qPCR检测量化Ct值并动态调整阈值,在保持极低假阴性率的同时将检测次数减少24%。
2023-08-02 cs.IT math.IT q-bio.QM
Conservative two-stage group testing in the linear regime
受Covid-19测试中的应用启发,我们考虑了两阶段组测试的一种变体,称为“保守”(或“琐碎”)两阶段测试,其中每个被宣布为有缺陷的项目必须在第二阶段进行单独测试才能最终确认。我们在线性制度中研究这一点,其中患病率是固定的,而项目的数量是大的。我们研究了各种非自适应测试设计的第一阶段,并得出一个新的下限所需的测试总数。我们发现,Broder和Kumar(arXiv:2004.01684)研究的第一阶段设计,每个项目的测试都是恒定的,每个测试的项目都是恒定的,对于所有患病率都非常接近最优,并且在患病率趋于零的极限下是最优的。模拟结果支持了理论结果。
2022-03-09 cs.IT math.IT stat.AP
Note on the offspring distribution for group testing in the linear regime
群体测试问题涉及在大量$n$人群中识别一小组$k$感染个体。在我们的处置是一个测试计划,可以测试群体的个人。当且仅当至少有一个人被感染时,测试才呈阳性。在这篇文章中,我们为分析$k$在$n$中线性缩放时的群体测试的信念传播奠定了基础。为此,我们推导出不同类型个体的后代分布。有了这些分布,我们可以使用种群动力学算法来模拟置信传播产生的后验边缘分布。
2021-03-24 cs.DM cs.IT math.CO
Small error algorithms for tropical group testing
本文研究受COVID-19 PCR检测启发的tropical group testing模型,引入三种经典非自适应算法的热带对应算法,发现tropical DD在密集问题中能用更少测试恢复更多信息且达最优。
2024-08-15 cs.IT math.IT math.PR
Nonparametric Composite Hypothesis Testing in an Asymptotic Regime
我们调查的非参数,复合假设检验问题的任意未知分布的渐近制度的样本量和假设的数量呈指数增长大。这样的渐近分析在许多实际问题中是重要的,在这些问题中,在一个分布族中可以存在的变化的数量可以是可数无穷的。我们引入了\emph{discrimination capacity}的概念,它捕获了假设数量相对于样本量的最大指数增长率,从而存在误差概率渐近消失的检验。我们的方法是基于各种分布距离度量,以纳入数据的生成模型。我们使用最大平均差异(MMD)和Kolmogorov-Smirnov(KS)距离提供了误差指数的分析,并表征了相应的鉴别率,即,这些测试的辨别能力的下限。最后,上界的歧视能力的基础上Fano的不等式。数值结果验证了理论分析的正确性。
2018-07-27 cs.IT math.IT
Noisy Non-Adaptive Group Testing: A (Near-)Definite Defectives Approach
本文研究带噪非自适应群组测试问题,提出近确定缺陷项(NDD)算法,给出伯努利测试设计下的可达速率与逆界,并揭示Z信道与反向Z信道在群组测试中的行为差异。
2021-12-29 cs.IT math.IT math.PR
Hypothesis Testing under Mutual Information Privacy Constraints in the High Privacy Regime
假设检验是一种统计推断框架,用于确定给定数据集的一组可能分布中的真实分布。隐私限制可能要求数据的管理者或受访者自己只有在应用随机隐私机制后才能与测试共享数据。这项工作认为,互信息(MI)的隐私度量测量泄漏。此外,受Alfreff-Stein引理的启发,选择输出(由隐私机制产生)的分布对之间的相对熵作为效用度量。对于这些指标,目标是找到二元和多元假设测试的最佳隐私-效用权衡(PUT)以及相应的最佳隐私机制。重点是高隐私制度,欧几里得信息理论近似的二进制和多进制的PUT问题。近似问题的解决方案澄清了基于MI的隐私度量与其可能性成反比地保留源符号的隐私。
2017-04-26 cs.IT math.IT
Probabilistic Group Testing with a Linear Number of Tests
在概率非自适应组测试(PGT)中,我们的目标是描述识别具有高概率的随机$k$稀疏向量缺陷所需的合并测试的数量。最近的工作表明,$n$测试是必要的,当$k =ω(n/\log n)$。还已知$O(k \log n)$测试在其他方案中是必要且充分的。这就留下了重要的稀疏性机制,其中缺陷项的概率是$\sim 1/\log n$(或$k = Θ(n/\log n)$),其中所需的测试数量在$n$中是线性的。在这项工作中,我们的目标是准确地描述在这个稀疏制度的测试数量。特别是,我们试图确定如果测试次数为$αn$,则可以识别的缺陷$λ(α)n / \log n$的数量。在这个过程中,我们给出了上界和下界的确切点,在该点上,个别测试变得次优,并使用一个精心构造的汇集测试设计是有益的。
2021-06-12 cs.IT math.IT
Performance Bounds for Group Testing With Doubly-Regular Designs
在分组测试问题中,目标是根据测试结果指示是否存在任何缺陷产品的测试,在更大的产品集中识别缺陷产品的子集。这个问题与医学测试、DNA测序和通信等领域有关。本文研究了一个双正则设计,其中每项试验数和每项试验的项目数都是固定的。我们分析了这种测试设计的性能,以及在几种设置中的确定缺陷(DD)解码算法,即(i)精确恢复的子线性制度$k=o(n)$,(ii)近似恢复的线性制度$k=Θ(n)$,以及(iii)大小受限的设置,其中每个测试的项目数量受到限制。在设置(i)下,我们证明了我们的设计与DD算法一起,匹配DD算法的现有可验证性结果与近常数测试每项设计,这是已知的在宽尺度范围内渐近最优。根据设置(ii),我们提供了新的近似恢复界限,补充了关于确切恢复的硬度结果。最后,在设置(iii)下,我们改进了最大测试大小随项目总数增长的缩放制度中最知名的上界和下界。
2022-09-27 cs.IT math.IT
Non-Adaptive Group Testing with Inhibitors
本文研究了Farach等人提出的带抑制剂的分组测试(GTI)。在$n$项目群体中有三种类型的项目,$d$缺陷项目、$r$抑制剂项目和$n-d-r$正常项目。测试中任何抑制剂的存在都可以阻止缺陷的表达。对于这个模型,我们提出了一个概率非自适应池设计与低复杂度的解码算法。我们表明,样本的复杂性,保证恢复所需的测试数量与消失的错误概率,使用所提出的算法规模为$T=O(d \log n)$和$T=O(\frac{r^2}{d}\log n)$的制度$r=O(d)$和$d=o(r)$分别。在前一个政权中,测试的数量满足下限顺序,而在后一个政权中,测试的数量被证明是超过下限顺序的$\log \frac{r}{d}$乘法因子。当只有上限的缺陷$D$和抑制剂$R$的数量,而不是他们的确切值,样本复杂度的测试数量使用所提出的算法规模为$T=O(D \log n)$和$T=O(R^2 \log n)$的制度$R^2=O(D)$和$D=o(R^2)$分别。在前一种情况下,测试次数满足下限阶数,而在后一种情况下,测试次数超过下限阶数一个$\log R$乘法因子。所提出的解码算法的时间复杂度为$O(nT)$。
2014-12-15 cs.IT math.IT
Multi-Sensor Distributed Hypothesis Testing in the Low-Power Regime
本文研究了低功耗机制下双传感器通过无记忆多址接入信道进行分布式假设检验的场景,刻画了其 Stein 指数,并证明了在特定信道和成本约束条件下传感器通信在 Stein 指数方面是无效的。
2025-11-01 cs.IT math.IT
An Efficient Algorithm for Capacity-Approaching Noisy Adaptive Group Testing
在本文中,我们考虑了自适应测试设计和噪声结果的组测试问题。我们提出了一个计算效率高的四个阶段的程序,组件包括随机装箱,识别含有缺陷项目,1-稀疏恢复通过信道码,和一个“清理”的步骤,以纠正任何错误的早期阶段。我们证明,渐近所需的测试次数非常接近最知名的信息理论的可扩展性界(这是基于计算上难以处理的解码),并接近一个基于容量的逆界在低稀疏制度。
2019-11-07 cs.IT math.IT math.PR
Novel Impossibility Results for Group-Testing
在这项工作中,我们证明了非平凡的不可能的结果,也许是最简单的非线性估计问题,{ \it组测试}(GT),通过最近开发的Madiman-Tetali不等式。分组测试涉及通过$t$ {分离/合并}测量(“分组测试”)从一组$n$项目中识别隐藏的一组$d$缺陷项目。我们认为线性稀疏制度,即$d = δn$的任何常数$δ>0$,迄今很少探索(虽然自然)制度。在一个标准的信息理论的设置,测试需要是非自适应的,并允许一个小概率的重建错误,我们的下限$t$是{ \it第一},提高了经典的计数下限,$t/n \geq H(δ)$,其中$H(\cdot)$是二进制熵函数。作为我们结果的推论,我们表明:(i)对于$δ\gtrsim 0.347$,个体测试基本上是最优的,即,$t \geq n(1-o(1))$ ;以及(ii)存在{自适应间隙},因为对于$δ\in (0.3471,0.3819)$,已知的{自适应} GT算法需要比$n$测试更少的测试来重建${\cal D}$,而我们的界限意味着最佳非自适应算法必须本质上是每个元素的单独测试。也许最重要的是,我们的工作提供了一个框架,组合和信息理论的方法来推导出非平凡的各种非线性估计问题的下限。
2018-04-09 cs.IT math.IT
Maximum entropy based testing in network models: ERGMs and constrained optimization
National University of Singapore(新加坡国立大学);Kyushu University(九州大学)
本文基于最大熵原理研究网络模型的拟合优度和两样本检验,通过约束优化问题构建测试统计量,提出统一的熵基框架适用于不同增长模式。
2026-03-26 cs.IT math.IT math.PR
Sparse Uniformity Testing
本文考虑高维离散分布(多项式)在稀疏选择下的一致性检验问题。更确切地说,我们得到尖锐的检测阈值测试,$n$样本的基础上,是否支持$d$元素的离散分布不同于均匀分布,只有在$s$(出的$d$)坐标,是$\varepsilon$ -远(在全变差距离)从均匀性。我们的结果揭示了各种有趣的相变,这些相变取决于样本量$n$和信号强度$\varepsilon$与维度$d$和稀疏水平$s$的相互作用。例如,如果样本量小于阈值(取决于$d$和$s$),则所有测试都是渐近无效的,而不管信号强度的大小。另一方面,如果样本量高于阈值,则检测边界根据信号强度经历进一步的相变。在这里,一个$χ^2$型测试达到检测边界的密集制度,而在稀疏制度的Bonferroni校正的两个最大型测试和一个版本的更高的批评测试是最佳的尖锐常数。这些结果结合起来提供了一个完整的描述的相位图的稀疏均匀性测试问题的所有制度的参数$n$,$d$,和$s$。处理多项式的一个挑战是参数总是被限制在单纯形中。这导致了前面提到的两层相变,这是一种在经典的高维稀疏测试问题中不会出现的新现象。
2022-02-16 cs.IT math.IT math.ST
Quantitative Group Testing and Pooled Data in the Linear Regime with Sublinear Tests
该研究针对非自适应线性区域下的定量分组检测与混合数据问题,提出基于空间耦合伯努利测试矩阵和AMP算法的恢复方案,证明其无噪下次线性测试几乎精确恢复,且噪声下性能平稳下降,有限维下优于现有方案。
2025-09-06 cs.IT eess.SP math.IT
Hypothesis Testing For Densities and High-Dimensional Multinomials: Sharp Local Minimax Rates
Carnegie Mellon University(卡内基梅隆大学)
我们考虑的拟合优度检验问题区分数据是否来自一个指定的分布,与一个复合替代分离的空在全变差度量。在离散的情况下,我们考虑拟合优度测试时,零分布有可能增长或无界的类别数。在连续的情况下,我们考虑测试的Lipschitz密度,可能无界的支持,在低光滑度制度的Lipschitz参数不被假定为常数。在现有的结果相比,我们表明,极大极小率和临界测试半径在这些设置强烈依赖,并在一个精确的方式,对零分布进行测试,这激发了研究的(本地)极大极小率作为一个功能的零分布。对于多项式的局部极小极大率最近研究的工作,英勇和英勇。我们重新访问和扩展他们的结果,并开发两个修改卡方检验的性能,我们的特点。为了测试Lipschitz密度,我们表明,通常的分仓测试是不够的,在低平滑度制度,我们设计了一个空间自适应分区方案,形成我们的局部极小极大最优测试的基础。此外,我们提供了第一个本地极大极小下界这个问题产生一个尖锐的表征的依赖临界半径的原假设进行测试。在低平滑度区域,我们还提供了自适应测试,以适应未知的平滑度参数。我们通过各种模拟来说明我们的结果,这些模拟证明了我们提出的测试的实际效用。
2017-06-30 cs.IT cs.LG math.IT
Quantum state testing beyond the polarizing regime and quantum triangular discrimination
本文通过定义三角判别的量子对应物,将 QSDP 的 QSZK 包含关系扩展至极化机制之外,证明了新问题的 QSZK 完全性,并揭示了带误差与无误差 QSDP 分别属于 PP 和 NQP。
2025-08-31 cs.CC cs.IT math.IT
Testing Changes in Communities for the Stochastic Block Model
Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出并分析了\textit{community goodness-of-fit and two-sample testing}的随机块模型(SBM)的问题,其中出现的变化,由于修改社区成员的节点。出于实际应用的需要,我们考虑了具有挑战性的稀疏制度,其中预期的节点度是恒定的,并且社区间平均度($b$)与社区内平均度($a$)成比例地缩放。先前的工作已经根据基于$a$和$b$的“信噪比”($\mathrm{SNR}$)来明确地表征部分或全部社区恢复。对于这两个问题,我们提出了计算效率高的测试,可以成功远远超出的制度,恢复社区成员甚至是可能的。总的来说,对于大的变化,$s \gg \sqrt{n}$,我们只需要$\mathrm{SNR}= O(1)$,而基于$O(s)$错误的社区恢复的简单测试需要$\mathrm{SNR}= Θ(\log n)$。相反,在小的变化制度,$s \ll \sqrt{n}$,通过信息理论的下限,我们表明,令人惊讶的是,没有算法可以做得比天真的算法,首先估计社区高达$O(s)$错误,然后检测变化。我们验证这些现象数值上的SBM和现实世界的数据集,以及马尔可夫随机场,我们只观察节点数据,而不是链接的存在。
2019-10-31 cs.IT cs.LG cs.SI