Capacity-Approaching Constrained Codes with Error Correction for DNA-Based Data Storage
我们提出的编码技术,限制长度的均聚物运行,确保GC含量的约束,并能够纠正一个单一的编辑错误链的核苷酸在DNA为基础的数据存储系统。特别是,对于给定的$\ell, ε > 0$,我们提出了简单而有效的编码器/解码器,将二进制序列转换为DNA碱基序列(i)游程长度约束:每个码字中的最大均聚物游程至多为$\ell$,(ii)GC含量约束:每个码字的GC内容在$[0.5-ε, 0.5+ε]$内,(iii)纠错:每个码字能够纠正单个缺失、或单个插入、或单个替换错误。对于实际值的$\ell$和$ε$,我们表明,我们的编码器实现更高的速率比现有的结果在文献中,并接近的容量。我们的方法具有低的编码/解码复杂度和有限的错误传播。
2020-01-09 cs.IT math.IT
Sampling-Based Estimates of the Sizes of Constrained Subcodes of Reed-Muller Codes
本文提出一种基于统计物理和Gibbs采样的算法,用于近似估计满足给定约束的Reed-Muller码子码规模,并成功应用于RLL子码规模计算和RM(9,4)码重量分布估计。
2023-09-19 cs.IT math.IT
On the Performance of Reed-Muller Codes Over $(d,\infty)$-RLL Input-Constrained BMS Channels
本文研究了输入受限的无反馈二进制无记忆对称(BMS)信道。信道输入序列遵守$(d,\infty)$ -游程长度受限(RLL)约束,该约束要求任何一对连续的$1$至少被$d$ $0$分开。我们考虑的问题,设计明确的代码,这样的渠道。特别地,我们使用Reeves和Pfister(2021)所示的Reed-Muller(RM)码族,以在比特MAP解码下实现任何无约束BMS信道的容量。我们表明,它是可能的$(d,\infty)$子码的容量实现(在不受约束的BMS信道)序列的RM码,使子码实现,根据位MAP解码,率$C\cdot{2^{-\left \lceil \log_2(d+1)\right \rceil}}$,其中$C$是BMS信道的容量。最后,我们还介绍了一个特定的容量实现序列的RM码的任何$(1,\infty)$ -RLL子码的速率上限的技术。
2022-01-06 cs.IT math.IT
Near-Optimal Pool Testing under Urgency Constraints
在大量人群中检测罕见性状或疾病具有挑战性。混合测试可以以较低的成本覆盖更大范围的人口,同时简化后勤工作。然而,检测精度降低,因为不清楚池中的哪个成员使全局检测呈阳性。在本文中,我们讨论的测试策略,可证明的方法最好的可能的战略-最佳的意义上说,没有其他的策略可以得到确切的结果与较少的测试。我们的算法保证他们提供了一个完整和准确的结果,为每个人,而不超过$1/0.99$倍的测试数量的最佳策略将需要。这个阈值是任意的:可以描述更接近最优边界的算法,但它们的复杂性会增加,使它们不太实用。此外,算法处理输入样本的方式导致更快地知道一些个体的状态,从而允许在将个体分配给测试时考虑紧急性。
2021-06-21 cs.DS cs.IT math.IT
Distributed Hypothesis Testing with Privacy Constraints
我们重新审视分布式假设检验(或假设检验与通信约束)的问题,从隐私的观点。发送者观察的不是直接的原始数据,而是经过净化或随机化的原始数据,我们对原始数据和随机化数据之间的互信息施加了一个上界。在这种情况下,也被提供有辅助信息的接收器需要对零假设或备择假设是否有效做出决定。首先,我们提供了一个一般的下限的II型指数的任意一对假设。接下来,我们证明,如果备择假设下的分布是零下分布的边缘的乘积(即,测试独立性),则指数是确切知道的。此外,我们还证明了强逆性质成立。利用欧氏信息论的思想,我们还提供了一个近似表达式的指数时,通信速率低,隐私级别高。最后,我们用一个二进制和高斯的例子来说明我们的结果。
2018-06-06 cs.IT math.IT
Distributed Hypothesis Testing with Variable-Length Coding
本文研究了传感器-检测器链路的\emph{expected}速率受限时分布式假设独立性检验问题的最优第二类误差指数。与著名的Ahlswede-Csiszar结果不同,该结果在\emph{maximum}速率约束下成立,并且其中强逆成立,这里的最优指数取决于允许的I型误差指数。具体地,如果类型I错误概率受$ε$限制,则在\emph{expected}速率约束$R$下的最优类型II错误指数与在$(1-ε)R$的\emph{maximum}速率约束下的最优类型II错误指数一致。
2019-10-18 cs.IT math.IT
Hypothesis Testing under Maximal Leakage Privacy Constraints
以最大泄漏(ML)为隐私度量,以第二类错误指数为效用度量,研究了用于假设检验的隐私保证数据的发布问题。最佳的机制(随机映射),最大限度地提高效用的有界泄漏保证确定为二进制数据集的整个泄漏范围。对于非二进制数据集,在高隐私和高效用制度的近似。结果表明,对于任何期望的泄漏水平,效用最大化迫使ML隐私机制揭示关于源字母表的子集的部分到完整的知识。最大化凸函数在多面体上的结果也可能是一个独立的利益。
2017-04-10 cs.IT math.IT
On Subset Retrieval and Group Testing Problems with Differential Privacy Constraints
本文提出差分隐私框架,用于子集检索与噪声分组检测,刻画隐私与准确性的权衡,并建立两者间的归约关系。
2025-01-23 cs.IT math.IT
Optimal Exponents In Cascaded Hypothesis Testing under Expected Rate Constraints
本文研究了中继站和接收站有两个决策中心的级联二元假设检验。所有终端都有自己的观测值,我们假设发射机、中继站和接收机的观测值按此顺序形成马尔可夫链。通信发生在两跳上,从发射机到中继站以及从中继站到接收机。对两个通信链路施加预期速率约束。在这项工作中,我们刻画了最佳的II型错误指数在两个决策中心的限制下,允许的I型错误概率。我们最近的工作特点的最佳类型II错误指数的特殊情况下,当两个决策中心有相同的类型I错误的限制,并提供了一个可扩展性计划的一般设置。为了得到一般情况下的精确刻画,本文给出了一个新的逆证明和一个新的匹配可积方案。我们的研究结果表明,不平等的I型错误的限制下,在中继和接收器,在这两个终端的最大II型错误概率之间的权衡。以前的结果表明,这样的权衡不存在下平等的I型错误的约束或一般的I型错误的约束时,施加在通信链路上的最大速率约束。
2021-06-23 cs.IT math.IT
Benefits of Rate-Sharing for Distributed Hypothesis Testing
我们研究分布式二元假设检验与一个单一的传感器和两个远程决策中心,也配备了本地传感器。传感器和两个决策中心之间的通信通过三个链路进行:一个是到两个中心的共享链路,另一个是到两个中心的单独链路。所有通信链路都受到预期速率约束。本文给出了两个决策中心在给定第一类错误阈值下第二类错误的最优指数区域的特征,并在只有一条共享链路的特殊情况下进一步简化了表达式。指数区域示出了与等效最大速率约束相比在预期速率约束下的增益。此外,它表现出在两个中心实现的指数之间的权衡。
2022-02-04 cs.IT math.IT
Testing Against Independence with an Eavesdropper
我们研究了一个分布式的二进制假设检验(HT)问题的通信和安全约束,涉及三方:一个远程传感器称为爱丽丝,一个合法的决策中心称为鲍勃,和一个窃听者称为夏娃,都有自己的源观测。在这个系统中,Alice将她的观察的速率R描述传达给Bob,Bob对他和Alice的观察的联合分布进行二进制假设检验。Alice和Bob的目标是在两个约束条件下最大化Bob的误检(II型错误)概率的指数衰减:Bob的误报警概率(I型错误)概率必须保持在给定阈值以下,并且即使Eve学习了Alice的消息,Eve对Alice的观察的不确定性(模棱两可)也应该保持在给定的安全阈值以上。对于独立性测试的特殊情况,我们在所描述的第一类错误概率和安全约束下,计算了最大可能的第二类错误指数。
2022-11-07 cs.IT math.IT
Privacy-Utility Tradeoff for Hypothesis Testing Over A Noisy Channel
我们研究了在噪声信道中具有隐私约束的假设检验问题,并推导了在Neyman-Pearson准则下的最优检验性能。感兴趣的基本限制是隐私效用权衡(PUT)之间的指数的类型II错误概率和泄漏的信息源受到恒定的约束类型I错误概率。我们提供了一个精确的表征的渐近放置任何非零I型错误概率。我们的结果意味着容忍较大的I类错误概率不能提高PUT。这样的结果被称为强逆定理或强不可能定理。为了证明强逆定理,我们应用了最近在(Tyagi和Watanabe,2020)中提出的技术,并进一步证明了它的通用性。几个问题的强逆定理,如假设检验对噪声信道的独立性(Sreekumar和Gündüz,2020)和假设检验与通信和隐私约束(Gilani \emph{et al.},2020),建立或恢复为我们的结果的特殊情况。
2021-05-27 cs.IT math.IT
Distributed Hypothesis Testing with Variable-Length Coding
当\emph{average}而不是\emph{maximum}的通信负载如在以前的作品中受到约束时,被认为是分布式测试与可变长度编码的独立性的问题。本文给出了在无噪声速率$R$链路和带停止反馈的离散无记忆信道(DMC)上通信时,在最大I类错误概率下,单传感器单决策中心系统的最优II类错误指数的特征。具体地,令$ε$表示最大允许的I类错误概率。然后,在平均通信负载的约束下具有速率- $R$链路的系统的最优指数与在最大通信负载约束下具有速率$R/(1-ε)$链路的这种系统的最优指数一致。因此,在平均通信负载约束下,强逆命题不成立。类似的观察也适用于测试对DMC的独立性。在可变长度编码和停止反馈的情况下,在平均通信负载约束下,当通信在容量为$C(1-ε)^{-1}$的DMC上时,在容量为$C$的DMC上的最佳II类差错指数等于在固定长度编码和最大通信负载约束下的最佳指数。特别地,在具有停止反馈的DMC上的变长编码下,强逆结果不成立,并且最佳误差指数仅通过其容量依赖于DMC的过渡律。
2020-05-18 cs.IT math.IT
New Upper Bounds in the Hypothesis Testing Problem with Information Constraints
我们考虑一个假设检验问题,其中一部分数据是无法观察到的。我们的助手观察丢失的数据,并可以向我们发送有关它们的有限信息。什么样的有限信息将使我们能够做出最好的统计推断?特别是,如果我们直接观察所有数据,那么足以获得相同结果的最小信息是什么?我们推导出对该最小信息的估计和一些其他类似的结果。
2020-09-07 cs.IT math.IT math.ST
Hypothesis Testing under Mutual Information Privacy Constraints in the High Privacy Regime
假设检验是一种统计推断框架,用于确定给定数据集的一组可能分布中的真实分布。隐私限制可能要求数据的管理者或受访者自己只有在应用随机隐私机制后才能与测试共享数据。这项工作认为,互信息(MI)的隐私度量测量泄漏。此外,受Alfreff-Stein引理的启发,选择输出(由隐私机制产生)的分布对之间的相对熵作为效用度量。对于这些指标,目标是找到二元和多元假设测试的最佳隐私-效用权衡(PUT)以及相应的最佳隐私机制。重点是高隐私制度,欧几里得信息理论近似的二进制和多进制的PUT问题。近似问题的解决方案澄清了基于MI的隐私度量与其可能性成反比地保留源符号的隐私。
2017-04-26 cs.IT math.IT
Privacy-aware Distributed Hypothesis Testing
研究了一个涉及远程观测者和检测者的分布式二元假设检验问题。远程观测器可以访问离散无记忆源,并通过速率限制的无噪声信道将其观测结果传达给检测器。检测器观察另一个离散的无记忆源,并对自己的观察与观察者的观察的联合分布进行二元假设检验。虽然观测器的目标是最大化给定I类错误概率约束的测试的II类错误指数,但它也希望保持其观测的私有部分尽可能不被检测器注意。考虑模糊性和平均失真下的因果披露假设作为可能的隐私措施,从观察者到检测器,II型错误指数,和隐私的通信速率之间的权衡进行了研究。对于一般的HT问题,我们建立了单字母的速率误差指数模糊性和速率误差指数失真权衡的内界。随后,两个权衡的单字母表征获得(i)用于测试对条件独立的观察员的观察,从那些检测器,给定一些额外的边信息在检测器;和(ii)当通信速率约束在信道上是零。最后,我们通过提供一个反例表明,强逆分布式HT没有隐私约束,不持有时,施加隐私约束。这意味着,在一般情况下,速率误差指数模糊性和速率误差指数失真权衡是不独立的类型I错误概率约束。
2020-04-29 cs.IT math.IT
Optimal Pooling Matrix Design for Group Testing with Dilution (Row Degree) Constraints
在本文中,我们考虑的问题,设计最佳的混合矩阵组测试(例如,为COVID-19病毒检测)的约束,不超过$r>0$样本可以合并在一起,我们称之为“稀释约束”。这个问题转化为设计元素为0或1的矩阵,其每行中不超过$r$“1”,并且具有识别异常元素的一定性能保证。我们明确给出了池化矩阵设计,满足稀释约束,并有性能保证,识别异常元素,并证明其最优性,在保存最大数量的测试,即显示所设计的矩阵具有最大的宽高比之间的所有约束满足0-1矩阵。
2020-08-05 cs.IT eess.SP math.IT
Single-Shot Compression for Hypothesis Testing
云计算中增强的处理能力允许受限设备卸载昂贵的计算:例如,复杂的数据分析任务可以由远程服务器计算。远程执行需要一种新的压缩范式,在速率约束下优化分析任务的性能,而不是传统的速率失真框架,专注于源重建。本文考虑了一个简单的二进制假设检验的情况下,资源受限的客户端(发射机)执行固定长度的单次压缩从两个分布之一的数据采样;服务器(接收机)执行假设检验多个接收到的样本,以确定正确的源分布。为此,任务感知的压缩问题制定为寻找最佳的源编码器,最大限度地提高渐近误差性能的假设检验下的速率约束下的服务器端。提出了一种基于贪婪优化过程的新的信源编码策略,并证明了该压缩方案在一定的码率约束范围内优于通用的定长单次编码方案。
2021-07-20 cs.IT math.IT
Unconstraining graph-constrained group testing
在网络断层扫描中,一个目标是通过在网络中发送几个数据包并查看哪些数据包到达目的地来识别网络中的一小部分故障链路。这个问题可以被看作是组合群测试的一个变体,之前已经在绰号“图约束群测试”下进行了研究。这项工作的主要贡献是表明,对于大多数图,底层网络拓扑所施加的“约束”根本不是约束。也就是说,在“图约束”组测试中识别失败链接所需的测试数量是接近最优的,即使对于相应的组测试问题没有图约束。我们的方法是基于一个简单的随机结构的测试,分析我们的建设,我们证明了随机稀疏图的巨组件的大小的新结果。最后,我们提供的实证结果表明,我们的连通子图测试不仅在理论上,而且在实践中表现得更好,特别是在现实世界的网络拓扑结构上表现得更好。
2018-09-10 cs.DM cs.IT math.IT
Communication-constrained hypothesis testing: Optimality, robustness, and reverse data processing inequalities
IBM Research(IBM研究院);University of Cambridge(剑桥大学)
本文研究通信约束下的假设检验,证明二元情形样本复杂度仅增加一个紧的对数因子并给出多项式时间算法,同时扩展到鲁棒检验并揭示 M 元情形的 Ω(M) 下界。
2023-12-15 cs.DS cs.IT cs.LG
The Sample Complexity of Distributed Simple Binary Hypothesis Testing under Information Constraints
该研究解决了信息约束下分布式简单二元假设检验样本复杂度的两个公开问题,证明序贯交互不降低样本复杂度,推导了通信约束下的最优紧界,并提出三项关键技术贡献。
2025-06-16 cs.IT math.IT math.ST
Simple Binary Hypothesis Testing under Local Differential Privacy and Communication Constraints
IBM Research(IBM研究院);University of Cambridge(剑桥大学)
本文研究 LDP 与通信约束下的简单二元假设检验,给出纯 LDP 下的实例最优与极小极大最优样本复杂度界,并通过联合值域极点设计同时满足两类约束的高效最优算法。
2023-12-15 cs.DS cs.IT cs.LG
Robust Testing and Estimation under Manipulation Attacks
Cornell University(康奈尔大学)
研究了强污染模型中离散分布的稳健检验和估计问题。我们考虑了“集中式设置”和“分布式设置与信息约束”,包括通信和本地隐私(LDP)的约束。我们的技术涉及到操纵攻击的强度,使用汉明距离作为度量之间的消息(样本)从用户的推土机的距离。在集中式设置中,我们为学习和测试提供了最佳误差范围。我们的下界在局部信息约束下建立在最近的分布式推理的下界方法。在通信约束的设置,我们开发了新的算法的基础上随机哈希和$\ell_1/\ell_1$等距。
2021-04-21 cs.DM cs.IT cs.LG
Multi-Sensor Distributed Hypothesis Testing in the Low-Power Regime
本文研究了低功耗机制下双传感器通过无记忆多址接入信道进行分布式假设检验的场景,刻画了其 Stein 指数,并证明了在特定信道和成本约束条件下传感器通信在 Stein 指数方面是无效的。
2025-11-01 cs.IT math.IT
Optimum Detection of Defective Elements in Non-Adaptive Group Testing
我们探讨的问题,得出一个后验概率是有缺陷的人口的成员在非自适应组测试框架。无噪声和噪声测试模型的解决。该技术依赖于测试约束的网格表示,可以有效地应用于中等规模的人口。该方法的复杂性进行了讨论和数值结果的假阳性概率与假阴性概率的权衡。
2021-02-10 cs.IT math.IT
Code Construction and Decoding Algorithms for Semi-Quantitative Group Testing with Nonuniform Thresholds
我们分析了一种新的组测试方案,称为半定量组测试,它可以被看作是一个级联的加法器通道和离散量化器。我们的重点是任意阈值的非均匀量化器。对于最通用的半定量分组测试模型,我们定义了三个新的序列族,以捕获阈值选择对代码设计施加的约束。序列表示Bh和某些类型的超递增和字典序序列的扩展和推广,并且它们导致代码结构适合于有效的递归解码。我们描述的解码方法,并提供了一个附带的计算复杂性和性能分析。
2015-06-24 cs.IT math.IT
Statistically Valid Information Bottleneck via Multiple Hypothesis Testing
King’s College London(伦敦国王学院)
本文提出IB-MHT方法,通过多重假设检验为信息瓶颈问题提供统计有效解决方案,确保学习特征以高概率满足IB约束,在统计鲁棒性和可靠性上优于传统方法。
2024-10-10 cs.IT cs.LG math.IT
Interactive Inference under Information Constraints
Cornell University(康奈尔大学);University of Sydney(悉尼大学);Indian Institute of Science(印度科学院)
我们研究了交互性在信息约束下的分布式统计推断中的作用,例如,通信约束和局部差分隐私。我们专注于拟合优度测试和离散分布估计的任务。从以前的工作中,这些任务在非交互式协议下得到了很好的理解。扩展这些方法直接用于交互式协议是困难的,由于相关性,可以建立由于交互性;事实上,差距可以发现在以前的索赔的紧边界的分布估计使用交互式协议。我们提出了一种新的方法来处理这种相关性,并建立一个统一的方法来建立这两个任务的下限。作为一个应用,我们得到了最优的边界估计和测试下的局部差分隐私和通信约束。我们还提供了一个自然测试问题的例子,其中交互性有助于。
2021-10-23 cs.DM cs.DS cs.IT
Inference under Information Constraints II: Communication Constraints and Shared Randomness
Cornell University(康奈尔大学);IBM Research(IBM研究院);Indian Institute of Science(印度科学研究所)
中央服务器需要基于分布在多个用户上的样本执行统计推断,每个用户可以向中心发送有限长度的消息。我们研究的问题,分布学习和身份测试在这个分布式推理设置和检查共享的随机性作为一种资源的作用。我们提出了一种通用的模拟和推断策略,该策略仅使用私有硬币通信协议,并且对于分布式学习是样本最优的。这种一般策略甚至对于私有币协议之间的分布测试也是样本最优的。有趣的是,我们提出了一个公共币协议,它在分发测试中的表现优于模拟和推断,实际上是样本最优的。我们的公共币协议的基础是一个随机散列,当应用于样本时,它将样本分布的卡方距离最小化为均匀分布。
2020-10-01 cs.DM cs.DS cs.IT
Asymptotics of Sequential Composite Hypothesis Testing under Probabilistic Constraints
我们考虑序贯复合二元假设检验问题,其中一个假设是由一个单一的分布,而另一个是由一个家庭的分布,其参数属于一个已知的集合$Γ$。我们想设计一个测试来决定哪个假设是有效的。在检验的长度即停止时间超过$n$的概率受某个阈值$ε$约束的条件下,当$n$趋于无穷大时,我们得到了序贯检验的渐近行为的某些基本限制.假设$Γ$是一个凸紧集,我们得到了该问题的所有一阶误差指数的集合。我们还证明了一个强逆。此外,我们得到的二阶误差指数的假设下,$\mathcal{X}$是一个有限的字母表。在二阶渐近性的证明中,一个主要的技术贡献是在适当的条件下导出了对数似然比的不可数集的最大值的中心极限型结果。这一结果可能是独立的利益。我们还证明了一些重要的统计模型满足这些条件。
2022-03-29 cs.IT math.IT math.ST