Energy Efficient Distributed Coding for Data Collection in a Noisy Sparse Network
我们考虑的问题,数据汇集在一个两层网络组成的(1)之间的$N$分布式代理和一个远程汇聚节点的链接;(2)稀疏网络形成的这些分布式代理。我们研究了智能体通信对整体能量消耗的影响。尽管代理之间的稀疏连接,我们提供了一个网络编码方案,减少了整体能源消耗的一个因素相比,一个天真的计划,忽略了智能体通信的$Θ(\log N)$。通过提供下界的能量消耗和稀疏(链接数)的网络,我们表明,是能量最优的,除了一个因素的$Θ(\log\log N)$。该方案扩展了Gallager以前的工作,从一个完整的图到稀疏图的噪声广播,同时带来了新的技术,从错误控制编码和噪声电路。
2016-01-22 cs.IT math.IT
Restricted Isometry Property in Quantized Network Coding of Sparse Messages
本文从压缩感知的角度研究了节点间相关信息的联合网络编码和分布式信源编码。具体而言,鲁棒的$\ell_1$ -min恢复的一组线性网络编码的稀疏消息的理论保证进行了研究。我们讨论了量化网络编码消息的$\ell_1$ -min解码的保证,使用\cite{naba}中建议的本地网络编码系数,基于所得到的测量矩阵的受限等距属性(RIP)。此外,我们还导出了$\ell_2$ -范数的尾概率与RIP的满足度之间的关系,并将我们设计的测量矩阵与i.i.d.高斯测量矩阵最后,我们提出了我们的数值评估,这表明,所提出的网络编码系数的设计结果与RIP行为的测量矩阵,类似于i.i.d.高斯矩阵
2012-03-14 cs.IT math.IT
One-Step Quantized Network Coding for Near Sparse Gaussian Messages
本文研究了贝叶斯场景下相关信息的非自适应联合信源网络编码的数学基础。具体来说,我们介绍了一步量化网络编码(QNC),这是一个混合组合的网络编码和数据包转发传输。贝叶斯压缩感知的工作的动机,我们得到理论保证的鲁棒恢复一步QNC的情况下。我们的高斯消息的数学推导表达了分布式压缩的机会,通过使用一步QNC,作为一个简化版本的QNC方案。我们的仿真结果表明,在质量延迟性能方面的改进路由为基础的数据包转发。
2012-10-28 cs.IT math.IT
Sparse p-Adic Data Coding for Computationally Efficient and Effective Big Data Analytics
我们开发的理论和实际实现的p-adic稀疏编码的数据。我们使用p-adic范数,而不是使用$L_0$伪范数的标准稀疏化准则。我们要求层次结构或树是节点排名的,这是凝聚和其他层次聚类的标准实践,但不一定是决策树。为了结构化数据,所有计算处理操作都是直接读取数据,或者由恒定数量的直接读取数据来限制,这意味着线性计算时间。通过p-adic稀疏数据编码,高效存储结果,并且对于有界p-adic范数存储的数据,搜索和检索都是常数时间操作。实例表明,这种新的方法的有效性,内容驱动的编码和显示的数据。
2016-04-23 cs.IT math.IT
On Intercept Probability Minimization under Sparse Random Linear Network Coding
本文考虑了一个网络中,一个节点希望发送一个源消息,一个合法的接收器在窃听者的存在。发射机采用随机线性网络编码(RLNC)的稀疏实现来保护其传输。一个紧密的近似窃听者恢复源消息的概率。所提出的近似适用于两种情况下发生的传输没有反馈或反馈信道的可靠性受损的窃听者干扰反馈信道。通过优化RLNC的稀疏性,最大限度地减少拦截概率的优化框架。结果验证了所提出的近似和量化的增益,我们的优化解决方案,其中使用非稀疏RLNC。
2019-03-22 cs.IT math.IT
A Sparse and Low-Rank Optimization Framework for Index Coding via Riemannian Optimization
在许多通信场景中,辅助信息为消息传递提供了关键作用,以适应越来越大的数据集,例如,缓存网络。虽然索引编码提供了一个基本的建模框架,以利用边信息的好处,索引编码问题本身仍然是开放的,只有少数情况下已经解决。在本文中,我们提出了一种新的稀疏和低秩优化建模框架的索引编码问题,以表征边信息量和可实现的数据率之间的权衡。具体地,模型的稀疏性测量边信息的量,而低秩表示可实现的数据率。所得到的稀疏和低秩优化问题具有非凸稀疏诱导目标和非凸秩约束。为了解决目标和约束的耦合挑战,我们提出了一种新的黎曼优化框架,利用固定秩矩阵的商流形几何,伴随着一个光滑的稀疏诱导代理。仿真结果表明,该模型具有较好的稀疏性和低秩性折衷,从而揭示了索引编码问题中边信息量和可达到的数据率之间的折衷关系.
2016-04-15 cs.IT math.IT
Quantized Network Coding for Sparse Messages
在本文中,我们研究的数据收集问题的背景下,电网通过使用传感器网络,其中感测到的数据具有节点间冗余。具体来说,我们提出了一种新的传输方法,称为量化网络编码,它执行线性网络编码领域的实数,和量化,以适应有限容量的边缘。通过使用压缩感知文献中的概念,我们提出使用l1-最小化来解码量化的网络编码数据包,特别是当在解码器处接收到的数据包的数量小于感测数据的大小(即节点的数量)时。我们还提出了一个适当的网络编码系数的设计,基于限制等距属性,这导致鲁棒的l1-min解码。我们的数值分析表明,所提出的量化网络编码方案与l1-min解码可以实现显着的改善,在压缩比和交付延迟,相比传统的分组转发。
2012-02-02 cs.IT math.IT
The Decoding Success Probability of Sparse Random Linear Network Coding for Multicast
可靠和低延迟的多播通信对于未来的车辆通信是重要的。稀疏随机线性网络编码方法用于保证多播通信的可靠性已得到广泛研究。这种通信的一个基本问题是表征解码成功概率,其由有限域上的稀疏随机矩阵满秩的概率给出。然而,稀疏随机矩阵满秩的概率的精确表达式仍然是未知的,并且现有的近似是递归的或不一致的紧。本文通过给出满秩矩阵的约化行梯形的显式结构,并利用乘积定理,给出了稀疏随机矩阵满秩概率的一个严密的闭式近似.仿真结果表明,我们提出的近似是高精度的代大小,编码数据包的数量,字段大小和稀疏性,并严格比国家的最先进的近似的参数范围很大。
2020-10-12 cs.IT math.IT
Exact Decoding Probability of Sparse Random Linear Network Coding for Reliable Multicast
稀疏随机线性网络编码(SRLNC)作为一类保证多播通信可靠性的纠删码得到了广泛的研究。然而,SRLNC的解码成功概率的精确表达式仍然是未知的,并且现有的表达式是渐近的或近似的。本文推导了SRLNC译码成功概率的精确表达式。实现这一点的关键是提出一个标准,一个向量是包含在一个子空间。为了得到这个准则,我们构造了一个子空间的基,关于这个基,向量的坐标是已知的,基于矩阵的列的最大线性独立集。通过一个简单的例子说明了导出表达式的正确性和计算量。
2021-08-26 cs.IT math.IT
Polar Coding and Sparse Spreading for Massive Unsourced Random Access
在本文中,我们提出了一种新的极化编码方案的无源,非协调高斯随机接入信道。我们的方案是基于稀疏扩频,处理干扰噪声和连续干扰消除(SIC)。在发射机侧,每个用户根据某种概率分布从多个选择中随机挑选码长和发射功率来对其消息进行编码,并且交织器将其编码的码字比特扩展到整个传输块。每个用户的编码配置通过压缩感知传输,类似于以前的一些工作。在接收端,在恢复所有用户的编码配置后,应用单用户极化解码和SIC来恢复消息列表。数值结果表明,我们的计划优于所有以前的计划,活跃用户数$K_a\geq 250$,并提供竞争性能的$K_a\leq 225$。此外,我们的计划相比,其他计划有更低的复杂度,因为我们只使用单用户极化编码。
2020-07-11 cs.IT math.IT
On the Probability of Partial Decoding in Sparse Network Coding
稀疏网络编码(SNC)作为对随机线性网络编码(RLNC)在计算复杂性方面的改进,已经成为一种很有前途的网络编码方案。然而,在这篇文献中,一直没有解析表达式的概率解码的一部分源消息后,传输的一些编码的数据包。在这项工作中,我们研究了解码一部分源消息的概率问题,即,在使用SNC的系统的解码器中的部分解码。我们利用包含和排除原理推导出部分解码概率的表达式。所提出的模型预测的概率部分解码的平均偏差为6%。我们的研究结果表明,SNC有很大的潜力,恢复一小部分的源消息,特别是在较高的稀疏性和较低的伽罗瓦域大小。此外,为了在整个传输过程中实现更好的部分解码概率,我们定义了一个稀疏调整方案,显着增加部分解码的概率。我们的研究结果表明,这种调整方案实现了16%的改进,相对于传统的SNC解码的一部分源数据包的概率。
2019-07-28 cs.IT math.IT
Universal polar coding and sparse recovery
本文研究了通用的极化编码方案。特别地,在概率分布之间引入了排序的概念(称为卷积路径),以确定为一个分布设计的极性压缩(或通信)方案何时也可以成功用于另一个分布。原始极化解码算法也被推广到允许使用检查器的思想来学习关于源分布的信息的算法。这些工具被用来构建一个通用的压缩算法的二进制源,操作在最低的可实现的速率(熵),具有低复杂性和保证小的错误概率。在本文的第二部分中,通过极化技术来处理稀疏的高维离散信号的绘制问题。结果表明,完美恢复所需的测量数与$O(k \log (n/k))$界(二进制信号的最佳常数)是有竞争力的,同时提供了一个确定性的低复杂度的测量矩阵。
2010-12-02 cs.IT math.IT
Sparse Vector Coding for Ultra-Reliable and Low Latency Communications
超可靠和低延迟通信(URLLC)是5G中新引入的服务类别,以支持延迟敏感的应用。为了支持这种新的服务类别,第三代合作伙伴计划(3GPP)设置了一个积极的要求,即在1 ms的传输周期内,分组应当以10 -5的分组出错率被递送。由于当前的无线传输方案被设计为通过传输容量实现长码块来最大化编码增益,因此与此目的不相关,需要新的传输方案来支持URLLC。在本文中,我们提出了一种新的方法来支持短数据包传输,称为稀疏向量编码(SVC)。提出的SVC技术背后的关键思想是在稀疏向量变换之后传输信息。通过将信息映射到非零元素的位置,然后将其随机扩展后传输,我们得到了一个欠定稀疏系统,可以应用压缩感知的原理。从数值评估和性能分析,我们表明,所提出的SVC技术是非常有效的URLLC传输,并优于4G LTE和LTE-Advanced方案。
2018-08-01 cs.IT math.IT
Sparse IDMA: A Joint Graph-Based Coding Scheme for Unsourced Random Access
本文介绍了一种新的通信模式的无源,不协调的高斯多址接入问题。设想框架的主要组成部分如下。每个消息的编码位被分成两组。使用压缩感测方案来发送第一部分,而使用多用户编码方案来传送第二比特集合。压缩感测部分是回避问题的无源方面所带来的一些挑战的关键。压缩感知提供的信息被用来创建有助于联合解码的稀疏随机多址图。这种构造利用了从传统IDMA中吸取的经验教训,为无源设置及其固有的随机性创建低复杂度方案。在联合消息传递解码,该方案提供了现有的低复杂度的替代品相当的性能。数值模拟结果的支持。
2020-11-20 cs.IT math.IT
Universal Regularizers For Robust Sparse Coding and Modeling
稀疏数据模型,其中数据被假定为良好地表示为来自字典的几个元素的线性组合,近年来已经获得了相当大的关注,并且它们的使用已经导致在许多信号和图像处理任务中的最先进的结果。现在已经很好地理解,稀疏正则化项的选择对于此类模型的成功至关重要。基于稀疏编码的码长最小化解释,并使用通用编码理论的工具,我们提出了一个框架,用于设计稀疏正则化条款相比,更标准的L0或L1的理论和实践的优势。该框架和理论基础的介绍是补充与实例,显示其在图像去噪,缩放和分类的实际优势。
2010-08-03 cs.IT math.IT stat.ML
Multiview Hessian Discriminative Sparse Coding for Image Annotation
University of Technology, Sydney(悉尼科技大学)
稀疏编码通过使用过完备字典来稀疏地表示信号,并且在实际计算机视觉应用中获得了有希望的性能,特别是对于诸如图像去噪和图像修补的信号恢复任务。近年来,许多区别性稀疏编码算法已经被开发用于分类问题,但它们不能自然地处理由多视图特征表示的视觉数据。此外,现有的稀疏编码算法使用图拉普拉斯算子来模拟数据分布的局部几何形状。已经确定拉普拉斯正则化使解偏向于常数函数,这可能导致差的外推能力。在本文中,我们提出了多视图Hessian判别稀疏编码(mHDSC)无缝集成Hessian正则化与判别稀疏编码的多视图学习问题。特别地,mHDSC利用Hessian正则化来引导沿着流形中的测地线平滑变化的解决方案,并将标签信息视为用于结合图像注释的区分能力的特征的附加视图。我们在PASCAL VOC'07数据集上进行了广泛的实验,并证明了mHDSC用于图像标注的有效性。
2013-07-15 cs.CV cs.IT cs.MM
Sparse superposition codes with rotational invariant coding matrices for memoryless channels
我们最近在[1]中表明,当与具有i.i.d.的纯随机矩阵相比时,某些结构化编码矩阵系综(如部分行正交)对于稀疏叠加码的优越性。条目,信息理论上和实际向量近似消息传递解码下。在这里,我们将这个结果推广到广义向量近似消息传递解码[2]下的二进制输入信道。为了具体起见,我们专注于特定的二进制输出信道,但我们基于统计物理学的副本对称方法的分析适用于任何无记忆信道。我们确认,在[1]中介绍的“谱准则”,编码矩阵的设计原则,允许代码的容量实现的“大部分大小”的渐近极限,扩展到通用的无记忆信道。此外,我们还证明了这种编码方案的消失误差地板性质[3]对于编码矩阵的任意谱是通用的。
2022-07-10 cond-mat.dis-nn cs.IT math.IT
Sparse Kronecker-Product Coding for Unsourced Multiple Access
本文提出了一种适用于无源多址接入的稀疏Kronecker积(SKP)编码方案。具体地,每个活动用户的数据被编码为两个分量码字的克罗内克积,其中一个分量码字是稀疏的,另一个分量码字是前向纠错(FEC)编码的。在接收端,提出了一种迭代译码算法,该算法包括用于Kronecker积分解的矩阵分解和用于分量稀疏码和FEC码的软输入软输出译码。为了提高性能,进一步引入了循环冗余校验(CRC)辅助干扰消除技术。数值结果表明,当活跃用户数小于75时,该方案的性能优于现有方案,在码长为30000时,该方案在0.1 dB的间隔内接近随机编码界,并且即使活跃用户数相对较大时,该方案的出错率也很小.
2021-06-03 cs.IT eess.SP math.IT
Convex Coding
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
受最近关于集群凸公式的工作(Lashkari & Golland,2008; Nowozin & Bakir,2008)的启发,我们研究了稀疏编码问题的新公式(Olshausen & Field,1997)。在稀疏编码中,我们试图同时稀疏地表示数据向量序列(即稀疏近似(Tropp等人,2006)),同时还找到能够实现这种近似的代码。由于现有的稀疏编码交替优化过程在理论上容易出现严重的局部极小问题,我们提出了一种稀疏编码问题的凸松弛,并推导出一种提升式算法,(Nowozin & Bakir,2008年)作为一个凸的“主问题”,它称为一个(潜在的非凸)子问题,以确定下一个代码元素添加。最后,我们展示了我们的提升编码算法的图像去噪任务的属性。
2012-05-09 cs.IT cs.LG math.IT
Sparse superposition codes under VAMP decoding with generic rotational invariant coding matrices
稀疏叠加码最初是作为一种在高斯信道上实现容量的通信方案而提出的,其编码矩阵由独立同分布组成。我们将该编码方案扩展到具有任意频谱的旋转不变编码矩阵的更通用的集合,其包括高斯集合作为特殊情况。我们进一步介绍和分析了一种基于向量近似消息传递(VAMP)的译码器,基于标准的副本对称势理论和状态演化分析,我们的主要发现是某些结构化的编码矩阵集合(如部分行正交)与i.i.d.矩阵,以及VAMP阈值的频谱独立上限。最重要的是,我们推导出一个简单的“频谱标准”的计划是在同一时间的容量实现,同时具有最好的算法阈值,在“大部分大小”的渐近极限。因此,我们的研究结果提供了实用的设计原则,在这个有前途的通信方案的编码矩阵。
2022-05-26 cond-mat.dis-nn cs.IT math.IT
Single-Component Privacy Guarantees in Helper Data Systems and Sparse Coding with Ambiguation
我们调查的隐私(生物识别)模板保护的两种方法:助手数据系统和稀疏三进制编码模糊。特别是,我们专注于一个经常被忽视的隐私属性,即有多少泄漏存在一个特定的二进制属性的特征向量的一个组件。该属性例如是超过阈值的符号或指示符。我们提供的证据表明,这两种方法都能够保护这种敏感的二进制变量,并讨论如何系统参数需要设置。
2019-10-01 cs.CR cs.IR cs.IT
Reliability of Broadcast Communications Under Sparse Random Linear Network Coding
超可靠的点对多点(PtM)通信预计将成为为智能城市提供未来可靠服务的网络的关键。在这方面,稀疏随机线性网络编码(RLNC)技术已经被广泛地用于提供提高广播和多播数据流的可靠性的有效方式。本文讨论了紧迫的问题,提供了一个紧密的近似的概率用户恢复这种编码技术保护的数据流。特别是,通过利用Stein-Chen方法,我们提供了一个新的和一般的性能框架,适用于任何组合的系统和服务参数,如有限的字段大小,数据流的长度和稀疏程度。所提出的近似从蒙特卡罗模拟的偏差是可以忽略不计的,显着提高了最先进的性能界限。
2018-10-18 cs.IT cs.PF math.IT
Sparse coding and dictionary learning based on the MDL principle
具有学习字典的稀疏信号编码的能力已经在从信号处理到统计推断和机器学习的各种应用和领域中得到证明。然而,这些模型的统计特性,如欠拟合或过拟合给定的数据集,仍然没有很好地表征在文献中。这项工作的目的是填补这一空白的最小描述长度(MDL)的原则-一个完善的信息理论的方法来统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和建模(字典学习)算法,凭借MDL原则,是完全无参数的。此外,这样的框架允许以自然的方式将额外的先验信息(例如马尔可夫依赖性)并入模型中。我们展示了所提出的框架的性能与图像去噪和分类任务的结果。
2010-10-22 cs.IT math.IT math.ST
An MDL framework for sparse coding and dictionary learning
从信号处理到统计推断和机器学习,稀疏信号建模与学习过完备字典的能力已经在各种应用和领域中得到了证明。然而,这些模型的统计特性,如欠拟合或过拟合给定的数据集,仍然没有很好地表征在文献中。因此,稀疏建模的成功取决于为每个数据和应用程序手动调整关键参数。这项工作的目的是解决这一问题,通过提供一个实际和客观的表征稀疏模型的最小描述长度(MDL)的原则-一个完善的信息理论的方法来选择模型的统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和字典学习算法,凭借MDL原则,是完全无参数。此外,这种框架允许将额外的先验信息纳入现有模型,例如马尔可夫依赖关系,或者以自然的方式定义全新的问题公式,包括矩阵分析领域。这些优点将被证明与经典的图像去噪和分类问题的无参数算法,并在视频应用中的低秩矩阵恢复。
2011-10-11 cs.IT math.IT stat.ML
Coding-Theoretic Methods for Sparse Recovery
我们回顾了编码理论对象和稀疏学习问题之间的联系。特别是,我们展示了如何看似不同的组合对象,如纠错码,组合设计,球形码,压缩传感矩阵和组测试设计可以从彼此获得。减少使一个翻译的上限和下限的参数可达到的一个对象到另一个。我们调查了一些众所周知的减少在一个统一的介绍,并提请注意一些现有的差距。还介绍了新的减少,特别是,我们提出了最小的“L-明智的距离”的代码的概念,并表明这一概念密切捕捉RIP-2矩阵的组合结构。此外,我们展示了如何这种较弱的变化的最小距离是相关的组合列表解码性能的代码。
2012-02-09 cs.DM cs.IT math.IT
Sparse Ternary Codes for similarity search have higher coding gain than dense binary codes
University of Geneva(日内瓦大学)
本文研究了模式识别中的近似最近邻(ANN)搜索问题,其中数据库中的特征向量被编码为紧凑代码,以加快在大规模数据库中的相似性搜索。从信息论的角度考虑ANN问题,我们将其解释为一种编码,将原始特征向量映射到熵较小的稀疏表示,同时要求它们尽可能提供信息。然后,我们定义的编码增益ANN搜索使用信息理论的措施。接下来,我们表明,这个问题的经典方法,其中包括二进制化的投影向量是次优的。相反,适当设计的三进制编码实现更高的编码增益和更低的复杂度。
2017-04-25 cs.CV cs.IR cs.IT
Efficient Sparse Coding using Hierarchical Riemannian Pursuit
Hong Kong University of Science and Technology(香港科技大学)
稀疏编码是一类无监督的方法,用于以字典和稀疏码的线性组合的形式学习输入数据的稀疏表示。这种学习框架在各种图像和视频处理任务中取得了最先进的成果。然而,经典的方法学习字典和稀疏代码的基础上交替优化,通常没有理论保证的最优性或收敛性,由于非凸性的问题。最近的工作稀疏编码与一个完整的字典提供了强有力的理论保证,由于非凸优化的发展。然而,初始非凸方法在稀疏编码问题中以原子接原子的方式顺序地学习字典,这导致了很长的执行时间。最近的作品寻求直接学习整个字典一次,这大大减少了执行时间。然而,相关联的恢复性能随着有限数量的数据样本而降低。在本文中,我们提出了一个有效的稀疏编码方案与两个阶段的优化。该方案利用了两阶段优化问题的全局和局部黎曼几何,并通过有限数量的样本实现了出色的字典恢复性能,而无需逐个原子计算。我们进一步证明,以高概率,所提出的计划可以准确地恢复任何原子在目标字典与有限数量的样本,如果采用恢复字典的一个原子。最后给出了该算法在无线传感器数据压缩中的应用。仿真和真实数据实验验证了该方法的有效性。
2021-07-20 cs.IT cs.LG eess.SP
Discriminative reconstruction via simultaneous dense and sparse coding
Department of Mathematics, Tufts University(塔夫茨大学数学系);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院)
本文提出结合表示能力和判别特征的新型密集稀疏编码模型,通过几何条件和凸优化方法恢复密集和稀疏向量,并验证了密集稀疏自编码器在图像去噪和频率内容捕捉方面的有效性。
2026-03-26 cs.IT cs.LG eess.SP
Distributed Coding of Multiview Sparse Sources with Joint Recovery
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);Technical University of Denmark(丹麦技术大学)
在支持的应用程序,涉及多视角的源在分布式对象识别使用轻量级相机,我们提出了一种新的方法,用于分布式编码的稀疏源的视觉描述符直方图从多视角图像中提取。由于每个相机的计算和能量约束以及相机间通信的限制,该问题具有挑战性。我们的方法通过利用视觉描述符直方图的稀疏性以及它们的相机内和相机间的相关性来解决这些挑战。我们的方法耦合分布式信源编码的稀疏源与一个新的联合恢复算法,该算法采用了多个边信息信号,其中所有稀疏源的先验知识(低质量)最初发送利用它们的相关性。实验评估使用直方图的平移不变特征变换(SIFT)的描述符提取的多视点图像显示,我们的方法导致比特率节省高达43%相比,国家的最先进的分布式压缩感知方法与独立编码的来源。
2016-07-18 cs.CV cs.IT cs.MM
Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks
Department of Mathematics, Ludwig-Maximilians-Universität München(慕尼黑莱布尼茨-马克斯大学数学系);Department of Mathematics, City University of Hong Kong(香港城市大学数学系);Department of Mathematics, The University of Sydney(悉尼大学数学系)
本文通过分析卷积神经网络的深度稀疏编码模型,探讨了其收敛性及在稀疏特征学习中的应用。
2025-12-04 cs.DS cs.IT cs.LG
Approximate Gradient Coding via Sparse Random Graphs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
分布式算法经常受到落伍者效应的困扰,系统中最慢的计算节点决定了整体运行时间。最近提出了编码理论技术,通过算法冗余来减轻掉队者。编码计算和梯度编码中的先前工作主要集中在期望输出的精确恢复上。然而,在对噪声鲁棒的应用中,稍微不精确的解决方案是可以接受的,例如通过基于梯度的算法进行模型训练。在这项工作中,我们提出了计算简单的梯度代码的基础上稀疏图,保证快速和近似准确的分布式计算。我们证明,牺牲少量的准确性可以显着增加算法的鲁棒性,掉队。
2017-11-17 cs.DC cs.IT cs.LG
Anti-sparse coding for approximate nearest neighbor search
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE(法国国家信息与自动化研究所)
本文提出了一种基于反稀疏编码概念的高维向量二值化方法,并证明了该方法在近似最近邻搜索中的优良性能。与其他二进制化方案不同,该框架允许从原始向量的二进制表示进行显式重建,直到缩放因子。该论文还表明,如果位数超过向量维数,则用于局部敏感哈希算法的随机投影对于合成数据和真实数据都明显优于常规帧,即,当需要高精度时。
2011-10-25 cs.CV cs.DB cs.IR