Unifying Message Passing Algorithms Under the Framework of Constrained Bethe Free Energy Minimization
变分消息传递（VMP）、置信传播（BP）和期望传播（EP）在复杂的统计信号处理问题中有着广泛的应用。除了将它们视为一类在图形模型上操作的算法之外，本文还将它们统一在一个优化框架下，即Bethe自由能最小化，并适当地施加不同的约束。这种新的视角在约束操作方面可以提供更多的见解不同的消息传递算法之间的连接，是有效的通用统计模型。建立了系统地推导消息传递变体的理论框架。以稀疏信号恢复（SSR）问题为例，通过简单的约束重构，可以得到一种低复杂度的EP算法，与标准EP算法相比，具有更好的估计性能和更低的复杂度。此外，我们可以求助于框架的复杂推理任务的混合消息传递的系统推导。值得注意的是，一个混合消息传递算法是典型的联合SSR和统计模型学习，接近最佳的推理性能和可扩展的复杂性。
2021-01-19 cs.IT math.IT
Entropy Message Passing
University of Niš（尼什大学）
提出了一种新的无圈因子图消息传递算法。所提出的“熵消息传递”（EMP）算法可以被看作是在熵半环上的和积消息传递，这已经出现在自动机理论中。EMP的主要用途是计算模型的熵。但是，EMP也可以用于计算出现在期望最大化和梯度下降算法中的表达式。
2010-11-08 cs.IT cs.LG math.IT
On the Convergence of Orthogonal/Vector AMP: Long-Memory Message-Passing Strategy
本文证明了贝叶斯最优正交/向量近似消息传递（AMP）在大系统极限下收敛于不动点。证明是基于贝叶斯最优长记忆（LM）消息传递（MP），保证系统收敛。贝叶斯最优LM-MP的动力学分析通过现有的状态演化框架。证明了所得到的状态演化递推式是收敛的。贝叶斯最优正交/矢量AMP的收敛性证明了确认的状态演化递归的贝叶斯最优正交/矢量AMP的精确减少。
2022-05-06 cs.IT math.IT
A Local Tree Structure is NOT Sufficient for the Local Optimality of Message-Passing Decoding in Low Density Parity Check Codes
我们解决的问题，“是一个局部树结构足够的局部最优性的消息传递算法在低密度奇偶检验码？结果表明，答案是否定的。利用这一观察，我们指出了Thomas J. Richardson和Rüdiger L.Urbanke \cite{RUCapacity}的论文“消息传递解码下低密度奇偶校验码的容量”中定理1证明的一个缺陷。我们进一步提供了一个新的证明该定理的基础上不同的论点。
2007-02-25 cs.IT math.IT
Protograph-Based LDPC Code Design for Ternary Message Passing Decoding
提出了一种低密度校验码的三值消息传递（TMP）译码算法。在可变节点和校验节点之间交换的所有消息具有三进制字母表，并且可变节点利用来自信道的软信息。一个密度演化分析开发的非结构化和基于原图的合奏。对于非结构系综的稳定性条件。TMP解码的优化合奏显示渐近增益高达0.6 dB的合奏优化二进制消息传递解码。有限长度的模拟代码从TMP优化的合奏显示TMP下的增益高达0.5 dB相比，基于原图的代码设计用于未量化的信念传播解码。
2018-10-11 cs.IT math.IT
A Fully-Unrolled LDPC Decoder Based on Quantized Message Passing
在本文中，我们提出了一个有限的字母表消息传递算法的LDPC码，取代了标准的最小和变量节点更新规则的映射的基础上通用的查找表。该映射以最大化解码器消息和码字比特之间的互信息的方式来设计。我们表明，我们的解码器可以提供相同的出错率的性能作为传统的解码器具有小得多的消息位宽。最后，我们利用所提出的演算法设计出一个完全展开的LDPC译码器硬件架构。
2015-10-15 cs.IT math.IT
Convergence of Min-Sum Message Passing for Quadratic Optimization
我们建立了一个广泛的二次目标函数的最小化的最小和消息传递算法的收敛性：那些承认凸分解。我们的结果也适用于高斯置信传播的收敛性的等价问题。
2008-12-24 cs.AI cs.IT math.IT
Expectation maximization as message passing
根据以前的工作Eckford，它示出了如何期望最大化（EM）可能被视为，并使用，作为一个消息传递算法在因子图。
2005-08-03 cs.IT cs.LG math.IT
Convolutional Approximate Message-Passing
本文提出了一种新的压缩感知信号恢复的消息传递算法。该算法解决了近似消息传递（AMP）和正交/向量AMP算法的缺点，实现了它们的优点。AMP算法仅在有限的一类感知矩阵中收敛，同时具有较低的复杂度。正交/矢量AMP需要高复杂度的矩阵求逆，同时它适用于广泛的一类感测矩阵。所提出的算法的关键特征是所谓的Onsager校正通过卷积的消息在所有先前的迭代，而传统的消息传递算法的校正项，只依赖于在最新的迭代消息。因此，所提出的算法被称为卷积AMP（CAMP）。病态的传感矩阵的模拟作为一个例子，其中AMP的收敛性是不能保证的。数值模拟表明，CAMP可以改善AMP的收敛性能，并实现高性能的正交/矢量AMP相比，尽管与AMP的复杂度低。
2020-02-20 cs.IT math.IT
Message-Passing Algorithms: Reparameterizations and Splittings
EPFL（洛桑联邦理工学院）；Yale University（耶鲁大学）
最大积算法是一种局部消息传递方案，它试图计算给定概率分布的最可能分配（MAP），已成功地用作编码理论，计算机视觉和机器学习中出现的应用程序的近似推理方法。然而，不能保证最大乘积算法收敛到MAP分配，并且如果收敛到MAP分配，也不能保证恢复MAP分配。替代收敛的消息传递计划已被提出来克服这些困难。这项工作提供了一个系统的研究，这样的消息传递算法，扩展了已知的结果，表现出新的充分条件收敛到局部和/或全局最优，提供了一个组合的特征，这些最优的基础上，图覆盖，并描述了一个新的收敛和正确的消息传递算法，其推导统一了许多已知的收敛的消息传递算法。虽然收敛和正确的消息传递算法代表了在分析最大乘积型消息传递算法中向前迈出的一步，但保证收敛到全局最优值所需的条件在理论和实践中都可能过于严格。这种收敛和正确的消息传递计划的限制的特点是图覆盖和举例说明。
2012-12-01 cs.AI cs.IT math.IT
A Unified Framework of State Evolution for Message-Passing Algorithms
本文提出了一个统一的框架，以了解压缩感知中的消息传递算法的动态。状态演化严格分析的一般误差模型，其中包含近似消息传递（AMP）的误差模型，以及正交AMP。作为一个副产品，AMP被证明是渐近收敛的，如果传感矩阵是正交不变的，如果其渐近奇异值分布的矩序列符合的Marchenko-Pastur分布的顺序是最大的两倍大的最大迭代次数。
2019-01-16 cs.IT math.IT
Symbol Message Passing Decoding of Nonbinary Low-Density Parity-Check Codes
提出了一种新的q元低密度奇偶检验码译码算法，称为符号消息传递。该算法可以看作是Gallager B和Lechner等人的二进制消息传递算法到q进制码的推广。我们推导出密度演化方程的q元对称信道，计算阈值的一些定期低密度奇偶检验码合奏，并验证了长信道码的Monte Carlo模拟。所提出的算法表现出性能优势，从文献中的算法的复杂性相当。
2019-09-23 cs.IT math.IT
Denoising based Vector Approximate Message Passing
最近由Metzler、Maleki和Baraniuk提出的基于去噪的近似消息传递（D-AMP）方法允许将复杂的去噪器（如BM 3D）插件插入AMP算法中以实现最先进的压缩图像恢复。但是AMP偏离了i.i.d.的小偏差-测量矩阵的高斯假设。最近，已经提出了向量AMP（VAMP）算法来解决这个问题。在这项工作中，我们表明VAMP的好处扩展到D-VAMP。
2016-11-04 cs.IT math.IT
mmWave Channel Estimation via Approximate Message Passing with Side Information
在这种设置中，当在块$k+1$处估计信道时，在时间块$k$处的信道估计可以用作边信息（SI）。为了估计信道参数，我们采用SI辅助（复杂）近似消息传递算法，并将其性能与基于正交匹配追踪的基准进行比较。
2020-05-05 cs.IT math.IT
Neural Normalized Min-Sum Message-Passing vs. Viterbi Decoding for the CCSDS Line Product Code
空间数据系统咨询委员会（CCSDS）141.11-O-1线路产品代码（LPC）提供了一个难得的机会，比较最大似然解码和消息传递。本文中所考虑的LPC旨在与符号为数据字节的（255，239）Reed Solomon（RS）码一起用作内码。本文将141.11-O-1 LPC表示为二分图，并使用该图来制定最大似然（ML）和消息传递算法。当然，ML解码必须具有最佳的帧出错率（FER）性能。然而，神经归一化最小和（N-NMS）消息传递解码器的定点实现方式以显著较低的复杂度接近ML性能。
2021-11-15 cs.IT math.IT
Approximate Message Passing with Unitary Transformation for Robust Bilinear Recovery
最近，几个有前途的近似消息传递（AMP）为基础的算法已经开发了双线性恢复模型$\boldsymbol{Y}=\sum_{k=1}^K b_k \boldsymbol{A}_k \boldsymbol{C} +\boldsymbol{W} $，其中$\{b_k\}$和$\boldsymbol{C}$联合恢复与已知的$\boldsymbol{A}_k$从噪声测量$\boldsymbol{Y}$。双线性恢复问题有许多应用，如字典学习，自校准，压缩感知与矩阵不确定性等。在这项工作中，我们提出了一种新的双线性恢复算法的基础上AMP与酉变换。结果表明，与现有的基于消息传递的算法相比，该算法具有更强的鲁棒性和更快的速度，从而获得更好的性能。
2020-12-18 cs.IT math.IT
An Approach to Complex Bayesian-optimal Approximate Message Passing
在这项工作中，我们的目标是通过利用未知量的联合稀疏实部和虚部的贝叶斯最优结构信号近似消息传递（BOSSAMP）算法来解决复杂未知向量情况下的压缩感知问题。BOSSAMP通过引入一个潜在的活动变量，分离的活动检测和价值估计的任务，以克服检测不同的支持在实部和虚部的问题。我们补充恢复算法的两个新的支持检测计划，利用更新的辅助变量的BOSSAMP。仿真结果表明，我们提出的方法对近似消息传递（AMP）和贝叶斯最优同胞（BAMP）的优越性，无论是在均方误差和支持检测性能。
2015-11-25 cs.IT math.IT
Design of LDPC Codes Robust to Noisy Message-Passing Decoding
研究了加性高斯白噪声信道下低密度奇偶校验（LDPC）码的消息传递译码问题。其中某些处理单元迭代地交换消息的消息传递解码器对于解码LDPC码是常见的。在这些解码器的硬件实现中，交换的消息通常受到内部噪声的影响。我们将内部解码器噪声建模为加性高斯白噪声（AWGN），使交换的消息降级。利用高斯近似的交换消息，我们进行了二维密度演化分析的噪声LDPC解码器。这使得可以跟踪交换的消息密度的均值和方差，并且因此在存在内部解码器噪声的情况下量化LDPC码的阈值。的数值和模拟结果，量化的性能损失，由于内部解码器的噪声。为了部分补偿这种性能损失，我们提出了一种简单的方法，基于EXIT图分析，设计鲁棒的非规则LDPC码。仿真结果表明，所设计的码确实可以补偿由于解码器内部噪声而造成的部分性能损失。
2015-06-01 cs.IT math.IT
Scalable Uplink Signal Detection in C-RANs via Randomized Gaussian Message Passing
云无线接入网络（C-RAN）是下一代无线网络中具有前所未有的容量增强的有前途的架构，这归功于基站处理的集中化和虚拟化。然而，C-RAN中的集中式信号处理涉及高计算复杂性，当网络增长到巨大的规模时，该高计算复杂性很快变得无法承受。首先，本文致力于设计一个可扩展的上行链路信号检测算法，在这个意义上，每单位网络面积的复杂度和总的计算时间保持不变，当网络规模的增长。为此，我们将C-RAN中的信号检测公式化为二分随机几何图上的推理问题。通过在相邻节点之间传递消息，消息传递（也称为置信传播）提供了一种有效的方式来解决稀疏图上的推理问题。然而，传统的消息传递算法不能保证收敛，因为相应的二部随机几何图是局部稠密的，包含许多短循环。作为本文的一个主要贡献，我们提出了一个随机高斯消息传递（RGMP）算法，以提高收敛性。我们建议以随机顺序异步交换消息，而不是同时或以固定顺序交换消息。建议RGMP算法表现出显着更好的收敛性能比传统的消息传递。消息更新时间表的随机性也简化了分析，并允许推导RGMP算法的收敛条件。此外，我们提出了一个分块RGMP（B-RGMP）算法的实际实现。当网络规模增大时，B-RGMP的平均计算时间保持不变。
2017-05-26 cs.IT math.IT
Fast Signal Separation of 2D Sparse Mixture via Approximate Message-Passing
近似消息传递（AMP）方法是求解线性反问题的一种简单有效的方法。在这封信中，我们提出了一个更快的AMP来解决二维稀疏分离的\emph{$L_1$-Split-Analysis}，这被称为\emph{MixAMP}。我们开发的MixAMP的基础上的因素图建模和最小和消息传递。然后，我们研究了MixAMP的两种类型的稀疏性分离：直接和组稀疏性的分离，以及直接和有限差分稀疏性的分离。这个案例研究表明，MixAMP方法提供了计算优势，传统的一阶方法，TFOCS。
2015-07-10 cs.IT math.IT
List Message Passing Decoding of Non-binary Low-Density Parity-Check Codes
介绍了一种在$q$-元对称信道上的$q$-元低密度奇偶检验码的译码算法。交换的消息是来自$\Fq$的符号列表。最大列表大小$1$和$2$的密度演化分析。选择定期低密度奇偶检验代码集成的保留值计算相对于文献中的类似算法的增益。最后的仿真结果证实了渐近分析的正确性。
2021-04-13 cs.IT math.IT
A Low Complexity OFDM Receiver with Combined GAMP and MF Message Passing
在统一的置信传播（BP）和平均场（MF）框架下，提出了一种迭代消息传递接收机，用于OFDM系统的信道状态和噪声精度（噪声方差的倒数）联合估计和解码。最近开发的广义近似消息传递（GAMP）被纳入BP-MF框架，其中MF用于处理具有未知噪声精度的观测因子节点，GAMP用于时频域中的信道估计。与文献中的最先进的算法相比，该算法要么提供类似的性能与低得多的复杂度，或提供更好的性能与类似的复杂度。此外，该算法具有最快的收敛速度。
2017-11-10 cs.IT math.IT
Two-Bit Message Passing Decoders for LDPC Codes Over the Binary Symmetric Channel
本文研究了二进制对称信道下LDPC码的量化译码问题。二进制消息传递算法虽然允许非常快速的硬件实现，但从性能的角度来看并不是很有吸引力。更复杂的解码器，如基于置信传播的解码器，表现出更好的性能，但会导致更慢的解码器。本文中的方法是考虑具有较大消息字母表（从而提供性能改进）以及低复杂度（从而确保快速解码）的消息传递解码器。我们提出了一类消息传递解码器，其消息由两个比特表示。在这类中的各种解码器的阈值是使用密度演化。校正固定数量的错误的问题在错误平层区域中具有重要意义。对于一个特定的解码器，纠正所有模式多达三个错误的充分条件。通过将这些条件和阈值与使用Gallager B解码器时的类似条件和阈值进行比较，我们强调了在更高比特数上解码的优点，即使信道观测仍然是一个比特。
2009-03-07 cs.IT math.IT
Graph-Cover Decoding and Finite-Length Analysis of Message-Passing Iterative Decoding of LDPC Codes
本文的目标是推导出一个框架，用于低密度奇偶校验码的消息传递迭代译码的有限长度分析。为此，我们引入了图覆盖解码的概念。而在最大似然解码中，代码中的所有码字都竞争成为接收向量的最佳解释，在图覆盖解码下，代码的Tanner图表示的所有有限覆盖中的所有码字都竞争成为最佳解释。我们对图覆盖解码感兴趣，因为它是一种理论工具，可以用来显示线性规划解码和消息传递迭代解码之间的联系。也就是说，一方面，事实证明，图覆盖解码本质上等同于线性规划解码。另一方面，由于迭代的、局部操作的解码算法（如消息传递迭代解码）无法区分底层的Tanner图和任何覆盖图，因此图覆盖解码可以作为解释消息传递迭代解码行为的模型。理解图覆盖解码的行为相当于理解所谓的基本多面体。因此，我们给出了这个多面体的一些特征，并解释了它与早期概念的关系，这些概念是为了理解有限长度代码的消息传递迭代解码的行为而引入的。
2005-12-20 cs.IT math.IT
A New Combination of Message Passing Techniques for Receiver Design in MIMO-OFDM Systems
在本文中，我们提出了一种新的组合消息传递算法，允许置信传播（BP）和平均场（MF）应用于同一个因素节点，使MF可以应用于硬约束因素。基于所提出的消息传递算法，设计了MIMO-OFDM系统的迭代接收机。BP和MF都被用来处理涉及信道系数和数据符号相乘的硬约束因子节点，以降低仅使用BP的复杂度。数值结果表明，提出的低复杂度接收机的误码率性能接近的国家的最先进的接收机，其中只有BP是用来处理硬约束因素，在高信噪比。
2017-01-23 cs.IT math.IT
One and Two Bit Message Passing for SC-LDPC Codes with Higher-Order Modulation
低复杂度解码算法是满足超过1 Tbps的数据率要求所必需的。本文研究了低密度奇偶校验（LDPC）码的信度传播译码的一比特和二比特消息传递算法，并利用密度演化理论对其进行了分析。可变节点（VN）利用来自信道输出的软信息。为了减少数据流，校验节点（CN）和VN之间交换的消息由一个或两个比特表示。新提出的四元消息传递（QMP）算法进行了比较渐近和有限长度的模拟二进制消息传递（BMP）和三进制消息传递（TMP）的频谱高效通信与高阶调制和概率幅度整形（PAS）。为了展示高吞吐量前向纠错的潜力，考虑了空间耦合的LDPC码和3比特/QAM符号的目标频谱效率（SE）。与BMP和TMP相比，分别观察到约0.7 dB和0.1 dB的增益。与未量化的置信传播（BP）解码的间隙减小到约0.75dB。对于较小的码率，QMP的增益与TMP相比更显著，并且在所考虑的示例中达到0.24 dB。
2019-10-17 cs.IT math.IT
Study of the Sparse Superposition Codes and the Generalized Approximate Message Passing Decoder for the Communication over Binary Symmetric and Z Channels
在这个项目中，广义近似消息传递解码器的BSC和Z信道的行为进行了研究使用i.i.d矩阵构造的码字。GAMP在AWGN信道中的性能已经在Jean Barbier的前期研究工作中进行了评估，因此，本项目主要关注BSC和Z信道下GAMP解码器的性能。我们评估的GAMP解码器的性能稀疏叠加码在各种设置和比较解码器的性能不同的信道和参数。
2017-12-03 cs.IT math.IT
Optimal Quantization for Compressive Sensing under Message Passing Reconstruction
我们认为压缩感知测量的最佳量化的工作后，广义的放松信念传播（BP）的任意测量通道。松弛BP是一种迭代重建方案，灵感来自二分图上的消息传递算法。其渐近误差性能可以准确地预测和跟踪通过状态演化形式主义。我们利用这些结果来设计均方最佳标量量化器放松BP信号重建和经验证明所产生的量化器的优越的误差性能。
2011-03-14 cs.IT math.IT
Topological Interference Management with Decoded Message Passing
拓扑干扰管理（TIM）问题研究除了网络拓扑之外没有信道状态信息的部分连接的干扰网络（即，连接图）。在本文中，我们考虑了上行链路蜂窝网络中的类似问题，同时在接收器处启用消息传递（例如，基站），使得解码的消息可以经由回程链路被路由到其它接收机，以帮助进一步提高网络性能。对于这个TIM问题与解码消息传递（TIM-MP），我们建模的干扰模式的冲突有向图，连接正交访问冲突有向图上的非循环集着色，并显示一对一的干扰对齐归结为正交访问，因为消息传递。借助多面体组合学，我们确定了某些类别的网络拓扑结构的结构特性，其中正交访问实现了信息理论意义上的最佳自由度（DoF）区域。与传统的索引编码与同时解码的关系也研究了制定一个广义的索引编码问题与连续解码作为解码消息传递的结果。还研究了约简性和临界性的性质，通过这些性质，我们能够证明正交访问在对称自由度方面的线性最优性，对于所有可能的网络拓扑结构（218个实例），最多四个用户的网络。还讨论了消息传递的开销和可实现的对称DoF之间的权衡的实际问题，希望促进有效的回程利用率。
2017-02-26 cs.IT math.IT
A Message-Passing Algorithm for Counting Short Cycles in a Graph
本文提出了一种计算图中短圈数的消息传递算法。对于编码中特别感兴趣的二分图，该算法能够计数长度为g，g +2，.，2g - 2，其中g是图的围长。对于一般（非二部）图，长度为g; g + 1，.，2g - 1可以计数。该算法基于在图的节点中执行整数加法和减法，并将外部消息传递到相邻节点。所提出的算法的复杂度增长为$O(g|E|^2)$，其中$|E|$是图中的边的数量。对于稀疏图，该算法在计算复杂性和内存需求方面明显优于现有算法。
2010-04-22 cs.IT math.IT
Concise Derivation of Complex Bayesian Approximate Message Passing via Expectation Propagation
在本文中，我们解决的问题，恢复复值信号从一组复值线性测量。近似消息传递（AMP）是一种最先进的算法来恢复实值稀疏信号。然而，AMP的复值情况下的扩展是非平凡的，并没有详细和严格的推导已明确提出。为了填补这一空白，我们将AMP扩展到复杂的贝叶斯近似消息传递（CB-AMP）使用期望传播（EP）。这种新颖的视角导致CB-AMP的简洁推导，而不需要复杂的复域和实域之间的变换。此外，我们推导了状态演化方程来预测CB-AMP的重建性能。仿真结果证明了CB-AMP和状态演化的有效性。
2016-01-25 cs.IT math.IT
Improved message passing for inference in densely connected systems
提出了一种改进的稠密连接系统的推理方法。该方法基于在变量之间传递压缩消息，表示微观消息的宏观平均值。我们扩展了以前的工作，在解决方案空间是连续的情况下，碎片发生的情况下，显示出有希望的结果。我们应用该方法的码分多址（CDMA）的信号检测问题，以证明其潜力。一个高效的实用算法也来自洞察力的基础上获得的分析。
2005-03-24 cond-mat.dis-nn cs.IT math.IT
Hybrid Approximate Message Passing
New York University（纽约大学）；the University of California, Los Angeles（加州大学洛杉矶分校）；Boston University（波士顿大学）；The Ohio State University（俄亥俄州立大学）
本文提出混合广义近似消息传递算法，通过划分强弱边实现性能与复杂度的权衡，简化了求和-乘积和最大-求和信念传播的实现。
2017-03-23 cs.IT math.IT
Joint Near Field Uplink Communication and Localization Using Message Passing-Based Sparse Bayesian Learning
针对近场集成感知与通信系统的上行通信与定位需求，将联合检测定位建模为稀疏信号恢复问题，提出基于UAMP的低复杂度SBL算法，仿真验证了方法的有效性。
2024-04-14 cs.IT math.IT
Distributed Consensus with Finite Message Passing
受动态拓扑网络中分布式资源分配问题的启发，我们研究了有限消息传递的分布式共识。我们首先找到一个充分条件的网络图，没有分布式协议可以保证一个无冲突的分配后，$R$轮的消息传递。其次，我们充分描述了冲突最小化零轮协议的路径图，即随机分配，它划分成小冲突组的图。第三，我们列举了所有的一轮协议的路径图，并表明，最好的一个进一步划分每个较小的群体。最后，我们表明，冲突的数量减少到零，可用资源的数量增加。
2010-06-29 cs.IT math.IT
Blind Sensor Calibration using Approximate Message Passing
近似稀疏数据的普遍存在使得各种社区对压缩感知算法产生了极大的兴趣。虽然这些对于具有加性噪声的线性测量是非常成功的并且被很好地理解，但是如果不完美的感测设备引入由传感器失准或故障引起的与该理想信号采集过程的偏差，则将它们应用于实际数据可能是有问题的。我们提出了一种消息传递算法，称为校准近似消息传递（Cal-AMP），可以处理各种传感器引起的缺陷。除了推导算法的一般形式，我们数值研究两个特定的设置。在第一种情况下，一小部分传感器出现故障，给出与信号无关的读数。在第二种方法中，传感器被去校准，并且每个传感器向测量引入不同的乘法增益。Cal-AMP共享近似消息传递的可扩展性，允许处理这些问题的大规模实例，并且实验性地展示了成功和失败域之间的相变。
2016-07-26 cs.IT math.IT
On the Message Passing Efficiency of Polar and Low-Density Parity-Check Decoders
本文在消息传递框架下比较极化码与LDPC码的SC和BP译码器，以NMP和距MAP估计的统计距离刻画复杂度—性能权衡，发现SC译码效率最高。
2023-04-21 cs.IT math.IT
Maximin Analysis of Message Passing Algorithms for Recovering Block Sparse Signals
我们考虑的问题，恢复一个块（或组）稀疏信号从一个欠定的随机线性测量，出现在压缩感知应用，如雷达和成像。Donoho、Johnstone和Montanari最近的研究结果表明，近似消息传递（AMP）与Stein收缩相结合，在大块大小的情况下优于组LASSO。在本文中，我们证明了，对于一个固定的块大小和在强欠采样制度（即，与环境维度相比具有非常少的测量值），AMP不能改善组LASSO，从而补充了Donoho等人的结果。
2013-03-10 cs.IT math.IT
Bernoulli-Gaussian Approximate Message-Passing Algorithm for Compressed Sensing with 1D-Finite-Difference Sparsity
提出了一种基于MMSE估计的一维有限差分稀疏压缩感知（CS）恢复的快速近似消息传递（AMP）算法。该算法（ssAMP-BGFD）具有计算量小、收敛速度快、每次迭代代价低的特点，其相位转换几乎接近最新技术水平。该算法源于和积消息传递规则，应用Bernoulli-Gaussian（BG）先验，寻求MMSE解。该算法的结构不仅包括传统的AMP技术的测量保真度，但也提出了一个简化的消息传递方法，以促进有限差分信号稀疏。此外，我们提供了一个EM调谐方法来学习BG先验参数，建议如何使用一些实际的测量矩阵满足RIP的要求下ssAMP-BGFD恢复。大量的实验结果证实了所提出的算法的性能，在相变，收敛速度和CPU运行时间，最近的算法相比。
2015-09-04 cs.IT math.IT
Hyperspectral Unmixing via Turbo Bilinear Approximate Message Passing
高光谱解混的目标是将在M个光谱波段和T个像素上测量的电磁光谱数据集分解成具有相应空间丰度的N个组成物质光谱（或“端元”）。在本文中，我们提出了一种新的方法，高光谱解混的基础上循环的信念传播（BP），使开发的光谱相干性的端元和空间相干的丰度。特别是，我们将因子图划分为频谱相干性，空间相干性和双线性子图，并使用“turbo”方法在它们之间传递消息。为了在双线性子图中进行消息传递，我们采用了双线性广义近似消息传递算法（BiG-AMP），这是一种最近提出的基于置信传播的矩阵分解方法。此外，我们提出了一个期望最大化（EM）策略来调整先验参数和模型阶数选择策略来选择材料的数量N。与合成和真实世界的数据进行的数值实验表明，相对于现有的方法良好的解混性能。
2015-08-04 cs.IT math.IT
S-AMP: Approximate Message Passing for General Matrix Ensembles
在这项工作中，我们提出了一种新的迭代估计算法称为S-AMP的线性观测系统的不动点是一组（第一和第二）矩一致性约束下的大系统限制的确切吉布斯自由能的驻点。S-AMP将近似消息传递（AMP）算法扩展到一般矩阵集成。推广是基于S-变换（在自由概率）的测量矩阵的频谱。此外，我们表明，S-AMP的最优性直接从它的设计，而不是从解决一个单独的优化问题所做的AMP。
2014-05-12 cs.IT math.IT
Cooperative Joint Localization and Clock Synchronization Based on Gaussian Message Passing in Asynchronous Wireless Networks
定位和同步在许多无线应用中是非常重要的，例如监控和车辆跟踪。利用相同的到达时间（TOA）测量进行同时定位和同步是具有挑战性的。在本文中，我们提出了一个因素图（FG）表示的联合定位和时间同步问题的TOA测量的基础上，其中的非视线测量也考虑。在此FG上，应用置信传播（BP）消息传递和变分消息传递（VMP），推导出两种计算量要求较低的完全分布式协作算法。由于观测函数中的非线性，难以计算封闭形式的消息，并且大多数现有解决方案依赖于蒙特卡罗方法，例如，粒子滤波我们将消息表达式中的特定非线性项线性化，这使我们能够对所有消息使用高斯表示。因此，仅需要更新均值和方差并在相邻节点之间传输，这显著降低了通信开销和计算复杂性。提出了一种在估计性能和通信开销之间进行权衡的消息传递调度方案。仿真结果表明，所提出的算法性能非常接近基于粒子的方法，具有更低的复杂度，特别是在密集连接的网络。
2016-01-13 cs.IT math.IT
Approximate Message Passing under Finite Alphabet Constraints
在本文中，我们考虑基追踪去噪（BPDN）问题，其中稀疏的原始信号是从一个有限的字母表。为了解决这个问题，我们提出了一种迭代消息传递算法，它不仅利用稀疏性，但通过先验分布也对原始信号的离散性。在我们的数值实验中，我们测试该算法结合Rademacher测量矩阵和来自随机解调器的测量矩阵，这使得压缩采样的模拟信号。我们的研究结果表明，在这两种情况下显着的性能增益超过了基于线性规划的方法所考虑的BPDN问题。我们还比较了所提出的算法，一个类似的消息传递算法没有先验知识，并观察到更大的性能改善。
2012-01-24 cs.IT math.IT
Replica Analysis and Approximate Message Passing Decoder for Superposition Codes
叠加码对于加性高斯白噪声信道是有效的。我们在这里提供了一个副本分析这些代码的大信号的性能。我们还考虑了贝叶斯近似消息传递解码器的基础上的信念传播的方法，并讨论其性能使用密度进化技术。我们的主要发现是：1）对于我们可以访问的大小，消息传递解码器优于文献中研究的其他解码器2）其性能受到急剧相变的限制，3）虽然这些码随着$B$（码中的关键参数）的增加而达到容量，但消息传递解码器的性能随着相变的降低而恶化。
2014-04-17 cond-mat.dis-nn cs.IT math.IT
Sparse Multinomial Logistic Regression via Approximate Message Passing
针对多类线性分类和特征选择问题，提出了稀疏多项逻辑回归（MLR）的近似消息传递方法。首先，我们提出了两个算法的基础上的混合广义近似消息传递（HyGAMP）框架：一个发现最大后验（MAP）线性分类器和其他发现的近似测试错误率最小化线性分类器。然后，我们设计这两个算法的计算简化的变种。接下来，我们详细介绍了分别使用Stein的无偏风险估计（SURE）和期望最大化（EM）来调整其假设统计模型的超参数的方法。最后，使用合成和真实世界的数据集，我们证明了改进的错误率和运行时性能相对于现有的最先进的方法稀疏MLR。
2016-06-14 cs.IT math.IT stat.ML
A Convergence Analysis of Approximate Message Passing with Non-Separable Functions and Applications to Multi-Class Classification
Technical University of Berlin（柏林工业大学）；Harvard University（哈佛大学）；University of Birmingham（伯明翰大学）；University of Potsdam（波茨坦大学）
本文分析了具有不可分离多元非线性的近似消息传递（AMP）动力学收敛性，并独立完成了多类分类中凸优化问题的完整分析。
2024-02-13 cs.IT cs.LG math.IT
Approximate message-passing with spatially coupled structured operators, with applications to compressed sensing and sparse superposition codes
我们研究近似消息传递的行为，线性稀疏估计问题，如压缩感知的求解器，当i.i.d矩阵-它已被专门设计-被结构化算子，如傅立叶和阿达玛的取代。我们的经验表明，适当的随机化后，运营商的结构不会显着影响求解器的性能。此外，对于一些专门设计的空间耦合算子，这允许在压缩感知中的计算快速和存储器高效的重建达到信息理论极限。我们还展示了如何将这种方法应用于稀疏叠加码，允许近似消息传递解码器以大速率执行中等块长度。
2015-03-28 cond-mat.dis-nn cs.IT math.IT
A Unitary Transform Based Generalized Approximate Message Passing
Zhejiang University（浙江大学）；Ocean College, Zhejiang University（浙江大学海洋学院）；The University of Tokyo（东京大学）；Institute for Physics of Intelligence, The University of Tokyo（东京大学智能物理研究所）；University of Wollongong（伍伦贡大学）
我们考虑从通过广义线性模型（GLM）获得的一般非线性测量恢复未知信号${\mathbf x}\in {\mathbb R}^n$的问题，即，${\mathbf y}= f\left({\mathbf A}{\mathbf x}+{\mathbf w}\right)$，其中$f(\cdot)$是分量非线性函数。针对一般测量矩阵$\bf{A}$，特别是高相关矩阵，基于酉变换近似消息传递（UAMP）和期望传播，提出了一种基于酉变换的广义近似消息传递（GUAMP）算法.量化压缩感知的实验结果表明，在相关矩阵$\bf{A}$下，该算法的性能明显优于GAMP和GVAMP.
2022-10-17 cs.IT cs.LG math.IT
Multi-Processor Approximate Message Passing Using Lossy Compression
本文提出了一种基于近似消息传递算法的通信高效的多处理器压缩感知框架。我们执行有损压缩的处理器之间进行通信的数据，从而降低了通信成本，恢复质量略有下降。在所提出的框架中，一个新的状态演化公式考虑到量化误差，并解析地确定在每次迭代所需的编码速率。用于分配编码速率的两种方法，在线回溯启发式和基于动态规划的最优分配方案，提供了通信成本的显著降低。
2016-01-18 cs.DC cs.IT math.IT
Lossy source encoding via message-passing and decimation over generalized codewords of LDGM codes
我们描述了使用低密度生成矩阵（LDGM）码的有损信源编码的消息传递和抽取方法。特别是，本文解决了编码伯努利（0.5）源的问题：随机生成的LDGM码与适当的不规则度分布，我们的方法产生的性能非常接近率失真限制在一定范围内的速率。我们的方法的灵感来自调查传播（SP）算法，最初开发的Mezard等人。解决随机可满足性问题。Maneva等人先前的工作展示了如何将SP理解为可满足性问题的另一种表示的置信传播（BP）。类似于这种连接，我们的方法是定义一个家庭的马尔可夫随机场广义码字，从本地消息传递规则可以得出标准的方式。整个信源编码方法基于消息传递，将比特子集设置为它们的首选值（抽取），并减少代码。
2005-08-15 cs.AI cs.IT math.IT
Universality of Approximate Message Passing Algorithms
我们认为广泛的一类近似消息传递（AMP）算法定义为一个Lipschitz函数迭代的$n\times n$随机对称矩阵$A$。我们建立了普遍性的噪音，这个AMP的$n$限制，并验证了这种行为在一些AMP普遍适用于压缩传感，统计推断，和优化自旋玻璃。
2020-06-01 cs.IT math-ph math.IT
State Evolution for General Approximate Message Passing Algorithms, with Applications to Spatial Coupling
我们考虑一类近似的消息传递（AMP）算法，并描述其高维行为的一个合适的状态演化递归。我们的证明适用于具有独立但不一定相同分布项的高斯矩阵。它涵盖-特别是-广义AMP的分析，介绍了Rangan，和AMP的空间耦合传感矩阵的压缩传感重建。证明技术建立在[BM 11]的基础上，同时简化和推广了几个步骤。
2012-12-30 cs.IT math.IT math.PR
Phase Diagram and Approximate Message Passing for Blind Calibration and Dictionary Learning
ESPCI（巴黎高等物理化工学院）；CNRS（法国国家科学研究中心）；Ecole Normale Supérieure（巴黎高等师范学院）
我们考虑字典学习和盲校准的信号和矩阵创建一个随机合奏。我们研究的均方误差的限制，大信号尺寸使用复制品的方法和揭示的外观的相变划定不可能的，可能的，但困难的和可能的推理区域。我们还介绍了一个近似的消息传递算法，渐近匹配的理论性能，并通过数值试验表明，它执行得很好，校准问题，易于处理的系统大小。
2013-01-24 cond-mat.stat-mech cs.IT cs.LG
A unifying tutorial on Approximate Message Passing
在过去的十年左右，近似消息传递（AMP）算法已经成为非常流行的各种结构化的高维统计问题。这些技术的起源可以追溯到统计物理学文献中的信念传播概念，这一事实为许多统计学家提供了一定的神秘感。我们在这项工作中的目标是从统计的角度提出AMP的主要思想，说明AMP框架的功能和灵活性。在此过程中，我们加强和统一了现有文献中的许多结果。
2021-05-05 cs.IT math.IT math.ST
