首页/论文/1907.02247

arXiv 1907.022472019-07-10cs.ITmath.IT

对GAMP和AMP的新认识

A New Insight into GAMP and AMP

Lei Liu, Ying Li, Chongwen Huang, Chau Yuen, Yong Liang Guan

备注：: 6 pages, 4 figures, 2 tables
DOI：: 10.1109/TVT.2019.2926229

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

针对一般测量信道，推导了一种简洁的基于期望传播的消息传递算法。通过忽略一些高阶无穷小项，EP-MPA被证明是等价的广义近似消息传递（GAMP），它利用中心极限定理和泰勒展开，以简化的信念传播过程。此外，对于加性高斯白噪声测量通道，EP-MPA被证明是等效的AMP。EP和GAMP/AMP之间的这种内在等价性通过用于非线性处理的统一消息传递规则提供了对GAMP和AMP的新见解，并且可以为在解决更一般的非线性问题中构建新的MPA提供线索。

英文摘要：

A concise expectation propagation (EP) based message passing algorithm (MPA) is derived for the general measurement channel. By neglecting some high-order infinitesimal terms, the EP-MPA is proven to be equivalent to the Generalized Approximate Message Passing (GAMP), which exploits central limit theorem and Taylor expansion to simplify the belief propagation process. Furthermore, for additive white gaussian noise measurement channels, EP-MPA is proven to be equivalent to the AMP. Such intrinsic equivalence between EP and GAMP/AMP offers a new insight into GAMP and AMP via a unified message passing rule for non-linear processing, and may provide clues towards building new MPAs in solving more general non-linear problems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

任意矩阵广义近似消息传递的不动点

Fixed Points of Generalized Approximate Message Passing with Arbitrary Matrices

通过线性变换，然后通过分量（可能是非线性的）输出映射的独立分量的随机向量的估计出现在一系列应用中。近似消息传递（AMP）方法，基于高斯近似的循环信念传播，最近引起了相当大的关注，这样的问题。对于大的随机变换，这些方法表现出快速收敛，并承认精确的分析特征与可测试的条件，即使是某些非凸问题的情况下，最优性。然而，AMP在一般变换下的行为还没有完全理解。在本文中，我们认为广义AMP（GAMP）算法和更常见的优化技术的方法。这种分析使GAMP算法的固定点，适用于任意变换的精确表征。特别是，我们表明，所谓的最大和GAMP算法的MAP估计的不动点的约束最大化的后验密度的临界点。和积GAMP算法估计后边缘的不动点可以解释为某个自由能的临界点。

2016-05-02cs.ITmath.IT

基于交替方向和Bethe自由能最小化的广义线性模型推断

Inference for Generalized Linear Models via Alternating Directions and Bethe Free Energy Minimization

广义线性模型（GLM），其中通过线性变换$\mathbf{z}=\mathbf{Ax}$的有噪声的、可能非线性的函数来观察随机向量$\mathbf{x}$，在非线性滤波和回归中的一系列应用中出现。近似消息传递（AMP）方法，基于循环的信念传播，是一类很有前途的方法，在这些模型的近似推理。AMP方法计算简单，一般，并承认精确的分析与可测试的条件，为大i.i.d.的最优性。变换$\mathbf{A}$。然而，对于一般的$\mathbf{A}$，算法可以容易地发散。本文提出了一种基于Bethe自由能大系统极限近似（LSL-BFE）直接极小化的广义AMP（GAMP）算法的收敛方法。所提出的方法使用了一个双循环的过程，其中外循环连续线性化的LSL-BFE和内循环最小化线性化的LSL-BFE使用交替方向乘法（ADMM）。所提出的方法，称为ADMM-GAMP，在结构上类似于原来的GAMP方法，但具有额外的最小二乘最小化。结果表明，严格凸，光滑的处罚，ADMM-GAMP是保证收敛到局部极小的LSL-BFE，从而提供了一个收敛的替代GAMP是稳定的任意变换。仿真也证明了该方法的鲁棒性，以及非凸处罚。

2016-05-02cs.ITmath.IT

广义线性模型的向量近似消息传递

Vector Approximate Message Passing for the Generalized Linear Model

广义线性模型（GLM），其中通过线性变换输出$\boldsymbol{z}=\boldsymbol{Ax}$的有噪声的、可能非线性的函数来观察随机向量$\boldsymbol{x}$，在诸如鲁棒回归、二进制分类、量化压缩感测、相位恢复、光子限制成像和从神经尖峰序列的推断的应用范围中出现。当$\boldsymbol{A}$较大且i.i.d.广义近似消息传递（GAMP）算法是一种有效的MAP或边缘推理方法，其性能可以用标量状态演化来严格表征。然而，对于一般的$\boldsymbol{A}$，GAMP可能会表现不佳。阻尼和顺序更新有助于增强GAMP，但效果有限。最近，针对加性高斯白噪声信道，提出了一种“矢量AMP”（VAMP）算法。VAMP将AMP的担保从i.i.d.高斯$\boldsymbol{A}$到较大类的旋转不变$\boldsymbol{A}$。在本文中，我们展示了如何VAMP可以扩展到GLM。数值实验表明，所提出的GLM-VAMP比阻尼GAMP对$\boldsymbol{A}$中的病态性具有更强的鲁棒性。

2016-12-04cs.ITmath.IT

关于任意矩阵近似消息传递的收敛性

On the Convergence of Approximate Message Passing with Arbitrary Matrices

近似消息传递（AMP）方法及其变体最近在估计通过线性变换$\mathbf{A}$观察到的随机向量$\mathbf{x}$的问题上吸引了相当多的关注。在大i.i.d.的情况下，零均值高斯$\mathbf{A}$，该方法表现出快速收敛与精确的分析表征的算法行为。然而，AMP在一般变换$\mathbf{A}$下的收敛性还没有完全理解。在本文中，我们提供了一个阻尼版本的广义AMP（GAMP）算法在二次成本函数（即，高斯似然和先验）。结果表明，有足够的阻尼，该算法是保证收敛，虽然阻尼量的增长与峰均比的平方奇异值的变换$\mathbf{A}$。这一结果解释了AMP在i.i.d.上的良好性能。高斯变换$\mathbf{A}$，但也有他们的困难与病态或非零均值变换$\mathbf{A}$。在一般的代价函数下，假设一定的严格凸性条件，导出了阻尼GAMP方法局部稳定性的一个充分条件。

2018-03-02cs.ITmath.IT

从凸高斯极小极大定理推导近似消息传递

Deriving Approximate Message Passing from the Convex Gaussian Min-Max Theorem

California Institute of Technology（加州理工学院）

本文通过凸高斯极小极大定理（CGMT）直接推导出正则化线性回归中近似消息传递（AMP）的固定点方程，包括Onsager校正，并推广到广义AMP（GAMP），建立了两个框架之间的直接联系。

2026-10-14cs.ITmath.IT

广义记忆近似消息传递

Generalized Memory Approximate Message Passing

广义近似消息传递（GAMP）是广义线性模型（GLM）未知信号重构的一种有效方法。但是，它要求变换矩阵具有独立同分布（IID）项。在这种情况下，广义向量AMP（GVAMP）提出了一般的酉不变变换矩阵，但它有一个高复杂度的矩阵逆。为此，我们提出了一个通用的广义内存AMP（GMAMP）框架，包括现有的正交AMP/VAMP，GVAMP和内存AMP（MAMP）作为特殊的实例。由于局部处理器都是存储器的特点，GMAMP算法要求更严格的正交性，以保证IID的渐近高斯性和状态演化。为了满足这种正交性，建立了局部正交记忆估计。GMAMP框架提供了构建新的高级AMP类型算法的原则。作为一个例子，我们构造了贝叶斯最优GMAMP（BO-GMAMP），它使用低复杂度的记忆线性估计器来抑制线性干扰，因此其复杂度与GAMP相当。此外，我们证明了对于酉不变变换矩阵，BO-GMAMP实现了副本最小值（即，贝叶斯最优）MSE，如果它有一个唯一的不动点。

2021-10-15cs.ITeess.SPmath.IT

更多相关论文收起更多论文

旋转不变模型中多层估计的近似消息传递

Approximate Message Passing for Multi-Layer Estimation in Rotationally Invariant Models

Tsinghua University（清华大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Institute of Science and Technology Austria（奥地利科学技术研究所）

我们考虑的问题，重建信号和隐变量的观察来自一个多层网络的旋转不变的权重矩阵。多层结构对来自深层生成先验的推理进行建模，并且施加在权重上的旋转不变性推广了i.i.d.。高斯假设，允许一个复杂的相关结构，这是典型的应用。在这项工作中，我们提出了一类新的近似消息传递（AMP）算法，并给出了一个状态演化递归，它精确地刻画了它们在大系统极限下的性能。与现有的多层VAMP（ML-VAMP）方法相比，我们提出的AMP -被称为多层旋转不变广义AMP（ML-RI-GAMP）-提供了超越高斯设计的自然泛化，在这个意义上，它恢复了现有的高斯AMP作为一种特殊情况。此外，ML-RI-GAMP表现出显着较低的复杂性比ML-VAMP，因为计算密集的奇异值分解被替换的设计矩阵的矩的估计。最后，我们的数值结果表明，这种复杂性的增益来在算法的性能几乎没有成本。

2022-12-03cond-mat.dis-nncs.ITcs.LG

广义近似信息传递的协稀疏分析压缩感知算法

Generalized Approximate Message Passing for Cosparse Analysis Compressive Sensing

在余解析分析压缩感知（CS）中，人们试图通过利用信号的给定线性变换是余解析的知识来从有噪声的亚奈奎斯特线性测量估计非稀疏信号向量，即，有足够多的零。提出了一种基于广义近似消息传递（GAMP）算法的CS余分析方法。与其他AMP为基础的方法来解决这个问题，我们的作品与广泛的分析运营商和正则化。此外，我们提出了一种新的$\ell_0$样的软阈值MMSE去噪的尖峰和板分布的无限方差板的基础上。合成和实际数据集上的数值演示表明，现有的AMP为基础的，贪婪的，和重新加权的$\ell_1$方法的优势。

2014-10-19cs.ITmath.IT

无先验近似最优压缩感知：参数SURE近似消息传递

Near optimal compressed sensing without priors: Parametric SURE Approximate Message Passing

理论分析和经验证据都证实，近似消息传递（AMP）算法可以被解释为递归地解决信号去噪问题：在每次AMP迭代时，观察到高斯噪声扰动的原始信号。恢复信号相当于连续的噪声消除，直到噪声方差降低到令人满意的水平。在本文中，我们将斯坦的无偏风险估计（SURE）为基础的参数去噪与AMP框架，提出了新的参数SURE-AMP算法。在每次参数SURE-AMP迭代中，通过使SURE最小化来在参数类内自适应地优化去噪器，这完全取决于噪声观测。通过这种方式，确保参数SURE-AMP具有同类最佳的恢复和收敛速度。如果参数族包含最小均方误差（MMSE）估计器族，则在不知道信号先验的情况下，我们能够实现贝叶斯最优AMP性能。在本文中，我们诉诸的线性参数化的SURE基于去噪，并提出了三个不同的核家庭作为基函数。对Bernoulli-Gaussian、$k$ -dense和Student's-t信号的数值仿真表明，参数SURE-AMP不仅实现了最先进的恢复，而且运行速度比EM-GM-GAMP算法快20倍以上。

2014-08-12cs.ITmath.IT

宽带毫米波MIMO系统中的信道估计

Channel Estimation in Broadband Millimeter Wave MIMO Systems with Few-Bit ADCs

针对毫米波多输入多输出（MIMO）系统，提出了一种基于低比特模数转换器（ADC）的宽带信道估计算法。我们的方法利用联合稀疏的毫米波MIMO信道的角度和延迟域。我们制定的估计问题作为一个嘈杂的量化压缩感知问题，并解决它使用高效的近似消息传递（AMP）算法。特别是，我们使用Bernoulli-Gaussian混合分布与未知参数的角度延迟系数建模，并使用期望最大化（EM）形式的广义AMP（GAMP）和矢量AMP（VAMP）算法，同时学习的分布参数和计算近似最小均方误差（MSE）估计的信道系数。我们设计了一个训练序列，允许快速，FFT为基础的实现这些算法，同时最大限度地减少峰均功率比在发射机，使我们的方法有效地扩展到大量的天线元件和延迟。我们提出了一个详细的模拟研究，比较我们的算法的几个基准的结果。我们的研究调查的SNR，训练长度，训练类型，ADC的分辨率，和运行时间对信道估计的MSE，互信息，和可达到的速率的影响。结果表明，我们的方法允许1位ADC在低SNR下执行从1到无限位ADC，而4位ADC在中等SNR下执行从1到无限位ADC。

2017-12-06cs.ITmath.IT

深度学习中的量子几何洞见

Quantum Geometry insights in Deep Learning

University of Warsaw（华沙大学）

本文探讨了Monge-Ampère方程在深度学习中的核心作用，通过建立最优传输理论与Boltzmann学习的联系，并结合量子几何和重整化群流视角，为层级特征学习提供了跨学科的数学理解。

2025-03-01cs.ITcs.LGmath.DG