Focusing on a Probability Element: Parameter Selection of Message Importance Measure in Big Data
针对大数据异常检测，本文提出一种聚焦特定概率元素的 MIM 参数选择方法，分析其性质并验证带先验概率时在统计处理模型中的可用性。
2018-11-11 cs.IT math.IT
Bilinear Generalized Vector Approximate Message Passing
我们引入了双线性广义向量近似消息传递（BiG-VAMP）算法，该算法通过概率观测模型从噪声乘积中联合恢复两个矩阵U和V。BiG-VAMP提供了最大和积循环置信传播（BP）的计算高效的近似实现。我们展示了如何建议的BiG-VAMP算法恢复不同类型的结构化矩阵，并克服了其他国家的最先进的方法的双线性恢复问题，如BiG-AMP，BAd-VAMP和LowRAMP的根本限制。本质上，BiG-VAMP适用于更广泛的实际应用，涉及一般形式的结构化矩阵。为了理论性能预测，我们还进行了状态演化（SE）分析所提出的算法，并显示其与渐近经验均方误差（MSE）的一致性。各种应用程序，如矩阵分解，字典学习和矩阵完成的数值结果表明，明确提出的BiG-VAMP算法的有效性和其优越性比国家的最先进的算法。使用开发的SE框架，我们还检查（作为一个例子）的矩阵完成问题的相变图，从而揭示了一个低检测区域对应的低信噪比（SNR）制度。
2020-09-15 cs.IT math.IT
An Importance Aware Weighted Coding Theorem Using Message Importance Measure
在信源编码中有许多场景，其中不仅要考虑码长，还要考虑每个值的重要性。与传统的编码定理不同，通过对码长增加重要性权重，定义了加权码字长度的平均代价作为码的重要性度量。这种新的信息理论度量通过关注用户的选择，根据用户的关注为每个符号分配重要性权重，从而推广了平均码字长度。在此基础上，给出了边界的编码定理，所得结果是传统编码定理的推广。
2020-05-21 cs.IT math.IT
A Non-Asymptotic Framework for Approximate Message Passing in Spiked Models
the Wharton School（沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）
近似消息传递（AMP）是解决高维统计问题的一种有效的迭代范式。然而，以前的AMP理论-主要集中在高维渐近-未能预测AMP动态时，迭代次数超过$o\big(\frac{\log n}{\log\log n}\big)$（与$n$的问题维度）。为了解决这一不足，本文开发了一个非渐近的框架，了解AMP的尖峰矩阵估计。基于AMP更新和可控残差项的新分解，我们提出了一种分析方法来表征AMP在独立初始化存在下的有限样本行为，并进一步推广到允许谱初始化。作为所提出的分析配方的两个具体结果：（i）当求解$\mathbb{Z}_2$同步时，我们预测了高达$O\big(\frac{n}{\mathrm{poly}\log n}\big)$迭代的谱初始化AMP的行为，表明该算法成功而不需要后续的细化阶段（如\citet{celentano2021local}最近所述）;（ii）我们在稀疏PCA（在尖峰Wigner模型中）中描述了AMP在宽范围的信噪比下的非渐近行为。
2023-03-17 cs.IT cs.LG eess.SP
Private Function Retrieval
云计算服务的广泛使用提出了一个问题，即如何将处理任务委托给不受信任的分布式方，而不侵犯其数据和算法的隐私。出于算法的隐私问题在分布式计算系统中，在本文中，我们介绍了私人功能检索（PFR）的问题，用户希望有效地检索一个线性函数的$K$消息从$N$非通信复制服务器，同时保持隐藏的功能，从每个单独的服务器。目标是找到一个具有最小通信成本的方案。为了表征通信成本的基本限制，我们将PFR问题的容量定义为可以私下检索的消息的大小（这是一个文件的大小）归一化到所需的下载信息位。我们首先表明，对于PFR问题的$K$消息，$N=2$服务器和一个线性函数与二进制系数的能力是$C=\frac{1}{2}\Big(1-\frac{1}{2^K}\Big)^{-1}$。有趣的是，这是从$N=2$服务器检索其中一个$K$消息的能力，同时保持对每个单独的服务器隐藏所请求消息的索引，这个问题被称为私有信息检索（PIR）。然后，我们将所提出的可实现方案推广到任意数目的服务器和系数的情况下，在字段$GF(q)$与任意$q$和获得$R=\Big(1-\frac{1}{N}\Big)\Big(1+\frac{\frac{1}{N-1}}{(\frac{q^K-1}{q-1})^{N-1}}\Big)$。
2017-11-15 cs.CR cs.IT math.IT
Storage Space Allocation Strategy for Digital Data with Message Importance
本文主要从信息重要性的角度研究了在有限的总存储空间内，重构数据追求失真最小时的有损压缩存储问题。为此，我们将这个问题转化为一个优化的重要性加权重建误差的数据重建。在此基础上，提出了一种限制性注水的数字数据存储优化分配策略。也就是说，它是一种高效的自适应压缩策略，因为它可以合理地利用所有的存储空间。它还表征了相对加权重建误差和可用存储大小之间的权衡。此外，本文还提出了用户的偏好和数据分布的特殊性都可以触发小概率事件场景，即只有一小部分数据可以覆盖绝大多数用户的兴趣。无论是上述原因之一，具有高度聚集的消息重要性的数据有利于压缩存储。与此相反，具有均匀信息分布的数据是不可压缩的，这与信息论中的结论是一致的。
2020-02-20 cs.DS cs.IT math.IT
Bilinear Generalized Approximate Message Passing
我们扩展的广义近似消息传递（G-AMP）的方法，最初提出的高维广义线性回归的压缩感知的背景下，广义双线性的情况下，使其应用到矩阵完成，鲁棒PCA，字典学习，以及相关的矩阵分解问题。在本文的第一部分中，我们推导出我们的双线性G-AMP（BiG-AMP）算法作为和-积置信传播算法在高维极限的近似，其中中心极限定理参数和泰勒级数近似适用，并在具有已知先验的统计独立矩阵项的假设下。此外，我们提出了一个自适应阻尼机制，艾滋病在有限的问题规模下的收敛，期望最大化（EM）为基础的方法来自动调整参数的假设先验，和两个排名选择策略。在本文的第二部分中，我们讨论了EM-BiG-AMP对矩阵完成，鲁棒PCA和字典学习问题的专业化，并将EM-BiG-AMP与每个问题的最先进算法进行了广泛的实证研究。我们使用合成和真实世界数据集的数值结果表明，EM-BiG-AMP具有出色的重建精度（通常是同类最佳），同时保持有竞争力的运行时间并避免调整算法参数的需要。
2014-06-05 cs.IT math.IT
Importance of Small Probability Events in Big Data: Information Measures, Applications, and Challenges
本文从信息论角度综述大数据中小概率稀有事件的重要性度量理论与模型，梳理其在消息处理和数据分析中的应用，并指出面向智慧城市、自动驾驶和物联网异常检测的未来挑战。
2019-07-08 cs.IT math.IT math.ST
Amplifying Inter-message Distance: On Information Divergence Measures in Big Data
本文提出参数化 M-I 散度及其性质与估计算法，可放大相邻分布间信息距离，并用于大数据异常检测中的聚类和分类决策。
2017-09-12 cs.IT math.IT
Layered construction of Message-Wise Unequal Error Protection Codes
Dept. of Information and Communication Engineering, Nagoya University（名古屋大学信息通信工程系）
针对短分组通信，提出一种通过将保护结构嵌入码本汉明距离结构的分层构造方法，实现消息级不等差错保护，并推导了正确分组分类的理论条件。
2026-05-22 cs.IT math.IT
Learning Channel Capacity with Neural Mutual Information Estimator Based on Message Importance Measure
本文提出基于消息重要性度量的互信息估计器MMIE及广义协作框架，通过生成器与判别器对抗训练同时学习最优码本和估计信道容量，实验表明其在准确性和稳定性上达到最先进水平。
2023-12-04 cs.IT eess.SP math.IT
Blind Sensor Calibration using Approximate Message Passing
近似稀疏数据的普遍存在使得各种社区对压缩感知算法产生了极大的兴趣。虽然这些对于具有加性噪声的线性测量是非常成功的并且被很好地理解，但是如果不完美的感测设备引入由传感器失准或故障引起的与该理想信号采集过程的偏差，则将它们应用于实际数据可能是有问题的。我们提出了一种消息传递算法，称为校准近似消息传递（Cal-AMP），可以处理各种传感器引起的缺陷。除了推导算法的一般形式，我们数值研究两个特定的设置。在第一种情况下，一小部分传感器出现故障，给出与信号无关的读数。在第二种方法中，传感器被去校准，并且每个传感器向测量引入不同的乘法增益。Cal-AMP共享近似消息传递的可扩展性，允许处理这些问题的大规模实例，并且实验性地展示了成功和失败域之间的相变。
2016-07-26 cs.IT math.IT
Minor probability events detection in big data: An integrated approach with Bayesian testing and MIM
小概率事件检测是大数据中的一个关键问题。这些事件往往包括很少发生的现象，应仔细检测和监测。在给定事件的先验概率和观测值的条件分布的情况下，贝叶斯检测可以应用于估计观测值后面的事件。证明了贝叶斯检测在平均意义下具有最小的总体测试误差。然而，当检测事件的先验概率很小，条件贝叶斯检测会导致高的漏测率。针对这一问题，提出了一种基于贝叶斯检测和消息重要性度量的改进检测方法，该方法能够在检测概率较小的事件的情况下降低误测率。该结果有助于挖掘大数据中的小概率事件。
2018-07-16 cs.IT eess.SP math.IT
Local Decode and Update for Big Data Compression
本文研究同时允许局部解码和局部更新的数据压缩。主要结果是一个通用的压缩方案，无记忆源具有以下特点。可以使速率任意地接近底层源的熵，可以通过探测或修改在片段的大小上平均线性的码字比特的数量来恢复或更新源的连续片段，并且总体编码和解码复杂度在源的块长度上是准线性的。具体地，可以通过探测或修改恒定数量的码字比特来执行单个消息符号的本地解码或更新。这后一部分改善了以前最知名的结果，本地解码或更新效率随块长度的增长而增长。
2019-10-14 cs.DS cs.IT math.IT
An Overview of Multi-Processor Approximate Message Passing
近似消息传递（AMP）是一种算法框架，用于从噪声测量中解决线性逆问题，具有令人兴奋的应用，例如重建图像、音频、超光谱图像和各种其他信号，包括在压缩信号采集系统中采集的信号。大数据系统的日益普及增加了对大规模问题的兴趣，这可能涉及不适合传统计算系统的巨大测量矩阵。为了应对大规模处理的挑战，已经开发了AMP的多处理器（MP）版本。我们提供了两个这样的MP-AMP变体的概述。在row-MP-AMP中，每个计算节点存储矩阵的行的子集并且处理对应的测量。在列- MP-AMP中，每个节点存储列的子集，并且单独负责重构信号的一部分。我们将讨论这两种方法的优缺点，总结每种方法的最新研究结果，并解释每种方法何时可能是可行的方法。突出的方面包括一些最近的结果，两个MP-AMP算法的状态演变，并使用数据压缩，以减少在MP网络中的通信。
2017-02-10 cs.IT math.IT
An Modified Cole's Importance Sampling Method For Low Error Floor QC-LDPC Codes Construction
我们修改了Cole的重要性采样（IS）方法，用于枚举陷阱集（TS，非对称子图），导致消息传递解码器下出现错误。基于以下几种思想的组合，提出了Cole的IS修改：使用消息传递迭代的展开的并行TS脉冲树分解，根据Tanner图/ Forney的正规图对称-图自同构的短循环密集和直接的思想。它允许优越的Velasquez-Subramani和Karimi-Banihashemi TS计数方法。特别是在PEG（1008，504）Mackay代码下提出的方法，与Velasquez-Subramani LP方法相比，单线程实现快5027倍（71463倍，多线程），与原始Cole方法相比快43倍。对于（2640，1320）Margulis码下的TS枚举问题，与Velasquez-Subramani LP方法相比，本文提出的方法单线程实现速度快37958倍，比Karimi-Banihashemi方法快82倍，比Cole原方法快134倍。NVIDIA Titan RTX GPU实现所提出的方法提供了进一步的2-30倍的加速。FPGA器件提供从1.25到44倍的进一步加速。通过构造QC-LDPC码的实例，说明了EMD谱的改善、汉明码距的增大对TS谱和BER/FER错误平层水平的影响。
2022-08-11 cs.IT math.IT
BEAMWAVE: Cross-Layer Beamforming and Scheduling for Superimposed Transmissions in Industrial IoT mmWave Networks
物联网设备在工业4.0中的无处不在预计将促进更高的可靠性，安全性和效率。然而，互连大量的无线设备而不危及系统性能证明是具有挑战性的。为了满足未来工业的需求，我们研究了毫米波段分层复用（LDM）系统中波束形成和调度的跨层设计。调度是至关重要的，因为工业环境中的设备预计将迅速激增。此外，高性能波束成形是必要的，以确保可扩展性。通过采用LDM，可以非正交地叠加多个传输。具体来说，我们认为一个优越的重要性控制组播消息需要无处不在的所有设备和重要性的私人单播消息的目标是一个子集的预定设备。由于NP困难，我们提出了BEAMWAVE，它将问题分解为波束形成和调度。通过仿真，我们表明，BEAMWAVE达到近最优，优于其他竞争计划。
2021-08-09 cs.IT eess.SP math.IT
