首页/论文/1607.01533

arXiv 1607.015332016-07-06cs.ITmath.IT

消息重要性度量及其在大数据中少数子集检测中的应用

Message Importance Measure and Its Application to Minority Subset Detection in Big Data

Pingyi Fan, Yunquan Dong, Jiaxun Lu, Shanyun Liu

备注：: 9 pages, 3 figures

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

消息重要性度量（MIM）是描述大数据场景下消息重要性的重要指标。类似于Shannon熵和Renyi熵，MIM需要表征随机过程的不确定性和一些相关的统计特征。此外，MIM还需要突出那些发生概率相对较小的事件的重要性，因此特别适用于大数据。本文首先从信息论的角度定义了一个参数MIM测度，然后研究了它的性质。我们还提出了一个参数选择原则，提供了答案的少数子集检测问题在大数据的统计处理。

英文摘要：

Message importance measure (MIM) is an important index to describe the message importance in the scenario of big data. Similar to the Shannon Entropy and Renyi Entropy, MIM is required to characterize the uncertainty of a random process and some related statistical characteristics. Moreover, MIM also need to highlight the importance of those events with relatively small occurring probabilities, thereby is especially applicable to big data. In this paper, we first define a parametric MIM measure from the viewpoint of information theory and then investigate its properties. We also present a parameter selection principle that provides answers to the minority subsets detection problem in the statistical processing of big data.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

聚焦概率元素：大数据中消息重要性度量的参数选择

Focusing on a Probability Element: Parameter Selection of Message Importance Measure in Big Data

针对大数据异常检测，本文提出一种聚焦特定概率元素的 MIM 参数选择方法，分析其性质并验证带先验概率时在统计处理模型中的可用性。

2018-11-11cs.ITmath.IT

非参数消息重要度量：大数据存储编码设计与传输规划

Non-parametric Message Important Measure: Storage Code Design and Transmission Planning for Big Data

本文讨论了大数据的存储和传输，其中考虑到消息的重要性。与Shannon熵和Renyi熵类似，我们定义了非参数消息重要性测度（NMIM）作为大数据场景下消息重要性的度量，它可以表征随机事件的不确定性。实验结果表明，该模型能够充分描述大数据的两个关键特征：稀有事件发现和大事件分布。基于NMIM，我们首先提出了一种有效的数据存储压缩编码方式，然后讨论了几种典型信道模型下的信道传输。数值仿真结果表明，该策略在不损失消息重要性的前提下，占用较少的存储空间，且存在最大传输量的增长区和饱和区，有助于设计更好的实用通信系统。

2017-09-29cs.ITmath.ITmath.ST

双线性广义向量近似消息传递

Bilinear Generalized Vector Approximate Message Passing

我们引入了双线性广义向量近似消息传递（BiG-VAMP）算法，该算法通过概率观测模型从噪声乘积中联合恢复两个矩阵U和V。BiG-VAMP提供了最大和积循环置信传播（BP）的计算高效的近似实现。我们展示了如何建议的BiG-VAMP算法恢复不同类型的结构化矩阵，并克服了其他国家的最先进的方法的双线性恢复问题，如BiG-AMP，BAd-VAMP和LowRAMP的根本限制。本质上，BiG-VAMP适用于更广泛的实际应用，涉及一般形式的结构化矩阵。为了理论性能预测，我们还进行了状态演化（SE）分析所提出的算法，并显示其与渐近经验均方误差（MSE）的一致性。各种应用程序，如矩阵分解，字典学习和矩阵完成的数值结果表明，明确提出的BiG-VAMP算法的有效性和其优越性比国家的最先进的算法。使用开发的SE框架，我们还检查（作为一个例子）的矩阵完成问题的相变图，从而揭示了一个低检测区域对应的低信噪比（SNR）制度。

2020-09-15cs.ITmath.IT

大数据汇集中需要多少样本：一种差异消息重要性度量

How Many Samples Required in Big Data Collection: A Differential Message Importance Measure

信息收集是大数据中的一个基本问题，其中样本集的大小起着非常重要的作用。这项工作考虑到信息收集过程中考虑到消息的重要性。与微分熵类似，我们定义了微分消息重要性度量（DMIM）作为连续随机变量的消息重要性度量。证明了DMIM的变化可以描述一组样本值的分布与理论分布之间的差距。实际上，DMIM的偏差等价于Kolmogorov-Smirnov统计量，但它提供了一种表征分布拟合优度的新方法。数值结果表明DMIM的一些基本性质和建议的近似值的准确性。随着DMIM偏差的减小，经验分布逐渐逼近真实分布，这对实际系统中采样点的选取具有指导意义。

2018-01-12cs.ITmath.ITmath.ST

双线性广义近似消息传递

Bilinear Generalized Approximate Message Passing

我们扩展的广义近似消息传递（G-AMP）的方法，最初提出的高维广义线性回归的压缩感知的背景下，广义双线性的情况下，使其应用到矩阵完成，鲁棒PCA，字典学习，以及相关的矩阵分解问题。在本文的第一部分中，我们推导出我们的双线性G-AMP（BiG-AMP）算法作为和-积置信传播算法在高维极限的近似，其中中心极限定理参数和泰勒级数近似适用，并在具有已知先验的统计独立矩阵项的假设下。此外，我们提出了一个自适应阻尼机制，艾滋病在有限的问题规模下的收敛，期望最大化（EM）为基础的方法来自动调整参数的假设先验，和两个排名选择策略。在本文的第二部分中，我们讨论了EM-BiG-AMP对矩阵完成，鲁棒PCA和字典学习问题的专业化，并将EM-BiG-AMP与每个问题的最先进算法进行了广泛的实证研究。我们使用合成和真实世界数据集的数值结果表明，EM-BiG-AMP具有出色的重建精度（通常是同类最佳），同时保持有竞争力的运行时间并避免调整算法参数的需要。

2014-06-05cs.ITmath.IT

放大消息间距离：论大数据中的信息散度测度

Amplifying Inter-message Distance: On Information Divergence Measures in Big Data

本文提出参数化 M-I 散度及其性质与估计算法，可放大相邻分布间信息距离，并用于大数据异常检测中的聚类和分类决策。

2017-09-12cs.ITmath.IT

更多相关论文收起更多论文

状态变化挖掘：论大数据中结合消息重要性的信息散度

State Variation Mining: On Information Divergence with Message Importance in Big Data

针对大数据中小概率事件主导消息重要性的问题，提出 MITM 度量，分析其传递容量、连续扩展与稳健性，并用于移动边缘计算缓存队列长度选择。

2018-11-11cs.ITmath.ITmath.ST

私有函数检索

Private Function Retrieval

云计算服务的广泛使用提出了一个问题，即如何将处理任务委托给不受信任的分布式方，而不侵犯其数据和算法的隐私。出于算法的隐私问题在分布式计算系统中，在本文中，我们介绍了私人功能检索（PFR）的问题，用户希望有效地检索一个线性函数的$K$消息从$N$非通信复制服务器，同时保持隐藏的功能，从每个单独的服务器。目标是找到一个具有最小通信成本的方案。为了表征通信成本的基本限制，我们将PFR问题的容量定义为可以私下检索的消息的大小（这是一个文件的大小）归一化到所需的下载信息位。我们首先表明，对于PFR问题的$K$消息，$N=2$服务器和一个线性函数与二进制系数的能力是$C=\frac{1}{2}\Big(1-\frac{1}{2^K}\Big)^{-1}$。有趣的是，这是从$N=2$服务器检索其中一个$K$消息的能力，同时保持对每个单独的服务器隐藏所请求消息的索引，这个问题被称为私有信息检索（PIR）。然后，我们将所提出的可实现方案推广到任意数目的服务器和系数的情况下，在字段$GF(q)$与任意$q$和获得$R=\Big(1-\frac{1}{N}\Big)\Big(1+\frac{\frac{1}{N-1}}{(\frac{q^K-1}{q-1})^{N-1}}\Big)$。

2017-11-15cs.CRcs.ITmath.IT

差分信息重要性度量：大数据结构表征中所需采样数的新方法

Differential Message Importance Measure: A New Approach to the Required Sampling Number in Big Data Structure Characterization

Tsinghua National Laboratory for Information Science and Technology（清华大学信息科学技术国家重点实验室）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）

本文提出差分信息重要性度量（DMIM）用于大数据结构表征中所需采样数的确定，通过分析信息收集过程，提供无分布假设的判定标准，并证明DMIM变化可描述样本分布与理论分布的差距。

2018-01-22cs.ITcs.NAmath.IT

尖峰脉冲模型中近似信息传递的非渐近框架

A Non-Asymptotic Framework for Approximate Message Passing in Spiked Models

the Wharton School（沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）

近似消息传递（AMP）是解决高维统计问题的一种有效的迭代范式。然而，以前的AMP理论-主要集中在高维渐近-未能预测AMP动态时，迭代次数超过$o\big(\frac{\log n}{\log\log n}\big)$（与$n$的问题维度）。为了解决这一不足，本文开发了一个非渐近的框架，了解AMP的尖峰矩阵估计。基于AMP更新和可控残差项的新分解，我们提出了一种分析方法来表征AMP在独立初始化存在下的有限样本行为，并进一步推广到允许谱初始化。作为所提出的分析配方的两个具体结果：（i）当求解$\mathbb{Z}_2$同步时，我们预测了高达$O\big(\frac{n}{\mathrm{poly}\log n}\big)$迭代的谱初始化AMP的行为，表明该算法成功而不需要后续的细化阶段（如\citet{celentano2021local}最近所述）;（ii）我们在稀疏PCA（在尖峰Wigner模型中）中描述了AMP在宽范围的信噪比下的非渐近行为。

2023-03-17cs.ITcs.LGeess.SP

基于近似消息传递的传感器盲标定

Blind Sensor Calibration using Approximate Message Passing

近似稀疏数据的普遍存在使得各种社区对压缩感知算法产生了极大的兴趣。虽然这些对于具有加性噪声的线性测量是非常成功的并且被很好地理解，但是如果不完美的感测设备引入由传感器失准或故障引起的与该理想信号采集过程的偏差，则将它们应用于实际数据可能是有问题的。我们提出了一种消息传递算法，称为校准近似消息传递（Cal-AMP），可以处理各种传感器引起的缺陷。除了推导算法的一般形式，我们数值研究两个特定的设置。在第一种情况下，一小部分传感器出现故障，给出与信号无关的读数。在第二种方法中，传感器被去校准，并且每个传感器向测量引入不同的乘法增益。Cal-AMP共享近似消息传递的可扩展性，允许处理这些问题的大规模实例，并且实验性地展示了成功和失败域之间的相变。

2016-07-26cs.ITmath.IT

多处理器近似消息传递综述

An Overview of Multi-Processor Approximate Message Passing

近似消息传递（AMP）是一种算法框架，用于从噪声测量中解决线性逆问题，具有令人兴奋的应用，例如重建图像、音频、超光谱图像和各种其他信号，包括在压缩信号采集系统中采集的信号。大数据系统的日益普及增加了对大规模问题的兴趣，这可能涉及不适合传统计算系统的巨大测量矩阵。为了应对大规模处理的挑战，已经开发了AMP的多处理器（MP）版本。我们提供了两个这样的MP-AMP变体的概述。在row-MP-AMP中，每个计算节点存储矩阵的行的子集并且处理对应的测量。在列- MP-AMP中，每个节点存储列的子集，并且单独负责重构信号的一部分。我们将讨论这两种方法的优缺点，总结每种方法的最新研究结果，并解释每种方法何时可能是可行的方法。突出的方面包括一些最近的结果，两个MP-AMP算法的状态演变，并使用数据压缩，以减少在MP网络中的通信。

2017-02-10cs.ITmath.IT

大数据中小概率事件的重要性：信息度量、应用与挑战

Importance of Small Probability Events in Big Data: Information Measures, Applications, and Challenges

本文从信息论角度综述大数据中小概率稀有事件的重要性度量理论与模型，梳理其在消息处理和数据分析中的应用，并指出面向智慧城市、自动驾驶和物联网异常检测的未来挑战。

2019-07-08cs.ITmath.ITmath.ST

大数据中的小概率事件检测：贝叶斯测试和MIM的集成方法

Minor probability events detection in big data: An integrated approach with Bayesian testing and MIM

小概率事件检测是大数据中的一个关键问题。这些事件往往包括很少发生的现象，应仔细检测和监测。在给定事件的先验概率和观测值的条件分布的情况下，贝叶斯检测可以应用于估计观测值后面的事件。证明了贝叶斯检测在平均意义下具有最小的总体测试误差。然而，当检测事件的先验概率很小，条件贝叶斯检测会导致高的漏测率。针对这一问题，提出了一种基于贝叶斯检测和消息重要性度量的改进检测方法，该方法能够在检测概率较小的事件的情况下降低误测率。该结果有助于挖掘大数据中的小概率事件。

2018-07-16cs.ITeess.SPmath.IT

面向大数据压缩的本地解码与更新

Local Decode and Update for Big Data Compression

本文研究同时允许局部解码和局部更新的数据压缩。主要结果是一个通用的压缩方案，无记忆源具有以下特点。可以使速率任意地接近底层源的熵，可以通过探测或修改在片段的大小上平均线性的码字比特的数量来恢复或更新源的连续片段，并且总体编码和解码复杂度在源的块长度上是准线性的。具体地，可以通过探测或修改恒定数量的码字比特来执行单个消息符号的本地解码或更新。这后一部分改善了以前最知名的结果，本地解码或更新效率随块长度的增长而增长。

2019-10-14cs.DScs.ITmath.IT

信息度量相似性理论：基于Shannon熵的信息重要性度量

Information Measure Similarity Theory: Message Importance Measure via Shannon Entropy

在异常检测、安全系统等大数据应用场景中，罕见事件引起了人们的广泛关注。为了从概率的角度刻画稀有事件的重要性，提出了消息重要性度量（MIM）作为一种语义分析工具。与Shannon熵相似，MIM在信息处理中有其特殊的功能，其中MIM的参数$\varpi$起着至关重要的作用。实际上，参数$\varpi$支配MIM的性质，基于此，MIM具有三个工作区域，其中对应的参数分别满足$ 0 \le \varpi \le 2/\max\{p(x_i)\}$、$\varpi > 2/\max\{p(x_i)\}$和$\varpi < 0$。此外，在$ 0 \le \varpi \le 2/\max\{p(x_i)\}$的情况下，MIM和Shannon熵在信息压缩和传输方面具有相似性，这为信息论提供了一个新的视角。本文首先构建了一个具有消息重要性度量的系统模型，提出了消息重要性损失的概念，丰富了信息处理策略。此外，我们提出了消息重要性损失容量来衡量信息的重要性收获在传输。此外，提出了消息重要性失真函数，给出了基于消息重要性测度的信息压缩的上界。此外，研究了信息重要性损失约束下的比特率传输问题，拓宽了Shannon信息论的适用范围。

2019-01-04cs.ITmath.ITmath.ST

基于Turbo接收机的大规模随机接入中的联合活动检测和数据解码

Joint Activity Detection and Data Decoding in Massive Random Access via a Turbo Receiver

在本文中，我们提出了一个涡轮接收机的联合活动检测和数据解码在免授权的大规模随机接入，迭代之间的检测器和置信传播（BP）为基础的信道解码器。具体而言，负责用户活动检测，信道估计，和软数据符号检测，检测器是基于双线性推理问题，利用在接收到的导频和数据信号的共同稀疏模式。采用双线性广义近似消息传递（BiG-AMP）算法，利用信道解码器估计的发送数据符号概率作为先验知识，解决了该问题。此外，从检测器导出外部信息以提高解码器的信道解码精度。仿真结果表明，与传统的设计相比，所提出的Turbo接收机实现了显着的改善。

2021-07-20cs.ITeess.SPmath.IT