arXiv 1002.22402010-02-10cs.ITcs.AIcs.LGmath.IT

Chow-Liu算法的推广及其在统计学习中的应用

A Generalization of the Chow-Liu Algorithm and its Application to Statistical Learning

Joe Suzuki

摘要：

我们将Chow-Liu算法推广到一般随机变量，而以前的版本只考虑有限的情况。特别是，本文适用于推广铃木的学习算法，从数据森林，而不是树的基础上，通过平衡的健身数据的森林和森林的简单性的最小描述长度。其结果是，我们成功地获得了一个算法时，高斯和有限的随机变量都存在。

英文摘要：

We extend the Chow-Liu algorithm for general random variables while the previous versions only considered finite cases. In particular, this paper applies the generalization to Suzuki's learning algorithm that generates from data forests rather than trees based on the minimum description length by balancing the fitness of the data to the forest and the simplicity of the forest. As a result, we successfully obtain an algorithm when both of the Gaussian and finite random variables are present.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

Chow-Liu++：树伊辛模型的最优预测中心学习

Chow-Liu++: Optimal Prediction-Centric Learning of Tree Ising Models

Massachusetts Institute of Technology（麻省理工学院）

我们考虑从数据中学习树结构伊辛模型的问题，使得使用该模型计算的后续预测是准确的。具体地说，我们的目标是学习一个模型，使得小变量集$S$的后验$P(X_i|X_S)$是准确的。自50多年前引入以来，Chow-Liu算法，它可以有效地计算最大似然树，一直是学习树结构图形模型的基准算法。关于以预测为中心的局部总变差损失，Chow-Liu算法的样本复杂度的界限见[BK 19]。虽然这些结果表明，即使不可能恢复真正的底层图，也有可能学习有用的模型，但它们的边界取决于相互作用的最大强度，因此没有达到信息论的最优值。在本文中，我们介绍了一种新的算法，仔细结合了Chow-Liu算法的元素与树度量重建方法，以有效地和最佳地学习树伊辛模型下的预测为中心的损失。我们的算法是强大的模型误指定和对抗腐败。相反，我们证明了著名的Chow-Liu算法可以是任意次优的。

2021-11-24cs.DScs.ITcs.LG

Chow-Liu关于树型分布的近优学习

Near-Optimal Learning of Tree-Structured Distributions by Chow-Liu

National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）

我们为经典的Chow-Liu算法（IEEE Trans.~通知。~理论，1968年）来学习一个分布的树结构图形模型。对于$Σ^n$上的分布$P$和$n$节点上的树$T$，如果存在$T$结构的分布$Q$使得$D(P\;||\;Q)$至多比$P$的最佳可能树结构分布多$\varepsilon$，则我们说$T$是$P$的$\varepsilon$近似树。我们证明了如果$P$本身是树结构的，那么带有$\widetilde{O}(|Σ|^3 n\varepsilon^{-1})$ i.i.d.~ samples以恒定概率输出$P$的$\varepsilon$近似树。相反，对于一般的$P$（可能不是树结构），需要$Ω(n^2\varepsilon^{-2})$样本来找到$\varepsilon$近似树。我们的上界基于一个新的条件独立性测试器，该测试器解决了Canonne，Diakonikolas，Kane和Stewart~（STOC，2018）提出的一个开放问题：我们证明了对于三个随机变量$X,Y,Z$，每个随机变量都超过$Σ$，测试$I(X; Y \mid Z)$是否是$0$或$\geq \varepsilon$是可能的，使用$\widetilde{O}(|Σ|^3/\varepsilon)$样本。最后，我们表明，对于一个特定的树$T$，与$\widetilde{O} (|Σ|^2n\var…

2021-07-22cs.DScs.ITcs.LG

隐树结构的最优学习速率

Optimal Rates for Learning Hidden Tree Structures

Rutgers, The State University of New Jersey（罗格斯大学）；Michigan State University（密歇根州立大学）

我们提供了高概率有限样本复杂性保证隐藏的非参数结构学习的树形图形模型，其隐藏和可观察的节点是离散随机变量，有限或可数字母表。我们研究了一个基本的数量称为（噪声）信息阈值，这是自然产生的错误分析的Chow-Liu算法，我们讨论，提供明确的必要和充分条件样本的复杂性，有效地总结了树结构学习问题的困难。具体来说，我们表明，有限样本的复杂性的Chow-Liu算法，以确保准确的结构恢复噪声数据是成反比的信息阈值平方（提供它是积极的），并缩放几乎是几何相对于节点的数量超过一个给定的故障概率。相反，我们表明，如果样本数小于一个绝对常数乘以信息阈值平方的倒数，那么没有算法可以恢复隐藏的树结构的概率大于一半。因此，我们的上界和下界与信息阈值相匹配，这表明它是学习隐藏树结构模型问题的基本量。此外，Chow-Liu算法以噪声数据作为输入，相对于信息阈值达到最优速率。最后，作为我们分析的副产品，我们解决了存在非均匀分布观测噪声的树结构学习问题，也为Chow-Liu算法在此设置下的收敛提供了条件。

2021-03-31cs.ITcs.LGmath.IT

基于向量变量的隐树学习的鲁棒化算法

Robustifying Algorithms of Learning Latent Trees with Vector Variables

National University of Singapore（新加坡国立大学）

我们考虑学习高斯潜在树模型的结构与向量观测时，其中的一个子集是任意损坏。首先，我们给出了递归递归搜索（RG）和Chow-Liu递归搜索（CLRG）的样本复杂度，而不假设有效深度在观察到的节点数中有界，显著推广了Choi等人的结果。（2011）。我们发现，在CLRG的Chow-Liu初始化大大降低了RG的样本复杂性，从指数的直径的树，只有对数的直径的隐马尔可夫模型（HMM）。其次，我们鲁棒RG，CLRG，邻居连接（NJ）和频谱NJ（SNJ）通过使用截断内积。这些鲁棒算法可以容忍的腐败数量的干净的样本的数量的平方根。最后，我们得出了第一个已知的实例相关的不可能性结果的结构学习的潜在树。通过比较CLRG和NJ的样本复杂度和不可能性结果，验证了CLRG和NJ的鲁棒版本的最优性。

2021-10-25cs.ITcs.LGmath.IT

Costa的EPI向量推广的一个反例及部分归结

A Counterexample to the Vector Generalization of Costa's EPI, and Partial Resolution

本文给出了Liu，Liu，Poor和Shamai关于Costa熵幂不等式（EPI）的向量推广的一个反例.特别地，如果凸组合中的矩阵值参数不与加性高斯噪声的协方差交换，则所要求保护的不等式可能失败。相反，如果这两个矩阵可交换，则不等式成立。

2017-04-20cs.ITmath.IT

森林数据学习及其通用编码

Forest Learning from Data and its Universal Coding

本文考虑从具有$p$变量的$n$样本的数据中进行结构学习，假设结构是森林，使用Chow-Liu算法。具体来说，对于不完整的数据，我们构建了两个模型选择算法，完成$O(p^2)$步骤：一个获得森林的最大后验概率给定的数据，和其他获得的森林收敛到真正的$n$增加。我们表明，这两个森林一般是不同的，当一些值丢失。此外，我们提出了基准数据集的估计，以证明这两种算法在现实情况下的工作。此外，我们推导出的条件熵，提供没有值丢失，我们评估的不完整数据的通用编码的非丢失样本的数量方面的每样本的预期冗余。

2018-08-03cs.ITmath.IT

更多相关论文收起更多论文

学习高维马尔可夫森林分布：出错率分析

Learning High-Dimensional Markov Forest Distributions: Analysis of Error Rates

从独立同分布学习森林结构离散图模型的问题。样品被认为。提出了一种基于自适应阈值的Chow-Liu树剪枝算法。结果表明，该算法具有结构一致性和风险一致性，且在固定的模型规模下，结构学习的错误概率随样本数的衰减比任何多项式都快.对于模型的大小d和边数k与样本数n成比例的高维情形，给出了算法满足结构和风险约束的（n，d，k）充分条件.此外，学习的极值结构被确定;我们证明了独立的（分别）。树）模型是最难的（分别为）。最容易）在结构学习的出错率方面使用所提出的算法来学习。

2011-02-13cs.ITmath.ITstat.ML