Identifiability and Estimation for Unlabeled Finite Mixtures under Marginal Independence
Department of Mathematical and Computing Science, Institute of Science Tokyo(科学东京学院数学与计算科学系);RIKEN Center for Advanced Intelligence Project(日本学术振兴会先进人工智能项目中心)
研究无标签有限混合模型中,利用边际独立性假设恢复潜在成分和估计混合矩阵,提出PM-MMD估计器并证明其收敛性。
2026-08-14 cs.LG stat.ML
A Theory of Uncertainty Variables for State Estimation and Inference
Massachusetts Institute of Technology(麻省理工学院)
我们开发了一个新的框架的不确定性变量模型的不确定性。一个不确定性变量的特征在于一个不确定性集合,它的实现必然位于其中,而条件不确定性的特征在于一个集合映射,从一个变量的给定实现到另一个变量的一组可能实现。我们证明了贝叶斯定律和不确定性变量的全概率等价定律。我们定义了一个概念的独立性,条件独立性,成对独立的不确定性变量的集合,并表明,这种新的概念的独立性保留了独立定义的随机变量的属性。然后,我们开发了一个图形化的模型,即贝叶斯不确定性网络,贝叶斯网络等价定义的不确定性变量的集合,并表明,所有的自然条件独立性,预期的贝叶斯网络,持有贝叶斯不确定性网络。我们还定义了点估计的概念,并说明了它与最大后验估计的关系。概率论以一个分布函数(相当于一个概率测度)作为基元,并在其上建立所有其他有用的概念,如全概率定律、贝叶斯定律、独立性、图形模型、点估计等。我们的工作表明,完全可以从一个集合而不是一个分布函数开始,并保留状态估计和推理所需的所有有用的思想。
2019-12-09 cs.LG math.ST stat.ML
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida(佛罗里达大学)
我们引入了一种新的基于机器学习的方法,我们称之为独立分类器网络(InClass网)技术,条件独立混合模型(CIMM)的非参数估计。我们将CIMM的估计视为多类分类问题,因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络(NN)组成,每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力,我们允许模型的条件独立变量是单独的高维,这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个(不同的)充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包,并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Supervised Feature Selection via Dependence Estimation
NICTA(澳大利亚国家信息与通信技术研究院);University of Sydney(悉尼大学);ANU(澳大利亚国立大学);MPI for Biological Cybernetics(马克斯·普朗克生物控制论研究所);LMU(慕尼黑大学)
我们介绍了一个框架过滤功能,采用希尔伯特-施密特独立准则(HSIC)作为衡量的功能和标签之间的依赖关系。关键的想法是,好的功能应该最大限度地提高这种依赖性。在此框架下统一了各种监督学习问题(包括分类和回归)的特征选择,并且可以使用后向消除算法来近似解。我们证明了我们的方法在人工和现实世界的数据集上的实用性。
2007-04-20 cs.LG
Robust estimation of tree structured Gaussian Graphical Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联合考虑高斯随机变量,其条件独立结构由图模型指定。如果我们观察变量的实现,我们可以计算协方差阵,众所周知,逆协方差阵的支持对应于图形模型的边缘。相反,假设我们只有噪声观测。如果每个节点上的噪声是独立的,我们可以计算协方差阵和一个未知对角线的和。这个和的逆(一般来说)是稠密的。我们要问:原来的独立结构还能恢复吗?我们解决这个问题的树结构的图形模型。我们证明了这个问题是不可识别的,但这种不可识别性仅限于一类候选树。我们进一步提出了额外的限制下,这个问题是可以识别的。最后,我们提供了一个O(n^3)算法来找到这个等价类的树。
2019-01-25 cs.LG stat.ML
Convergence Rates for Gaussian Mixtures of Experts
University of Texas(德克萨斯大学);University of California(加利福尼亚大学)
我们提供了一个理论上的治疗过指定的高斯混合专家与无协变量门控网络。我们建立了这些模型的极大似然估计(MLE)的收敛速度。我们的证明技术是基于一个新的概念\emph{algebraic independence}的专家功能。利用最优输运理论,我们建立了代数独立性和某一类偏微分方程(PDE)之间的联系。利用这一联系,使我们能够获得收敛速度和极小极大下界的参数估计。
2022-03-08 cs.LG math.ST stat.ML
On Conditional Independence Graph Learning From Multi-Attribute Gaussian Dependent Time Series
本文提出了一种基于频率域的惩罚对数似然目标函数,用于从多属性高斯依赖时间序列中学习条件独立图,并在高维情况下建立了收敛性和图恢复的理论条件。
2025-12-08 cs.LG eess.SP stat.ML
Structure Learning of Markov Random Fields through Grow-Shrink Maximum Pseudolikelihood Estimation
Waseda University(早稻田大学);Cybozu Labs, Inc.(Cybozu实验室公司)
学习马尔可夫随机场(MRF)的结构在多元分析中起着重要的作用。随着近年来统计关系模型的兴起,MRF的重要性不断增加,因为MRF是这些模型(如马尔可夫逻辑网络)的构建块。MRFs结构学习的基本方法有两种:基于参数学习的方法和基于独立性检验的方法。前一种方法或多或少地假设了某些形式的分布,因此当不满足假设时,它们可能表现不佳。后者可以在没有强分布假设的情况下学习MRF结构,但有时不清楚在这些方法中最大化/最小化什么目标函数。在本文中,我们遵循后者,但我们明确定义的MRF结构学习的优化问题的最大伪随机估计(MPLE)的边缘集。因此,所提出的解决方案成功地处理了MRF中的{ \em不确定性},而这种不确定性在大多数现有的独立性测试技术中没有考虑。当实验中存在非对称依赖关系时,该方法比以前的方法获得了更高的准确率。
2018-07-03 cs.LG stat.ML
Generalized Precision Matrix for Scalable Estimation of Nonparametric Markov Networks
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出广义精度矩阵(GPM),在涵盖连续、离散及混合型数据的一般分布下刻画条件独立结构,并在正则化分数匹配框架下实现了非参数马尔可夫网络的可扩展结构学习。
2023-05-19 cs.LG stat.ML
The Minimax Rate of HSIC Estimation for Translation-Invariant Kernels
Institute for Program Structures and Data Organization(程序结构与数据组织研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Department of Statistics(统计系);London School of Economics(伦敦政治经济学院)
本文研究了HSIC估计的极小化极大速率,证明了在$\mathbb R^d$上包含高斯分布的Borel测度和连续有界平移不变特征核下,该速率为$\mathcal O(n^{-1/2})$,并证实了常用估计器的最优性。
2024-10-14 cs.IT cs.LG math.IT
Beyond independent component analysis: identifiability and algorithms
Harvard University(哈佛大学);Barcelona School of Economics(巴塞罗那经济学院)
本研究证明成对均值独立性是ICA可放宽独立性的极限,提出基于正交群最小二乘的恢复算法,实验显示其比完全独立性更稳健。
2025-10-08 cs.LG math.ST stat.ML
Efficient Markov Network Structure Discovery Using Independence Tests
Iowa State University(爱荷华州立大学)
我们提出了两个算法学习马尔可夫网络的结构从数据:GSMN* 和GSIMN。这两种算法都使用统计独立性测试,通过连续约束与这些测试结果一致的结构集来推断结构。直到最近,用于结构学习的算法都是基于最大似然估计的,这对于马尔可夫网络来说已经被证明是NP难的,因为估计网络的参数是困难的,需要计算数据似然。基于独立性的方法不需要计算可能性,因此GSMN* 和GSIMN都可以有效地计算结构(如我们的实验所示)。GSMN* 是Margaritis和Thrun的Grow-Shrink算法的一种适应,用于学习贝叶斯网络的结构。GSIMN扩展GSMN* 通过额外利用Pearls众所周知的条件独立关系属性来推断已知独立性的新独立性,从而避免了统计测试来估计它们。为了有效地实现这一点,GSIMN使用三角定理,也介绍了这项工作,这是一个简化版本的马尔可夫公理集。在人工和真实世界数据集上的实验比较表明,GSIMN可以相对于GSMN* 产生显著的节省,同时生成具有可比或在某些情况下改进质量的马尔可夫网络。我们还比较GSIMN的一个前向链接的实现,称为GSIMN-FCH,产生所有可能的条件独立性导致重复应用Pearls定理的已知条件独立性测试。这种比较的结果表明,GSIMN,通过单独使用的三角定理,是近最佳的独立性测试,它推断的条款。
2014-01-15 cs.AI cs.LG stat.ML
Minimax Lower Bounds of Kernel Discrepancy Estimation: MMD, HSIC, KSD
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);London School of Economics(伦敦政治经济学院)
研究核差异估计(MMD、HSIC、KSD)在一般拓扑空间上的极小极大下界,在对核的温和假设下证明其为\(n^{-1/2}\),解决了这些核差异最优估计问题,均值嵌入等估计也有相同速率。
2026-07-28 cs.LG math.ST stat.ML
Gradient of Probability Density Functions based Contrasts for Blind Source Separation (BSS)
Dhirubhai Ambani Institute of Technology (DAIICT)(迪鲁巴伊·安巴尼信息技术学院)
本文推导了盲声源分离(BSS)应用中的一些新的独立性测度和对比度函数。对于具有等超体积(超曲面有界区域)和有界支撑约束的$k^{th}$阶可微多元函数,证明了任意$k^{th}$阶导数的相等蕴含函数的相等.将随机向量的边缘概率密度函数与联合概率密度函数的乘积之差定义为随机向量的函数差。假设PDF是$k^{th}$阶可微的,将广义函数的结果应用于独立性条件。这带来了新的独立性措施和BSS对比的基础上$L^p$ -范数,$ p \geq 1$- FD,梯度FD(GFD)和Hessian FD(HFD)。代替用于基于联合PDF的BSS对比度估计的常规两阶段间接估计方法,期望对比度的单阶段直接估计。本文的目标是有效地估计所提出的对比和扩展的潜在理论的信息领域。位势理论中引入了参考势的概念,并利用参考势导出了位场相关分析的封闭形式表达式。与此类似,引入了参考信息势(RIP)和交叉参考信息势(CRIP)的概念,其基于核方法中作为基础的核函数放置在选定的样本点处的势。这些量被用来导出封闭形式的表达式,用于使用最小二乘法进行信息场分析。利用这些表达式估计了FD的$L^2$ -范数和基于对比的GFD的$L^2$ -范数。
2015-04-10 cs.IT cs.LG math.IT
Nearest-Neighbor Density Estimation for Dependency Suppression
Institute for Neuro- and Bioinformatics(神经与生物信息学研究所)
本文提出基于最近邻密度估计的编码器方法,用于去除数据中的依赖关系,通过优化独立性提升数据隐私和公平性。
2026-03-04 cs.CV cs.LG
Mimic and Classify : A meta-algorithm for Conditional Independence Testing
University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research(IBM研究院);University of Washington(华盛顿大学)
给定由联合分布$p(\mathbf{x},\mathbf{y},\mathbf{z})$生成的独立样本,我们研究条件独立性(CI-检验)问题,即,联合是否等于CI分布$p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z})= p(\mathbf{z}) p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$。我们将这个问题置于所提出的可证明元算法“模仿和分类”的范围内,该算法分两步实现:(a)模仿CI分布以恢复支持度,以及(b)分类以区分联合和CI分布。因此,只要我们有一个好的生成模型和一个好的分类器,我们就可能有一个好的CI测试器。通过这种模块化范式,CI测试变得易于由最先进的生成和分类方法来处理,这些方法来自深度学习的现代进步,通常可以处理与小样本制度中的维数灾难和操作相关的问题。我们在合成和真实数据集上进行了密集的数值实验,其中新的模拟方法,如条件GANs,神经网络回归,优于文献中当前最好的CI测试性能。我们的理论结果提供了对零分布估计的分析,并允许一般的措施,即,当某些随机变量是离散的而某些是连续的,或者当它们中的一个或多个是离散-连续的混合时。
2018-06-25 cs.LG stat.ML