Discrete mixture representations of parametric distribution families: geometry and statistics
我们调查的存在性和性质的离散混合表示$P_θ=\sum_{i\in E} w_θ(i) \, Q_i$为一个给定的家庭$P_θ$,$θ\inΘ$,概率测度。非中心卡方分布提供了一个经典的例子。我们得到了问题的存在性结果以及几何和统计方面的结果,后者包括Fisher信息损失、Rao-Blackwellization、渐近有效性和混合概率的非参数极大似然估计.
2022-06-22 math.PR math.ST stat.TH
GeoSeq2Seq: Information Geometric Sequence-to-Sequence Networks
Cortexica Vision Systems Ltd.(Cortexica视觉系统有限公司);Imperial College London(伦敦帝国理工学院)
费舍尔信息度量是信息几何学的重要基础,它允许我们近似概率分布的局部几何。递归神经网络,例如最近用于产生语音翻译或图像字幕的最先进性能的序列到序列(Seq 2Seq)网络,到目前为止忽略了潜在嵌入的几何形状,它们迭代学习。我们提出了信息几何Seq 2Seq(GeoSeq 2Seq)网络,它缩短了深度递归神经网络和信息几何之间的差距。具体来说,递归网络提供的潜在嵌入被编码为参数高斯混合模型的Fisher内核,这是计算机视觉中常见的形式主义。我们利用这样一个网络来预测两个节点之间的最短路径的图形学习的邻接矩阵使用GeoSeq 2Seq形式主义;我们的研究结果表明,对于这样一个问题的潜在嵌入的概率表示取代了10-15\%的非概率嵌入。
2018-01-05 cs.LG stat.ML
Non-parametric estimation for the stochastic wave equation
本文研究时空白噪声驱动的随机波动方程中空间变化波速的非参数估计问题,通过局部观测方案建立增广最大似然估计量的渐近正态性,并揭示Fisher信息与动能及能量均分原理的内在联系。
2024-04-29 math.PR math.ST stat.TH
Information Lower Bounds for Robust Mean Estimation
本文研究稳健均值估计的误差下界,利用 Fisher 信息及非参数极小化结果,统一给出参数、半参数与非参数情形下的紧下界及小错误概率最优估计量。
2024-03-04 cs.IT math.IT math.ST
Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);MIT(麻省理工学院)
高斯混合模型形成了一个灵活的和富有表现力的参数分布族,已经在各种各样的应用中找到了应用。不幸的是,从计算的角度来看,将这些模型拟合到数据是一个非常困难的问题。目前,只有基于矩的方法享有理论上的保证,而基于似然的方法主要是由数学,如期望最大化,是已知的失败,在简单的例子。在这项工作中,我们提出了一个新的算法来计算高斯混合模型中的非参数最大似然估计(NPMLE)。我们的方法是基于梯度下降的空间上的概率测度配备了Wasserstein-Fisher-Rao几何,我们建立收敛保证。在实践中,它可以近似使用相互作用的粒子系统,其中粒子的权重和位置交替更新。我们进行了广泛的数值实验,以确认所提出的算法的有效性相比,不仅经典的基准,但也类似的梯度下降算法相对于简单的几何形状。特别是,这些模拟说明了更新相互作用粒子的权重和位置的好处。
2023-01-04 cs.LG math.OC math.ST
Learning from Complex Systems: On the Roles of Entropy and Fisher Information in Pairwise Isotropic Gaussian Markov Random Fields
Universidade Federal de São Carlos(圣卡洛斯联邦大学)
马尔可夫随机场模型是研究复杂系统的有力工具。然而,人们对这些系统的元素之间的相互作用是如何编码的知之甚少,特别是从信息论的角度来看。本文的目标是揭示Fisher信息、Shannon熵、信息几何与各向同性成对高斯马尔可夫随机场模型的复杂系统行为之间的联系。我们提出了使用Besag的伪似然函数来计算这些度量的局部和全局版本的解析表达式,通过其\emph{Fisher curve}(跨信息空间的参数轨迹,为复杂系统的研究提供几何表示)来表征系统的行为。计算实验表明,所提出的工具可以是有用的提取相关信息,从复杂的模式。得到的结果量化和支持我们的主要结论,这是:在信息方面,向高熵状态(A --> B)移动是不同的向低熵状态(B --> A)移动,因为\emph{Fisher curves}是不相同的给定的自然方向(时间的方向)。
2013-10-16 cs.AI cs.CV cs.IT
Fisher Information in Group-Type Models
在L_2-可微性的证明中,中心分布的Lebesgue密度往往从一开始就被假定。推广Huber[81]的定理4.2,我们证明了在光滑参数群模型类中,这些密度实际上是模型的有限Fisher信息的结果,只要使用后者的适当表示。证明使用了k维绝对连续性和弱可微性的概念。作为这个定理适用的例子,我们列出了一些模型,包括相关模型和一般的多变量位置和规模模型。作为这种方法的结果,我们表明,在(多变量)位置尺度模型,有限的Fisher信息,这里定义的实际上是等价于L_2-可微性和对数似然扩展给局部渐近正态性的模型。推广了Huber关于Fisher信息极小的存在唯一性的证明,得到了中心分布F的任意弱闭集上极小的存在性。如果除了类似于Huber[81]的假设之外,变换的某种可识别性条件成立,则我们得到极小元的唯一性。这个可识别性条件在多变量位置尺度模型中得到了满足。
2010-05-06 math.ST stat.TH
Semi-parametric regression: Efficiency gains from modeling the nonparametric part
结构化非参数模型在非参数估计中的重要性已被广泛认可。在本文中,我们表明,同样适用于半参数估计。我们认为,估计的参数分量的半参数模型,可以从根本上改善时,更多的结构被放入非参数部分的模型。我们说明了这部分线性模型,并调查效率增益时,模型的非参数部分具有添加剂结构。我们提出了估计部分线性可加模型参数部分的半参数Fisher信息界,并提供了半参数有效估计,我们使用光滑的回拟合技术来处理可加非参数部分。我们还提出了有限样本性能的估计和分析波士顿住房数据作为例证。
2011-04-22 math.ST stat.TH
Parametric modal regression for right-censored positive responses
Escuela Superior Politécnica del Litoral(厄瓜多尔国立高等理工学院);University of Connecticut(康涅狄格大学)
本文提出了一种参数模态回归框架,用于处理右截断正响应,通过重新参数化将模式与线性预测变量直接关联,并通过实证数据验证了方法的有效性。
2026-03-07 stat.CO stat.ME
Bootstrap test procedure for variance components in nonlinear mixed effects models in the presence of nuisance parameters and a singular Fisher Information Matrix
针对非线性混合效应模型中方差分量检验的边界和Fisher信息矩阵奇异问题,提出收缩参数Bootstrap程序,该程序一致且易于应用,模拟显示小样本性能优于渐近方法且更稳健。
2024-05-24 stat.ME
Quantiled conditional variance, skewness, and kurtosis by Cornish-Fisher expansion
本文提出基于 Cornish-Fisher 展开和条件分位数回归的 QCM 方法,同时估计条件方差、偏度与峰度,兼具 n^{-1/2} 一致性,并在模拟与汇率应用中验证有效。
2023-06-06 econ.EM stat.ME
A Sheet of Maple to Compute Second-Order Edgeworth Expansions and Related Quantities of any Function of the Mean of an iid Sample of an Absolutely Continuous Distribution
我们设计了一个完全自动化的Maple($\geqslant 15$)工作表,用于导出Edgeworth和Cornish-Fisher展开式以及自举偏差校正和加速技术的加速常数。它对任何(学生化)统计量的非参数或参数自举有效,这些统计量是绝对连续分布的iid样本的平均值的足够规则的函数。这个工作表允许我们指出Das Gupta在[8]中定理13.5中陈述的学生化平均值的二阶Cornish-Fisher展开中的一个错误,并着重讨论了归一化常数的微小变化对计算t-方程的二阶Edgeworth展开式和Cornish-Fisher展开式的影响。分布如Lehman和Romano在[14,p.460]中的定理11.4.2所述。此外,我们成功地将工作表应用于复杂的极大似然估计作为第一步,以获得更准确的置信区间,以加强质量控制。该工作表还可以将Maple结果导出为R代码。此外,我们还提供了R代码来绘制这些扩展以及它们不断增加的重排。所有这些补充材料可根据要求提供。
2018-09-30 math.ST stat.CO stat.TH
Small-time approximation of the transition density for diffusions with singularities. Application to the Wright-Fisher model
针对Wright-Fisher扩散模型转移密度无精确解析式、常用分布拟合短时间极端频率效果差的问题,提出AE和GaussA两种近似方法,明确适用范围并验证其拟合效果优于Beta和高斯分布,且可推广至其他带奇异性的扩散模型。
2024-06-21 math.PR stat.ME
Information geometry of Bayes computations
本文基于 Weyl 公理建立非参数对偶仿射信息几何框架,将统计丛定义为概率密度与 Fisher 得分的偶对,并展示其处理 Bayes 计算与 KL 散度计算的能力。
2025-02-04 math.ST stat.TH
From Information Geometry to Jet Substructure: A Triality of Cumulant Tensors, Energy Correlators, and Hypergraphs
Institute of Experimental Particle Physics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院实验粒子物理研究所);Institute for Theoretical Physics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院理论物理研究所);Blackett Laboratory, Imperial College of Science, Technology and Medicine(帝国理工学院布莱克特实验室);Institute for Quantum Materials and Technologies, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院量子材料与技术研究所)
本文提出通过高阶Fisher张量解决传统 pairwise Fisher 图无法区分多观测辐射模式的问题,通过局部指数族嵌入构建物理信息超图,并展示其在喷注子结构、观测基设计等应用中的有效性。
2026-05-07 hep-ex hep-ph stat.ML
A Tractable Pseudo-Metric on Non-Parametric Exponential Statistical Manifolds via SPD Geometry
Indian Institute of Space Science and Technology (IIST)(印度空间科学与技术学院)
研究非参数统计流形上概率分布距离难计算问题,提出两阶段框架,先投影到有限维参数指数族,再嵌入对称正定矩阵流形,得到可计算伪度量及仿射不变检验统计量,应用于两样本检验,无需连续调整参数。
2026-07-14 math.DG math.ST stat.TH
Higher order semiparametric frequentist inference with the profile sampler
本文考虑了基于后验分布抽样的半参数模型参数分量的高阶频率论推断。Lee,Kosorok和Fine在[J. American Statistist. Assoc.100(2005)960- 969]扩展到无限维冗余参数达到参数速率的设置中的二阶有效性。具体来说,我们得到高阶估计的最大轮廓似然估计和有效的Fisher信息。此外,我们证明了一个精确的频率论置信区间的参数成分在水平$α$可以估计的$α$ -水平的可信集从轮廓采样器的顺序误差$O_P(n^{-1})$。仿真研究被用来评估二阶渐近有效性的轮廓采样器。据我们所知,这些是第一次高阶精度的结果半参数频率论推断。
2008-08-19 math.ST stat.TH
Fisher Information Embedding for Node and Graph Learning
ETH Zürich(苏黎世联邦理工学院);SIB Swiss Institute of Bioinformatics(SIB瑞士生物信息学研究所)
本文提出基于 Fisher 信息与高斯混合统计流形的层次化核节点嵌入框架,形成新型注意力邻域聚合机制,并以有监督和无监督方式在节点分类基准上超越 GAT。
2023-06-06 cs.LG stat.ML
Parametric UMAP embeddings for representation and semi-supervised learning
UC San Diego(加州大学圣迭戈分校);Tutte Institute for Mathematics and Computing(图特数学与计算研究所)
UMAP是一种基于非参数图的降维算法,使用应用黎曼几何和代数拓扑来找到结构化数据的低维嵌入。UMAP算法由两个步骤组成:(1)计算数据集的图形表示(模糊单纯复形),以及(2)通过随机梯度下降,优化图的低维嵌入。在这里,我们将UMAP的第二步扩展到神经网络权重的参数优化,学习数据和嵌入之间的参数关系。我们首先证明了参数UMAP执行非参数映射,同时赋予学习参数映射的好处(例如,新数据的快速在线嵌入)。然后,我们探索UMAP作为正则化,约束自动编码器的潜在分布,参数变化的全局结构保存,并通过捕获未标记数据中的结构来提高半监督学习的分类器精度。Google Colab演练:https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp? usp=共享
2021-08-29 cs.CG cs.LG q-bio.QM
On the Convergence of the Shapley Value in Parametric Bayesian Learning Games
National University of Singapore(新加坡国立大学)
贡献度量是合作博弈论中的一个经典问题,Shapley值是最著名的解概念。本文建立了参数贝叶斯学习博弈中Shapley值的收敛性,其中博弈者使用他们的组合数据进行贝叶斯推理,后验先验KL散度被用作特征函数。我们表明,对于任何两个球员,在一定的规律性条件下,他们的Shapley值的差异收敛于概率的Shapley值的差异的限制游戏,其特征函数是成比例的联合Fisher信息的对数行列式。作为一个应用,我们提出了一个在线协作学习框架,是渐近Shapley公平的。我们的结果使这一点能够实现,而无需任何昂贵的计算后验先验KL分歧。只需要Fisher信息的一致估计量。我们的框架的有效性证明了使用真实世界的数据与实验。
2022-06-14 cs.GT cs.LG stat.ML
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
与k-最近邻(kNN)相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而,这些方法中的大多数涉及成对的训练数据比较,并且因此具有关于训练集的大小的二次计算复杂性,从而阻止它们扩展到相当大的数据集。此外,在测试期间,将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外,以前的指标要么太受约束,要么太有表现力,无法很好地学习。为了有效地解决这些问题,我们提出了一个样本为中心的监督浅参数数据嵌入模型,使用最大塌陷度量学习(MCML)的目标。我们的策略学习浅高阶参数嵌入函数,并仅将训练/测试数据与学习或预先计算的样本进行比较,从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明,对于二维嵌入空间中的分类,我们的方法不仅使kNN的加速提高了数百倍,而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
向量空间词嵌入及其在自然语言处理中的应用越来越受到人们的关注,特别是最近提出的在非常大的规模上进行快速估计的方法。然而,几乎所有这些工作都假设每个单词类型只有一个向量,忽略了多义词,从而危及它们对下游任务的有用性。我们对Skip-gram模型进行了扩展,可以有效地学习每个单词类型的多个嵌入。它与最近的相关工作不同,联合执行词义判别和嵌入学习,通过非参数化估计每个单词类型的含义数量,以及其效率和可扩展性。我们在上下文任务中提出了最新的单词相似性结果,并通过在不到6小时的时间内在近10亿个令牌的语料库上使用一台机器进行训练来展示其可扩展性。
2015-04-24 cs.CL stat.ML
On the Variance of the Fisher Information for Deep Learning
The Australian National University(澳大利亚国立大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
在深度学习领域,Fisher信息矩阵(Fisher information matrix,缩写为FMM)提供了新的见解和有用的工具来描述损失情况,执行二阶优化,并建立几何学习理论。精确的计算要么无法以封闭形式获得,要么太昂贵而无法计算。在实践中,它几乎总是根据经验样本进行估计。我们调查两个这样的估计的基础上两个等价的表示,无偏和一致的。它们的估计质量自然由它们的方差以封闭形式给出来衡量。我们分析了深度神经网络的参数结构如何影响方差。然后在深度学习的背景下讨论该方差度量的含义及其上界。
2021-10-28 cs.LG stat.ML
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo(纽约州立大学布法罗分校);University of California, Irvine(加州大学欧文分校)
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示,并取得不错的性能,但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型(SiDPMM),有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型(CBOW)产生的词嵌入来处理同义词。实验结果表明,我们的模型在两个主要方面的好处:1)提高了性能在多个不同的文本数据集的归一化互信息(NMI); 2)更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Facilitate the Parametric Dimension Reduction by Gradient Clipping
National Chiao Tung University(交通大学)
通过训练神经网络,我们扩展了一个著名的降维方法,t分布随机邻居嵌入(t-SNE),从非参数到参数。参数化技术的主要优点是处理新数据的一般化,这对于流数据探索特别有益。然而,训练神经网络来优化t-SNE目标函数经常失败。以前的方法通过预训练然后微调网络来克服这个问题。我们发现训练失败来自梯度爆炸问题,当高维空间中距离较远的数据点被投影到附近的嵌入位置时,会发生梯度爆炸问题。因此,我们采用了梯度裁剪方法来解决这个问题。由于网络是通过直接优化t-SNE目标函数来训练的,因此我们的方法在具有泛化能力的同时实现了与非参数t-SNE兼容的嵌入质量。由于小批量网络训练,我们的参数降维方法是高效的。我们进一步扩展了其他非参数的最先进的方法,如LargeVis和UMAP,参数版本。实验结果证明了该方法的可行性。考虑到其实用性,我们将很快发布代码供公众使用。
2020-09-30 cs.LG stat.ML
Perplexity-free Parametric t-SNE
Université catholique de Louvain - ICTEAM(天主教鲁汶大学ICTEAM研究所)
t-分布随机邻域嵌入(t-SNE)算法是一种广泛使用的降维(DR)方法。其非参数性质和令人印象深刻的功效促使其参数扩展。然而,它是有界的用户定义的困惑参数,限制其DR质量相比,最近开发的多尺度的困惑自由的方法。因此,本文提出了一种多尺度参数t-SNE方案,解除了困惑调整和深层神经网络实现映射。它产生可靠的嵌入与样本外的扩展,竞争力的最佳困惑调整方面的邻域保护多个数据集。
2020-10-03 cs.LG stat.ML
Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
Softmax函数用于几乎所有现有序列到序列模型的最后一层,用于语言生成。然而,它通常是计算速度最慢的一层,这将词汇表大小限制为最常见类型的子集;并且它具有很大的内存占用。我们提出了一种通用的技术,用连续的嵌入层代替softmax层。我们的主要创新是一种新的概率损失,以及一种训练和推理过程,在该过程中,我们在预训练的词嵌入上生成概率分布,而不是通过softmax获得的词汇表上的多项分布。我们评估这类新的序列到序列模型的神经机器翻译任务上的连续输出。我们表明,我们的模型在训练时间上获得了高达2.5倍的速度提升,同时在翻译质量方面与最先进的模型不相上下。这些模型能够处理非常大的词汇量,而不会影响翻译质量。它们还产生比基于softmax的模型更有意义的错误,因为这些错误通常位于参考翻译的向量空间的子空间中。
2019-03-22 cs.CL cs.LG stat.ML
A Shallow High-Order Parametric Approach to Data Visualization and Compression
NEC Labs America(NEC美国实验室);National Research Council Canada(加拿大国家研究委员会)
显式高阶特征交互有效地捕获感兴趣数据的基本结构知识,并已用于构建生成模型。我们提出了一个监督判别高阶参数嵌入(HOPE)的方法来数据可视化和压缩。与具有复杂深层架构的深层嵌入模型相比,HOPE通过极其简单的浅层模型生成更有效的高阶特征映射。此外,提出了两种方法来生成少量的样本传达高阶相互作用,以代表大规模的数据集。这些范例与HOPE学习的特征映射相结合,有效地捕获了基本的数据变化。此外,通过HOPE,这些样本被用来提高计算效率的kNN分类快速信息检索的数千倍。对于MNIST和USPS数据集上的二维嵌入空间中的分类,我们的具有简单Sigmoid变换的浅层方法HOPE显著优于基于深度神经网络的最先进的监督深度嵌入模型,甚至在MNIST上的二维空间中实现了历史最低的测试出错率0.65%,其展示了具有高阶特征交互的监督浅模型的表示效率和能力。
2016-08-16 cs.AI cs.LG stat.ML
Interpreting Black Box Predictions using Fisher Kernels
University of California at Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
机器学习和心理学的研究表明,突出的例子可以帮助人类解释学习模型。为此,我们需要一个新的外观在黑盒解释的测试预测方面的训练样本。我们的目标是问“哪些训练样本对给定的一组预测最负责任”?为了回答这个问题,我们使用Fisher内核作为每个数据点的定义特征嵌入,结合序贯贝叶斯正交(SBQ)来有效选择示例。与之前的工作相比,我们的方法能够以原则性的方式无缝处理任何大小的测试预测子集。我们从理论上分析了我们的方法,提供新的收敛界SBQ离散候选原子。我们的方法恢复的影响函数的可解释性作为一个特殊的情况下产生新的见解,从这种连接的应用。我们还提出了所提出的方法的应用程序的三个用例:清理训练数据,固定错误标记的例子和数据摘要。
2018-10-23 cs.LG stat.ML
Mean Nyström Embeddings for Adaptive Compressive Learning
MaLGA, Università di Genova(热那亚大学 MaLGA);CBMM, MIT(麻省理工学院 CBMM);IIT(意大利理工学院)
压缩学习是一种有效的大规模学习方法,基于将整个数据集绘制成单个均值嵌入(草图),即广义矩向量。学习任务,然后近似地解决作为一个逆问题,使用一个适应的参数模型。在这方面,以前的作品集中在通过平均随机特征获得的草图上,虽然通用,但不能很好地适应手头的问题。在本文中,我们提出并研究了基于数据依赖的Nyström近似执行草图的想法。从理论的角度来看,我们证明了超额风险可以控制下的几何假设相关的参数模型,用于学习从草图和协方差算子相关的任务在手。从经验上讲,我们表明,对于k均值聚类和高斯建模,对于固定的草图大小,Nyström草图确实优于那些使用随机特征构建的草图。
2022-02-10 cs.LG stat.ML
Verifying Physics-Informed Neural Network Fidelity using Classical Fisher Information from Differentiable Dynamical System
lisha (Software/Hardware Integration Lab)(lisha(软件/硬件集成实验室))
本文提出通过经典Fisher信息验证PINN保真度的方法,利用可微动力学系统分析其在物理建模中的有效性。
2026-01-14 cs.LG stat.ML
Optimal Transport Graph Neural Networks
CSAIL, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
当前的图神经网络(GNN)架构天真地将节点嵌入平均或求和到聚合图表示中-可能会丢失结构或语义信息。我们在这里介绍OT-GNN,这是一种使用参数原型来计算图嵌入的模型,这些参数原型突出了不同图方面的关键方面。为了实现这一目标,我们成功地将最优运输(OT)与参数图模型相结合。图形表示是从GNN节点嵌入集和"原型“点云之间的瓦瑟斯坦距离作为自由参数获得的。我们从理论上证明,与传统的总和聚合,我们的函数类点云满足一个基本的普遍逼近定理。从经验上讲,我们解决了一个固有的崩溃优化问题,提出了一个噪声对比正则化,以引导模型真正利用OT几何。最后,我们在几个分子性质预测任务上优于流行的方法,同时表现出更平滑的图形表示。
2021-10-08 cs.LG stat.ML
Interpretable Visualizations with Differentiating Embedding Networks
Yale University(耶鲁大学)
我们提出了一种可视化算法的基础上,一种新的无监督连体神经网络的训练制度和损失函数,称为差分嵌入网络(DEN)。Siamese神经网络在数据集中的特定样本对之间找到差异或相似的特征,并使用这些特征将数据集嵌入到可以可视化的低维空间中。与现有的可视化算法(如UMAP或$t$ -SNE)不同,DEN是参数化的,这意味着它可以通过SHAP等技术进行解释。为了解释DEN,我们在可视化之上创建了一个端到端的参数聚类算法,然后利用SHAP分数来确定样本空间中的哪些特征对于基于发现的聚类来理解可视化中显示的结构是重要的。我们将DEN可视化与各种数据集上的现有技术进行了比较,包括图像和scRNA-seq数据。然后,我们表明,我们的聚类算法执行类似的最先进的,尽管没有事先知道的集群的数量,并设置一个新的国家的最先进的FashionMNIST。最后,我们演示了如何找到数据集的差异化特征。代码可在https://github.com/isaacrob/DEN获得
2020-06-11 cs.CV cs.LG stat.ML
The Geometry of Nonlinear Embeddings in Kernel Discriminant Analysis
The Ohio State University(俄亥俄州立大学);Kohl’s(科尔士百货公司)
Fisher线性判别分析是一种经典的分类方法,但它仅限于捕获线性特征。核判别分析作为一种扩展,通过非线性特征映射成功地缓解了这一限制。我们研究了多项式核和高斯核判别分析中的非线性嵌入的几何结构,通过识别依赖于数据分布和核的总体级判别函数。为了获得判别函数,我们解决了广义特征值问题与类间和类内协方差算子。多项式判别式捕捉类的差异,通过人口的时刻明确。对于高斯判别式的近似,我们使用一个特定的表示的高斯核,利用指数生成函数的厄米多项式。我们还表明,高斯判别式可以近似使用随机投影的数据。我们的研究结果说明了数据分布和核函数在非线性嵌入判别中的相互作用,并为核函数及其参数的选择提供了指导。
2020-05-12 cs.LG stat.ML
Path Integral Control by Reproducing Kernel Hilbert Space Embedding
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);FU Berlin(柏林自由大学)
本文将随机最优控制问题的路径积分形式嵌入再生核Hilbert空间。使用一致的,基于样本的嵌入估计导致一个无模型的,非参数的方法来计算控制问题的近似解。这种提法承认一个分解的问题成一个不变的和任务相关的组件。因此,与该领域中先前的基于样本的方法相比,我们更有效地利用了样本数据,例如,通过允许跨任务重复使用样本。测试问题的数值例子,说明了样本效率,提供。
2012-08-13 cs.LG stat.ML
Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning
McGill University(麦吉尔大学)
图卷积神经网络(GCNN)已经成功地应用于许多不同的基于图的学习任务,包括节点和图分类、矩阵完成和节点嵌入的学习。尽管他们令人印象深刻的性能,技术有一个有限的能力,将不确定性的下划线图形结构。为了解决这个问题,最近提出了贝叶斯GCNN(BGCN)框架。在这个框架中,观察到的图被认为是一个随机实现的参数随机图模型和联合贝叶斯推理的图形和GCNN的权重进行。在本文中,我们提出了一个非参数生成模型的图形,并将其纳入BGCN框架。除了观察到的图,我们的方法有效地使用节点的功能和训练标签在后验推理的图,并达到卓越的或可比的性能在基准节点分类任务。
2019-10-26 cs.LG stat.ML