Tensor decompositions for learning latent variable models
University of California, Irvine(加州大学欧文分校);Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本文利用低阶可观测矩的张量结构,通过对称张量分解(类似矩阵SVD的推广)实现高斯混合模型、隐马尔可夫模型等潜变量模型的参数估计,并提供了鲁棒张量幂法的详细分析。
2014-11-13 cs.LG cs.NA math.NA
Beyond Unfolding: Exact Recovery of Latent Convex Tensor Decomposition under Reshuffling
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Guangdong University of Technology(广东工业大学)
张量分解(TD)方法的精确恢复在无监督学习和科学数据分析中都是一个理想的性质。然而,TD方法的数值缺陷限制了它们在实际数据中的应用。作为替代方案,凸张量分解(CTD)被提出来缓解这些问题,但它的精确恢复属性没有得到适当的解决。为此,我们专注于潜在的凸张量分解(LCTD),一个实际上广泛使用的CTD模型,并严格证明了其精确恢复性质的充分条件。此外,我们表明,这样的属性也可以实现一个更一般的模型比LCTD。在新的模型中,我们将经典的张量折叠(反折叠)推广为重排操作,这是一种更灵活的映射,可以将矩阵的元素重新定位到张量中。利用重排操作和精确恢复特性,我们探索了(广义)LCTD的一个全新应用,即,图像隐写在合成数据上的实验结果验证了我们的理论,在图像隐写上的实验结果表明,我们的方法优于现有的方法。
2020-01-28 cs.LG stat.ML
Weighted Tensor Decomposition for Learning Latent Variables with Partial Data
张量分解方法是用于仅给定数据的低阶矩来学习潜变量的流行工具。然而,标准的假设是,我们有足够的数据来估计这些时刻的高精度。在这项工作中,我们考虑的情况下,在某些方面的数据并不总是观察-常见的应用设置,其中不是所有的测量可能采取的所有观测-导致不同质量的时刻估计。我们推导出一种加权张量分解方法,该方法在计算上与非加权方法一样有效,并证明它优于不适当利用这些较少观察到的维度的方法。
2017-10-18 stat.ML
Identifying and Alleviating Concept Drift in Streaming Tensor Decomposition
University of California Riverside(加州大学河滨分校)
张量分解用于从社交网络到医疗应用的各种数据采掘应用中,并且在发现数据中的潜在结构或概念方面非常有用。许多现实世界的应用程序本质上是动态的,它们的数据也是如此。为了处理数据的这种动态性质,存在各种在线张量分解算法。所有这些算法的一个核心假设是,潜在概念的数量在整个流中保持固定。然而,情况不必如此。流中的每个传入批次可能具有不同数量的潜在概念,并且从一个张量批次到另一个张量批次的潜在概念的差异可以提供对我们在特定应用中的发现如何随着时间的推移而表现和偏离的见解。在本文中,我们定义“概念”和“概念漂移”的上下文中的流张量分解,作为整个流的潜在概念的可变性的表现。此外,我们介绍了SeekAndDestroy,一种算法,检测流张量分解中的概念漂移,并能够产生对该漂移具有鲁棒性的结果。据我们所知,这是第一个研究流张量分解中概念漂移的工作。我们在合成数据集上广泛评估了SeekAndDestroy,这些数据集表现出各种各样的现实漂移。我们的实验证明了SeekAndDestroy在检测概念漂移和减轻其影响方面的有效性,产生的结果与一次性分解整个张量的质量相似。此外,在真实数据集中,SeekAndDestroy的性能优于其他流基线,同时发现了新的有用组件。
2018-11-10 cs.LG stat.ML
Latent Function Decomposition for Forecasting Li-ion Battery Cells Capacity: A Multi-Output Convolved Gaussian Process Approach
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);University of Central Florida(中佛罗里达大学)
提出了一种基于潜函数分解的锂离子电池容量预测方法。该方法使用多输出高斯过程,这是一种用于多任务和迁移学习的生成式机器学习框架。MCGP将来自多个电池单元的可用容量趋势分解为潜在函数。然后在核平滑器上卷积潜在函数以重构和/或预测电池单元的容量趋势。该方法不仅具有较高的预测精度,还能提供预测的不确定性信息,并能捕捉不同电池单元容量趋势之间的非平凡互相关性。这两个优点使得所提出的MCGP成为使用电池组的应用的非常可靠和实用的解决方案。MCGP的推导和比较基准方法的实验锂离子电池数据。结果表明了该方法的有效性。
2019-07-19 cs.LG cs.SY eess.SP
Disentangling Disentanglement in Variational Autoencoders
University of Oxford(牛津大学)
我们开发了一个概括的VAE中的解纠缠-分解的潜在表示-其特征在于实现两个因素:a)具有适当重叠水平的数据的潜在编码,以及b)符合所需结构的数据的聚合编码,通过先前表示。作为特殊情况,分解允许解开纠缠,即潜在项之间的显式独立性,但也允许将更丰富的属性类别强加给已学习的表示,例如稀疏性、集群、独立子空间,甚至复杂的分层依赖关系。我们发现,$β$ -VAE不同的标准VAE主要是在其控制的潜在重叠,并为标准选择的各向同性高斯先验,其目标是不变的潜在表示的旋转。从分解的角度来看,打破这种不变性与简单的操纵先验可以产生更好的解纠缠很少或没有损害重建。我们进一步展示了其他选择的先验如何帮助产生不同的分解,并引入了一个替代的训练目标,允许控制两个分解因子的原则性方式。
2019-06-12 cs.LG stat.ML
Latent Normalizing Flows for Discrete Sequences
Harvard University(哈佛大学)
规范化流是连续随机变量的一类强大的生成模型,显示出强大的模型灵活性和非自回归生成的潜力。当对诸如文本的离散随机变量建模时,也期望这些益处,但是将归一化流直接应用于离散序列会带来显著的额外挑战。我们提出了一个基于VAE的生成模型,该模型联合学习潜在空间中基于流的归一化分布和到观察到的离散空间的随机映射。在这种情况下,我们发现,这是至关重要的基于流量的分布是高度多模态。为了捕捉这个属性,我们提出了几个规范化的流架构,以最大限度地提高模型的灵活性。实验考虑字符级语言建模和复调音乐生成的常见离散序列任务。我们的研究结果表明,一个自回归流为基础的模型可以匹配一个可比较的自回归基线的性能,和一个非自回归流为基础的模型可以提高生成速度与性能的惩罚。
2019-06-04 cs.CL cs.LG stat.ML
A Recursive Decomposition Framework for Causal Structure Learning in the Presence of Latent Variables
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China(深圳先进技术研究院,中国科学院,中国深圳);College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China(复旦大学计算机科学与人工智能学院,中国上海)
本文提出DiCoLa框架,通过递归分解和系统重建,在存在潜在变量时提升因果发现效率,理论证明其正确性并实验证明有效性。
2026-05-11 cs.AI cs.LG stat.ML
TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces
Dept. of Computer Science University of Geneva(计算机科学系日内瓦大学);NVIDIA
该研究提出名为TwinTURBO的基础模型半监督微调框架,通过互信息分解分别优化下游任务空间与潜在空间,仅修改小型投影器模块,在少标记数据的分类任务上实现了显著性能提升。
2025-05-16 cs.CV cs.IT cs.LG
Variational decomposition autoencoding improves disentanglement of latent representations
Dept. of Biomedical Engineering, Khalifa University of Science and Technology(生物医学工程系,哈利法大学);School of Electrical and Computer Engineering, Aristotle University of Thessaloniki(电气与计算机工程学院,亚里士多德大学)
变分分解自编码器通过信号分解模型和对比自监督任务,提升高维动态信号的潜在表示解耦能力,适用于语音识别和情感分类等任务。
2026-11-02 cs.AI cs.LG eess.AS
Learning Latent Process from High-Dimensional Event Sequences via Efficient Sampling
Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
我们的目标是在没有任何关于标记关系的先验知识的情况下对高维标记事件序列中的潜在动态进行建模。这类问题在以往的研究中很少涉及,它们将面临以下挑战:(1)高维标记及其之间的未知关系网络对潜在动态过程的建模构成了难以克服的障碍:(2)一个观察到的事件序列可能同时包含多个不同的相互依赖的事件链; 3)高维事件序列之间的距离难以很好地确定。为此,本文提出了一个面向高维事件序列生成的对抗性模仿学习框架,该框架可以分解为:1)一个潜在结构强度模型,该模型在没有显式网络的情况下估计相邻节点,并学习捕获观察序列上标记的潜在空间中的时间动态; 2)基于随机游走的高效生成模型,从自底向上的角度模拟高维事件序列的生成过程; 3)一个被指定为seq 2seq网络的优化奖励的事件发生器,以帮助生成器尽可能真实地输出事件序列。在人工数据集和真实数据集上的实验结果表明,该方法可以有效地检测标记之间的隐藏网络,并对未来的标记事件做出良好的预测,即使标记数量达到百万级。
2019-10-28 cs.LG stat.ML
Characterizing A Database of Sequential Behaviors with Latent Dirichlet Hidden Markov Models
本文提出了一种生成模型,潜在的狄利克雷隐马尔可夫模型(LDHMM),用于表征数据库的序列行为(序列)。LDH2说明每个序列由基础马尔可夫链过程生成,该过程由相应的参数(即,初始状态向量、转移矩阵和发射矩阵)。每个序列的这些序列级潜在参数被建模为潜在狄利克雷随机变量,并通过一组确定性数据库级超参数进行参数化。通过这种方法,我们期望在两个层次上对序列进行建模:数据库级的确定性超参数和序列级的潜参数。为了学习LDHHT中的确定性超参数和参数的近似后验,我们在变分EM框架下提出了一种迭代算法,该算法由E步和M步组成。我们研究了两种不同的方案,完全分解和部分分解的形式,框架,基于不同的假设。我们提出了实证结果的行为建模和序列分类的三个真实世界的数据集,并将它们与其他相关模型进行比较。实验结果证明,所提出的LDHALTORY产生更好的泛化性能的对数似然和序列分类问题上提供有竞争力的结果。
2013-05-24 cs.LG stat.ML
Neural Decomposition: Functional ANOVA with Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Birmingham(伯明翰大学);University of Manchester(曼彻斯特大学)
变分自编码器(VAE)已经成为一种流行的降维方法。然而,尽管它们能够识别嵌入在高维数据中的潜在低维结构,但这些潜在表示通常很难自己解释。由于VAE的黑盒性质,它们在医疗保健和基因组学应用中的效用受到限制。在本文中,我们专注于描述条件性VAE的变异来源。我们的目标是提供一个特征级的方差分解,即通过从潜在变量z和固定输入c的非线性相互作用中分离出潜在变量z和固定输入c的边际加性效应来分解数据中的变化。我们建议通过我们所谓的神经分解来实现这一点-从经典统计到深度学习模型的函数方差分析方差分解的众所周知的概念的适应。我们展示了如何识别可以通过训练模型的解码器网络的边缘属性的约束来实现。我们展示了我们的神经分解在一系列合成示例以及高维基因组学数据上的实用性。
2020-08-26 cs.LG stat.ML
Exchangeable Sequence Models Quantify Uncertainty Over Latent Concepts
Columbia University(哥伦比亚大学)
本研究提出可交换序列模型,通过回归De Finetti经典预测视角实现对潜在概念的不确定性量化,证明其等价于贝叶斯模型,还提出数据增强等编码可交换性的方法。
2024-11-28 cs.LG stat.ML
Latent Discretization for Continuous-time Sequence Compression
Meta AI
神经压缩提供了一种域不可知的方法来通过深度生成模型创建用于有损或无损压缩的编解码器。然而,对于序列压缩,大多数深度序列模型具有随序列长度而不是序列复杂度缩放的成本。在这项工作中,我们将数据序列视为来自底层连续时间过程的观测,并学习如何有效地离散化,同时保留有关完整序列的信息。由于解耦的时间离散化的顺序信息,我们的方法允许更大的压缩率和更小的计算复杂性。此外,连续时间方法自然允许我们在不同的时间间隔进行解码。我们经验验证我们的方法在多个领域涉及视频和运动捕捉序列的压缩,表明我们的方法可以通过学习如何离散化自动实现比特率的降低。
2022-12-28 cs.LG stat.ML
Variational inference of latent state sequences using Recurrent Networks
最近的进展,在估计深有向图形模型和经常性网络,让我们有助于消除一个盲点领域的概率建模的时间序列。所提出的方法i)可以推断具有非线性转换的分布式潜在状态空间轨迹,ii)由于使用随机目标和快速近似推理,可以扩展到大数据集,iii)能够设计丰富的排放模型,iv)自然会导致结构化输出。两种不同的路径引入潜在状态序列,导致变分递归自动编码器(VRAE)和变分一步预测器(VOSP)。使用独立的维纳过程作为潜在状态序列的先验是一个可行的折衷之间的有效计算的库尔贝克-莱布勒散度从变分近似的后,并保持合理的信念的动态。我们经验验证我们的方法,获得接近或优于最先进的结果。我们还显示了去噪和缺失值填补的定性结果。
2014-09-30 cs.LG stat.ML
Probabilistic Latent Semantic Analysis
EECS Department, Computer Science Division, University of California, Berkeley(加州大学伯克利分校电子工程与计算机科学系,计算机科学分部);International Computer Science Institute(国际计算机科学研究所)
概率潜在语义分析(ProbabilityLatentSemantic Analysis)是一种新的统计技术,用于分析双模式和共现数据,在信息检索和过滤、自然语言处理、文本机器学习等相关领域有着广泛的应用。相比标准的潜在语义分析,源于线性代数,并执行一个奇异值分解的同现表,所提出的方法是基于一个混合物分解来自一个潜在的类模型。这就产生了一种更有原则的方法,它在统计学方面有着坚实的基础。为了避免过拟合,我们提出了一个广泛适用的推广的最大似然模型拟合的回火EM。我们的方法产生大量的和一致的改进,在一些实验中的潜在语义分析。
2013-01-23 cs.IR cs.LG stat.ML
Latent Variable Sequence Identification for Cognitive Models with Neural Network Estimators
Department of Psychology, University of California, Berkeley,Helen Wills Neuroscience Institute, University of California, Berkeley(心理学系,加州大学伯克利分校,Helen Wills神经科学研究所,加州大学伯克利分校)
针对似然不可处理认知模型难以推断时变潜变量的问题,提出结合循环神经网络与模拟推断的神经贝叶斯方法,实现连续和离散潜变量序列的准确、可泛化识别。
2024-12-19 cs.LG stat.ML
Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning
Siemens AG(西门子股份公司);TU Munich(慕尼黑工业大学);University of Cambridge(剑桥大学);Harvard University(哈佛大学)
具有潜在变量的贝叶斯神经网络是可扩展且灵活的概率模型:它们考虑了网络权重估计中的不确定性,并且通过利用潜在变量,可以捕获数据中的复杂噪声模式。我们展示了如何提取和分解的不确定性为决策目的的认知和任意组件。这使我们能够成功地识别信息点的功能与异方差和双峰噪声的主动学习。使用分解,我们进一步定义了一个新的风险敏感的强化学习标准,以确定平衡预期成本,模型偏差和噪音厌恶的政策。
2018-06-15 cs.LG stat.ML
An Exploratory Analysis of the Latent Structure of Process Data via Action Sequence Autoencoder
计算机模拟已经成为评估复杂技能(如解决问题的技能)的流行工具。基于计算机的项目的日志文件记录了每个受访者的整个人机交互过程。反应过程是非常多样的,嘈杂的,和非标准的格式。很少有通用的方法已经开发利用过程数据中包含的信息。在这篇文章中,我们提出了一种方法来提取过程数据的潜变量。该方法利用序列到序列的自动编码器压缩响应过程成标准的数值向量。它不需要事先了解特定的项目和人机交互模式。所提出的方法被应用到模拟和真实的过程数据,以证明所产生的潜变量提取有用的信息,从响应过程。
2019-08-16 cs.LG stat.AP stat.ML
Normalizing Flow with Variational Latent Representation
HKUST(香港科技大学)
规范化流(NF)由于其强大的建模复杂数据分布的能力而比传统的基于最大似然的方法更受欢迎。然而,标准的方法,它将观测数据映射到一个正态分布,在处理多个相对孤立的模式的数据分布有困难。为了克服这个问题,我们提出了一个新的框架的基础上变分潜在表示,以提高NF的实际性能。这个想法是用一个更一般的潜在表示代替标准的正态潜在变量,通过变分贝叶斯联合学习。例如,通过将潜在表示作为离散序列,我们的框架可以学习生成潜在序列的Transformer模型和生成以序列为条件的连续数据分布的NF模型。由此产生的方法是显着更强大的标准规范化流的方法生成数据分布与多个模式。大量的实验已经显示了NF与变分潜在表示的优势。
2022-11-21 cs.LG stat.ML
Invariance-adapted decomposition and Lasso-type contrastive learning
Preferred Networks(Preferred Networks(首选网络公司));The Institute of Statistical Mathematics(统计数学研究所)
近年来,对比学习在获得数据集的表示方面的有效性已经被证明,这些表示在解释和下游任务中是有用的。然而,描述这种有效性的机制还没有被彻底分析,并且已经进行了许多研究来调查通过对比学习捕获的数据结构。特别是最近对\citet{content_isolate}的研究表明,对比学习能够将数据空间分解为对所有增广及其补集都不变的空间。在本文中,我们引入了不变性适应的潜在空间的概念,将数据空间分解为每个增广及其补充的不变空间的交集。这种分解推广了\citet{content_isolate}中引入的分解,并描述了一种类似于群的谐波分析中的频率的结构。我们的实验表明,对比学习与拉索型度量可以用来找到一个不变适应的潜在空间,从而提出了一个新的潜力的对比学习。我们还调查,当这样的潜在空间可以确定为每个组件内的混合。
2022-10-13 cs.LG stat.ML
D-GCCA: Decomposition-based Generalized Canonical Correlation Analysis for Multi-view High-dimensional Data
New York University(纽约大学);Tulane University(杜兰大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
现代生物医学研究经常收集多视图数据,即在同一组对象上测量的多种类型的数据。高维多视图数据分析中的一个流行模型是将每个视图的数据矩阵分解为由所有数据视图共同的潜在因素生成的低秩共源矩阵、与每个视图对应的低秩独特源矩阵和加性噪声矩阵。我们提出了一种新的分解方法,称为基于分解的广义典型相关分析(D-GCCA)。与现有的大多数方法使用的欧氏点积空间相比,D-GCCA严格定义了随机变量在L2空间上的分解,从而能够为低秩矩阵恢复提供估计一致性。此外,为了很好地校准共同的潜在因素,我们施加了一个理想的正交约束独特的潜在因素。然而,现有的方法没有充分考虑这种正交性,因此可能遭受未检测到的共源变化的实质性损失。我们的D-GCCA比广义典型相关分析更进一步,通过分离典型变量之间的共同和独特的成分,同时从主成分分析的角度享受一个有吸引力的解释。此外,我们建议使用由共同或独特的潜在因素解释的信号方差的变量水平比例来选择最受影响的变量。我们的D-GCCA方法的相合估计量建立了良好的有限样本数值性能,并具有封闭形式的表达式,特别是对大规模数据的有效计算。D-GCCA优于最先进方法的优越性也在模拟和真实世界的数据示例中得到证实。
2022-09-16 cs.LG stat.ML
ED-VAE: Entropy Decomposition of ELBO in Variational Autoencoders
University of Leoben(莱奥本大学);Chair of Cyber-Physical Systems(网络物理系统讲席)
针对传统VAE受ELBO公式限制、难以适配复杂先验且生成与可解释性不足的问题,提出ED-VAE,通过显式引入熵和交叉熵重构ELBO,提升模型灵活性、潜在空间可解释性与生成性能。
2024-07-09 cs.AI cs.LG stat.ML
Improving Generalization of Sequence Encoder-Decoder Networks for Inverse Imaging of Cardiac Transmembrane Potential
Golisano College of Computing and Information Sciences(戈利萨诺计算与信息科学学院);Rochester Institute of Technology(罗切斯特理工学院)
深度学习模型在许多逆重建问题中表现出最先进的性能。然而,人们还没有很好地理解潜在表示的哪些属性可以提高网络的泛化能力。此外,对于时间序列的逆重建,已经提出了有限的模型。在本文中,我们研究了一个序列编码器解码器模型的泛化能力,用于解决时间序列的逆重建。我们的中心假设是网络的泛化能力可以通过1)约束随机性和2)潜在空间中时间信息的全局聚合来提高。首先,借鉴分析学习理论,我们从理论上表明,随机潜在空间将导致提高泛化能力。其次,我们考虑LSTM编码器-解码器架构,该架构从LSTM编码器中的所有最后一层单元压缩全局特征向量。该模型与其他LSTM编码器-解码器架构进行了比较,每个架构都有确定性和随机性版本。结果表明,约束随机性结合隐空间中时间信息的全局聚集,可以提高逆重构网络的泛化能力。
2018-10-12 cs.LG stat.ML
Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling
School of Electrical and Electronic Engineering(电气与电子工程学院);Nanyang Technological University(南洋理工大学)
条件随机场(CRF)经常用于标记和分割序列数据。Mohammed等人(2007)在标记的CRF结构中引入了隐藏的状态变量,以便对类别标签中的潜在动态进行建模,从而提高标记性能。这种模型被称为潜在动态CRF(LDCRF)。我们提出了因子LDCRF(FLDCRF),一种结构,允许多个潜在的动态类标签相互作用。包括这样的潜在的动态相互作用导致单标签和多标签序列建模任务的标签性能的改善。我们将我们的FLDCRF模型应用于两个不同数据集的两个单标签(一个嵌套交叉验证)和一个多标签序列标记(嵌套交叉验证)实验- UCI手势相位数据和UCI机会数据。FLDCRF优于所有最先进的序列模型,即,CRF,LDCRF,LSTM,LSTM-CRF,析因CRF,耦合CRF和多标签LSTM模型。此外,基于LSTM的模型在验证数据和测试数据之间表现出不一致的性能,并且在我们的实验期间很难根据验证数据选择模型。FLDCRF提供了更简单的模型选择,验证和测试性能的一致性以及清晰的模型直觉。与LSTM相比,FLDCRF的训练速度也快得多,即使没有GPU。FLDCRF在UCI手势相位数据的单标签任务中比最佳LSTM模型突出约4%,在UCI机会数据的多标签序列标记实验中,在嵌套交叉验证测试集上平均比LSTM性能高约2%。FLDCRF的思想可以扩展到联合(多智能体交互)和异构(离散和连续)状态空间模型。
2019-11-12 cs.LG eess.SP stat.ML
Latent Block-Diffusion Temporal Point Processes: A Semi-Autoregressive Framework for Asynchronous Event Sequence Generation
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Department of Data Science, City University of Hong Kong(香港城市大学数据科学系);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出潜在块扩散时间点过程(LBDTPP),通过潜在空间中的块级自回归和块内高斯扩散,实现可变长度、高质量的事件序列生成,理论证明可减少误差累积,实验优于现有方法。
2026-06-25 cs.LG stat.ML
Re-examination of the Role of Latent Variables in Sequence Modeling
Carnegie Mellon University(卡内基梅隆大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
随机递归模型在对声波序列进行建模时采用了隐变量,取得了很好的效果。然而,在其他领域也观察到相反的结果,其中标准的递归网络通常优于随机模型。为了更好地理解这种差异,我们重新审视潜变量在语音密度估计的随机递归模型中的作用。我们的分析表明,在以前的评估中,在完全因子化的输出分布的限制下,随机模型隐含地利用了步内相关性,但标准的经常性基线被禁止这样做,导致不公平的比较。为了纠正这种不公平,我们在重新检查中删除了这种限制,其中所有模型都可以显式地利用具有自回归结构的步内相关性。在一组不同的序列数据,包括人类语音,音乐,手写轨迹和帧置换语音,我们的研究结果表明,随机递归模型未能表现出任何实际优势,尽管声称的理论优势。相比之下,配备自回归输出分布的标准递归模型始终表现更好,显着推进了三个语音数据集上的最新结果。
2019-09-16 cs.LG stat.ML
Convex Latent Effect Logit Model via Sparse and Low-rank Decomposition
Facebook Inc.(Facebook公司);Penn State University(宾夕法尼亚州立大学);Texas Tech University(德克萨斯理工大学)
本文提出了一个学习具有潜在异质效应的逻辑回归模型(logit)的凸形式。在运输中,逻辑回归及其变体通常被解释为效用理论下的离散选择模型(McFadden,2001)。Logit模型在交通领域的两个突出应用是交通事故分析和选择建模。在这些应用中,研究人员往往希望了解和捕捉在相同的事故或选择场景下的个体差异。混合效应逻辑回归(Mixed Effect Logistic Regression,Mixed Logit)是交通研究人员常用的模型。为了估计混合logit参数的分布,需要求解一个具有嵌套高维积分的非凸优化问题。基于仿真的优化通常应用于解决混合logit参数估计问题。尽管它很受欢迎,但学习个体异质性的混合logit方法有几个缺点。首先,分布的参数形式需要领域知识和用户强加的假设,尽管这个问题可以通过使用非参数方法在一定程度上得到解决。第二,混合logit的参数估计和非参数扩展的非凸性,这导致不稳定的模型解释的最优化问题。第三,模拟辅助估计中的模拟大小缺乏有限样本的理论保证,并且在实践中选择得有些随意。为了解决这些问题,我们有动力开发一个配方,模型的潜在的个人异质性,同时保持凸性,并避免了需要基于模拟的近似。我们的设置是基于将参数分解为人口中的稀疏同质成分和每个个体的低秩异质部分。
2021-08-22 cs.LG stat.ME stat.ML
A Contextual Latent Space Model: Subsequence Modulation in Melodic Sequence
Sony Computer Science Laboratories(索尼计算机科学实验室)
一些序列(如音乐和文本)的生成模型允许我们只编辑连续性,给定周围的上下文序列,这在交互式地引导生成中起着重要的作用。然而,编辑序列主要涉及来自可能的生成空间的随机重新序列。我们提出了一个上下文潜在空间模型(CLSM),以便用户能够在生成空间中探索具有方向感的子序列生成,例如,插值,以及探索变化--语义相似的可能子序列。CLSM的生成模型由上下文信息先验和解码器组成,推理模型由上下文位置信息编码器组成。在实验中,我们使用单声道符号音乐数据集,证明我们的上下文潜在空间比基线插值更平滑,生成的样本质量优于基线模型。生成示例可在线获得。
2021-11-23 cs.AI cs.LG cs.SD
Model Selection for Topic Models via Spectral Decomposition
University of Southern California(南加州大学)
主题模型在分析大规模文本语料库方面取得了显著的成功。在实际应用中,我们总是面临着模型选择的挑战,即,如何合理设置题目的数量。基于张量分解在主题模型推理方面的最新进展,本文首次尝试对潜在Dirichlet分配中的模型选择进行理论分析。在较弱的条件下,给出了有限大小的文本集合中主题数的上界和下界。实验结果表明,我们的边界是准确的,紧。此外,以高斯混合模型为例,我们表明,我们的方法可以很容易地推广到其他潜在模型的模型选择分析。
2015-02-17 cs.IR cs.LG stat.CO
Bayesian Nonparametric Poisson-Process Allocation for Time-Sequence Modeling
分析多个时间序列的底层结构提供了对社交网络和人类活动的理解的见解。在这项工作中,我们提出了\emph{Bayesian nonparametric Poisson process allocation}(BaNPPA),一个潜在的功能模型的时间序列,自动推断的数量的潜在功能。我们将每个序列的强度建模为潜在函数的无限混合,每个潜在函数都是使用从高斯过程中提取的函数获得的。我们表明,这种混合模型的推理的技术挑战是不可识别的潜在功能的权重。我们建议通过调节变分推断算法中每个潜在函数的体积来处理这个问题。我们的算法是计算效率和规模以及大型数据集。我们证明了我们提出的模型的有用性,通过实验合成和真实世界的数据集。
2018-04-03 stat.ML
Convex Tensor Decomposition via Structured Schatten Norm Regularization
本文研究用于凸优化张量分解的结构化Schatten范数,从理论上证明“潜在”方法优于“重叠”方法,并建立对偶性、一致性和可识别性结果。
2013-03-26 cs.LG cs.NA math.NA
When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity
University of California, Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
本文研究了过完备主题模型在特定阶可观察矩下的可识别性,提出通过结构稀疏性约束实现张量Tucker分解的唯一性。
2013-08-13 cs.IR cs.LG cs.NA