Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent
NVIDIA Research(英伟达研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学)
本文提出Categorical Traffic Transformer(CTT),通过可解释的令牌化隐空间直接监督隐变量以避免模式坍缩,在提升预测精度的同时生成语义多样化的行为,并支持与LLM集成实现常识推理和零样本泛化。
2023-11-30 cs.CV cs.LG cs.RO
Categorical Reparameterization with Gumbel-Softmax
Google Brain(谷歌大脑);University of Cambridge(剑桥大学);MPI Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Stanford University(斯坦福大学)
分类变量是表示世界离散结构的自然选择。然而,随机神经网络很少使用分类潜变量,因为它不能通过样本反向传播。在这项工作中,我们提出了一个有效的梯度估计,从一个新的Gumbel-Softmax分布的可微样本,取代不可微的样本从分类分布。这种分布具有一个基本性质,即它可以被平滑地退火成一个范畴分布。我们表明,我们的Gumbel-Softmax估计器在结构化输出预测和具有分类潜变量的无监督生成建模任务上优于最先进的梯度估计器,并在半监督分类上实现了大幅加速。
2017-08-05 cs.LG stat.ML
Why Do Few-Step Text Latents Fail When Image Latents Work? Non-Commitment at Sharp Categorical Readouts
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文发现确定性少步生成在连续图像潜在变量上成功,但在连续文本潜在变量上崩溃为不连贯文本,原因是几何因素而非训练或缩放缺陷:平滑的确定性映射无法在尖锐分类读出前解决离散分支选择,失败由解码器尖锐度而非传输精度主导。
2026-07-01 cs.AI cs.LG
On Extending NLP Techniques from the Categorical to the Latent Space: KL Divergence, Zipf's Law, and Similarity Search
Zoomi, Inc(Zoomi公司);College of William & Mary(威廉与玛丽学院);Peking University(北京大学);Purdue University(普渡大学)
尽管深度学习最近在自然语言处理(NLP)中取得了成功,但仍然存在对不依赖于机器学习的技术的广泛使用和需求。这些技术的优点是它们的可解释性和低成本相比,经常不透明和昂贵的机器学习模型。虽然它们可能不是在所有情况下都具有同样的性能,但它们通常足以解决常见和相对简单的问题。在本文中,我们的目标是现代化这些旧的方法,同时保留其优势,从分类或袋的话表示的潜在空间中的词嵌入表示的方法。首先,我们表明,熵和Kullback-Leibler分歧可以有效地估计使用词嵌入,并使用这种估计比较文本在几个类别。接下来,我们将在分类空间中经常观察到的重尾分布(称为齐普夫定律)重新转换到潜在空间。最后,我们希望通过引入一种新的方法来识别相似的句子,基于集合覆盖问题,以提高Jaccard相似性度量的句子建议。我们比较了该算法的性能对几个基线,包括字移动器的距离和Levenshtein距离。
2020-12-02 cs.CL cs.LG
Evidence Transfer for Improving Clustering Tasks Using External Categorical Evidence
Institute of Informatics and Telecommunications(信息学与电信研究所)
在本文中,我们介绍了聚类的证据转移,这是一种深度学习方法,可以根据外部分类证据递增地操纵自动编码器的潜在表示,以改善聚类结果。通过证据转移,我们定义了利用外部辅助任务的分类结果来改进主要任务的过程,在这种情况下,用于聚类的表示学习。我们提出的方法不对所提供的分类证据进行假设,也不对潜在空间的结构进行假设。我们通过在部署之前和之后执行k均值聚类来比较我们的方法与基线解决方案。三种不同类型的证据的实验表明,我们的方法有效地操纵潜在的表示时,介绍了真正的相应证据,同时保持鲁棒性时,提出了低质量的证据。
2018-12-15 cs.AI cs.LG stat.ML
Goodness-of-Fit Tests for Latent Class Models with Ordinal Categorical Data
School of Economics and Finance, Chongqing University of Technology, Chongqing, 400054, China(经济金融学院,重庆理工大学,重庆,400054,中国)
本文提出了一种检验统计量,用于确定有序分类数据潜在类别模型中的潜在类别数量,通过分析残差矩阵的最大奇异值并进行样本量调整,实现对潜在类别数目的准确估计。
2026-02-25 cs.LG stat.ME stat.ML
Taming Continuous Posteriors for Latent Variational Dialogue Policies
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Amazon Development Center Germany GmbH(亚马逊德国开发中心有限责任公司)
在面向任务的对话(ToD)系统中,将摊销变分推理用于潜在动作强化学习(RL)已被证明是优化对话成功的有效方法。到目前为止,分类后验被认为是绩效的主要驱动因素之一。在这项工作中,我们重新审视了潜在行动RL的高斯变分后验,并表明它们可以产生比分类更好的性能。我们通过简化训练程序来实现这一点,并提出了将潜在对话政策正规化的方法,以保持良好的响应一致性。使用连续的潜在表示,我们的模型在MultiWOZ基准测试中达到了最先进的对话成功率,并且在响应一致性方面与分类潜在方法进行了比较。
2022-06-01 cs.AI cs.CL cs.LG
Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors
Shanghai Jiao Tong University(上海交通大学);Northwestern University(西北大学)
科学和工程问题通常需要使用人工智能来帮助理解和寻找有前途的设计。虽然高斯过程(GP)作为易于使用和可解释的学习器脱颖而出,但它们难以适应大数据集,分类输入和多个响应,这已成为越来越多的数据驱动设计应用程序的共同挑战。在本文中,我们提出了一个GP模型,利用通过变分推理得到的潜变量和函数,同时解决上述挑战。该方法是建立在潜变量高斯过程(LVGP)模型,其中分类因素被映射到一个连续的潜在空间,使GP模型的混合变量数据集。通过将变分推理扩展到LVGP模型,大型训练数据集被一小组诱导点所取代,以解决可扩展性问题。输出响应向量由独立潜在函数的线性组合表示,形成灵活的内核结构以处理可能具有不同行为的多个响应。比较研究表明,所提出的方法可以很好地扩展超过10^4个数据点的大型数据集,同时优于最先进的机器学习方法,而不需要太多的超参数调整。此外,获得了一个可解释的潜在空间,以深入了解分类因素的影响,例如与超材料和材料设计中的建筑模块和元件选择相关的因素。我们的方法被证明是机器学习的三元氧化物材料和拓扑优化的多尺度顺应机制与非周期性的微结构和多种材料。
2021-06-30 cs.LG stat.ML
Bayesian Nonparametric Dimensionality Reduction of Categorical Data for Predicting Severity of COVID-19 in Pregnant Women
Stony Brook University(石溪大学);Department of Obstetrics, Gynecology and Reproductive Medicine(妇产科与生殖医学系)
针对孕妇COVID-19临床研究代表性不足、多分类临床数据维度爆炸的问题,提出基于潜在高斯过程的贝叶斯非参数降维方法,用于预测孕妇COVID-19重症程度,准确率优于传统独热编码方法。
2021-09-27 cs.LG stat.AP
Coupled Gradient Estimators for Discrete Latent Variables
Google Research(谷歌研究院);DeepMind(深度思维)
由于无偏梯度估计的高方差,具有离散潜变量的训练模型具有挑战性。虽然连续松弛的低方差重新参数化梯度可以提供有效的解决方案,但连续松弛并不总是可用或易于处理的。Dong等人(2020)和Yin等人(2020)介绍了一种不依赖于连续松弛的性能估计器;然而,它仅限于二进制随机变量。我们引入了一种新的推导基于重要性采样和统计耦合,我们扩展到分类设置的估计。出于建设的一个棒打破耦合,我们引入梯度估计的基础上重新参数化的分类变量序列的二进制变量和Rao-Blackwellization。在系统实验中,我们表明,我们提出的分类梯度估计提供了最先进的性能,而即使有额外的Rao-Blackwellization,以前的估计(Yin等人,2019)表现不佳的一个更简单的REINFORCE与留一基线估计(库尔等人,2019年)。
2022-11-15 cs.LG stat.ML
PixelGAN Autoencoders
University of Toronto(多伦多大学)
在本文中,我们描述了“Pixel GAN autoencoder”,一种生成式自动编码器,其中生成路径是以潜在代码为条件的像素卷积自回归神经网络(PixelCNN),识别路径使用生成对抗网络(GAN)对潜在代码施加先验分布。我们发现,不同的先验导致不同的分解之间的信息的潜在代码和自回归解码器。例如,通过将高斯分布作为先验,我们可以实现全局与局部分解,或者通过将分类分布作为先验,我们可以以无监督的方式解开图像的风格和内容信息。我们进一步展示了具有分类先验的PixelGAN自动编码器如何直接用于半监督设置,并在MNIST,SVHN和NORB数据集上实现有竞争力的半监督分类结果。
2017-06-02 cs.LG
Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck
Michigan State University(密歇根州立大学);Argonne National Laboratory(阿贡国家实验室);Google Research(谷歌研究院)
信息瓶颈框架提供了一种系统的方法来学习表示,压缩输入中的滋扰信息,并提取有关预测的语义上有意义的信息。然而,选择固定所有数据的维度的先验分布会限制这种方法用于学习鲁棒表示的灵活性。我们提出了一种新的稀疏诱导穗板分类先验,使用稀疏性作为一种机制,以提供灵活性,允许每个数据点学习自己的维度分布。此外,它提供了一种机制,用于学习潜在变量和稀疏度的联合分布,因此可以考虑潜在空间中的完全不确定性。通过在MNIST、CIFAR-10和ImageNet数据上使用分布内和分布外学习场景进行的一系列实验,我们表明,与传统的固定维先验以及文献中提出的潜变量模型的其他稀疏诱导机制相比,所提出的方法提高了准确性和鲁棒性。
2022-10-28 cs.LG stat.ME stat.ML
Unsupervised and interpretable scene discovery with Discrete-Attend-Infer-Repeat
University of Cambridge(剑桥大学)
在这项工作中,我们提出了离散注意推断重复(离散空气),一个经常性的自动编码器与结构化的潜在分布包含离散分类分布,连续属性分布,和分解空间注意。离散空气模型的灵感来自于原始空气模型和保留空气模型的能力,在识别图像中的对象,离散空气提供了直接解释的潜在代码。我们表明,对于多MNIST和多对象版本的dSprites数据集,离散空气模型只需要一个分类的潜在变量,一个属性变量(仅适用于多MNIST),以及空间注意力变量,有效的推理。我们进行分析表明,学习的分类分布有效地捕捉多MNIST和多精灵的场景中的对象的类别。
2019-03-14 cs.CV cs.LG stat.ML
Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling
Apple(苹果公司)
针对标准离散扩散模型的信息空洞问题,提出结合连续潜空间扩散的CADD框架,可可控调节生成多样性与精准性,在多任务生成上优于现有基线。
2025-10-01 cs.LG stat.ML
Approximate Inference in Structured Instances with Noisy Categorical Observations
University of Waterloo(滑铁卢大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了在噪声观测存在的情况下,恢复具有分类随机变量的结构化实例的潜在地面真值标记的问题。我们提出了一个新的近似算法,实现低汉明误差的存在噪声的顶点和边的观察与分类变量的图。我们的主要结果表明,对数依赖的汉明误差的类别的随机变量的数量。我们的方法与具有固定数量的聚类的相关聚类相连接。我们的研究结果将Globerson et al.(2015)和Foster et al.(2018)的工作推广到了分类标签的情况,他们研究了二元标签下结构化预测的难度。
2019-07-06 cs.DS cs.LG stat.ML
Beyond Softmax: A Natural Parameterization for Categorical Random Variables
Università della Svizzera italiana, IDSIA(瑞士大学、IDSIA)
本文提出Catnat函数作为替代Softmax的方案,通过信息几何视角分析其局限性,并通过实验展示其在提升学习效率和测试性能方面的优势。
2026-05-12 cs.LG stat.ML
CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过分类变量精确地反向传播梯度是一项具有挑战性的任务,它出现在各个领域,例如训练离散潜变量模型。为此,我们提出了CARMS,分类随机变量的无偏估计的基础上多个相互负相关(共同对立)的样本。CARMS将REINFORCE与基于copula的抽样相结合,以避免重复样本并减少其方差,同时使用重要性采样保持估计量无偏。它推广了二元变量的ARMS对偶估计,这是两个类别的CARMS,以及LOORF/VarGrad,留一法REINFORCE估计,这是独立样本的CARMS。我们在生成式建模任务以及结构化输出预测任务的多个基准数据集上评估了CARMS,发现它优于竞争方法,包括强大的自我控制基线。代码是公开的。
2021-10-26 cs.LG stat.ML
The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations
Jiratech
本文的目的是概述了一个通用的模型,用于表示混合的关系分类,符号,感知感知和感知潜在的数据,从而体现,在同一个架构的数据层,表示的输入,输出和潜在的张量。这种表示的多样性目前被计算机视觉、NLP/NLU、强化学习中的各种机器学习模型所使用,这些模型允许直接应用跨域查询和函数。这是通过赋予有向张量类型多图至少一些表示来自各种潜在空间的嵌入的边属性来实现的,以便定义、构建和计算张量形式之间和跨张量形式的新的相似性和距离关系,包括视觉、语言、听觉潜在表示,从而将观察到的宇宙的逻辑分类视图缝合到贝叶斯/统计视图。
2020-04-28 cs.AI cs.CV cs.LG
Mixed Likelihood Gaussian Process Latent Variable Model
KTH Royal Institute of Technology(KTH皇家理工学院)
我们提出了混合似然高斯过程隐变量模型(GP-LVM),能够建模数据的不同类型的属性。GP-LVM的标准公式假设每个观测值都来自高斯分布,这使得模型不适合具有分类或名义属性的数据。我们的模型,我们使用基于抽样的变分推理,而不是假设一个单独的可能性为每个观察到的维度。该公式产生更有意义的潜在表示,并为具有不同类型维度的真实世界数据提供更好的预测性能。
2018-11-19 cs.LG stat.ML
Categorical Reparameterization with Denoising Diffusion models
KTH Royal Institute of Technology(皇家理工学院);Institute of Foundation Models, MBZUAI(基础模型研究所);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
ReDGE是一种基于扩散模型的新型软重参数化方法,用于高效优化分类分布的梯度估计。
2026-02-09 cs.LG stat.ML
Augment and Reduce: Stochastic Inference for Large Categorical Distributions
University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学);Athens University of Economics and Business(雅典经济与商业大学)
分类分布在机器学习中无处不在,例如,分类、语言模型和推荐系统。然而,当可能结果的数量非常大时,使用分类分布在计算上变得昂贵,因为复杂性与结果的数量呈线性关系。为了解决这个问题,我们提出了增加和减少(A&R),一种方法来减轻计算复杂度。A&R使用两种思想:潜变量扩充和随机变分推断。它最大化数据的边际似然的下限。与特定于softmax的现有方法不同,A&R更通用,并且适用于其他分类模型,例如多项式概率单位。在几个大规模的分类问题,我们表明,A&R提供了一个更严格的边界上的边际可能性,并具有更好的预测性能比现有的方法。
2018-06-07 cs.LG stat.ML
Addressing Dynamic and Sparse Qualitative Data: A Hilbert Space Embedding of Categorical Variables
Samuel Curtis Johnson Graduate School of Management(塞缪尔·柯蒂斯·约翰逊管理研究生院);Cornell University(康奈尔大学);Lee Kong Chian School of Business(李光前商学院);Singapore Management University(新加坡管理大学)
针对动态复杂定性数据用于因果估计时存在的数据稀疏、估计有偏的问题,提出基于贝尔空间和RKHS的分类变量希尔伯特空间嵌入框架,结合迁移学习与核技巧优化估计,经仿真和电商场景真实研究验证性能更优。
2023-08-22 cs.LG
Deep Counterfactual Estimation with Categorical Background Variables
KU Leuven(鲁汶大学)
反事实查询被称为因果推理阶梯的第三级,通常会问“如果?“回顾性提问。估计反事实的标准方法在于使用结构方程模型,该模型准确地反映了底层数据生成过程。然而,这样的模型很少在实践中,人们通常希望推断他们从观测数据。不幸的是,正确的结构方程模型通常无法从观察到的实际分布中识别出来。然而,在这项工作中,我们表明,在假设的主要潜在贡献者的治疗反应是分类的,反事实仍然可以可靠地预测。在此假设的基础上,我们引入了反事实查询预测(CFQP),一种新的方法来推断反事实连续观测时,背景变量是分类的。我们表明,无论是在理论上还是在经验上,我们的方法在时间序列和图像数据上都明显优于以前可用的基于深度学习的反事实方法。我们的代码可在https://github.com/edebrouwer/cfqp上获得。
2023-01-16 cs.AI cs.LG stat.ME
Ordinal-Content VAE: Isolating Ordinal-Valued Content Factors in Deep Latent Variable Models
Samsung AI Center Cambridge(三星人工智能中心剑桥);Rutgers University(罗格斯大学)
在深度表征学习中,通常希望将特定因素(称为{ \em content})与其他因素(称为{ \em style})隔离。内容的构成通常由用户通过数据中的显式标签指定,而所有未标记/未知的因素都被视为风格。最近,已经表明可以通过修改深度潜在因素模型(例如,VAE),使风格和内容在潜在的表征中很好地分离。然而,该方法假设内容因子是分类值的(例如,面部图像数据中的受试者ID,或MNIST数据集中的数字类)。在某些情况下,内容是序值的,也就是说,内容因子采用的值是{ \em有序的}而不是分类的,使得内容标记的VAE,包括它们推断的潜在空间,是次优的。在本文中,我们提出了一种新的VAE扩展,它在内容潜在空间中施加了偏序集(偏序集)结构,同时使其与有序内容值对齐。为此,而不是在现有的方法中采用的iid高斯潜在先验,我们引入了一个条件高斯间距先验模型。该模型承认一个听话的联合高斯先验,但也有效地将可以忽略不计的密度值的内容潜在的配置,违反偏序集约束。为了评估这个模型,我们考虑两个特定的顺序结构的问题:估计一个主题的年龄在一张脸的图像和阐明的热量在一个食物餐图像。我们展示了显着的改进,在内容风格的分离比以前的非有序方法。
2020-09-07 cs.AI cs.LG stat.ML
Differentiable Sampling of Categorical Distributions Using the CatLog-Derivative Trick
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
本文提出 CatLog-Derivative 技巧以解决类别分布的离散特性问题,并基于此提出新型无偏梯度估计器 IndeCateR,其方差在可证明上低于 REINFORCE,且实证显示在相同样本数下偏差和方差显著低于现有技术。
2023-11-21 cs.LG stat.ML
Entropic Auto-Encoding via Implicit Free-Energy Minimization
Department of Physics, Engineering Physics & Astronomy, Queen’s University(物理系、工程物理与天文学系、女王大学)
本文提出熵编码解码框架,通过自由能最小化隐式生成潜在变量先验,解决变分自编码器的后验崩溃问题,实现非高斯多模态潜在分布学习。
2026-05-15 cs.LG
Prediction under Latent Subgroup Shifts with High-Dimensional Observations
Gatsby Computational Neuroscience Unit, UCL(伦敦大学学院盖茨比计算神经科学研究组)
本文提出基于识别参数化模型(RPM)的新方法,从高维图像观测中恢复低维离散潜在变量,识别源环境因果潜在结构并适应目标环境预测,解决了传统方法在高维观测下潜在子群偏移预测的扩展性难题。
2023-06-23 cs.LG stat.ML
Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity
Instituto de Telecomunicações(电信研究所);University of Amsterdam(阿姆斯特丹大学);Instituto Superior Técnico(高等技术学院);Unbabel(Unbabel公司)
训练具有离散(分类或结构化)潜变量的神经网络模型可能在计算上具有挑战性,因为需要在大型或组合集合上进行边缘化。为了规避这个问题,通常诉诸于真实边际的基于采样的近似,需要噪声梯度估计器(例如,得分函数估计器)或具有较低方差重新参数化梯度的连续松弛(例如,Gumbel-Softmax)。在本文中,我们提出了一种新的训练策略,取代这些估计的准确而有效的边缘化。为了实现这一点,我们参数化离散分布在潜在的分配使用可微稀疏映射:sparsemax和它的结构对应。实际上,这些分布的支持大大减少,这使得有效的边缘化成为可能。我们报告了三个任务的成功结果,涵盖了一系列潜在变量建模应用:半监督深度生成模型,潜在通信游戏和具有位向量潜在表示的生成模型。在所有情况下,我们获得了良好的性能,同时仍然实现了基于采样的近似的实用性。
2020-12-28 cs.LG stat.ML
Anomaly detection through latent space restoration using vector-quantized variational autoencoders
Imperial College London(帝国理工学院)
我们提出了一个分布外检测方法,结合密度和基于密度的方法,使用矢量量化变分自动编码器(VQ-VAE)。VQ-VAE模型学习在分类潜在空间中编码图像。潜码的先验分布,然后使用自回归(AR)模型建模。我们发现AR模型估计的先验概率对于无监督的异常检测是有用的,并且能够估计样本和像素异常分数。样本得分定义为潜在变量的负对数似然高于选择高度不可能的代码的阈值。此外,通过用来自先验模型的样本替换不太可能的潜在代码并解码到像素空间,将分布外图像恢复为分布内图像。生成的异常与原始图像之间的平均L1距离被用作逐像素异常分数。我们在MOOD挑战数据集上测试了我们的方法,并报告了与基于VAE的标准重建方法相比更高的准确性。
2020-12-12 cs.CV cs.LG eess.IV
NP-DRAW: A Non-Parametric Structured Latent Variable Model for Image Generation
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达);Canadian Institute for Advanced Research(加拿大高等研究院)
在本文中,我们提出了一个非参数结构化的潜变量模型的图像生成,称为NP-DRAW,它顺序地绘制在一个潜在的画布上的一部分一部分的方式,然后从画布上解码的图像。我们的主要贡献如下。1)我们提出了一个非参数先验分布的图像部分的外观,使每一步的潜在变量“什么画”成为一个分类的随机变量。与文献中使用的高斯算法相比,这提高了表达能力并大大简化了学习。2)我们通过Transformer对零件的顺序依赖结构进行建模,与文献中使用的RNN相比,Transformer更强大且更容易训练。3)我们提出了一个有效的启发式解析算法来预训练先验。MNIST,Omniglot,CIFAR-10和CelebA上的实验表明,我们的方法显着优于以前的结构化图像模型,如DRAW和AIR,并具有竞争力的其他通用生成模型。此外,我们表明,我们的模型的固有的组合性和可解释性带来了显着的好处,在低数据的学习制度和潜在的空间编辑。代码可在https://github.com/ZENGXH/NPDRAW上获得。
2021-07-04 cs.CV cs.LG
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva(日内瓦大学)
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器,条件先验VAE(CP-VAE),它学会区分各个混合成分,因此允许从分布式数据集群的世代。我们假设一个两级的生成过程,连续(高斯)的潜变量采样条件上的离散(分类)的潜在成分。新的变分目标自然地耦合后验和先验条件的学习,以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后,当从对应于原始数据的多模态结构的各个混合成分生成新样本时,数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
Multimodal Data Fusion in High-Dimensional Heterogeneous Datasets via Generative Models
University of South Florida(南佛罗里达大学)
常用的潜在空间嵌入技术,如主成分分析,因子分析和流形学习技术,通常用于学习同质数据的有效表示。然而,它们不容易扩展到作为数值和分类变量的组合的异质数据,例如,由GPS和文本数据链接而成。在本文中,我们感兴趣的是在无监督的方式从高维异构数据中学习概率生成模型。学习的生成模型提供潜在的统一表示,其捕获数据的多个维度共有的因素,并且因此使得能够融合多模态数据以用于各种机器学习任务。贝叶斯方法之后,我们提出了一个通用的框架,结合不同的数据类型,通过自然参数化的指数分布族。为了将模型推理扩展到具有数千个特征的数百万个实例,我们使用Laplace-Bernstein近似进行涉及非线性链接函数的后验计算。该算法详细介绍了常见的异构数据集的实值(高斯)和分类(多项式)功能。在两个高维异构数据集(NYC Taxi和MovieLens-10 M)上的实验表明,该算法在异常检测、数据填充和推荐系统等不同机器学习任务上具有良好的可扩展性和竞争力.
2021-09-16 cs.LG stat.ML
Guiding InfoGAN with Semi-Supervision
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一种新的半监督GAN架构(ss-Info GAN),用于图像合成,利用来自少数标签(最多只有0.22%)的信息。数据集的10%)来学习语义上有意义和可控的数据表示,其中潜变量对应于标签类别。该架构建立在信息最大化生成对抗网络(InfoGAN)的基础上,可以学习连续和分类代码,并实现了比完全无监督设置更高质量的合成样本。此外,我们表明,使用少量的标记数据加快训练收敛。该架构保持了对没有标签可用的潜在变量进行分类的能力。最后,我们贡献了一个信息理论推理如何引入半监督增加合成和真实数据之间的互信息。
2017-07-14 cs.CV cs.LG
Learning Representation for Mixed Data Types with a Nonlinear Deep Encoder-Decoder Framework
Gartner(高德纳);Walmart Labs(沃尔玛实验室)
混合变量,数值和分类类型的数据表示,以获得合适的特征映射是一项具有挑战性的任务,因为重要的信息在于一个复杂的非线性流形。特征变换应该能够同时包含单个变量的边缘信息和混合类型变量之间复杂的交叉依赖结构。在这项工作中,我们提出了一种新的非线性深度编码器-解码器框架来捕获混合数据类型的跨域信息。网络的隐藏层通过各种非线性变换将两种类型的变量连接起来,以给出潜在的特征映射。我们将数值变量的信息编码在一些隐藏的非线性单元中。我们使用这些单位通过进一步的非线性变换来重新创建分类变量。开发了一个单独的和类似的网络,切换数值变量和分类变量的角色。隐藏的代表性单位堆叠一个接一个的其他和转换到一个共同的空间使用局部保持投影。导出的特征图用于探索数据中的聚类。各种标准的数据集进行了调查,以显示几乎最先进的性能,在使用简单的K-均值聚类的特征映射的聚类。
2020-09-21 cs.LG stat.AP
Self-supervised Latent Space Optimization with Nebula Variational Coding
本文提出星云变分编码(NVC),通过在潜空间引入星云锚点并结合变分约束与自监督度量学习,使潜变量形成语义明确的簇,从而提升分类、分割、补全和重建等多类任务的性能。
2025-06-02 cs.IT cs.LG math.IT
Modeling Diverse Chemical Reactions for Single-step Retrosynthesis via Discrete Latent Variables
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
单步逆合成是逆合成规划的基础,逆合成规划是计算机辅助药物发现的关键任务。单步逆合成的目标是确定在一个反应中导致目标产物合成的可能反应物。通过将有机分子表示为正则串,现有的基于序列的逆合成方法将产物到反应物的逆合成处理为序列到序列的翻译问题。然而,由于确定性推理,他们中的大多数人都很难确定所需产物的不同化学反应,这与许多化合物可以通过不同的反应类型与不同的反应物合成的事实相矛盾。在这项工作中,我们的目标是增加反应的多样性,并产生各种反应物使用离散的潜变量。我们提出了一种新的基于序列的方法,即RetroDVCAE,它将条件变分自编码器纳入单步逆合成,并将离散潜变量与生成过程相关联。具体来说,RetroDVCAE使用Gumbel-Softmax分布来近似潜在反应的分类分布,并使用变分解码器生成多组反应物。实验表明,RetroDVCAE在基准数据集和自制数据集上的性能都优于最先进的基线。定量和定性的结果表明,RetroDVCAE可以模拟反应类型的多峰分布,并产生不同的反应物候选人。
2022-08-10 cs.LG q-bio.BM q-bio.QM
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University(斯泰伦博斯大学);The University of Edinburgh(爱丁堡大学)
对于我们提交的ZeroSpeech 2019挑战,我们将离散潜变量神经网络应用于未标记的语音,并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器(AE)架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时,单元发现从一个看不见的扬声器的语音进行,然后由一个已知的目标扬声器单元解码条件,以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化,分类变分自编码器(CatVAE),矢量量化的VAE(VQ-VAE)和直通估计进行了比较,在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码,VQ-VAE离散化,解卷积解码和FFTNet声码器。我们表明,解耦扬声器调节本质上提高了离散的声学表示,产生竞争力的合成质量相比,挑战基线。
2019-06-28 cs.CL cs.LG cs.SD