arXiv 1806.086722018-06stat.MLcs.CVcs.LG

具有三元组信息的跨域变分学习

Variational learning across domains with triplet information

Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Antiplagiat Company（Antiplagiat公司）；National Research University Higher School of Economics（国立研究型大学高等经济学院）

Rita Kuznetsova, Oleg Bakhteev, Alexandr Ogaltsov

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

这项工作研究了深度生成模型，它允许我们使用来自一个领域的训练数据为另一个领域构建模型。我们提出了变分双域三重自动编码器（VBTA），学习一个联合分布的对象从不同的领域。我们通过从跨域共享潜在空间采样的相对约束或三元组来扩展VBTA目标函数。换句话说，我们将深度生成模型与度量学习思想相结合，以便使用三元组信息改进最终目标。VBTA模型的性能表现在不同的任务：图像到图像的翻译，双向图像生成和跨语言文档分类。

英文摘要：

The work investigates deep generative models, which allow us to use training data from one domain to build a model for another domain. We propose the Variational Bi-domain Triplet Autoencoder (VBTA) that learns a joint distribution of objects from different domains. We extend the VBTAs objective function by the relative constraints or triplets that sampled from the shared latent space across domains. In other words, we combine the deep generative models with a metric learning ideas in order to improve the final objective with the triplets information. The performance of the VBTA model is demonstrated on different tasks: image-to-image translation, bi-directional image generation and cross-lingual document classification.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

TVAE：使用度量学习的基于三元组的变分自动编码器

TVAE: Triplet-Based Variational Autoencoder using Metric Learning

Stanford University（斯坦福大学）

深度度量学习已被证明在学习语义表示和编码信息方面非常有效，这些信息可用于测量数据相似性，这依赖于从度量学习中学习到的嵌入。同时，变分自编码器（VAE）被广泛用于近似推理，并被证明对有向概率模型具有良好的性能。然而，对于传统的VAE，数据标签或特征信息是棘手的。类似地，传统的表示学习方法无法表示数据的许多突出方面。在这个项目中，我们提出了一个新的集成框架，通过结合深度度量学习来学习VAE中的潜在嵌入。通过优化VAE的平均向量上的三重损失以及VAE的标准证据下限（ELBO）来学习这些特征。这种方法，我们称之为基于三元组的变分自动编码器（TVAE），允许我们在潜在嵌入中捕获更多细粒度的信息。我们的模型在MNIST数据集上进行了测试，达到了95.60%的高三重精度，而传统的VAE（Kingma & Welling，2013）达到了75.08%的三重精度。

2023-02-08cs.AIcs.CVcs.LG

度量学习辅助的领域自适应

Metric-Learning-Assisted Domain Adaptation

Nanjing University of Posts and Telecommunications（南京邮电大学）

领域对齐在无监督领域自适应中得到了广泛的应用。许多现有的DA方法假设低源风险，以及源和目标的分布的对齐，意味着低目标风险。在本文中，我们表明，这并不总是举行。因此，我们提出了一种新的度量学习辅助领域自适应（MLA-DA）方法，它采用了一种新的三重损失，以帮助更好的特征对齐。我们探讨了目标样本预测的第二大概率与其到决策边界的距离之间的关系。基于这种关系，我们提出了一种新的机制，根据目标预测自适应地调整三重损失的余量。实验结果表明，使用建议的三重态损失可以取得明显更好的结果。我们还证明了MLA-DA在所有四个标准基准测试中的性能改进，与最先进的无监督领域自适应方法相比。此外，MLA-DA在鲁棒性实验中表现出稳定的性能。

2020-06-11cs.CVcs.LG

变分相互作用信息最大化跨域解纠缠

Variational Interaction Information Maximization for Cross-domain Disentanglement

KAIST（韩国科学技术院）

跨域解纠缠是将学习表示划分为域不变表示和域特定表示的问题，是域迁移成功或测量两个域之间语义距离的关键。基于信息论，我们将领域不变和领域特定表示的同时学习作为多个信息约束的联合目标，这不需要对抗性训练或梯度反转层。我们推导出一个易于处理的边界的目标，并提出了一个生成模型命名为交互信息自动编码器（IIAE）。我们的方法揭示了跨域解纠缠的理想表示及其与变分自动编码器（VAE）的联系。我们证明了我们的模型在图像到图像的翻译和跨域检索任务的有效性。我们进一步表明，我们的模型达到了最先进的性能在zero-shot草图为基础的图像检索任务，即使没有外部知识。我们的实现可在以下网址公开获取：https://github.com/gr8joo/IIAE

2020-12-08cs.CVcs.LG

通过变分自编码器中的受控解耦实现无监督多域翻译

Unsupervised Multiple Domain Translation through Controlled Disentanglement in Variational Autoencoder

Le Mans University（勒芒大学）；Johns Hopkins University（约翰斯·霍普金斯大学）

本文提出一种基于改进变分自编码器的无监督多域翻译方法，通过受控解耦两个潜变量使一个仅编码域信息、另一个编码其余变异因素，在多个视觉数据集上验证了其优于GAN类方法的性能，并证明了解耦的有效性。

2024-01-18cs.CVcs.LG

基于变分信息界的无监督图像间翻译

Unsupervised Image-to-Image Translation Using Domain-Specific Variational Information Bound

West Virginia University（西弗吉尼亚大学）

无监督图像到图像的翻译是一类计算机视觉问题，其目的是在给定源域和目标域中的一组不成对图像的情况下，对目标域中图像的条件分布进行建模。源域中的图像在目标域中可能具有多个表示。因此，在条件分布的建模中出现模糊性，特别是当源域和目标域中的图像来自不同模态时。目前的方法主要依赖于简化的假设映射到一个共享的潜在空间的两个域。因此，它们只能对两种模态之间的域不变信息进行建模。这些方法通常无法对在目标域中没有表示的特定于域的信息进行建模。在这项工作中，我们提出了一个无监督的图像到图像的翻译框架，最大限度地提高了特定领域的变分信息界，并学习目标域不变表示的两个域。所提出的框架使得有可能将单个源图像映射成目标域中的多个图像，利用从先验分布中随机采样的或从参考图像中提取的多个目标域特定代码。

2018-11-29cs.CV

一种基于三元马尔可夫链的概率半监督方法

A Probabilistic Semi-Supervised Approach with Triplet Markov Chains

Telecom SudParis（南巴黎电信学院）；Institut Polytechnique（理工学院）

针对序列数据生成模型在缺乏全部标签时的参数估计问题，提出一种基于变分贝叶斯推断的通用半监督训练框架，用于训练参数化三元马尔可夫链模型，并能推导出适用于多种序列贝叶斯分类生成模型的半监督算法。

2023-09-07cs.LGmath.PRstat.ME

更多相关论文收起更多论文

无监督领域泛化的层次变分自动编码

Hierarchical Variational Auto-Encoding for Unsupervised Domain Generalization

LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）

我们解决领域泛化的任务，目标是训练预测模型，使其能够泛化到一个新的，以前看不见的领域。我们选择了一个分层生成的方法的框架内的变分自编码器，并提出了一个域无监督算法，能够推广到新的领域没有域监督。我们表明，我们的方法能够学习表示，即使在复杂的设置中，在训练过程中没有观察到域结构，也能从类标签特定的信息中分离出特定于域的信息。我们的可解释的方法优于先前提出的生成算法的领域泛化，以及其他非生成国家的最先进的方法，在几个层次域设置，包括连续重叠近连续域移位。与依赖于在训练期间观察特定于域的信息的最先进的方法以及另一种域无监督方法相比，它还在标准领域泛化基准数据集PACS上实现了具有竞争力的性能。此外，我们提出了纯粹基于证据下限（ELBO）的模型选择，还提出了弱域监督，其中隐式域信息可以添加到算法中。

2021-05-14cs.CVcs.LGstat.ML

具有变分域无关特征重放的连续领域自适应

Continuous Domain Adaptation with Variational Domain-Agnostic Feature Replay

Imagia；Montreal Institute for Learning Algorithms (MILA), University of Montreal（蒙特利尔学习算法研究所（MILA），蒙特利尔大学）；Dalhousie University（达尔豪西大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究所（CIFAR））

非平稳环境下的学习是机器学习面临的最大挑战之一。非平稳性可以由任务漂移引起，即，给定输入数据的标签的条件分布中的漂移，或域漂移，即，输入数据的边缘分布的漂移。本文的目的是解决这一挑战的背景下，连续领域自适应，其中模型需要学习新的任务，适应新的领域在一个非平稳的环境，同时保持以前学到的知识。为了处理这两个漂移，我们提出变分域不可知特征重放，一种方法，由三个组成部分：一个推理模块，过滤的输入数据域不可知表示，生成模块，促进知识转移，和求解器模块，应用过滤和可转移的知识来解决查询。我们解决了两个基本的情况下，在连续的领域自适应，证明了我们提出的方法的有效性，为实际使用。

2020-03-09cs.CVcs.LGstat.ML

基于耦合条件变分自编码器的广义Zero-Shot领域自适应

Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders

Durham University（杜伦大学）

领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。

2020-08-03cs.CVcs.LGstat.ML

基于变分信息瓶颈的无监督领域自适应算法改进

Improving Unsupervised Domain Adaptation with Variational Information Bottleneck

Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）

领域自适应的目的是利用源域的监督信号，在标签不可用的情况下获得目标域的准确模型。为了利用和适应源域的标签信息，大多数现有方法采用特征提取函数，并在共享特征空间中匹配源域和目标域的边缘分布。本文从信息论的角度，证明了表示匹配实际上是对特征空间的一个不充分约束，以获得在目标域具有良好泛化性能的模型。然后，我们提出了变分瓶颈领域自适应（VBDA），一个新的领域自适应方法，提高了功能的可转移性，明确执行的特征提取器忽略任务无关的因素，并专注于信息，是必不可少的感兴趣的任务，为源和目标域。大量的实验结果表明，VBDA显着优于国家的最先进的方法在三个领域自适应基准数据集。

2019-11-21cs.LGstat.ML

DIVA：域不变变分自编码器

DIVA: Domain Invariant Variational Autoencoders

University of Amsterdam（阿姆斯特丹大学）；TNO（荷兰应用科学研究组织）

我们考虑域泛化的问题，即，如何学习表示给定的数据从一组域，推广到数据从以前看不见的域。我们提出了域不变变分自动编码器（DIVA），一个生成模型，通过学习三个独立的潜在子空间，一个域，一个类，一个用于任何残留变化来解决这个问题。我们强调，由于我们模型的生成性质，我们还可以从已知或以前看不见的领域中合并未标记的数据。据我们所知，这在域泛化设置中还没有完成过。这种特性在标记数据稀缺的医学成像等领域非常理想。我们在旋转的MNIST基准和疟疾细胞图像数据集上对我们的模型进行了实验评估，其中我们表明：（i）学习的子空间确实是相互补充的，（ii）我们改进了这项任务的最新工作，（iii）合并未标记的数据可以进一步提高性能。

2019-10-07cs.LGstat.ML

变分高斯过程的物理增强数据驱动模型

Physics Enhanced Data-Driven Models with Variational Gaussian Processes

Virginia Commonwealth University（弗吉尼亚联邦大学）

自然科学和数学建模几个世纪的发展提供了宝贵的领域专家知识，这些知识尚未被探索用于机器学习模型的开发。在对复杂的物理系统建模时，领域知识和数据都提供了关于系统的必要信息。在本文中，我们提出了一个数据驱动的模型，利用部分领域知识，以提高泛化和可解释性。我们称之为EVGP（Explicit Variational GaussianProcess）的方法具有以下优点：1）使用可用的领域知识来改进模型的假设（归纳偏差），2）可扩展到大数据集，3）提高可解释性。我们展示了如何EVGP模型可以用来学习系统动力学使用基本的牛顿力学作为先验知识。我们演示了如何将先验领域知识添加到数据驱动模型中，从而优于纯数据驱动模型。

2020-08-31cs.LGcs.ROphysics.comp-ph