VecGAN: Image-to-Image Translation with Interpretable Latent Directions
Bilkent University（比尔肯特大学）
我们提出了VecGAN，一个图像到图像的翻译框架，用于具有可解释的潜在方向的面部属性编辑。人脸属性编辑任务面临的挑战是精确的属性编辑与可控的强度和保存图像的其他属性。为了实现这个目标，我们通过潜在空间分解设计了属性编辑，对于每个属性，我们学习了一个与其他属性正交的线性方向。另一个分量是变化的可控强度，即标量值。在我们的框架中，这个标量可以通过投影从参考图像中采样或编码。我们的工作受到固定预训练GANs的潜在空间分解工作的启发。然而，虽然这些模型无法进行端到端的训练，并且很难精确编辑编码图像，但VecGAN是针对图像翻译任务进行端到端训练的，并且成功地编辑了一个属性，同时保留了其他属性。我们广泛的实验表明，VecGAN在本地和全局编辑方面都取得了显着的改进。
2022-07-07 cs.AI cs.CV cs.LG
Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation
Handong Global University（韩东全球大学）
针对非自回归机器翻译的多模态问题及辅助后验模型缺陷，本文提出跨语言共享潜在空间的双重重构分层潜在变量方法，显著提升翻译质量。
2024-09-09 cs.CL cs.LG
Can Latent Alignments Improve Autoregressive Machine Translation?
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
潜在的对齐目标，如CTC和AXE显着改善非自回归机器翻译模型。他们也能改进自回归模型吗？我们探讨了训练具有潜在对齐目标的自回归机器翻译模型的可能性，并观察到，在实践中，这种方法会导致退化模型。我们为这些实证结果提供了一个理论解释，并证明潜在的对齐目标是不相容的教师强迫。
2021-04-19 cs.AI cs.CL cs.LG
Unsupervised Latent Space Translation Network
在计算机视觉中经常讨论的一个任务是将图像从一个域映射到另一个域中的对应图像，称为图像到图像转换。目前有几种方法可以解决这个问题。在本文中，我们提出了一个增强的UNIT框架，有助于消除其主要缺点。更具体地说，我们在使用的潜在表示上引入了一个额外的对抗性代理，而不是VAE，这使得两个域的潜在空间分布相似。在MNIST和USPS领域自适应任务上，该方法大大优于竞争方法。
2020-03-20 cs.CV cs.LG eess.IV
Unsupervised Multiple Domain Translation through Controlled Disentanglement in Variational Autoencoder
Le Mans University（勒芒大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于改进变分自编码器的无监督多域翻译方法，通过受控解耦两个潜变量使一个仅编码域信息、另一个编码其余变异因素，在多个视觉数据集上验证了其优于GAN类方法的性能，并证明了解耦的有效性。
2024-01-18 cs.CV cs.LG
LatentMT: Machine Translation with Latent Reasoning
研究提出LatentMT，将潜在推理循环语言模型用于机器翻译，采用小型主干模型经轻量级训练，在多语言翻译方向表现出色，循环推理早期提升质量后期饱和，且训练和推理计算效率高，为紧凑高效的机器翻译提供新路径。
2026-07-22 cs.AI cs.CL cs.LG
Explicitly disentangling image content from translation and rotation with spatial-VAE
Massachusetts Institute of Technology（麻省理工学院）；New York Structural Biology Center（纽约结构生物学中心）
给定一个图像数据集，我们通常有兴趣找到数据生成因素，这些因素独立于姿态变量（如旋转和平移）来编码语义内容。然而，目前的解纠缠方法并没有对学习到的潜在表征施加任何特定的结构。我们提出了一种方法，明确解开图像旋转和平移从其他非结构化的潜在因素中的变分自编码器（VAE）的框架。通过将生成模型制定为空间坐标的函数，我们使重建误差相对于潜在的平移和旋转参数可微。这个公式允许我们训练一个神经网络来对这些潜在变量进行近似推理，同时显式地将它们约束为仅表示旋转和平移。我们证明，这个框架，称为空间VAE，有效地学习潜在的表示，解开图像旋转和翻译的内容，并提高重建标准VAE在几个基准数据集，包括应用程序建模连续的2-D视图的蛋白质从单粒子电子显微镜和星系的天文图像。
2019-09-25 cs.CV cs.LG q-bio.QM
Transfer learning based few-shot classification using optimal transport mapping from preprocessed latent space of backbone neural network
Czech Technical University in Prague（捷克理工大学）；Faculty of Information Technology（信息技术学院）
MetaDL Challenge 2020专注于Few-Shot设置中的图像分类任务。本文介绍了第二个最好的提交在竞争中。我们的元学习方法修改了由骨干网络为每个类产生的潜在空间中的类的分布，以便更好地遵循高斯分布。在我们称为潜在空间变换算法的这个操作之后，类的中心以期望最大化算法的迭代方式进一步对齐，以利用通常在少数标记实例之上提供的未标记数据中的信息。对于这项任务，我们利用最佳运输映射使用Sinkhorn算法。实验结果表明，该方法优于以往的工作，以及其他变种的算法，使用K-最近邻算法，高斯混合模型等。
2021-02-11 cs.CV cs.LG
Latent Schrodinger Bridge: Prompting Latent Diffusion for Fast Unpaired Image-to-Image Translation
KAIST（韩国科学技术院）；Department of Bio and Brain Engineering, KAIST（韩国科学技术院生物与脑工程系）；Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）
本文提出潜在薛定谔桥（LSBs），利用预训练 Stable Diffusion 近似薛定谔桥 ODE，通过提示优化和变量替换实现快速非配对图像翻译，大幅降低计算成本。
2024-11-22 cs.AI cs.CV cs.LG
S2ST: Image-to-Image Translation in the Seed Space of Latent Diffusion
GM R&D（通用汽车研发中心）；The Hebrew University（希伯来大学）
本文提出S2ST框架，在潜在扩散模型的种子空间中实现复杂真实感图像的全局图像到图像转换，超越现有GAN和扩散方法，且无需训练特定域转换网络。
2023-11-30 cs.CV cs.GR cs.LG
Non-Autoregressive Machine Translation with Latent Alignments
Google Research（谷歌研究院）
本文提出了两种强有力的方法，CTC和输入，非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译，并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译，与以前的工作表明。此外，我们还将Imputer模型用于非自回归机器翻译，并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如，我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中，我们的CTC模型使用单个生成步骤实现了25.7 BLEU，而Imputer使用2个生成步骤实现了27.5 BLEU，使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
Towards General Modality Translation with Contrastive and Predictive Latent Diffusion Bridge
Bosch AI Center（博世人工智能中心）；Ben-Gurion University of the Negev（巴伊兰大学）；Technical University of Munich（慕尼黑技术大学）
本文提出LDDBM框架，基于潜扩散桥实现任意模态间翻译，通过对比与预测损失增强语义一致性，在多项任务上表现优异。
2025-10-26 cs.AI cs.CV cs.LG
Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior
The University of Tokyo（东京大学）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
虽然神经机器翻译模型达到了高翻译质量，但自回归性质使得推理难以并行化，并导致高翻译延迟。受最近基于精化的方法的启发，我们提出了LaNMT，一个具有连续潜变量和确定性推理过程的潜变量非自回归模型。与现有的方法相比，我们使用一个确定性的推理算法来找到目标序列，最大限度地降低了对数概率。在推理过程中，翻译的长度会自动调整。我们的实验表明，通过运行推理算法，可以大大提高下限，从而显着提高翻译质量。我们提出的模型缩小了ASPEC Ja-En数据集上非自回归和自回归方法之间的性能差距，解码速度提高了8.6倍。在WMT'14 En-De数据集上，我们的模型将自回归基线的差距缩小到2.0个BLEU点，加速12.5倍。通过并行解码多个初始隐变量并使用教师模型重新评分，该模型进一步将WMT'14 En-De任务的差距缩小到1.0 BLEU点，加速比为6.8倍。
2019-11-21 cs.CL cs.LG
Latent Space Translation via Inverse Relative Projection
Sapienza University of Rome（罗马大学）；Institute of Science and Technology, Austria（奥地利科学技术研究所）
本研究结合两种潜在空间通信思路，提出基于逆相对投影的潜在空间翻译方法，利用保角表征可逆性与解码器尺度不变性以相对空间为中介实现翻译，经多架构多数据集验证有效，还可用于跨模态零样本拼接，助力模型复用。
2024-06-21 cs.LG
Implicit Pairs for Boosting Unpaired Image-to-Image Translation
Tel Aviv University（特拉维夫大学）
在图像到图像转换中，目标是学习从一个图像域到另一个图像域的映射。在监督方法的情况下，映射是从配对样本中学习的。然而，收集大量的图像对通常要么过于昂贵，要么不可能。因此，近年来更多的注意力已经被给予的技术，学习的映射从不成对的集合。在我们的工作中，我们表明，将隐式对注入到未配对的集合中，加强了两个域之间的映射，提高了它们的分布的兼容性，并导致无监督技术的性能在几个测量中提高了14%以上。隐对的能力进一步显示与伪对的使用，即，配对样本，仅近似真实配对。我们展示了近似隐式样本对图像到图像的翻译问题的影响，其中这样的伪对可以在一个方向上合成，但不在其他方向上。我们进一步表明，伪对显着更有效的隐式对在未配对的设置，比直接使用它们明确在配对设置。
2020-12-03 cs.CV cs.LG
One-to-one Mapping for Unpaired Image-to-image Translation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
最近，图像到图像的翻译在文献中引起了极大的兴趣，从生成对抗网络（GAN）的成功使用开始，到循环约束的引入，再到扩展到多个域。然而，在现有的方法中，不能保证两个图像域之间的映射是唯一的或一对一的。在这里，我们提出了一个自逆网络学习方法的不成对的图像到图像的翻译。在CycleGAN的基础上，我们通过在训练过程中交换输入和输出来简单地增加训练样本，并对每个映射方向进行单独的循环一致性损失来学习自反函数。这种学习的结果是经过验证的一对一映射函数。我们在各种数据集上进行了广泛的实验，包括跨模态医学图像合成，对象变形和语义标记，这些实验在定性和定量方面都证明了CycleGAN方法的明显改进。特别是我们所提出的方法达到了国家的最先进的结果城市景观基准数据集的标签照片不成对的方向性图像的翻译。
2020-01-15 cs.AI cs.CV cs.LG
LatentHDR: Decoupling Exposure from Diffusion via Conditional Latent-to-Latent Mapping for Text/Image-to-Panoramic HDR
Monks AI Research Lab（Monks AI研究院）
本文提出LatentHDR框架，通过在潜在空间中解耦场景生成与曝光建模，实现高效且结构一致的HDR生成，实验表明其在动态范围和感知质量上优于现有方法，并显著降低计算成本。
2026-05-11 cs.CV cs.GR cs.LG
Robust Latent Representations via Cross-Modal Translation and Alignment
Queen Mary University of London（伦敦玛丽女王大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
多模态学习将同一物理现象的不同观察模态的信息联系起来，以利用互补信息。大多数多模态机器学习方法要求用于训练的所有模态也可用于测试。当来自某些模态的信号不可用或被噪声严重降级时，这是一种限制。为了解决这一限制，我们的目标是提高测试性能的单模态系统使用多种模式在培训期间。提出的多模态训练框架使用跨模态翻译和基于相关性的潜在空间对齐来改善较弱模态的表示。从较弱模态到较强模态的转换生成代表两种模态的多模态中间编码。然后，这种编码与共享潜在空间中的较强模态表示相关。我们在AVEC 2016连续情感识别数据集上验证了所提出的方法，并展示了该方法的有效性，该方法可为较弱的模态实现最先进的（单峰）性能。
2021-03-08 cs.LG cs.MM
From Latent Biomarkers to Clinical Rules: Embedding-Guided Rule Mining and Attribution-Based Translation for Interpretable Tabular Learning
提出一种四步流水线，在FT-Transformer潜在空间挖掘规则并翻译为临床特征，在六个数据集上多数优于原始特征规则，但高性能潜在规则翻译后可能性能下降。
2026-09-22 cs.LG
Latent Space Translation via Semantic Alignment
Sapienza University of Rome（罗马大学）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
提出一种通过简单代数变换直接估计潜在空间映射的方法，无需额外训练即可实现编码器与解码器的零样本跨模态拼接，在分类与重建任务中表现优异。
2024-02-11 cs.LG
An Asymmetric Cycle-Consistency Loss for Dealing with Many-to-One Mappings in Image Translation: A Study on Thigh MR Scans
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；RWTH Aachen University（亚琛工业大学）；University Hospital Aachen（亚琛大学医院）
使用循环一致性损失的生成对抗网络促进了图像翻译模型的非配对训练，从而在多种医学应用中表现出非常高的潜力。然而，一个域中的图像可能映射到另一个域中的多个图像（例如，在病理变化的情况下）的事实表现出训练网络的主要挑战。在这项工作中，我们提供了一个解决方案，通过修改循环一致性损失来改善多对一映射情况下的训练过程。我们正式和经验表明，所提出的方法显着提高了性能，而不从根本上改变架构，不增加整体的复杂性。我们评估我们的方法在大腿MRI扫描与分割脂肪浸润患者的数据中的肌肉的最终目标。
2021-01-11 cs.CV cs.LG eess.IV
Deterministic Medical Image Translation via High-fidelity Brownian Bridges
Wayne State University（韦恩州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对扩散模型翻译非确定性和保真度不足的问题，提出高保真布朗桥模型HiFi-BBrg，通过生成与重建映射及保真度损失和对抗训练，实现确定性高保真医学图像翻译，并在多模态翻译和超分辨率上超越现有方法。
2025-03-28 cs.CV cs.LG eess.IV
Dual Diffusion Implicit Bridges for Image-to-Image Translation
Stanford University（斯坦福大学）；NVIDIA（英伟达）；CZ Biohub（陈·扎克伯格生物中心）
常见的图像到图像转换方法依赖于对来自源域和目标域的数据进行联合训练。训练过程需要同时访问两个数据集，这阻碍了数据分离和隐私保护;并且现有模型无法轻松适应新域对的翻译。我们提出了双扩散隐式桥（DDIBs），一种基于扩散模型的图像翻译方法，它避免了对域对的训练。使用DDIB的图像翻译依赖于在每个域上独立训练的两个扩散模型，并且是两步过程：DDIB首先使用源扩散模型获得源图像的潜在编码，然后使用目标模型解码这些编码以构建目标图像。这两个步骤都是通过常微分方程（ODE）来定义的，因此该过程仅在ODE求解器的离散化误差范围内是周期一致的。从理论上讲，我们解释DDIBs作为级联的源，潜在的，潜在的目标薛定谔桥，一种形式的熵正则化的最佳运输，解释该方法的有效性。在实验中，我们将DDIBs应用于合成和高分辨率图像数据集，以证明它们在各种翻译任务中的实用性及其固有的最佳传输特性。
2023-03-05 cs.AI cs.CV cs.LG
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University（浙江大学）；Kwai Inc.（快手公司）
多模态图像到图像翻译（I2 IT）旨在学习一种条件分布，该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络（cGAN）来对这种条件分布进行建模。然而，cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布，这也被称为GANs的模式坍塌问题。为了解决这个问题，我们提出了一种简单而有效的方法，该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性，这防止了生成器忽略潜在代码，并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角，而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Learning mappings onto regularized latent spaces for biometric authentication
Politecnico di Torino（都灵理工大学）
提出了一种基于深度神经网络的通用生物特征认证架构：RegNet。与其他方法不同的是，RegNet在一个行为良好的空间中学习输入生物特征到目标分布的映射，在这个空间中，用户可以通过简单和可调的边界来分离。更具体地说，授权和未授权的用户被映射到两个不同的和良好的行为高斯分布。学习映射而不是边界的新方法进一步避免了在典型分类器中遇到的问题，对于典型分类器，学习的边界可能是复杂的并且难以分析。RegNet在安全性指标方面实现了高性能，例如相等出错率（EER）、错误接受率（FAR）和真实接受率（GAR）。在公开的人脸和指纹数据集上进行的实验证实了该系统的有效性。
2019-11-20 cs.CV cs.LG cs.MM
Latent PDE mapping for efficient physics-informed learning across geometries with limited data
Faculty of Health and Technology, Kristiania University of Applied Sciences（健康与技术学院，克里斯蒂安尼亚应用科学大学）；Simula Research Laboratory（西穆拉研究实验室）
研究提出潜在偏微分方程映射技术，用于有限数据下跨几何的物理信息学习。通过变形梯度处理特定几何的偏微分方程残差等，在解决阿利耶夫 - 潘菲洛夫偏微分方程时效果显著，能降低误差且训练计算成本适中，有助于创建可泛化模型。
2026-07-27 cs.LG physics.comp-ph
Boosting Mapping Functionality of Neural Networks via Latent Feature Generation based on Reversible Learning
Curtin University（科廷大学）；GIST（光州科学技术院）
针对图像分类和人脸识别等视觉识别中神经网络映射功能的提升问题，提出了一种新的提升方法。我们提出了使用网络本身生成和学习潜在特征的可逆学习。通过生成对应于硬样本的潜在特征并在训练阶段中应用所生成的特征，可逆学习可以改善映射功能，而无需额外的数据增强或处理数据集的偏差。我们证明了MNIST，Cifar-10/100，和极有偏见和分类不良的数据集（EBPC数据集）所提出的方法的效率。实验结果表明，该方法可以优于现有的国家的最先进的方法在视觉识别。大量的分析表明，我们的方法可以有效地提高网络的映射能力。
2019-10-21 cs.LG stat.ML
Controlling the Latent Space of GANs through Reinforcement Learning: A Case Study on Task-based Image-to-Image Translation
University of California, Irvine（加州大学欧文分校）；Stanford University（斯坦福大学）；Toyota Motor North America（丰田汽车北美公司）
本文提出将强化学习智能体与潜在空间GAN结合，通过精心设计的奖励策略控制生成过程，并在MNIST数据集上验证了该方法在基于任务的图像生成中的有效性。
2023-07-26 cs.AI cs.CV cs.LG
Latent Translation: Crossing Modalities by Bridging Generative Models
Stony Brook University（石溪大学）；Google AI（谷歌人工智能）
端到端优化已经在许多特定问题上实现了最先进的性能，但是没有直接的方法来结合预训练模型来解决新问题。在这里，我们探索通过学习两个现有模型之间的事后接口来解决新任务来提高模块化。具体来说，我们从神经机器翻译中获得灵感，并将跨模态域转移的挑战性问题转化为预训练深度生成模型的潜在空间之间的无监督翻译。通过抽象出数据表示，我们证明了可以在不同的模态之间传输（例如，图像到音频）以及甚至不同类型的生成模型（例如，VAE到GAN）。我们比较国家的最先进的技术，并发现一个直接的变分自编码器是能够最好地桥接两个生成模型，通过学习一个共享的潜在空间。我们可以进一步在共享潜在空间中使用分类器对两个域中的属性进行监督对齐。通过定性和定量的评估，我们证明了局部性和语义对齐通过传输过程中，保持高传输精度和类内的平滑插值所示。最后，我们展示了这种模块化结构通过将其与基础生成模型的昂贵再训练解耦，加快了新接口模型的训练速度。
2019-02-21 cs.LG cs.NE stat.ML
Multi-Domain Translation by Learning Uncoupled Autoencoders
Massachusetts Institute of Technology（麻省理工学院）
多域翻译试图学习反映不同域之间对应关系的边缘分布之间的概率耦合。我们假设来自不同领域的数据是基于结构方程模型从共享的潜在表示生成的。在这种假设下，我们证明了计算边缘之间的概率耦合的问题相当于学习嵌入到给定共享潜在分布的多个非耦合自编码器。此外，我们提出了一个新的框架和算法的基础上学习共享的潜在分布和分布约束下的训练自动编码器的多域翻译。我们的框架的一个关键的实际优势是，新的自动编码器（即，新的域）可以顺序添加到模型中，而无需对其他域进行重新训练，我们在图像和基因组数据集上进行了实验证明。
2019-02-09 cs.LG stat.ML
Unsupervised Many-to-Many Image-to-Image Translation Across Multiple Domains
Sichuan University（四川大学）
无监督的多域图像到图像的转换是指在没有标记数据的情况下，将多个域之间的图像进行合成，比一对一的图像映射更加通用和复杂。然而，现有的方法主要集中在减少建模的大量成本，并没有足够的重视所生成的图像的质量。在某些目标域中，它们的翻译结果可能不符合预期，甚至出现模型崩溃。为了提高图像质量，我们提出了一个有效的多对多映射框架的无监督多域图像到图像的翻译。我们的方法有两个关键方面。第一个是一个多对多的架构，只有一个域共享的编码器和几个域专用的解码器，有效地，同时跨多个域的图像翻译。第二个是两个建议的约束扩展从一对一的映射，以进一步帮助提高生成。所有的评估表明，我们的框架是优于现有的方法，并提供了一个有效的解决方案，多域图像到图像的翻译。
2020-11-24 cs.CV cs.LG eess.IV
Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion
Facebook AI Research（脸书人工智能研究院）
在不同语言中分别学习的连续单词表示可以对齐，以便它们的单词在共同的空间中具有可比性。现有的作品通常解决一个最小二乘回归问题，学习旋转对齐一个小的双语词典，并使用检索标准进行推理。在本文中，我们提出了一个统一的配方，直接优化检索标准的端到端的方式。我们在标准基准测试上的实验表明，我们的方法在单词翻译上的表现优于最先进的技术，对于遥远的语言对，如英语-汉语，我们观察到了最大的改进。
2018-09-05 cs.CL cs.LG
Face Identity Disentanglement via Latent Space Mapping
Tel-Aviv University（特拉维夫大学）；Alibaba Cloud Intelligence Business Group（阿里云智能事业群）
学习数据的解纠缠表示是人工智能的一个基本问题。具体来说，解纠缠的潜在表征允许生成模型控制和合成的解纠缠的因素在合成过程中。然而，目前的方法需要广泛的监督和培训，或者相反，明显损害质量。在本文中，我们提出了一种学习如何以一种解脱的方式表示数据的方法，只需最少的监督，仅使用可用的预训练网络。我们的关键见解是通过采用领先的预训练无条件图像生成器（如StyleGAN）来解耦解纠缠和合成的过程。通过学习映射到其潜在空间，我们利用其最先进的质量，以及其丰富和富有表现力的潜在空间，而无需训练它。我们展示了我们在人类头部的复杂和高维域上的方法。我们评估我们的方法定性和定量，并展示其成功与去识别操作和时间身份的一致性图像序列。通过大量的实验，我们证明了我们的方法成功地将身份从其他面部属性中分离出来，超越了现有的方法，尽管它们需要更多的训练和监督。
2020-10-19 cs.CV cs.GR cs.LG
Bilingual-GAN: A Step Towards Parallel Text Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于潜在空间的GAN方法和基于注意力的序列到序列模型分别在文本生成和无监督机器翻译中取得了令人印象深刻的结果。利用这两个领域，我们提出了一个基于对抗潜在空间的模型，能够同时生成两种语言的并行句子并进行双向翻译。双语生成的目标是通过从两种语言之间共享的潜在空间中采样来实现的。首先训练两个去噪自动编码器，使用共享编码器和反向翻译来强制两种语言之间的共享潜在状态。两个平移方向共享解码器。接下来，训练GAN来生成模仿语言共享潜在空间的合成“代码”。然后将此代码输入解码器，以生成两种语言的文本。我们在Europarl和Multi 30 k数据集上进行了实验，在英语-法语语言对上进行了实验，并使用监督和无监督机器翻译记录了我们的性能。
2019-05-14 cs.CL cs.LG
The Latent Relation Mapping Engine: Algorithm and Experiments
Institute for Information Technology（信息技术研究所）；National Research Council Canada（加拿大国家研究委员会）
许多人工智能研究人员和认知科学家认为，类比是认知的核心。结构映射理论（SMT）及其在结构映射引擎（SME）中的实现是类比制作计算建模中最有影响力的工作。SME的一个限制是需要复杂的手工编码表示。我们引入潜在关系映射引擎（LRME），它结合了SME和潜在关系分析（LRA）的思想，以消除手工编码表示的要求。LRME在单词列表之间建立类比映射，使用大量的原始文本语料库自动发现单词之间的语义关系。我们评估LRME一组20个类比映射问题，10个基于科学类比和10个基于常见的隐喻。LRME在20个问题上实现了人类水平的性能。我们比较LRME与各种替代方法，发现它们无法达到相同的性能水平。
2008-12-23 cs.AI cs.CL cs.LG
LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space
Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
大多数成功的和占主导地位的双语词典归纳（BLI）方法都是基于映射的，其中在假设不同语言的词嵌入空间表现出相似的几何结构（即，近似同构）。然而，最近的一些研究批评了这种简化的假设，表明即使对于密切相关的语言，它也不适用。在这项工作中，我们提出了一种新的半监督方法来学习跨语言的词嵌入的BLI。我们的模型独立于同构假设，并在两个独立训练的自动编码器的潜在空间中使用非线性映射。通过对来自两个不同数据集的15种不同语言对（双向）（包括资源丰富和资源不足的语言）进行广泛的实验，我们证明了我们的方法优于现有模型。消融研究显示了不同模型组件的重要性和非线性映射的必要性。
2020-10-22 cs.CL cs.LG
Optimal Unsupervised Domain Translation
Sorbonne Université（索邦大学）；Theresis Lab, Thales（泰雷兹Theresis实验室）；Criteo AI Lab（Criteo人工智能实验室）
域翻译是在两个域之间找到有意义的对应关系的问题。由于在大多数情况下，配对监督不可用，因此许多工作都集中在无监督域翻译（UDT）上，其中来自每个域的数据样本都是未配对的。在CycleGAN为UDT所做的开创性工作之后，已经提出了该模型的许多变体和扩展。然而，在他们的成功背后仍然没有什么理论上的理解。我们观察到，这些方法产生的解决方案是近似最小的w.r.t.一个给定的运输成本，导致我们重新制定的最优运输（OT）框架中的问题。这个观点为我们提供了一个新的视角，无监督域翻译，并允许我们证明检索映射的存在性和唯一性，给定一个大家庭的运输成本。然后，我们提出了一个新的框架，有效地计算最佳映射的动态设置。我们表明，它概括了以前的方法，并使一个更明确的控制计算的最佳映射。它还提供了两个域之间的平滑插值。玩具和现实世界的数据集上的实验说明了我们的方法的行为。
2019-06-04 cs.CV cs.LG stat.ML
Generative Neural Machine Translation
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
我们介绍了生成神经机器翻译（GNMT），一个潜在的变量架构，旨在模拟源和目标句子的语义。我们修改的编码器-解码器的翻译模型，通过添加一个潜在的变量作为一个语言不可知论的表示，鼓励学习的句子的含义。GNMT在纯翻译任务中获得了有竞争力的BLEU分数，并且在源句子中有遗漏单词时表现出色。我们增强了模型，以促进多语言翻译和半监督学习，而不添加参数。当配对数据有限时，该框架可以显着减少过拟合，并且对于在训练期间未看到的语言对之间进行翻译是有效的。
2018-06-13 cs.CL cs.LG stat.ML
FMNet: Latent Feature-wise Mapping Network for Cleaning up Noisy Micro-Doppler Spectrogram
University College London（伦敦大学学院）
微多普勒信号包含了大量的目标动态信息。然而，雷达感测系统容易受到噪声环境的影响，导致微多普勒频谱图上的不可解释的运动模式。同时，雷达回波信号往往受到多径、杂波和干扰的影响。这些问题导致的困难，例如运动特征提取，活动分类使用微多普勒签名（$μ$-DS）等，在本文中，我们提出了一个潜在的功能明智的映射策略，称为特征映射网络（FMNet），变换测得的频谱图，使它们更接近模拟在相同条件下的输出。该框架基于实测谱图和匹配的模拟数据，包含三个部分：编码器，用于提取潜在表征/特征;解码器，根据潜在特征输出重构谱图;判别器，用于最小化实测数据和模拟数据的潜在特征距离。我们使用六个活动数据和两个实验场景对FMNet进行了演示，最终结果显示出强烈的增强模式，并且可以最大程度地保留实际的运动信息。另一方面，我们还提出了一个新的想法，即只使用模拟数据训练分类器，并在使用FMNet清理后预测新的测量样本。从最终的分类结果中，我们可以看到显著的改进。
2021-07-09 cs.LG eess.SP
Latent Representation Learning for Multimodal Brain Activity Translation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Wu Tsai Institute（吴蔡研究所）；Yale University（耶鲁大学）
提出SAMBA框架，通过学习无模态偏差的统一潜在空间，结合小波分解、图注意力网络和循环层，实现多模态脑活动翻译并学习丰富表示以分类外部刺激，助力神经科学下游应用。
2024-09-27 cs.LG q-bio.NC
Deep Transformers with Latent Depth
Facebook AI；University of Edinburgh（爱丁堡大学）
在许多序列建模任务中，Transformer模型已经达到了最先进的性能。然而，如何利用具有大或可变深度的模型容量仍然是一个开放的挑战。我们提出了一个概率框架，通过学习层选择的后验分布来自动学习要使用的层。作为该框架的扩展，我们提出了一种新的方法来训练一个共享的Transformer网络的多语言机器翻译与不同的层选择后验的每一个语言对。所提出的方法消除了消失梯度问题，并且实现了深度Transformers（例如，100层）的稳定训练。我们评估WMT英语-德语机器翻译和掩蔽语言建模任务，其中我们的方法优于现有的方法，用于训练更深的Transformers。在多语言机器翻译上的实验表明，该方法可以有效地利用模型容量的增加，并为不同语言对的多对一和一对多翻译带来普遍的改进。
2020-10-16 cs.CL cs.LG
Interoperability and machine-to-machine translation model with mappings to machine learning tasks
Luleå University of Technology（吕勒奥理工大学）
现代大规模自动化系统集成了数千到数十万个物理传感器和执行器。对生产系统更灵活的重新配置和跨不同信息模型、标准和遗留系统的优化的需求挑战了当前的系统互操作性概念。跨信息模型和标准的自动语义翻译是一个越来越重要的问题，需要解决，以满足这些需求的人力和资源的约束下，在时间要求和系统复杂性的成本效益的方式。在这里，我们定义了一个基于翻译机的操作互操作性模型的相互作用的信息物理系统的数学术语，其中包括系统辨识和基于本体的翻译作为特殊情况。基于机器学习的最新发展，我们提出了翻译器学习任务的替代数学定义以及到类似机器学习任务和解决方案的映射。在没有共同的物理环境的情况下，例如在数字孪生的模拟和自动化金字塔的各个层之间学习人工制品之间的翻译器的可能性进行了简要讨论。
2019-03-26 cs.CL cs.LG
A Unified Framework for Forward and Inverse Problems in Subsurface Imaging using Latent Space Translations
Virginia Tech（弗吉尼亚理工大学）；Oak Ridge National Lab（橡树岭国家实验室）；UNC at Chapel Hill（北卡罗来纳大学教堂山分校）
针对地下成像正演与反演问题，提出基于流形与潜空间翻译假设的统一框架GFI，并设计了Latent U-Net和Invertible X-Net两种新架构，在合成与类真实数据集上实现了SOTA性能及零样本有效性。
2025-04-02 cs.LG math-ph math.MP
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
Improving Deep Dynamics Models for Autonomous Vehicles with Multimodal Latent Mapping of Surfaces
University of Freiburg（弗赖堡大学）；Toyota Research Institute（丰田研究院）；University of Technology, Nuremberg（纽伦堡工业大学）
自动驾驶汽车的安全部署取决于它们对环境变化的有效反应能力。这可能需要在变化的表面上操纵，这仍然是一个困难的问题，特别是对于光滑的地形。为了解决这个问题，我们提出了一种新的方法，学习表面感知的动态模型的条件下，它对一个潜在的变量向量存储有关当前位置的表面信息。训练潜在映射器以在每次遍历对应位置时从多个模态进行推断期间更新这些潜在变量，并将它们存储在地图中。通过端到端地训练所有内容，同时丢失动态模型，我们强制潜在映射器学习对后续动态模型有用的潜在映射的更新规则。我们实施和评估我们的方法上一个真正的微型电动汽车。结果表明，与没有此信息的模型相比，潜在映射被更新以允许对动力学模型进行更准确的预测。我们进一步表明，通过使用该模型，可以提高驾驶性能的变化和具有挑战性的表面。
2023-03-21 cs.LG cs.RO
Mapping the Multiverse of Latent Representations
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；KTH Royal Institute of Technology（皇家理工学院（瑞典））；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对机器学习潜表示变异性导致的复杂性与不可信问题，提出基于持久同调的框架PRESTO，用于映射和比较不同模型、参数与数据集组合下的潜空间，支持敏感性分析、异常嵌入检测及超参数搜索。
2024-06-01 cs.LG math.AT stat.ML
L-Drive: Beyond a Single Mapping-Latent Context Drives Time Series Forecasting
Business University, Yantai, Shandong, China（山东商业大学）；Ludong University, Yantai, Shandong, China（鲁东大学）
针对分布偏移和机制变化导致直接映射范式在转折点响应滞后的问题，提出L-Drive框架，通过引入潜在上下文表征高层动态并利用门控调制增量表示，提升对变化段的适应能力，同时采用补丁共享相对位置基函数增强段内结构建模，实现预测精度与计算效率的更好平衡。
2026-05-25 cs.AI cs.LG
Mixture Models for Diverse Machine Translation: Tricks of the Trade
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Facebook AI Research（脸书人工智能研究院）
通过EM训练的混合模型是机器学习文献中最简单、最广泛使用和最容易理解的潜在变量模型之一。令人惊讶的是，这些模型几乎没有在文本生成应用程序，如机器翻译。原则上，它们提供了一个潜在的变量来控制生成，并产生一组不同的假设。然而，在实践中，混合模型很容易退化--通常只有一个组件得到训练，或者潜在变量被简单地忽略。我们发现，在责任计算中禁用丢弃噪声对成功训练至关重要。此外，参数化，先验分布，硬与软EM和在线与离线分配的设计选择可以显着影响模型的性能。我们开发了一个评估协议，以评估质量和多样性的代对多个参考，并提供了一个广泛的实证研究的几个混合模型的变体。我们的分析表明，某些类型的混合模型是更强大的，并提供最好的权衡翻译质量和多样性相比，变分模型和不同的解码方法。\footnote{Code to reproduce the results in this paper is available at \url{https://github.com/pytorch/fairseq}}
2019-05-24 cs.CL cs.LG
Lightweight Data Fusion with Conjugate Mappings
Massachusetts Institute of Technology（麻省理工学院）；University of Arizona（亚利桑那大学）
我们提出了一种数据融合的方法，结合结构化概率图形模型的可解释性与神经网络的灵活性。所提出的方法，轻量级数据融合（LDF），强调后验分析的潜在变量使用两种类型的信息：主要数据，这是很好的特点，但有限的可用性，和辅助数据，容易获得，但缺乏一个很好的特点，统计关系的潜在数量的利益。辅助数据的前向模型的缺乏排除了使用标准的数据融合方法，而无法获得潜在变量的意见严重限制了直接应用的监督学习方法。LDF通过利用神经网络作为辅助数据的共轭映射来解决这些问题：非线性变换为关于潜变量的充分统计量。这有利于有效的推理，通过保持共轭性质的主要数据，并导致紧凑的表示的潜在变量后验分布。我们在两个具有挑战性的推理问题上展示了LDF方法：（1）从卫星图像，高级电网基础设施和其他来源学习卢旺达的电气化率;（2）通过使用多共轭映射的混合模型整合社会经济数据来推断美国的县级凶杀率。
2020-11-20 cs.LG stat.ML
Latent space mapping of interpretable structural coordinates from stochastic single-molecule signals
imec
提出通过对比编码器将纳米孔随机信号映射到可解释分子结构坐标的潜空间，实现高效识别与数据融合。
2026-06-16 cs.LG physics.bio-ph physics.chem-ph
Sequence Shortening for Context-Aware Machine Translation
Maastricht University（马斯特里赫特大学）
本研究针对上下文感知机器翻译，提出缓存源句潜在表示作为上下文的多编码器特例，并引入潜在分组与潜在选择两种序列缩短方法，在对比数据集上取得更高准确率，同时保持BLEU和COMET分数，提升可解释性并降低内存增长。
2024-02-02 cs.AI cs.CL cs.LG
Hierarchical Latent Semantic Mapping for Automated Topic Generation
School of Information and Communication Engineering（信息与通信工程学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
许多信息存在于前所未有的大量文本数据中。管理这些大规模文本数据的分配是许多领域的重要问题。主题模型在这个问题上表现得很好。传统的生成式模型（PLSA，LDA）是话题建模的主流方法，近年来对话题生成的研究主要集中在对这些模型的改进和扩展上。然而，传统生成模型的结果对主题数量K敏感，必须手动指定。从语料库中生成主题的问题类似于网络中的社区发现。许多有效的算法可以自动地从网络中发现社区，而无需手动指定社区的数量。受这些算法的启发，本文提出了一种新的基于层次潜在语义映射（HLSM）的主题自动生成方法。HLSM计算潜在主题空间中每对词之间的关联，然后构建具有这种关联的词的单分网络，并从该网络分层生成主题。我们将HLSM应用于几个文档集合，并与几种最先进的方法进行了实验比较，证明了其良好的性能。
2015-11-26 cs.CL cs.IR cs.LG
LatentFlow: Cross-Frequency Experimental Flow Reconstruction from Sparse Pressure via Latent Mapping
LatentFlow提出一种跨模态时间上采样框架，通过pC-β-VAE和压力到潜在空间的映射，仅利用高频稀疏壁面压力即可从低频PIV数据重建512 Hz湍流尾流场，解决了数据受限实验中的高频流场重建难题。
2025-08-19 cs.AI cs.LG physics.flu-dyn
Assessing the Latent Automated Program Repair Capabilities of Large Language Models using Round-Trip Translation
Simula Research Laboratory（Simula研究实验室）
本研究探索利用往返翻译（RTT）通过大语言模型进行自动化程序修复，发现该方法能生成合理补丁，并可作为APR框架的补充组件。
2025-10-15 cs.CL cs.LG cs.SE
