Semi-Supervised Generative Learning via Latent Space Distribution Matching
School of Computing & Data Science, University of Hong Kong（香港大学计算与数据科学学院）
LSDM通过潜在空间分布匹配实现半监督生成学习，利用非配对数据提升生成质量。
2026-03-04 cs.LG stat.ML
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足，提出CASL-VAE模型，它能从不配对数据学习结构化潜在因子，经变分推理实现相关优化，在半合成神经影像数据验证中表现良好，可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
Weakly-paired Cross-Modal Hashing
Southwest University（西南大学）；KAUST（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
散列算法以其存储成本低、检索速度快等优点被广泛应用于大规模数据检索中。现有的跨模态散列方法乐观地假设跨模态的训练样本之间的对应关系是容易获得的。这种假设在实际应用中是不现实的。此外，这些方法通常需要不同模态的相同数量的样本，这限制了它们的灵活性。我们提出了一种灵活的跨模态散列方法（Flex-CMH）来从弱配对数据中学习有效的散列代码，这些数据在模态之间的对应关系部分（甚至完全）未知。FlexCMH首先引入了基于聚类的匹配策略来探索每个聚类的局部结构，从而找到跨模态的聚类（和其中的样本）之间的潜在对应关系。为了减少不完全对应的影响，它在统一的目标函数中联合优化潜在的对应、从对应导出的跨模态散列函数和散列量化损失。还提出了一种替代的优化技术，以协调对应和哈希函数，并加强这两个目标的相互影响。在公开的多模态数据集上的实验表明，FlexCMH实现了比最先进的方法更好的结果，它确实为实际的跨模态哈希任务提供了高度的灵活性。
2019-05-29 cs.LG stat.ML
Contrastive Learning of Medical Visual Representations from Paired Images and Text
FUJIFILM Corporation（富士胶片公司）；AWS AI Labs（AWS人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
学习医学图像的视觉表示（例如，X射线）是医学图像理解的核心，但由于缺乏人工注释，其进展一直受到阻碍。现有的工作通常依赖于从ImageNet预训练中转移的微调权重，由于图像特征差异巨大，这是次优的，或者从与医学图像配对的文本报告数据中提取基于规则的标签，这是不准确的，难以推广。同时，最近的一些研究显示了令人兴奋的结果，从自然图像的无监督对比学习，但我们发现这些方法帮助不大的医学图像，因为它们的高类间相似性。我们提出了ConVIRT，一种替代的无监督策略，通过利用自然发生的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比目标用成对文本数据预训练医学图像编码器的新方法是领域不可知的，并且不需要额外的专家输入。我们通过将我们的预训练权重转移到4个医学图像分类任务和2个zero-shot检索任务来测试ConVIRT，并表明它导致图像表示在大多数设置中大大优于强基线。值得注意的是，在所有4个分类任务中，我们的方法只需要ImageNet初始化对应物的10%的标记训练数据，就可以实现更好或相当的性能，证明了卓越的数据效率。
2022-09-19 cs.CL cs.CV cs.LG
Deformation equivariant cross-modality image synthesis with paired non-aligned training data
Aalto University（阿尔托大学）；University of Turku（图尔库大学）；University of Eastern Finland（东芬兰大学）；Tampere University（坦佩雷大学）
本文提出形变等变损失，通过联合训练合成网络与独立配准网络，解决成对非对齐数据下的跨模态医学图像合成问题。
2023-09-29 cs.CV cs.LG eess.IV
Simulation-Free Training of Neural ODEs on Paired Data
KAIST（韩国科学技术院）；Kakao Brain
针对神经常微分方程（NODEs）在监督学习中函数求值多、梯度不稳定的问题，提出在配对数据嵌入空间联合学习嵌入与动力学的流匹配免仿真训练方法，以更少求值次数实现更优性能。
2024-10-30 cs.LG
Joint Depth and Normal Estimation from Real-world Time-of-flight Raw Data
Sensetime（商汤科技）
我们提出了一种新的方法，联合深度和正常的飞行时间（ToF）传感器估计。我们的模型学习从ToF原始传感器数据中联合预测高质量的深度和法线图。为了实现这一目标，我们精心构建了第一个大规模数据集（名为ToF-100），其中包含成对的原始ToF数据和由工业深度相机提供的地面实况高分辨率深度图。此外，我们还设计了一个简单但有效的联合深度和法线估计框架，通过抖动应用鲁棒的Chamfer损失来提高模型的性能。我们的实验表明，我们提出的方法可以有效地重建高分辨率的深度和法线图，并显着优于国家的最先进的方法。我们的代码和数据将在\url{https://github.com/hkustVisionRr/JointlyDepthNormalEstimation}上提供
2021-08-08 cs.CV cs.LG cs.RO
Unsupervised Joint Image Transfer and Uncertainty Quantification Using Patch Invariant Networks
University of Innsbruck（因斯布鲁克大学）
在大量成对训练数据不丰富的应用中，无监督图像传输能够实现模态内和模态间图像转换。为了确保从输入到目标域的结构保持映射，用于不成对图像传输的现有方法通常基于循环一致性，由于逆映射的学习而导致额外的计算资源和不稳定性。本文提出了一种新的方法，不依赖于任何配对的训练数据的单向域映射。通过使用GAN结构和基于补丁不变性的新的发电机损耗来实现适当的转移。更具体地说，在不同的尺度上对发生器输出进行评估和比较，这也导致对高频细节的关注增加以及隐含的数据增强。这种新的补丁损失也提供了可能性，准确地预测任意的不确定性，通过建模的输入依赖的比例尺地图的补丁残差。所提出的方法进行了全面评估三个完善的医疗数据库。与四种最先进的方法相比，我们在这些数据集上观察到了更高的准确性，这表明所提出的方法在考虑不确定性的情况下用于未配对图像传输的巨大潜力。建议框架的实现在这里发布：\url{https://github.com/anger-man/unsupervised-image-transfer-and-uq}。
2022-09-02 cs.CV cs.LG eess.IV
Hierarchical Paired Channel Fusion Network for Street Scene Change Detection
Sichuan University（四川大学）；Dalian University of Technology（大连理工大学）；University of Melbourne（墨尔本大学）；Central South University（中南大学）
街道场景变化检测（SSCD）的目的是在不同时间拍摄的给定街景图像对之间定位变化区域，这是计算机视觉界的一个重要而又具有挑战性的任务。解决SSCD任务的直观方法是融合提取的图像特征对，然后直接测量不相似部分以产生变化图。因此，设计一种有效的特征融合方法，提高对应变化图的准确性，是SSCD任务的关键。为此，我们提出了一种新的分层配对通道融合网络（HPCFNet），它利用配对特征通道的自适应融合。具体地说，一个给定的图像对的特征联合提取的连体卷积神经网络（SCNN）和分层组合，通过探索在多个特征水平的通道对的融合。此外，基于观察到的场景变化的分布是多样的，我们进一步提出了多部分特征学习（MPFL）策略来检测不同的变化。基于MPFL策略，我们的框架实现了一种新的方法来适应场景变化区域的规模和位置的变化。在三个公共数据集上进行了广泛的实验（即，PCD，VL-CMU-CD和CDnet 2014）表明，所提出的框架实现了优越的性能，优于其他国家的最先进的方法具有相当大的利润。
2020-10-19 cs.CV cs.LG cs.MM
A Deliberation-based Joint Acoustic and Text Decoder
Google Inc.（谷歌公司）
我们提出了一种新的两遍E2 E语音识别模型，通过对配对数据和未配对文本数据的组合进行训练来提高ASR性能。以前，联合声学和文本解码器（JATD）通过在模型训练期间使用文本数据显示出有希望的结果，最近引入的审议架构通过利用第一遍解码结果减少了识别错误。我们的方法，被称为审议JATD，结合审议的拼写纠正能力与JATD的使用不成对的文本数据，以进一步提高性能。所提出的模型在多个测试集上产生了实质性的收益，特别是那些专注于罕见单词的测试集，它将单词错误率（WER）相对降低了12%至22.5%。这是在不增加模型大小或不需要多阶段训练的情况下完成的，使得Deliberation-JATD成为设备上应用的有效候选者。
2023-03-23 cs.CL cs.LG cs.SD
Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对服务数千个 LoRA 适配器时的 GPU 内存瓶颈，提出联合压缩方法将 LoRA 压缩为共享基与特定缩放矩阵，并扩展至聚类以支持大规模集合，实验证明在保持性能的同时显著提升了服务吞吐量。
2025-05-29 cs.AI cs.CL cs.DC
ImageBind: One Embedding Space To Bind Them All
Meta AI；FAIR（脸书人工智能研究院）
ImageBind提出仅用图像配对数据即可将图像、文本、音频、深度、热成像和IMU六种模态绑定到同一嵌入空间，实现跨模态检索、组合、检测与生成等零样本能力，并在多模态识别任务上超越专用监督模型。
2023-05-31 cs.AI cs.CV cs.LG
DetMatch: Two Teachers are Better Than One for Joint 2D and 3D Semi-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）；University of California Berkeley（加州大学伯克利分校）
虽然许多3D检测工作利用RGB图像和点云之间的互补关系，但半监督对象识别的更广泛框架的发展仍然不受多模态融合的影响。当前的方法开发了用于2D和3D半监督学习的独立管道，尽管成对的图像和点云帧是可用的。观察到每个传感器的独特特性导致它们偏向于检测不同的对象，我们提出了DetMatch，一个灵活的框架，联合半监督学习的2D和3D模式。通过识别在两个传感器中检测到的对象，我们的管道生成了一组更干净，更强大的伪标签，既展示了更强的性能，又阻止了单模态错误传播。此外，我们利用RGB图像更丰富的语义来纠正不正确的3D类别预测并改进3D框的本地化。在具有挑战性的KITTI和Waymo数据集上进行评估，我们改进了强半监督学习方法，并观察到更高质量的伪标签。代码将在https://github.com/Divadi/DetMatch上发布
2022-03-17 cs.AI cs.CV cs.LG
Transfer Learning with Joint Fine-Tuning for Multimodal Sentiment Analysis
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences (ICMC)（数学与计算机科学学院（ICMC））
大多数现有的方法集中在文本数据的情感分析。然而，最近在社交平台上大量使用图像和视频，从其他模式中激发了情感分析。目前的研究表明，探索其他模式（例如，图像）增加了情感分析性能。最先进的多模态模型，如CLIP和VisualBERT，是在文本与图像配对的数据集上进行预训练的。虽然这些模型获得的结果是有希望的，这些模型的预训练和情感分析微调任务是计算昂贵的。本文介绍了一种用于情感分析的联合微调的迁移学习方法。我们的提案使用更直接的替代微调策略取得了有竞争力的结果，该策略利用不同的预训练单峰模型，并将它们有效地结合在多模态空间中。此外，我们的建议允许在联合微调阶段合并任何预训练的文本和图像模型时具有灵活性，这对于低资源场景中的情感分类特别有趣。
2022-10-11 cs.CL cs.CV cs.LG
Attention-Based Variational Framework for Joint and Individual Components Learning with Applications in Brain Network Analysis
Department of Biostatistics, Yale School of Public Health（生物统计学系，耶鲁公共卫生学院）；Department of Statistics, Virginia Tech（统计学系，弗吉尼亚理工大学）；Department of Statistics and Operations Research, University of North Carolina at Chapel Hill（统计学与运筹学系，北卡罗来纳大学教堂山分校）
本文提出CM-JIVNet，一种基于注意力的变分框架，用于联合和个体成分学习，以提升脑网络分析中的跨模态重建和行为预测能力。
2026-01-23 cs.CV cs.LG stat.ML
Sensor-Aware Joint Data Fusion and State Estimation under Sparse Multi-rate Distribution Grid Sensing
Argonne National Laboratory（阿贡国家实验室）
针对稀疏多速率配电网感知问题，提出异构潜隐图ODE搭配图变换器状态估计器，在多个IEEE标准拓扑上验证了可观测性降低时的有效性。
2026-10-14 cs.LG
One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
提出MODL方法，通过联合训练领域LoRA和语言LoRA并施加互正交约束，无需配对数据即可为英语遥感多模态大模型添加多语言能力，显著提升跨语言遥感问答准确率。
2026-09-23 cs.CL cs.CV cs.LG
Semi-Supervised Image Captioning by Adversarially Propagating Labeled Data
Hanyang University（汉阳大学）；POSTECH（浦项科技大学）；Yonsei University（延世大学）；KAIST（韩国科学技术院）
我们提出了一种新的数据有效的半监督框架，以提高图像描述模型的泛化能力。构建大规模标记的图像描述数据集在劳动力、时间和成本方面是昂贵的任务。与手动注释所有训练样本相比，单独收集单峰数据集要容易得多，例如，大规模图像数据集和句子数据集。我们通过学习将它们关联起来，在标准配对数据上利用如此大量的未配对图像和字幕数据。为此，我们提出的半监督学习方法分配伪标签的不成对的样本在一个对抗性的学习方式，学习图像和字幕的联合分布。我们的方法训练字幕从配对数据中学习，并逐步关联未配对的数据。这种方法即使在包括任务外数据（即，关系字幕，其中目标任务不同于未配对的数据）和web爬取的数据。我们还表明，我们提出的方法是理论上动机良好，并具有良好的全局最优性能。我们对（1）基于图像和（2）基于密集区域的字幕数据集进行了广泛而全面的实证结果，然后对很少配对的COCO数据集进行了全面分析，证明了我们的半监督学习方法与竞争方法相比具有一致的有效性。
2023-01-26 cs.AI cs.CL cs.CV
Found in Translation: Learning Robust Joint Representations by Cyclic Translations Between Modalities
Carnegie Mellon University（卡内基梅隆大学）；Microsoft AI（微软人工智能（微软AI））
多模态情感分析是研究说话人情感的一个核心研究领域，它从语言、视觉和听觉三个方面来表达说话人情感。多模态学习的核心挑战涉及推断可以处理和关联来自这些模态的信息的联合表示。然而，现有的工作学习联合表示，需要所有的模态作为输入，因此，学习的表示可能是敏感的噪声或丢失的模态在测试时。随着序列到序列（Seq 2Seq）模型在机器翻译中的成功，有机会探索学习联合表示的新方法，这些方法在测试时可能不需要所有输入模态。在本文中，我们提出了一种方法来学习强大的联合表示之间的翻译模态。我们的方法基于以下关键见解：从源模态到目标模态的翻译提供了一种仅使用源模态作为输入来学习联合表示的方法。我们增加模态翻译与周期一致性损失，以确保我们的联合表示保留最大的信息，从所有的模态。一旦我们的翻译模型使用成对的多模态数据进行训练，我们只需要在测试时来自源模态的数据来进行最终的情感预测。这确保了我们的模型在其他模态的扰动或缺失信息中保持稳健。我们用耦合的预防-预测目标训练我们的模型，它在多模态情感分析数据集上取得了最新的结果：CMU-MOSI，ICT-MMMO和YouTube。额外的实验表明，我们的模型学习越来越多的歧视性的联合表示与更多的输入模态，同时保持鲁棒性丢失或扰动模态。
2020-02-28 cs.CL cs.CV cs.HC
"The Squawk Bot": Joint Learning of Time Series and Text Data Modalities for Automated Financial Information Filtering
IBM Research（IBM研究院）
使用数值时间序列和文本语料库作为输入数据源的多模态分析正在成为一种有前途的方法，特别是在金融行业。然而，这种分析的主要重点是实现高预测精度，而很少的努力已经花在理解两种数据模式之间的关联的重要任务。因此，尽管人类可以理解的文本信息是可用的，但对时间序列的性能几乎没有解释。在这项工作中，我们解决的问题，给定一个数字的时间序列，和一个一般的语料库的文本故事收集在同一时期的时间序列，任务是及时发现一组简洁的文本故事与该时间序列。为了实现这一目标，我们提出了一种称为MSIN的新型多模态神经模型，该模型联合学习数值时间序列和分类文本文章，以挖掘它们之间的关联。通过两种数据模式之间的多个数据相关步骤，MSIN学会关注与时间序列中的性能最匹配的文本文章的一小部分。这个简洁的集合被及时发现并作为推荐文档呈现，作为给定时间序列的自动信息过滤。我们实证评估了我们的模型在发现来自苹果和谷歌公司的两个股票时间序列的相关新闻文章方面的表现，以及连续七年从汤森路透收集的每日新闻文章。实验结果表明，MSIN在两个检查时间序列中分别达到84.9%和87.2%的地面真相文章召回率，远远优于依赖于深度学习中传统注意力机制的最先进算法。
2019-12-20 cs.CL cs.LG q-fin.ST
Deep Variation Prior: Joint Image Denoising and Noise Variance Estimation without Clean Data
University of Bristol（布里斯托大学）
随着最近基于深度学习的方法在从图像中去除噪声方面显示出有希望的结果，在监督学习设置中报告了最佳的去噪性能，该设置需要大量成对的噪声图像和地面实况进行训练。强大的数据需求可以通过无监督学习技术来缓解，然而，图像或噪声方差的准确建模对于高质量的解决方案仍然至关重要。对于未知的噪声分布，学习问题是不适定的。本文研究了图像去噪和噪声方差估计在一个单一的，联合学习框架的任务。为了解决这个问题的不适定性，我们提出了深度变化先验（DVP），它指出正确学习的去噪器相对于噪声变化的变化满足一些平滑特性，作为良好去噪器的关键标准。在DVP的基础上，开发了一个无监督的深度学习框架，可以同时学习去噪器和估计噪声方差。我们的方法不需要任何干净的训练图像或噪声估计的外部步骤，相反，近似的最小均方误差去噪只使用一组噪声图像。由于这两个基本任务在一个框架中被考虑，我们允许它们相互优化。实验结果表明，去噪质量与监督学习和准确的噪声方差估计相当。
2022-09-19 cs.CV cs.LG eess.IV
