COCOA: Cross Modality Contrastive Learning for Sensor Data
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学);Philips Research(飞利浦研究院);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
自监督学习(Self-Supervised Learning,SSL)是一种新的学习模式,用于在没有标记数据的情况下学习判别表示,并且与监督学习模式相比,SSL已经达到了相当的甚至是最先进的结果。对比学习(CL)是SSL中最著名的方法之一,它试图学习数据的一般性、信息性表示。CL方法主要针对仅使用单个传感器模态的计算机视觉和自然语言处理中的应用而开发。然而,大多数普适计算应用程序利用来自一系列不同传感器模态的数据。虽然现有的CL方法仅限于从一个或两个数据源的学习,我们提出了COCOA(交叉mOdality对比学习),一个自我监督的模型,采用了一种新的目标函数,通过计算不同的数据模态之间的互相关,并最大限度地减少不相关的实例之间的相似性,从多传感器数据学习质量表示。我们评估了COCOA对八个最近引入的最先进的自监督模型的有效性,以及五个公共数据集的两个监督基线。我们表明,COCOA实现了优于所有其他方法的分类性能。此外,COCOA的标签效率远远高于其他基线,包括仅使用十分之一可用标签数据的完全监督模型。
2022-08-03 cs.CV cs.LG
Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment
The University of Sydney(悉尼大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Changzhou University(常州大学)
本文提出Semi-MedRef框架,通过三个组件维持医学图像与位置语言的一致性,实验显示其在低标签条件下优于其他方法。
2026-08-04 cs.CV cs.LG
Discriminative Supervised Hashing for Cross-Modal similarity Search
Jiangnan University(江南大学);University of Surrey(萨里大学)
散列技术具有存储成本低、检索效率高等优点,近年来成为跨模态相似性检索的一个新兴研究方向。由于多模态数据反映了相似的语义内容,因此许多研究都致力于学习统一的二进制代码。然而,通过这些方法学习的判别式散列特征是不够的。这导致较低的准确性和鲁棒性。我们提出了一种新的哈希学习框架,该框架联合执行分类器学习,子空间学习和矩阵分解,以保留类特定的语义内容,称为判别式监督哈希(DSH),学习多模态数据的判别式统一二进制代码。此外,减少信息的损失,并保持数据的非线性结构,DSH非线性投影不同的模态到公共空间,在其中异构数据点之间的相似性可以衡量。在三个公开数据集上进行的大量实验表明,本文提出的框架优于几种最先进的方法。
2019-04-18 cs.CV cs.LG cs.MM
On self-supervised multi-modal representation learning: An application to Alzheimer's disease
Georgia Institute of Technology(佐治亚理工学院);Georgia State University(佐治亚州立大学);Emory University(埃默里大学);Center for Translational Research in Neuroimaging and Data Science(神经影像与数据科学转化研究中心);Mila(米拉);Université de Montréal(蒙特利尔大学)
在功能和结构脑成像上训练的深度监督预测模型的内省可能会发现阿尔茨海默病(AD)的新标志物。然而,监督式训练容易从虚假特征中学习(捷径学习),这会削弱其在发现过程中的价值。深度无监督和最近的对比自监督方法,不偏向于分类,是这项任务的更好候选者。他们的多模态选项通过模态交互提供了额外的正则化。在本文中,我们介绍了一种方法来详尽地考虑多模态架构的对比自我监督融合功能磁共振成像和MRI的AD患者和对照。我们表明,这种多模态融合的结果表示,提高了两种方式的下游分类的结果。我们研究了投射到大脑空间的融合自监督特征,并引入了一种数值稳定的方法来实现。
2022-05-23 cs.LG
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Disentangling Interpretable Factors with Supervised Independent Subspace Principal Component Analysis
Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心);Program for Mathematical Genomics(数学基因组学项目);Department of Systems Biology(系统生物学系);Department of Computer Science(计算机科学系);Department of Biomedical Informatics(生物医学信息学系)
针对高维数据表征可解释性不足的问题,提出有监督独立子空间主成分分析sisPCA,结合HSIC实现监督学习与子空间解耦,在多生物医学场景中验证了其识别隐藏结构的有效性。
2024-10-31 cs.LG q-bio.GN stat.ML
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务,由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文,这转化为在下游任务(如问答)中的性能提高。在这项工作中,我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频,视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明,与基线相比,这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
PhysioME: A Robust Multimodal Self-Supervised Framework for Physiological Signals with Missing Modalities
针对生理信号缺失模态导致性能下降的问题,提出鲁棒多模态自监督框架PhysioME,结合对比学习、掩码预测与恢复解码器,在缺失模态下保持高一致性与泛化性能,支持真实临床决策。
2025-10-13 cs.AI cs.LG
Multi-Modality Spatio-Temporal Forecasting via Self-Supervised Learning
Southern University of Science and Technology(南方科技大学);The University of Tokyo(东京大学);Jilin University(吉林大学)
本文提出基于自监督学习的多模态时空预测框架MoSSL,从时间、空间和模态视角挖掘潜在模式并量化动态异质性,在两个真实数据集上验证了其优于现有方法。
2024-05-06 cs.LG
CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking
University of New South Wales(新南威尔士大学);Nokia Bell Labs(诺基亚贝尔实验室)
针对多模态时间序列标注数据稀缺问题,提出CroSSL框架,通过掩码模态编码器中间嵌入并经跨模态聚合器生成全局嵌入,实现无需负样本对采样的端到端跨模态自监督学习,在处理缺失模态和低资源场景下优于现有方法。
2024-02-19 cs.LG
Distributed Low-rank Subspace Segmentation
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);Columbia(哥伦比亚大学)
从图像聚类到运动分割再到半监督学习的视觉问题可以很自然地被框定为子空间分割问题,其中一个目标是从噪声和损坏的输入数据中恢复多个低维子空间。低秩表示(LRR)是子空间分割问题的凸公式,在小问题上可证明和经验上是准确的,但不能扩展到现代视觉数据集的大规模。此外,过去的工作,旨在扩大低秩矩阵分解是不适用于LRR考虑其不可分解的限制。在这项工作中,我们提出了一种新的分治算法的大规模子空间分割,可以应付LRR的不可分解的约束,并保持LRR的强大的恢复保证。这对子空间分割的可扩展性有直接的影响,我们在基准人脸识别数据集和模拟中证明了这一点。然后,我们介绍了新的应用LRR为基础的子空间分割的大规模半监督学习多媒体事件检测,概念检测和图像标记。在每种情况下,我们都获得了最先进的结果和数量级的速度提升。
2013-10-16 cs.CV cs.DC cs.LG
Curriculum Learning Meets Weakly Supervised Modality Correlation Learning
Sun Yat-sen University(中山大学)
在多模态情感分析(MSA)领域,一些研究利用存储在样本中的固有模态相关信息进行自监督学习。然而,他们以随机顺序喂养训练对,而不考虑难度。在没有人工注释的情况下,自监督学习生成的训练对通常包含噪声。如果在简单阶段使用噪声或硬对进行训练,模型可能会陷入糟糕的局部最优。本文将课程学习引入到弱监督模态相关学习中。弱监督相关学习利用标签信息来生成负对的分数,以学习更具鉴别力的嵌入空间,其中负对被定义为来自不同样本的两个单峰嵌入。为了辅助相关学习,我们提出的课程学习,其中包括精心设计的评分和喂养功能,根据难度的训练对喂给模型。评分函数使用预先训练的和当前的相关性预测器来计算对的难度,其中具有大损失的对被定义为硬对。值得注意的是,在我们的算法中丢弃了最难的对,这些对被假设为噪声对。此外,馈送函数将相关损失的差异作为反馈来确定馈送动作("停留"、"后退"或"前进")。所提出的方法在MSA上达到了最先进的性能。
2022-12-15 cs.LG
Multi-modal Cross-domain Self-supervised Pre-training for fMRI and EEG Fusion
Lehigh University(理海大学);Children’s National Hospital(儿童国家医院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出多模态跨域自监督预训练模型MCSP,通过跨域和跨模态自监督损失融合fMRI与EEG的空间、时间、频谱互补信息,在多个分类任务上取得优越性能和泛化能力。
2024-09-27 cs.AI cs.LG eess.IV
Cheap and Powerful Tests for Supervised Subspaces: Per-Component Inference for PLS
Society for Open Science (Stowarzyszenie na Rzecz Otwartej Nauki)(开放科学协会);Centre for Brain Research, Jagiellonian University(雅盖隆大学脑研究中心);IDEAS Research Institute(IDEAS研究所)
针对 PLS 等监督子空间推断昂贵或缺失的问题,提出基于留出 OLS 重拟合的两种检验,具有更高功效且成本低,并发布多语言绑定库。
2026-09-30 cs.LG stat.ML
Efficient Discrete Supervised Hashing for Large-scale Cross-modal Retrieval
Ludong University(鲁东大学);Yantai Research Institute of New Generation Information Technology, Southwest Jiaotong University(西南交通大学烟台新一代信息技术研究院);Zhejiang University(浙江大学);Southwest Jiaotong University(西南交通大学);University of Texas at San Antonio(得克萨斯大学圣安东尼奥分校)
有监督跨模式哈希算法以其良好的性能和效率在大规模检索任务中得到了越来越多的研究兴趣。然而,散列编码仍存在一些挑战性的问题:1)由于散列编码的异质性,大多数散列编码不能很好地保持散列编码的语义相关性; 2)大多数散列编码放松了散列编码的离散约束,导致量化误差大,性能不高; 3)大多数算法在训练过程中存在较高的内存开销和计算复杂性,这使得它们不具有可扩展性。针对上述问题,本文提出了一种基于矩阵分解的监督式跨模态散列算法,称为高效离散监督散列算法(Efficient Discrete Supervised Hashing,EDSH)。具体来说,异构特征的集体矩阵分解和带有类标签的语义嵌入被无缝集成以学习哈希码。因此,基于特征的相似性和语义相关性都可以在哈希码中保留,这使得学习的哈希码更具区分性。然后提出了一种有效的离散优化算法来处理可扩展性问题。该算法不需要逐位学习哈希码,而是直接得到哈希码矩阵,效率更高。在三个公开的真实数据集上的实验结果表明,EDSH在准确性和可扩展性方面都优于一些现有的跨模式哈希方法。
2019-05-03 cs.LG cs.MM stat.ML
Discriminative Supervised Subspace Learning for Cross-modal Retrieval
Jiangnan University(江南大学)
异构数据间的度量是目前跨模态检索中的一个未解决的问题。跨模态检索的核心是如何度量不同类型数据之间的相似性。已经开发了许多方法来解决这个问题。作为主流方法之一,基于子空间学习的方法注重学习一个公共子空间,在该子空间中可以直接度量多模态数据之间的相似性。然而,许多现有的方法只专注于学习一个潜在的子空间。它们忽视了对判别信息的充分利用,使得语义结构信息没有得到很好的保留。因此,无法达到预期的满意结果。本文提出了一种判别式监督子空间学习的跨模态检索算法(DS 2L),以充分利用判别信息,更好地保留语义结构信息。具体来说,我们首先构建一个共享的语义图,以保持每个模态内的语义结构。然后引入Hilbert-Schmidt独立性准则(HSIC)来保持样本的特征相似度和语义相似度之间的一致性。第三,我们引入了一个相似性保持项,从而我们的模型可以弥补不足的歧视性数据的使用和更好地保持语义结构信息内的每一个模态。在三个著名的基准数据集上的实验结果表明,该方法相对于经典的子空间学习方法的有效性和竞争力。
2022-01-26 cs.AI cs.CV cs.LG
Diagnosing and Mitigating Perception-Decision Misalignment in Omni-LLMs via Modality Subspace Activation
针对Omni-LLMs存在的感知-决策失配问题,本文提出因果模态敏感性及对应诊断方法,构建CausalMSBench数据集,提出无需训练的MSA框架以恢复模型的因果模态敏感性。
2026-08-18 cs.CV cs.LG
Knowledge-driven Subspace Fusion and Gradient Coordination for Multi-modal Learning
The University of Hong Kong(香港大学);University of Cambridge(剑桥大学);Tongji University(同济大学);Zhejiang Lab(之江实验室);University of Dundee(邓迪大学)
针对多模态学习在癌症诊断中难以有效建模基因组学与组织学数据关联的问题,提出知识驱动子空间融合与梯度协调框架,在胶质瘤三项下游任务中性能超越现有最优方法。
2024-06-20 cs.CV cs.LG eess.IV
Missing Modality Robustness in Semi-Supervised Multi-Modal Semantic Segmentation
Georgia Institute of Technology(佐治亚理工学院)
针对标签效率与测试时模态缺失问题,提出 Linear Fusion 融合机制和半监督框架 M3L,并建立首个相关基准,鲁棒 mIoU 最高提升 10%。
2023-04-21 cs.CV cs.LG
Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation
Southeast University(东南大学);Caritas Institute of Higher Education(明爱专上学院);City University of Hong Kong(香港城市大学)
在这封信中,我们提出了一种新的半监督子空间聚类方法,它能够同时增加初始监督信息和构造一个有区别的亲和矩阵。通过将有限数量的监督信息表示为成对约束矩阵,我们观察到用于聚类的理想亲和力矩阵与理想成对约束矩阵具有相同的低秩结构。因此,我们将这两个矩阵堆叠成一个3-D张量,其中施加全局低秩约束以促进亲和矩阵的构建并同步地增加初始成对约束。此外,我们使用输入样本的局部几何结构来补充全局低秩先验,以实现更好的亲和矩阵学习。该模型被配制成一个拉普拉斯图正则化凸低秩张量表示问题,这是进一步解决了一个替代的迭代算法。此外,我们提出了改进的亲和矩阵与增强的成对约束。在8个常用的基准数据集上的综合实验结果表明,我们的方法优于最先进的方法。该代码可在https://github.com/GuanxingLu/Subspace-Clustering上公开获取。
2023-01-04 cs.CV cs.LG
Multimodal Subspace Support Vector Data Description
Aarhus University(奥胡斯大学);Tampere University(坦佩雷大学);Finnish Environment Institute(芬兰环境研究所)
在本文中,我们提出了一种新的方法投影数据从多个模态到一个新的子空间优化一类分类。所提出的方法迭代地将数据从每个模态的原始特征空间转换到一个新的公共特征空间,同时找到来自所有模态的数据的联合紧凑描述。对于每种模态中的数据,我们定义了一个单独的变换,通过仅利用感兴趣类别中的可用信息将数据从相应的特征空间映射到新的优化子空间。我们还提出了不同的正则化策略所提出的方法,并提供线性和非线性配方。建议的多模态子空间支持向量数据描述优于所有竞争的方法,使用来自单一模态的数据或融合来自所有模态的数据在五个数据集中的四个。
2020-09-14 cs.LG stat.ML
Robust Self-Supervised Convolutional Neural Network for Subspace Clustering and Classification
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
现有的子空间聚类方法处理来自非线性流形、数据损坏和样本外数据的能力不足,阻碍了它们解决现实世界聚类和分类问题的适用性。本文提出了自监督卷积子空间聚类网络($S^2$ ConvSCN)的鲁棒性公式,该网络包含全连接(FC)层,因此,它能够通过使用softmax分类器对其进行分类来处理样本外数据。$S^2$ ConvSCN通过学习特征空间中的线性自表示模型对来自非线性流形的数据进行聚类。对数据损坏的鲁棒性是通过使用相关熵诱导度量(CIM)的错误。此外,块对角(BD)结构的表示矩阵是通过BD正则化明确执行。在真正的无监督训练环境中,Robust $S^2$ ConvSCN在四个众所周知的数据集上的可见和不可见数据方面都比其基线版本表现出色。可以说,这样的消融研究以前没有报道过。
2020-04-03 cs.CV cs.LG stat.ML
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology(北京理工大学)
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理,以自监督的方式学习不同视图之间的共同信息,并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类(SIB-MSC)。继承了信息瓶颈的优点,SIB-MSC可以为每个视图学习潜在空间,通过从视图本身去除多余的信息,同时为其他视图的潜在表示保留足够的信息,来捕获不同视图的潜在表示之间的公共信息。实际上,每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外,SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息,通过引入互信息为基础的正则化条款,以便进一步提高多视图子空间聚类的性能。据我们所知,这是第一个工作,探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明,我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
ProSub: Probabilistic Open-Set Semi-Supervised Learning with Subspace-Based Out-of-Distribution Detection
Saab AB(萨博公司);Chalmers University of Technology(查尔姆斯理工大学)
ProSub通过基于子空间的角度和概率分布估计,实现开放集半监督学习中的ID/OOD分类与高精度预测。
2026-01-23 cs.CV cs.LG stat.ML
Supervised Enhanced Soft Subspace Clustering (SESSC) for TSK Fuzzy Classifiers
Huazhong University of Science and Technology(华中科技大学);Shandong University of Finance and Economics(山东财经大学)
基于模糊c-均值的聚类算法经常用于TSK模糊分类器的先验参数估计。从每个集群初始化一个规则。然而,这些聚类算法大多是无监督的,这浪费了宝贵的标签信息的训练数据。提出了一种有监督的增强软子空间聚类算法(SESSC),该算法在聚类过程中同时考虑了类内紧致度、类间分离度和标签信息。它可以有效地处理高维数据,可以单独作为分类器使用,也可以集成到TSK模糊分类器中,进一步提高其性能。在不同应用领域的九个UCI数据集上的实验表明,基于SESSC的初始化方法优于其他聚类方法,特别是当规则数量较少时。
2020-02-27 cs.LG stat.ML
Online Supervised Subspace Tracking
Georgia Institute of Technology(佐治亚理工学院)
当存在两个时间序列$x_t$和$y_t$,一个是高维预测变量,另一个是响应变量,子空间跟踪需要同时考虑这两个序列时,我们提出了一个监督子空间跟踪的框架.它扩展了经典的在线子空间跟踪工作,可以看作是跟踪的$x_t$。我们的在线充分降维(OSDR)是一个元算法,可以应用于各种情况下,包括线性回归,逻辑回归,多元线性回归,多项逻辑回归,支持向量机,随机点积模型和多尺度union-of-subspace模型。OSDR以较低的计算复杂性实时地降低数据维数,并能处理丢失数据和动态数据。OSDR使用交替最小化方案,并通过格拉斯曼流形上的梯度下降更新子空间。可以利用在许多设置中相对于子空间的格拉斯曼梯度是秩一(或在某些情况下是低秩)的事实来有效地执行子空间更新。OSDR的优化问题是非凸的,一般难以分析,我们提供了一个简单的线性回归设置的OSDR的收敛性分析。通过仿真和实际数据的数值例子,OSDR的良好性能相比,传统的无监督子空间跟踪。
2015-09-01 cs.LG math.ST stat.ML
Enhancing Multi-Modal Video Sentiment Classification Through Semi-Supervised Clustering
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
针对视频情感分类依赖大量标注数据的问题,提出结合聚类半监督预训练与监督微调的多模态方法,利用视频、文本及声学特征提升分类效果,尤其适用于标注数据有限的场景。
2025-01-11 cs.CV cs.LG
Cross-Modal Subspace Learning with Scheduled Adaptive Margin Constraints
NOVALINCS(NOVALINCS实验室);Universidade NOVA de Lisboa(新里斯本大学)
跨模态嵌入,文本和视觉模态之间,旨在组织多模态实例的语义相关性。最先进的方法使用基于铰链损失的最大余量方法来强制执行恒定余量m,以将多模态实例的投影从不同类别中分离。在本文中,我们提出了一种新的计划自适应最大利润率(SAM)制定,推断特定的三元组的限制在训练过程中,因此组织实例自适应执行类别间和模态间的相关性。这是由一个预定的自适应余量函数,这是顺利激活,取代静态余量的自适应推断一个反映特定的三元组的语义相关性,同时占增量学习行为的神经网络,以执行类别集群的形成和执行。在广泛使用的数据集上的实验表明,我们的模型改进了最先进的方法,与第二好的方法相比,实现了高达12.5%的相对改进,从而证实了我们预定的自适应保证金公式的有效性。
2019-09-30 cs.LG cs.MM
Customized Multiple Clustering via Multi-Modal Subspace Proxy Learning
School of Engineering and Technology, University of Washington(华盛顿大学工程与技术学院);Alibaba Group(阿里巴巴集团);Zoom Video Communications(Zoom视频通讯公司)
本文提出Multi-Sub,一种基于多模态子空间代理学习的端到端多聚类方法,利用CLIP和GPT-4自动生成代理词作为子空间基,以定制化表示数据,满足用户特定分组需求,并在视觉多聚类任务中优于现有基线。
2024-11-06 cs.LG
Deep Subspace analysing for Semi-Supervised multi-label classification of Diabetic Foot Ulcer
RMIT University(皇家墨尔本理工大学);Baker Heart and Diabetes Institute(贝克心脏与糖尿病研究所)
糖尿病是一种全球性的流行病。糖尿病患者有患足溃疡的风险,这通常会导致截肢。为了开发一个自我监测的移动应用程序,在这项工作中,我们提出了一种新的深度子空间分析管道半监督糖尿病足溃疡多标签分类。为了避免任何过度拟合的机会,与最近的最先进的深度半监督方法不同,所提出的管道不包括任何数据增强。然而,在提取深度特征之后,为了使表示平移不变,我们对每个图像采用各种数据增强方法并生成图像集,然后将其映射到线性子空间。此外,拟议的管道减少了再培训的成本时,更多的新的未标记的数据变得可用。因此,流水线的第一阶段通过修改和重新训练称为Xception的深度卷积网络架构,采用迁移学习的概念进行特征提取。然后,提取中间层的输出,以生成任何给定图像的图像集表示器,并借助数据增强方法。在这个阶段,每个图像被转移到一个线性子空间,这是一个点上的格拉斯曼流形拓扑空间。因此,要对它们进行分析,必须考虑这种流形的几何形状。因此,每个标记的图像被表示为使用格拉斯曼流形上的测地线距离到未标记图像的数量的距离的向量。最后,训练随机森林对糖尿病足溃疡图像进行多标签分类。在DFU2021竞赛提供的盲测试集上对该方法进行了测试,结果表明,该方法与经典的数据增强迁移学习方法相比,具有明显的改进。
2021-10-05 cs.CV cs.LG eess.IV
DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain tumor segmentation with incomplete multi-modal MRI scans
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);Guangdong Provincial People’s Hospital(广东省人民医院);Guangdong Academy of Medical Sciences(广东省医学科学院)
基于多模态磁共振成像(MRI)的脑肿瘤分割在辅助脑肿瘤诊断、治疗和术后评估中起着关键作用。尽管现有的自动分割方法取得了令人鼓舞的性能,但由于相当多的不可控因素(例如,不同的成像协议、数据损坏和患者条件限制),多模态MRI数据在现实世界的临床应用中仍然不可用,这导致在实际应用中的性能大幅下降。在这项工作中,我们提出了一个深度监督的知识传输网络(DIGEST),它实现了准确的脑肿瘤分割在不同的模态缺失的情况下。具体而言,构建知识转移学习框架,使学生模型能够从用完整的多模态MRI数据预训练的教师模型学习模态共享语义信息。为了模拟给定多模态数据下所有可能的模态缺失条件,我们基于伯努利采样生成不完全多模态MRI样本。最后,设计了一个深度监督的知识传递损失,以保证不同解码阶段师生结构的一致性,从而有助于提取内在有效的情态表征。在BraTS 2020数据集上的实验表明,我们的方法对于不完整的多模态MR图像分割任务取得了令人满意的结果。
2022-11-15 cs.CV cs.LG eess.IV
Semi-supervised Deep Generative Modelling of Incomplete Multi-Modality Emotional Data
University of Chinese Academy of Sciences(中国科学院大学);Search Lab(360搜索实验室);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
情感识别面临三重挑战。首先,仅考虑单一模态难以识别人的情绪状态。其次,手动注释情感数据是昂贵的。第三,由于不可预见的传感器故障或配置问题,情感数据通常会丢失模态。在本文中,我们解决所有这些问题下一个新的多视图深度生成框架。具体来说,我们建议使用具有共享潜在空间的多个特定模态生成网络来建模多模态情感数据的统计关系。通过对共享潜变量的后验近似施加高斯混合假设,我们的框架可以从多个模态中学习联合深度表示,并同时评估每个模态的重要性。为了解决标记数据稀缺的问题,我们将我们的多视图模型扩展到半监督学习场景,将半监督分类问题作为一个专门的缺失数据填补任务。为了解决丢失模态的问题,我们进一步扩展了我们的半监督多视图模型来处理不完整的数据,其中丢失的视图被视为一个潜在变量,并在推理过程中整合出来。通过这种方式,所提出的整体框架可以利用所有可用的(标记和未标记的,以及完整和不完整的)数据来提高其泛化能力。在两个真实的多模态情感数据集上进行的实验证明了该框架的优越性。
2018-07-27 cs.CV cs.LG cs.MM
MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning
本研究提出MAG框架,通过将未标记多模态数据用于半监督传播的演示选择,提升多模态大语言模型的上下文学习性能,在8个基准的标签稀缺场景下优于强基线。
2026-08-14 cs.LG
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology(华中科技大学);Guizhou Normal University(贵州师范大学);Hubei University(湖北大学)
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码,这可以帮助临床医生从异构模态(即,基于散列的跨模态医学数据检索),为促进计算机辅助诊断提供了新的视角。然而,仍然存在一个障碍,以提高医疗检索的准确性:如何揭示模糊的语义的医疗数据,而不分心的多余信息。为了克服这个缺点,我们提出了深度监督信息瓶颈哈希(DSIBH),它有效地增强了哈希码的可区分性。具体而言,针对单模态的深度确定性信息瓶颈(Yu,Yu和Principe 2021)被扩展到跨模态场景。这样就减少了多余的信息,从而提高了散列码的可鉴别性。实验结果表明,所提出的DSIBH相比,国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
Dual-Granularity Cross-Modal Identity Association for Weakly-Supervised Text-to-Person Image Matching
Kunming University of Science and Technology(昆明理工大学)
针对弱监督文本到人物图像匹配中复杂一对多身份关系难以预测的问题,提出局部与全局双粒度身份关联机制及信息不对称样本对构建方法,显著提升跨模态匹配精度。
2025-07-09 cs.CV cs.LG cs.MM
Characterizing the Predictive Impact of Modalities with Supervised Latent-Variable Modeling
New York University(纽约大学);Grossman School of Medicine(格罗斯曼医学院);Genentech(基因泰克);CIFAR(加拿大弗雷德里克·班克特研究所)
PRIMO是一种监督潜在变量插补模型,用于量化多模态学习中缺失模态的预测影响,通过方差度量评估模态对预测的影响。
2026-02-19 cs.CL cs.CV cs.LG
Semi-supervised Bayesian Deep Multi-modal Emotion Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shanghai Jiao Tong University(上海交通大学)
在情感识别中,仅使用单一的模态很难识别人的情感状态。此外,生理情感数据的注释特别昂贵。这两个方面使得建立有效的情感识别模型具有挑战性。本文首先建立了一个多视图深度生成模型,模拟多模态情感数据的生成过程。通过对潜在变量的后验近似施加高斯假设的混合,我们的模型可以从多个模态中学习共享的深度表示。为了解决标记数据稀缺的问题,我们进一步扩展我们的多视图模型的半监督学习的情况下,铸造的半监督分类问题作为一个专门的缺失数据填补任务。我们的半监督多视图深度生成框架可以利用来自多个模态的标记和未标记数据,其中可以自动学习每个模态的权重因子。与以往的情感识别方法相比,该方法具有更强的鲁棒性和灵活性。在两个真实的多模态情感数据集上进行的实验表明,我们的框架优于一些竞争对手。
2017-04-25 cs.AI cs.LG stat.ML
Just Dance with $π$! A Poly-modal Inductor for Weakly-supervised Video Anomaly Detection
INRIA;Côte d’Azur University(科西嘉-阿兹尔大学);Woven by Toyota(丰田编织公司);Toyota Motor Europe(丰田欧洲公司);Eindhoven University of Technology(埃因霍温理工大学)
针对仅用RGB特征的弱监督视频异常检测可靠性不足的问题,提出PI-VAD框架,通过训练阶段的五类额外模态与两个插件模块增强RGB表征,在三个主流数据集上实现SOTA准确率且推理无额外计算开销。
2025-05-19 cs.AI cs.CV cs.LG
Multi-Subspace Multi-Modal Modeling for Diffusion Models: Estimation, Convergence and Mixture of Experts
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
本文提出基于多子空间多模态建模的扩散模型,通过引入低秩混合高斯混合结构,有效捕捉多模态信息并提升生成性能。
2026-01-04 cs.LG
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore(新加坡国立大学)
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现,目前的方法不足以鼓励模态之间的共享表示,这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案,我们贡献了一个新的多模态深层潜在状态空间模型,使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计,鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略(以自我监督的方式)。实验表明,我们的方法明显优于最先进的深度强化学习方法,特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
Fast and Scalable Semi-Supervised Learning for Multi-View Subspace Clustering
Tsinghua University(清华大学);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);Beijing Institute of Mathematical Sciences and Applications(北京数学科学与应用研究院)
针对现有多视图子空间聚类方法计算复杂度高的问题,提出了具备线性复杂度的FSSMSC方法,通过统一优化模型同步学习锚图与标签传播,结合交替更新算法和低维表示推导实现高效聚类,经多规模基准实验验证了其有效性与高效性。
2024-08-11 cs.LG
Pseudo-supervised Deep Subspace Clustering
University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
基于自动编码器(AE)的深度子空间聚类(DSC)方法由于使用深度神经网络提取的强大表示同时优先考虑类别可分性而取得了令人印象深刻的性能。然而,自重构丢失的AE忽略了丰富的有用的关系信息,并可能导致无差别的表示,这不可避免地降低聚类性能。在不提供语义标签的情况下学习高级相似性也是具有挑战性的。DSC面临的另一个未解决的问题是由于$n\times n$相似性矩阵导致的巨大存储器成本,这是由编码器和解码器之间的自表达层引起的。为了解决这些问题,我们使用成对相似度来衡量重建损失,以捕获局部结构信息,而相似度则由自我表达层学习。伪图和伪标签,这使得受益于网络训练过程中获得的不确定性知识,进一步被用来监督相似性学习。联合学习和迭代训练有助于获得全局最优解。在基准数据集上的大量实验证明了该方法的优越性。通过与$k$ -最近邻算法相结合,我们进一步表明,我们的方法可以解决大规模和样本外的问题。
2021-04-08 cs.AI cs.CV cs.LG
Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment
Renmin University of China(中国人民大学)
针对半监督多模态实体对齐中的模态噪声与标签利用不足问题,提出 PCMEA,通过多模态特征编码、互信息最大化去噪及伪标签校准动量对比学习,在两个数据集上达到 SOTA。
2024-03-02 cs.CL cs.DB cs.LG
Multimodal Variational Autoencoders for Semi-Supervised Learning: In Defense of Product-of-Experts
Novo Nordisk Foundation Center for Biosustainability, Technical University of Denmark(丹麦技术大学诺和诺德基金会生物可持续性中心);University of Copenhagen(哥本哈根大学)
多模态生成模型应该能够学习有意义的潜在表示,该潜在表示能够实现所有模态的一致联合生成(例如,图像和文本)。许多应用还需要能够以模态的子集的观察为条件来准确地对模态进行采样。通常,并非所有模态都可以针对所有训练数据点进行观察,因此半监督学习应该是可能的。在这项研究中,我们提出了一种新的产品的专家(PoE)的变分自编码器,具有这些所需的属性。我们基准它对混合专家(MoE)的方法和方法相结合的方式与一个额外的编码器网络。实证评估表明,基于PoE的模型可以优于对比模型。我们的实验支持的直觉,PoE模型更适合于一个合取的方式组合。
2021-07-30 cs.AI cs.LG
Self-Supervised Speech Models Encode Phonetic Context via Position-dependent Orthogonal Subspaces
UT Austin(德克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文研究自监督语音模型如何在单帧层面编码音素及其上下文,提出通过位置依赖的正交子空间实现音素信息的组合编码,揭示了上下文依赖表示的结构特性。
2026-03-13 cs.CL cs.LG cs.SD
Multimodal Generative Models for Scalable Weakly-Supervised Learning
Stanford University(斯坦福大学)
在描述自然现象时,多种模态往往同时出现。学习这些模态的联合表示应该会产生更深入和更有用的表示。以前的多模态输入生成方法要么不学习联合分布,要么需要额外的计算来处理丢失的数据。在这里,我们介绍了一个多模态的变分自编码器(MVAE),使用产品的专家推理网络和子采样的训练范式来解决多模态推理问题。值得注意的是,我们的模型共享参数,以便在任何缺失模式的组合下有效地学习。我们在四个数据集上应用MVAE,并使用更少的参数匹配最先进的性能。此外,我们表明MVAE是直接适用于弱监督学习,是不完全监督的鲁棒性。然后,我们考虑两个案例研究,一个学习图像变换-边缘检测,着色,分割-作为一组模态,其次是两种语言之间的机器翻译。我们在这一系列任务中发现了有吸引力的结果。
2018-11-12 cs.LG stat.ML
ARMOR: A Robust Self-Supervised Framework for Root Cause Analysis in Microservices under Missing Modality
Zhejiang University(浙江大学)
本文提出ARMOR框架,通过自监督学习解决微服务故障管理中多模态数据缺失问题,提升异常检测、故障分类和根本原因定位的性能。
2026-08-04 cs.LG cs.SE
Model enhancement and personalization using weakly supervised learning for multi-modal mobile sensing
Qualcomm Techonologies Inc.(高通技术公司)
对移动终端用户的上下文信息的始终在线感测对于如今的许多智能用例(诸如医疗保健、驾驶辅助、语音UI)是至关重要的。用于预测用户上下文的最先进的方法已经证明了利用多个感测模态以获得更好的准确性的价值。然而,目前运行在应用处理器上的上下文推理算法往往会消耗大量的功率,使得它们不适合始终在线的实现。我们声称,并不是每一个传感模态都适合被激活的所有时间,它仍然具有挑战性,以建立一个推理引擎使用电源友好的传感模态。同时,由于人口的多样性,我们发现学习一个具有良好概括性的上下文推理模型是具有挑战性的,训练数据有限,特别是当只使用始终在线的低功耗传感器时。在这项工作中,我们提出了一种方法来利用设备中的机会性对应物来改进始终在线的预测模型,从而获得个性化的解决方案。我们使用弱监督学习框架来建模这个问题,并提供理论和实验结果来验证我们的设计。该框架在基于IMU的活动识别应用中取得了令人满意的结果。
2019-10-29 cs.LG eess.SP stat.ML
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
针对汉语自动语音识别(ASR)提出了一种新的多模态多任务编码解码器预训练框架(MMSpeech),该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异,特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同,普通话使用表意书写系统,其中字符和声音并不紧密地相互映射。因此,我们建议将音素模态引入预训练,这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说,我们采用了一个多任务学习框架,包括五个自我监督和监督任务,语音和文本数据。对于端到端预训练,我们引入了利用未标记语音和文本数据的自监督语音到伪代码(S2 C)和音素到文本(P2 T)任务,其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示,我们引入了自监督掩蔽语音预测(MSP)和监督音素预测(PP)任务来学习将语音映射到音素。此外,我们直接将下游有监督的语音到文本(S2 T)任务添加到预训练过程中,这可以进一步提高预训练性能,即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明,该方法具有最佳的性能,与其他预训练方法相比,相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM