SafeECGMatch: Calibration-Aware Joint Frequency and Time Space Semi-Supervised Learning for Open-Set ECG Classification
Hankuk University of Foreign Studies(韩国外国语大学)
提出SafeECGMatch框架,通过双分支架构提取时频特征,结合自适应标签平滑和温度缩放校准模型,在标签分布不匹配下实现可靠的开集分类和OOD检测。
2026-07-30 cs.AI cs.LG
Autoregressive Score Matching
Stanford University(斯坦福大学)
自回归模型使用链式规则将联合概率分布定义为条件的乘积。这些条件需要规范化,对可以使用的函数族施加约束。为了增加灵活性,我们提出了自回归条件得分模型(AR-CSM),在该模型中,我们根据单变量对数条件(得分)的导数对联合分布进行参数化,而无需进行归一化。为了训练AR-CSM,我们引入了一种新的分布之间的分歧,称为复合得分匹配(CSM)。对于AR-CSM模型,数据和模型分布之间的这种差异可以有效地计算和优化,不需要昂贵的采样或对抗训练。与以往的分数匹配算法相比,我们的方法是更可扩展的高维数据和更稳定的优化。我们用大量的实验结果表明,它可以应用于合成数据的密度估计,图像生成,图像去噪,和隐式编码器训练潜变量模型。
2020-10-24 cs.LG stat.ML
Distantly-Supervised Joint Extraction with Noise-Robust Learning
UC Riverside(加州大学河滨分校);Stellar Cyber(Stellar Cyber公司);UT Dallas(德克萨斯大学达拉斯分校);NEC Labs America(美国NEC实验室)
针对远程监督联合抽取中的噪声标签问题,提出DENRL框架,结合轻量Transformer与噪声鲁棒正则化,在两个基准上大幅超越大模型基线。
2024-05-25 cs.AI cs.CL cs.LG
Normalized Loss Functions for Deep Learning with Noisy Labels
The University of Melbourne(墨尔本大学);Shanghai Jiao Tong University(上海交通大学)
鲁棒的损失函数对于在存在噪声(不正确)标签的情况下训练准确的深度神经网络(DNN)至关重要。它已被证明,常用的交叉熵(CE)损失是不鲁棒的噪声标签。虽然已经设计了新的损失函数,但是它们仅是部分鲁棒的。在本文中,我们从理论上表明,通过应用一个简单的归一化:任何损失都可以鲁棒噪声标签。然而,在实践中,仅仅是鲁棒性不足以使损失函数训练准确的DNN。通过研究几种鲁棒损失函数,我们发现它们存在欠拟合问题。为了解决这个问题,我们提出了一个框架,建立强大的损失函数称为主动被动损失(APL)。APL结合了两个强大的损失函数,相互促进对方。在基准数据集上的实验表明,由我们的APL框架创建的新损失函数家族可以持续大幅优于最先进的方法,特别是在大噪声率下,例如60%或80%的错误标签。
2020-06-24 cs.CV cs.LG stat.ML
JGAN: A Joint Formulation of GAN for Synthesizing Images and Labels
Intel Corporation(英特尔公司)
使用显式条件或标签的图像生成通常比无条件方法更好。在现代的GAN框架中,生成器和卷积器都被公式化来对给定标签的图像的条件分布进行建模。在本文中,我们提供了一个替代配方的GAN模型的图像和标签的联合分布。与条件方法相比,这种联合公式有两个优点。第一个优点是,联合制定是更强大的标签噪声,如果它的正确建模。这减轻了制作无噪声标签的负担,并允许在图像生成中使用弱监督标签。第二,我们可以使用与原始图像数据相关的任何类型的弱标签或图像特征来增强无条件图像生成。我们将展示我们的联合制定CIFAR10,CIFAR100和STL数据集与最先进的GAN架构的有效性。
2020-10-21 cs.CV cs.LG
Evaluation of Joint Multi-Instance Multi-Label Learning For Breast Cancer Diagnosis
Bilkent University(比尔肯特大学)
多示例多标记(MIML)学习在许多方面都是一个具有挑战性的问题。这种学习方法可能对许多医学诊断应用有用,包括乳腺癌检测和分类。在这项研究中,digiPATH数据集(全载玻片数字乳腺癌组织病理学图像)的子集用于训练和评估六种最先进的MIML方法。最后,通过有效的评价指标对这些方法进行了性能比较。结果表明,MIML-kNN取得了最好的性能,平均精度为%65.3,大多数其他方法也取得了可接受的结果。
2015-10-10 cs.CV cs.LG
Large-scale Video Classification guided by Batch Normalized LSTM Translator
Samsung Electronics(三星电子)
Youtube-8 M数据集促进了大规模视频识别技术的发展,因为ImageNet数据集鼓励了人工智能领域的图像分类、识别和检测。对于这个庞大的视频数据集,对大量的多标签进行分类是一项具有挑战性的任务。通过视角的转换,我们提出了一种新的方法,将标签视为单词。详细地说,我们描述了多标签视频分类的在线学习方法,这些方法由用于视频到句子翻译的深度递归神经网络指导。我们设计了基于LSTM的翻译器,并发现在每个LSTM单元输入之前的随机门可以帮助我们设计结构细节。此外,我们在模型中采用了批量归一化来改进我们的LSTM模型。由于我们的模型是特征提取器,它们可以与其他分类器一起使用。最后,我们报告了我们的模型在大规模Youtube-8 M数据集上的改进验证结果,并讨论了进一步的改进。
2017-07-13 cs.CV
Joint Optimization Framework for Learning with Noisy Labels
The University of Tokyo(东京大学)
在大规模数据集上训练的深度神经网络(DNN)在图像分类中表现出了显著的性能。许多大规模的数据集是从网站上收集的,但是它们往往包含不准确的标签,称为噪声标签。在这种嘈杂的标签数据集上训练会导致性能下降,因为DNN很容易过拟合到嘈杂的标签。为了克服这个问题,我们提出了一个学习DNN参数和估计真实标签的联合优化框架。我们的框架可以在训练过程中通过交替更新网络参数和标签来纠正标签。我们在有噪声的CIFAR-10数据集和Clothing 1 M数据集上进行了实验。结果表明,我们的方法显着优于其他国家的最先进的方法。
2018-03-30 cs.CV cs.LG stat.ML
AMNCutter: Affinity-Attention-Guided Multi-View Normalized Cutter for Unsupervised Surgical Instrument Segmentation
The University of Sydney(悉尼大学);Harvard Medical School(哈佛医学院)
针对无监督手术器械分割中伪标签方法泛化性差的问题,提出基于亲和力-注意力引导的多视图归一化切割器(m-NCutter),利用图切割损失和自适应特征整合,实现无标签训练,在多个数据集上达到SOTA性能。
2024-11-07 cs.CV
Joint-Task Regularization for Partially Labeled Multi-Task Learning
Harvard University(哈佛大学)
本文提出联合任务正则化(JTR),通过在单一联合任务潜在空间中利用跨任务关系同时正则化所有任务,解决部分标注多任务学习问题,实现随任务数量线性扩展的复杂度,并在NYU-v2、Cityscapes和Taskonomy上验证了有效性。
2024-04-02 cs.AI cs.CV cs.LG
From Knowledge Distillation to Self-Knowledge Distillation: A Unified Approach with Normalized Loss and Customized Soft Labels
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出统一 KD 与自 KD 的 NKD 损失及 USKD 定制软标签框架,在 ImageNet 等基准上显著提升 CNN 与 ViT 性能。
2023-07-17 cs.CV
Zero-Label Driving Scenario Complexity Detection via Joint Embedding Predictive Architecture
提出无监督方法,利用联合嵌入预测架构(JEPA)在无标签数据上通过时间预测误差作为零样本复杂度指标,有效区分复杂与简单驾驶场景。
2026-06-21 cs.CV cs.LG
Joint Asymmetric Loss for Learning with Noisy Labels
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
针对非对称损失无法兼容 APL 的问题,本文提出 AMSE 被动损失并构建 JAL 框架,理论上给出非对称条件,实验验证其抗噪有效性。
2025-07-23 cs.CV cs.LG
Multi-Label Zero-Shot Human Action Recognition via Joint Latent Ranking Embedding
The University of Manchester(曼彻斯特大学)
人体动作识别是指从视频片段中自动识别人体动作。在现实中,视频流中经常存在多个人类动作。这样的视频流通常在全局级别上用一组相关的人类动作标签进行弱注释,而不是将每个标签分配给对应于单个动作的特定视频片段,这导致了多标签学习问题。此外,现实中存在许多有意义的人类动作,但是收集/注释关于所有各种人类动作的视频剪辑将是极其困难的,这导致零样本学习场景。据我们所知,还没有一项工作在人类行为识别中同时解决了上述所有问题。在本文中,我们制定了一个现实世界中的人类动作识别任务作为一个多标签零样本学习问题,并提出了一个框架来解决这个问题的整体方式。我们的框架从整体上解决了多标签学习的不同动作之间的未知时间边界问题,并利用了关于知识转移的不同人类动作之间的语义关系的辅助信息。因此,我们的框架导致一个联合潜在的排名嵌入多标签zero-shot人类动作识别。提出了一种新的双分量模型神经网络结构和交替学习算法来实现联合隐排序嵌入学习。因此,多标签zero-shot识别是通过在联合潜在视觉和语义嵌入空间中测量动作标签与测试视频剪辑的相关性分数来完成的。我们用不同的设置来评估我们的框架,包括一个专门为评估多标签零样本学习而设计的新型数据分割方案,在两个数据集上:早餐和字谜。实验结果证明了该框架的有效性。
2019-02-06 cs.AI cs.CV cs.LG
Normalized Convolution Upsampling for Refined Optical Flow Estimation
Linköping University(林雪平大学)
光流是一项回归任务,其中卷积神经网络(CNN)取得了重大突破。然而,由于使用成本体积和金字塔表示,这需要大量的计算。通过以四分之一的分辨率产生流量预测来缓解这一问题,在测试期间使用双线性插值对流量预测进行上采样。因此,精细的细节通常会丢失,需要后处理来恢复它们。我们提出了归一化卷积上采样器(NCUP),这是一种有效的联合上采样方法,可以在光流CNN的训练过程中产生全分辨率流。我们提出的方法将上采样任务制定为稀疏问题,并采用归一化卷积神经网络来解决它。当使用粗到细的光流CNN(PWCNet)进行端到端训练时,我们评估了我们的上采样器与现有的联合上采样方法,我们表明它在FlyingChairs数据集上的性能优于所有其他方法,同时具有至少一个数量级的参数。此外,我们使用递归光流CNN(RAFT)测试了我们的上采样器,并且我们在Sintel基准测试中获得了最先进的结果,误差减少了约6%,并且在KITTI数据集上达到了标准,同时参数减少了7.5%(参见图1)。最后,我们的上采样器在不同的数据集上训练和评估时,表现出比RAFT更好的泛化能力。
2021-02-13 cs.CV
Joint Label Prediction based Semi-Supervised Adaptive Concept Factorization for Robust Data Representation
Soochow University(苏州大学);Hefei University of Technology(合肥工业大学);Nanjing University of Information Science and Technology(南京信息工程大学)
约束概念因子分解(CCF)通过引入标签信息作为附加约束,增强了CF的表示能力,但它不能对未标记的数据进行适当的分类和分组。直接最小化原始数据与其重建数据之间的差异可以使CCF能够对小的噪声扰动进行建模,但对粗稀疏误差不鲁棒。此外,CCF不能显式地保持新表示空间中的流形结构,特别是以自适应的方式。本文提出了一种基于联合标签预测的鲁棒半监督自适应概念分解(RS2ACF)框架。为了获得鲁棒的表示,RS2ACF放松因子分解,使其同时稳定的小条目噪声和稀疏错误。为了丰富先验知识以增强区分力,RS2ACF清楚地使用标记数据的类信息,更重要的是通过联合学习未标记数据的显式标签指示符将其传播到未标记数据。RS2ACF通过标签指示器保证了同一预测标签的未标记数据在特征空间中映射到同一类。此外,RS2ACF在标记数据和未标记数据的新表示和预测标签上引入了联合邻域重构误差,使得流形结构能够同时在表示空间和标签空间中显式自适应地保持.由于自适应的方式,棘手的过程中,确定的邻域大小或核宽度可以避免。在公共数据库上的大量结果验证了我们的RS2ACF可以提供最先进的数据表示,与其他相关方法相比。
2019-05-25 cs.CV
Detecting tiny objects in aerial images: A normalized Wasserstein distance and a new benchmark
Wuhan University(武汉大学)
航空图像中的微小目标检测(TOD)具有挑战性,因为微小目标仅包含几个像素。由于缺乏来自辨别特征的监督,最先进的对象检测器不能对微小对象提供令人满意的结果。我们的主要观察结果是,Intersection over Union(IoU)度量及其扩展对微小对象的位置偏差非常敏感,当用于基于锚的检测器时,这会大大降低标签分配的质量。为了解决这个问题,我们提出了一个新的评价指标被称为归一化Wasserstein距离(NWD)和一个新的基于排名的搜索(RKA)策略的微小目标检测。提出的NWD-RKA策略可以很容易地嵌入到各种基于锚点的检测器中,以取代标准的基于IoU阈值的检测器,显著改善标签分配,并为网络训练提供足够的监督信息。在四个数据集上进行测试,NWD-RKA可以持续大幅提高微小目标检测性能。此外,在航空图像中的微小目标检测(AI-TOD)数据集中观察到突出的噪声标签,我们有动力对其进行精心的重新标记并发布AI-TOD-v2及其相应的基准测试。在AI-TOD-v2中,丢失的注释和位置错误问题得到了极大的缓解,从而促进了更可靠的训练和验证过程。将NWD-RKA嵌入到DetectoRS中,检测性能比AI-TOD-v2上最先进的竞争对手提高了4.3 AP点。数据集、代码和更多可视化可在以下网址获得:https://chasel-tsui.github.io/AI-TOD-v2/
2022-06-28 cs.CV
Detector Discovery in the Wild: Joint Multiple Instance and Representation Learning
UC Berkeley(加州大学伯克利分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
我们开发了检测器学习的方法,该方法利用弱标签和强标签的联合训练,并从强标签的辅助任务中转移学习到的感知表示。以前的弱标签学习方法通常使用潜在变量优化独立地学习检测器模型,但无法跨类共享深层表示知识,并且通常需要强初始化。其他先前的方法将深度表示从具有强标签的域转移到仅具有弱标签的域,但不优化单个潜在框,因此可能会错过特定类别的特定突出结构。我们提出了一个模型,包含这些以前的方法,并同时训练表示和检测器的类别与弱或强标签存在。我们提供了一种新的联合多实例学习方法,包括分类风格的数据时,可用的例子,并进行域迁移学习,以提高底层的检测器表示。我们的模型在使用弱标签的ImageNet-200检测上优于已知方法。
2014-12-02 cs.CV
Correlated Adversarial Joint Discrepancy Adaptation Network
Lehigh University(理海大学)
领域自适应旨在缓解知识从一个领域转移到另一个相似但不同的领域时的领域转移问题。然而,大多数现有的作品依赖于提取边缘特征,而不考虑类标签。此外,一些方法将其模型命名为所谓的无监督领域自适应,同时使用目标域标签来调整参数。为了解决这些问题,我们提出了一种称为相关对抗联合差异自适应网络(CAJNet)的新方法,该方法最大限度地减少了两个域的联合差异,并通过使用相关标签调整参数来实现有竞争力的性能。通过训练联合特征,我们可以对齐两个域之间的边缘分布和条件分布。此外,我们引入了一个基于概率的顶部- $\mathcal{K}$相关标签($\mathcal{K}$ -label),这是一个强大的指标的目标域和有效的度量调整参数,以帮助预测。在基准数据集上进行的大量实验表明,与现有技术相比,分类精度有了显着提高。
2021-05-18 cs.CV
Self-Relaxed Joint Training: Sample Selection for Severity Estimation with Ordinal Noisy Labels
Kyushu University(九州大学);Kyoto Second Red Cross Hospital(京都第二红十字医院)
针对医学图像严重程度估计中标签存在有序噪声的问题,提出结合干净样本选择与双网络架构、利用软硬标签的自松弛联合训练框架,在多个医学数据集上性能优于现有最优方法。
2024-10-29 cs.CV
Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization
Nanjing University(南京大学);National Institute of Healthcare Data Science, Nanjing University(南京大学健康医疗大数据国家研究院);Southeast University(东南大学)
领域泛化(DG)是一种新提出的学习范式,其目标是将训练好的模型直接推广到未知的领域。以往的DG模型在训练过程中通常需要足够数量的来自观测源域的注释样本。在本文中,我们放宽了这一要求,充分的注释和调查半监督领域泛化(SSDG),只有一个源域是完全注释与其他领域完全未标记的训练过程中。为了解决观察到的源域之间的域间隙和预测看不见的目标域的挑战,我们提出了一种新的深度框架,通过联合域感知标签和双分类器来产生高质量的伪标签。具体地说,为了预测准确的伪标签下域移位,域感知的伪标签模块的开发。此外,考虑到泛化和伪标记之间的目标不一致:前者防止过拟合所有源域,而后者可能过拟合未标记的源域以获得高精度,我们采用双分类器在训练过程中独立地执行伪标记和领域泛化。当为未标记的源域生成准确的伪标签时,应用域混合操作来在标记的域和未标记的域之间增加新的域,这有利于提高模型的泛化能力。在公开的DG基准数据集上的广泛结果表明了我们提出的SSDG方法的有效性。
2022-08-17 cs.CV
Robust Transductive Few-shot Learning via Joint Message Passing and Prototype-based Soft-label Propagation
Anhui University(安徽大学)
本文提出PSLP方法,将原型学习与标签传播结合,通过联合消息传递同时学习样本表示和关系图,实现无需参数且高效的鲁棒转导式小样本学习,在多个数据集上取得有竞争力的结果。
2023-11-28 cs.CV
DST: Data Selection and joint Training for Learning with Noisy Labels
Beijing Seetatech Technology Co Ltd(北京希泰克科技有限公司)
训练深度神经网络在很大程度上依赖于大量具有准确注释的训练数据。为了缓解这个问题,已经提出了各种方法来自动注释数据。然而,自动生成注释将不可避免地产生嘈杂的标签。在本文中,我们提出了一个数据选择和联合训练(DST)方法,自动选择训练样本与准确的注释。具体地,DST根据原始注释以及每个训练样本的预测标签拟合混合模型,并且利用混合模型将训练数据集动态地划分为正确标记的数据集、正确预测的数据集和错误的数据集。然后,DST以监督的方式使用这些数据集进行训练。由于确认偏差问题,我们交替地对两个网络进行训练,每个网络负责建立数据划分来教导另一个网络。对于每次迭代,正确标记和预测的标签分别由来自混合模型的概率重新加权,并且均匀分布用于生成错误样本的概率。在CIFAR-10、CIFAR-100和Clothing 1 M上的实验表明,DST与现有的方法相当或优于现有的方法。
2021-03-01 cs.CV
SiamParseNet: Joint Body Parsing and Label Propagation in Infant Movement Videos
The Pennsylvania State University(宾夕法尼亚州立大学);Xi’an University of Architecture and Technology(西安建筑科技大学)
对婴儿运动录像进行一般运动评估是早期发现脑瘫的有效方法。自动身体解析是计算机辅助GMA的关键一步,其中婴儿身体部位随着时间的推移被分割和跟踪以进行运动分析。然而,由于IMV中的大量帧,获取用于基于视频的身体解析的完全注释的数据特别昂贵。在本文中,我们提出了一个半监督的身体解析模型,称为SiamParseNet(SPN),以半监督的方式共同学习单帧身体解析和帧之间的标签传播。连体结构的SPN包括一个共享的特征编码器,后面是两个独立的分支:一个用于帧内身体部位分割,一个用于帧间标签传播。这两个分支是联合训练的,将来自相同视频的成对帧作为其输入。提出了一种自适应训练过程,该过程在使用仅标记帧的输入对和使用标记帧和未标记帧的输入之间交替训练模式。在测试过程中,我们采用了多源推理机制,其中测试帧的最终结果是通过分割分支或通过从附近的关键帧传播获得的。我们在部分标记的IMV数据集上进行了大量的实验,其中SPN优于所有现有技术,证明了我们所提出的方法的有效性。
2020-07-16 cs.CV
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义,如像素的标签校正,但忽略了成对的方式。事实上,我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察,我们提出了一个新的观点,通过合并像素明智的和成对的方式,其中监督来自嘈杂的类和亲和标签,分别噪声缓解。统一像素方式和成对方式,我们提出了一个强大的联合类亲和分割(JCAS)框架,以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性,设计了一个差分亲和力推理(DAR)模块,通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力,设计了类亲和损失校正(CALC)策略,通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时,CALC策略通过理论推导的一致性正则化,将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性,其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
Jodi: Unification of Visual Generation and Understanding via Joint Modeling
Sana
提出Jodi扩散框架,通过联合建模图像与标签域,统一视觉生成与理解,支持联合生成、可控生成和图像感知,并构建Joint-1.6M数据集,实验验证其性能与扩展性。
2025-05-25 cs.AI cs.CV cs.LG
A Joint Convolutional Neural Networks and Context Transfer for Street Scenes Labeling
Northwestern Polytechnical University(西北工业大学)
街道场景理解是自动驾驶的一项重要任务。朝这个方向迈出的重要一步是场景标签,它用正确的类标签注释图像中的每个像素。虽然已经开发了许多方法,但仍然存在一些弱点。首先,许多方法都是基于手工特征,其图像表示能力有限。其次,由于数据集的偏差,它们不能准确地标记前景对象。第三,在精化阶段,传统的马尔可夫随机场(MRF)推理容易出现过光滑。针对上述问题,本文提出了一种超像素级先验卷积神经网络(称为"先验s-CNN“)和软限制上下文传输的联合方法。我们的贡献有三个方面:(1)提出了一种先验s-CNN模型,该模型在超像素水平上学习先验位置信息,以区分地描述各种对象:(2)提出了一种分层数据增强方法,以减轻先验s-CNN训练阶段的数据集偏差,显著提高了前景对象的标记;(3)定义了一种软约束的MRF能量函数,在提高先验s-CNN模型标记性能的同时,降低了过平滑性。该方法在CamVid数据集(11类)和SIFT Flow Street数据集(16类)上进行了验证,取得了较好的性能。
2019-05-05 cs.CV
Joint Representation Learning and Novel Category Discovery on Single- and Multi-modal Data
Google(谷歌公司);University of Bristol(布里斯托尔大学);The University of Hong Kong(香港大学)
本文研究了单模态和多模态数据的新类别发现问题,这些数据具有不同但相关的类别标签。我们提出了一个通用的,端到端的框架,共同学习一个可靠的表示,并分配集群的未标记的数据。为了避免过度拟合学习嵌入标记的数据,我们从噪声对比估计的自监督表示学习中获得灵感,并将其扩展到联合处理标记和未标记的数据。特别是,我们建议使用类别歧视标记的数据和多模态数据的跨模态歧视,以增强传统的对比学习方法中使用的实例歧视。我们进一步采用Winner-Take-All(WTA)哈希算法在共享表示空间上为未标记的数据生成成对的伪标签,以更好地预测聚类分配。我们在大规模多模态视频基准Kinetics-400和VGG-Sound以及图像基准CIFAR 10,CIFAR 100和ImageNet上彻底评估了我们的框架,获得了最先进的结果。
2021-10-14 cs.CV
Clothing Co-Parsing by Joint Image Segmentation and Labeling
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);SYSU-CMU Shunde International Joint Research Institute(中山大学-卡内基梅隆大学顺德国际联合研究院)
本文旨在开发一个集成的服装协同解析系统,以联合解析一组服装图像(未分割,但与标签)到语义配置。我们提出了一个数据驱动的框架,包括两个阶段的推理。第一阶段,称为"图像共分割",迭代以提取图像上的一致区域,并通过采用示例SVM(E-SVM)技术[23]联合细化所有图像上的区域。在第二阶段(即"区域共标记")中,我们通过将分割的区域作为顶点来构建多图像图形模型,并结合服装配置的几个上下文(例如,项目位置和相互作用)。联合标签分配可以使用高效的Graph Cuts算法来解决。除了在Fashionista数据集[30]上评估我们的框架外,我们还构建了一个名为CCP的数据集,该数据集由2098张高分辨率街头时尚照片组成,以展示我们系统的性能。我们在Fashionista和CCP数据集上分别实现了90.29%/88.23%的分割准确率和65.52%/63.89%的识别率,与最先进的方法相比,这是优越的。
2015-02-03 cs.CV
Joint Class-Time Learning for Video Classification with Multi-Instance Partial-Label Learning
Southeast University(东南大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
提出PIVOTMIPL,通过联合类-时间分配和结构化教师蒸馏,在多实例部分标签学习下实现视频分类,在多个基准上优于现有方法。
2026-10-06 cs.AI cs.CV
Multi-Atlas Segmentation with Joint Label Fusion of Osteoporotic Vertebral Compression Fractures on CT
National Institutes of Health(美国国立卫生研究院);University of California, Irvine School of Medicine(加州大学欧文分校医学院)
脊柱的精确和准确分割在各种骨科、神经和肿瘤创伤和病理的诊断和治疗中至关重要。在存在诸如椎骨压缩性骨折等病理的情况下,分割尤其具有挑战性。本文提出了一种应用多图谱联合标记融合技术对临床CT图像进行椎体压缩性骨折分割的方法。共170胸椎和腰椎进行了评估,使用图集从5例不同程度的脊柱退变。在一个捆绑图集的椎体压缩性队列中,配准提供的椎体压缩性骨折的平均Dice系数和平均绝对表面距离分别为2.7 $\pm$ 4.5%和0.32 $\pm$ 0.13 mm,90.9 $\pm$ 3.0%和0.36 $\pm$ 0.11 mm。
2016-01-13 cs.CV
Joint Intermodal and Intramodal Label Transfers for Extremely Rare or Unseen Classes
University of Central Florida(中佛罗里达大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究中心);University of Illinois(伊利诺伊大学)
针对图像分类任务,提出了一种从文本到图像的标签传递模型。图像分类的问题往往比文本分类更具挑战性。一方面,标记文本数据比标记图像更广泛地用于分类任务。另一方面,文本数据往往具有自然的语义可解释性,并且它们通常与类标签更直接相关。相反,图像特征与类标签中固有的概念不直接相关。本文的目标之一是开发一个模型,揭示文本和图像特征之间的功能关系,以直接转移多式联运和多式联运标签来注释图像。这是通过学习传递函数作为桥梁来实现的,以在两个多模态空间之间传播标签。然而,盲目地将噪声文本的标签转移到注释图像可能会破坏跨模式标签转移。为了缓解这个问题,我们提出了一个模内标签传输过程,它补充了联运标签传输的图像标签,而不是当相关的文本是从源语料库中缺席。此外,我们将模态间标签转移推广到零样本学习场景,其中只有文本示例可用于标记看不见的图像类,而没有任何积极的图像示例。我们评估我们的算法上的图像分类任务,并显示相对于其他比较算法的有效性。
2017-03-22 cs.CV
Co-synthesis of Histopathology Nuclei Image-Label Pairs using a Context-Conditioned Joint Diffusion Model
Korea University(高丽大学)
本文提出上下文条件联合扩散模型,利用质心布局和文本提示同时合成组织病理学细胞核图像与实例级语义标签,并在多机构多器官多模态数据上验证其在下游分割和分类任务中优于现有增强方法。
2024-09-03 cs.CV
Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification
Peking University(北京大学);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学);Peng Cheng Laboratory(鹏城实验室)
无监督域自适应(UDA)的人重新识别(re-ID)是一个具有挑战性的任务,由于目标域数据的标签丢失。为了解决这个问题,最近的一些工作采用聚类算法离线生成伪标签,然后可以使用作为监督信号的在线特征学习的目标域。然而,离线生成的标签通常包含大量的噪声,这显著地阻碍了在线学习特征的可辨别性,从而限制了最终的UDA重新识别性能。为此,我们提出了一种新的方法,称为双细化,联合细化伪标签在离线聚类阶段和功能在在线训练阶段,以交替提高标签纯度和功能的可辨别性在目标域更可靠的重新ID。具体来说,在离线阶段,提出了一种新的层次聚类方案,它选择代表性的原型,为每个粗聚类。因此,可以通过使用人物图像的固有层次信息来有效地细化标签。此外,在在线阶段,我们提出了一个即时记忆扩展(IM-扩展)正则化,它利用所提出的即时存储体存储整个数据集的样本特征,并使整个训练数据的扩展特征学习即时。我们的双重细化方法减少了噪声标签的影响,并在替代训练过程中细化了学习到的特征。实验表明,我们的方法优于国家的最先进的方法由一个大的利润。
2021-01-17 cs.CV
Label-Free Event-based Object Recognition via Joint Learning with Image Reconstruction from Events
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
针对无标签、无配对图像的事件相机目标识别,提出 CLIP 驱动的识别与图像重建联合学习框架,并通过类别引导损失、采样策略和原型方法提升零样本性能。
2023-08-18 cs.CV
DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文认为,在现实世界的图像中的多个人的铰接人体姿态估计的任务。我们提出了一种方法,共同解决了检测和姿态估计的任务:它推断场景中的人数,确定被遮挡的身体部位,并消除歧义的人之间的身体部位在彼此接近。这种联合制定与以前的策略相反,以前的策略通过首先检测人并随后估计他们的身体姿势来解决问题。我们提出了一个分区和标签制定的一组身体部位的假设与基于CNN的部分检测器。我们的配方,一个整数线性规划的实例,隐式地执行非最大抑制的部分候选人的集合,并将它们分组,以形成尊重几何和外观约束的身体部位的配置。在四个不同的数据集上的实验证明了单人和多人姿态估计的最新结果。型号和代码可在http://pose.mpi-inf.mpg.de上获得。
2016-04-26 cs.CV
Improved Face Representation via Joint Label Classification and Supervised Contrastive Clustering
Tencent(腾讯)
针对人脸识别中聚类知识利用不足的问题,本文提出标签分类与监督对比聚类联合优化框架,通过聚类引导角度间隔和聚类中心对齐提升人脸表征性能。
2023-12-07 cs.AI cs.CV
Joint Modeling of Image and Label Statistics for Enhancing Model Generalizability of Medical Image Segmentation
Fudan University(复旦大学)
尽管监督式深度学习在医学图像分割方面取得了令人鼓舞的性能,但许多方法无法很好地概括看不见的数据,限制了它们在现实世界中的适用性。为了解决这个问题,我们提出了一个基于深度学习的贝叶斯框架,它联合建模图像和标签统计,利用医学图像的域无关轮廓进行分割。具体来说,我们首先将图像分解为轮廓和基础的组件。然后,我们将期望的标签建模为仅与轮廓相关的变量。最后,我们开发了一个变分贝叶斯框架来推断这些变量的后验分布,包括轮廓,基础和标签。该框架是用神经网络实现的,因此被称为深度贝叶斯分割。交叉序列心脏MRI分割的任务的结果表明,我们的方法设置了一个新的状态的模型的概括性。特别地,使用LGE MRI训练的BayeSeg模型在T2图像上推广良好,并且优于具有较大余量的其他模型,即,平均骰子数超过0.47。我们的代码可在https://zmiclab.github.io/projects.html上获得。
2022-06-09 cs.CV eess.IV
Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification
Peking University(北京大学)
由于源域和目标域之间存在较大的域间隙,以及目标域上标记数据的缺乏,无监督域自适应人员重新识别(ReID)具有挑战性。本文通过结合局部单热分类和全局多类分类来联合执行视觉和时间一致性来应对这一挑战。局部独热分类算法在一个训练批中分配不同的人物ID,然后采用自适应分类(SAC)模型对它们进行分类。全局多类分类是通过使用基于记忆的时间引导聚类(MTC)在整个未标记的训练集上预测标签来实现的。MTC通过考虑视觉相似性和时间一致性来预测多类标签,以确保标签预测的质量。这两个分类模型结合在一个统一的框架中,有效地利用了未标记的数据进行区分性特征学习。在三个大规模ReID数据集上的实验结果表明,该方法在无监督和无监督域自适应ReID任务中均具有较好的性能.例如,在无监督设置下,我们的方法优于最近的无监督域自适应方法,后者利用更多的标签进行训练。
2020-07-21 cs.CV
LNEMLC: Label Network Embeddings for Multi-Label Classification
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);University of Notre Dame(圣母大学)
多标签分类的目的是对具有离散非排他性标签的实例进行分类。大多数多标签分类方法都专注于现有二进制和多类学习方法的有效适应或转换,但无法对标签的联合概率进行建模,或者不保留不可见标签组合的泛化能力。为了解决这些问题,我们提出了一个新的多标签分类方案,LNEMLC -标签网络嵌入的多标签分类,嵌入标签网络,并使用它来扩展输入空间的学习和推理的任何基础多标签分类。该方法允许捕获标签的联合概率在低计算复杂性提供的结果相比,在文献中报道的最佳方法。我们演示了该方法如何揭示简单的kNN基线分类器在统计上的显着改进。我们还提供了选择跨数据域令人满意的健壮配置的提示。
2019-01-01 cs.CV cs.LG cs.NE
Joint-Modal Label Denoising for Weakly-Supervised Audio-Visual Video Parsing
Nanjing University(南京大学);SenseTime Research(商汤科技研究院);CUHK - Sensetime Joint Lab(香港中文大学-商汤联合实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文重点研究弱监督的视听视频解析任务,其目的是识别属于每个模态的所有事件并定位它们的时间边界。这项任务是具有挑战性的,因为只有指示视频事件的整体标签被提供用于训练。然而,一个事件可能被标记,但不出现在模态之一,这导致一个模态特定的噪声标签问题。在这项工作中,我们提出了一个训练策略,以动态地识别和删除特定于模态的噪声标签。它的动机是两个关键的观察结果:1)网络倾向于首先学习干净的样本; 2)标记的事件至少会出现在一种模态中。具体来说,我们在每一个模态中对一个小批量中所有实例的损失进行单独排序,然后根据模态内和模态间损失之间的关系选择噪声样本。此外,我们还提出了一个简单而有效的噪声比估计方法,通过计算的比例,其置信度低于一个预设的阈值。我们的方法比以前的技术水平有很大的改进(例如,在段级视觉度量中从60.0%提高到63.8%),这证明了我们方法的有效性。代码和训练模型可在\url{https://github.com/MCG-NJU/JoMoLD}上公开获取。
2022-08-01 cs.CV
Unsupervised Joint Mining of Deep Features and Image Labels for Large-scale Radiology Image Categorization and Scene Recognition
Department of Radiology and Imaging Sciences, National Institutes of Health Clinical Center(美国国立卫生研究院临床中心放射与影像科学系)
深度卷积神经网络(CNN)最近在许多具有挑战性的计算机视觉任务上取得了快速而巨大的成功,这在很大程度上源于注释良好的ImageNet和PASCAL VOC数据集的可访问性。然而,无监督图像分类(即,没有地面实况标记)的研究要少得多,但当注释极难以“谷歌搜索”和众包的常规方式获得时,它是至关重要和困难的。我们通过提出一个循环的深度伪任务优化(LDPO)框架来解决这个问题,该框架用于深度CNN特征和图像标签的联合挖掘。我们的方法在概念上很简单,并且依赖于更好的标签的假设“收敛”,从而得到更好的训练CNN模型,这些模型反过来又提供更多有区别的图像表示,以促进更有意义的聚类/标签。我们所提出的方法在解决两个重要的应用中得到了验证:1)大规模医学图像注释一直是一个昂贵的,容易有偏见的任务,即使是训练有素的放射科医生。与以前的最先进的方法相比,通过我们提出的方法实现了显着更好的图像分类结果。2)无监督场景识别的代表性和公开可用的数据集与我们提出的技术进行检查。LDPO取得了良好的定量场景分类结果。在MIT室内场景数据集上,它达到了75.3%的聚类准确率,而最先进的监督分类准确率为81.0%(当两者都基于VGG-VD模型时)。
2017-12-27 cs.CV
LLA: Loss-aware Label Assignment for Dense Pedestrian Detection
Waseda University(早稻田大学);Megvii Technology(旷视科技)
标记分配由于其对检测器性能的影响而在一般目标检测中得到了广泛的研究。然而,这些工作都没有集中在密集的行人检测标签分配。在本文中,我们提出了一个简单而有效的分配策略,称为损耗感知标签分配(LLA),以提高行人检测器在人群场景中的性能。LLA首先计算每个锚点和地面实况(GT)对之间的分类(cls)和回归(reg)损失。然后将联合损失定义为cls和reg损失的加权总和作为分配指标。最后,锚与前K个最小节点损失为某一GT盒指定为它的正锚。未分配给任何GT框的参数被认为是负数。损失感知标签分配是基于这样的观察,即具有较低联合损失的锚通常包含更丰富的语义信息,因此可以更好地表示其对应的GT盒。在CrowdHuman和CityPersons上的实验表明,这种简单的标签分配策略可以在两个著名的一级检测器RetinaNet和FCOS上分别提高MR 9.53%和5.47%,证明了LLA的有效性。
2021-03-12 cs.CV
Joint Optimization in Edge-Cloud Continuum for Federated Unsupervised Person Re-identification
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
人员重新识别(ReID)旨在从非重叠的摄像机视图中重新识别人员。由于个人ReID数据包含敏感的个人信息,研究人员采用了联邦学习,一种新兴的分布式训练方法,以减轻隐私泄露风险。然而,现有的研究依赖于费力和耗时的数据标签。我们提出了FedUReID,这是一个联合的无监督人员ReID系统,可以在不使用任何标签的情况下学习人员ReID模型,同时保护隐私。FedUReID支持在具有未标记数据的边缘上进行原位模型训练。云服务器从边缘聚集模型,而不是集中原始数据,以保护数据隐私。此外,为了解决边缘数据量和分布不同的问题,我们通过云和边缘的联合优化对边缘进行个性化训练。具体来说,我们提出了个性化的epoch来重新分配整个训练过程中的计算,个性化的聚类来迭代地预测未标记数据的合适标签,以及个性化的更新来使服务器聚合模型适应每个边缘。在8个人ReID数据集上的大量实验表明,FedUReID不仅实现了更高的准确率,而且将计算成本降低了29%。我们的FedUReID系统与联合优化将揭示实施联邦学习更多的多媒体任务没有数据标签。
2021-08-14 cs.AI cs.CV cs.DC
Learning with Noisy Labels for Human Fall Events Classification: Joint Cooperative Training with Trinity Networks
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
针对跌倒事件分类中的噪声标签问题,提出三网络联合协作训练(JoCoT),利用骨架数据保护隐私,通过教师-学生共识机制提升鲁棒性,在UP-Fall数据集上优于现有方法。
2023-09-27 cs.AI cs.CV eess.IV
Joint Optical Neuroimaging Denoising with Semantic Tasks
Huazhong University of Science and Technology(华中科技大学)
光学神经成像是了解大脑结构以及区域和核团之间联系的重要工具。然而,在样品制备和成像系统中引入的图像噪声阻碍了从数据集中提取可能的知识,因此通常需要对光学神经成像进行去噪。监督去噪方法往往优于非监督去噪方法,但监督去噪模型的训练需要相应的干净标签,由于标签成本高,这并不总是可用的。另一方面,这些语义标签,如定位的胞体位置,重建的神经纤维,和核分割结果,通常是从日常神经科学研究中积累和可用的。这项工作将监督去噪和语义分割模型连接在一起,形成一个端到端模型,该模型可以利用语义标签,同时仍然提供去噪图像作为中间产品。我们使用监督和自监督模型进行去噪,并为联合去噪和分割设置引入了一个新的成本项。我们在合成数据和真实世界的数据上测试了所提出的方法,包括光学神经成像数据集和电子显微镜数据集。实验结果表明,联合去噪的效果优于单独去噪,联合模型也有利于分割等后续工作。
2021-09-22 cs.CV eess.IV