Triple Generative Adversarial Nets
Tsinghua University（清华大学）
生成对抗网络（GANs）在图像生成和半监督学习（SSL）中显示出了希望。然而，SSL中现有的GANs存在两个问题：（1）生成器和分类器（即分类器）可能不会同时是最优的;（2）生成器无法控制生成样本的语义。这些问题本质上是由两个玩家的公式产生的，其中一个单一的神经网络共享识别假样本和预测标签的不兼容的角色，它只估计数据而不考虑标签。为了解决这些问题，我们提出了三重生成对抗网络（Triple-GAN），它由三个参与者组成-生成器，分类器和分类器。生成器和分类器描述图像和标签之间的条件分布，而分类器只专注于识别虚假的图像标签对。我们设计兼容的实用程序，以确保分布特征的分类器和发电机都收敛到数据分布。我们在各种数据集上的结果表明，Triple-GAN作为一个统一的模型可以同时（1）在深度生成模型中实现最先进的分类结果，（2）通过在潜在空间类条件下插值，在数据空间中解开输入的类和样式并平滑地传输。
2017-11-05 cs.CV cs.LG
3D-A-Nets: 3D Deep Dense Descriptor for Volumetric Shapes with Adversarial Networks
NYU Multimedia and Visual Computing Lab（纽约大学多媒体与视觉计算实验室）；NYU Abu Dhabi（纽约大学阿布扎比分校）；New York University（纽约大学）
最近，研究人员已经将他们的重点从手工制作转向学习3D形状描述符，以更好地解决3D对象中固有的变形和结构变化的挑战性问题。3D几何数据通常被转换为具有规则格式的3D体素网格，以便更好地馈送到深度神经网络架构。然而，直接将3D卷积网络应用于3D体积数据的计算困难性严重限制了处理3D几何数据的效率（即，缓慢的处理）和有效性（即，不满意的精度）。在本文中，采用对抗网络（3D-A-Nets）的新设计，我们开发了一种新的3D深度密集形状描述符（3D-DDSD），以解决高效和有效的3D体积数据处理的挑战性问题。我们开发了三维体数据的2D多层密集表示（MDR）的新定义，以提取简洁但几何信息丰富的形状描述和对抗网络的新设计，该对抗网络联合训练一组卷积神经网络（CNN），递归神经网络（RNN）和对抗神经网络。更具体地说，生成器网络产生3D形状特征，鼓励来自具有正确类别标签的相同类别的样本的聚类，而生成器网络通过为它们分配误导性的对抗性类别标签来阻止聚类。通过解决直接将CNN应用于3D体积数据的计算效率低下所带来的挑战，3D-A-Nets可以学习高质量的3D-DSDD，其在3D形状分类和检索方面表现出优于其他最先进技术的卓越性能。
2017-11-28 cs.CV
Label Embedding with Partial Heterogeneous Contexts
University of Technology Sydney（悉尼科技大学）；Centre for Artificial Intelligence(CAI)（人工智能中心）
标签嵌入在许多实际应用中起着重要的作用。为了增强嵌入捕获的标签相关性，可以采用多个上下文。然而，这些背景是异构的，往往部分观察到在实际任务中，施加重大挑战，以捕捉标签之间的整体相关性。在本文中，我们提出了一个通用的部分异构上下文标签嵌入（PHCLE）框架来解决这些挑战。将异构背景分为关系背景和描述背景两类，设计了矩阵分解公式，有效地利用了每类背景下的标签相关性。通过跨异构上下文的共享嵌入原则，标签相关性在共享空间中选择性地对齐。由于我们优雅的公式，PHCLE克服了部分上下文问题，可以很好地纳入更多的上下文，这两者都不能用现有的多上下文标签嵌入方法来解决。进一步推导出求解稀疏矩阵分解问题的一种有效的交替优化算法。实验结果表明，PHCLE算法得到的标签嵌入在图像分类任务中具有良好的性能，在后续的标签相似性分析和图像理解任务中具有良好的可解释性.
2018-12-24 cs.CV
Activation Maximization Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Yitu Tech（依图科技）；University College London（伦敦大学学院）
经验表明，类标签在提高生成对抗网络（GANs）的样本质量方面很有用。在本文中，我们从数学上研究了利用类标签信息的GANs当前变体的特性。通过类感知梯度和交叉熵分解，我们揭示了类标签和相关损失如何影响GAN的训练。在此基础上，我们提出了激活最大化生成对抗网络（AM-GAN）作为一种先进的解决方案。已经进行了全面的实验来验证我们的分析并评估我们的解决方案的有效性，其中AM-GAN优于其他强大的基线，并在CIFAR-10上实现了最先进的Inception Score（8.91）。此外，我们还证明，使用Inception ImageNet分类器，Inception Score主要跟踪生成器的多样性，但是没有可靠的证据表明它可以反映真实的样本质量。因此，我们提出了一个新的度量，称为AM分数，提供一个更准确的估计样本质量。我们提出的模型在新的度量中也优于基线方法。
2018-11-16 cs.AI cs.CV cs.LG
DEEP-CARVING: Discovering Visual Attributes by Carving Deep Neural Nets
Cambridge University（剑桥大学）
大多数用于发现图像中的视觉属性的方法都需要大量的监督，这是很麻烦的。在本文中，我们的目标是发现视觉属性在弱监督的设置，是经常遇到的当代图像搜索引擎。深度卷积神经网络（CNN）近年来在视觉应用中取得了巨大的成功。然而，在弱监督场景中，广泛使用的CNN训练过程不会学习用于同时预测多个属性标签的鲁棒模型。主要原因是属性在训练数据内高度共现。为了改善这一限制，我们提出了Deep-Carving，这是一种使用CNN的新型训练过程，可以帮助网络有效地进行多属性预测任务。在训练过程中，特征图的响应以一种巧妙的方式被利用，为网络提供多个伪标签（用于训练图像），用于后续迭代。该过程在固定次数的迭代之后周期性地重复，并且使得网雕刻自身迭代地用于有效地解开特征。此外，我们贡献了一个名词形容词配对启发自然场景属性数据集的研究社区，CAMIT - NSAD，包含了一些共同出现的属性在一个名词类别。我们详细描述了这个数据集的突出方面。我们在CAMIT-NSAD和SUN属性数据集上的实验，在弱监督的情况下，清楚地表明Deep-Carved CNN在属性预测精度方面始终比流行的基线方法有相当大的提高。
2015-04-19 cs.CV
MSE-Nets: Multi-annotated Semi-supervised Ensemble Networks for Improving Segmentation of Medical Image with Ambiguous Boundaries
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang Sci-Tech University（浙江理工大学）；Shandong University（山东大学）；Lishui University（丽水学院）；Center（研究中心）；Communication University of Zhejiang（浙江传媒学院）
提出MSE-Nets，利用多标注和未标注数据，通过NPCE和MNPS模块处理标注分歧与伪标签，减少97.75%多标注需求，提升模糊边界分割性能。
2023-11-17 cs.CV
Show and Tell: Visually Explainable Deep Neural Nets via Spatially-Aware Concept Bottleneck Models
Department of Electrical and Computer Engineering, Ben-Gurion University of the Negev（电气与计算机工程系，贝内-约尔大学内盖夫分校）；Data Science Research Center, Ben-Gurion University of the Negev（数据科学研究中心，贝内-约尔大学内盖夫分校）
本文提出SALF-CBM框架，通过空间感知概念瓶颈层将预训练视觉骨干网络转化为无需人工标签的自解释模型，在分类、零样本分割和模型调试上均优于现有方法。
2025-09-22 cs.CV
Label Name is Mantra: Unifying Point Cloud Segmentation across Heterogeneous Datasets
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
点云分割是3D视觉中的一项基本任务，适用于广泛的应用。虽然近年来取得了很大的进展，但其实际可用性仍然受到训练数据可用性的限制。现有的方法不能充分利用现有的多个数据集之间的标签不匹配的数据集。在本文中，我们提出了一种原则性的方法，支持从具有不同标签集的异构数据集进行学习。我们的想法是利用一个预先训练好的语言模型，在标签名称的帮助下将离散标签嵌入到一个连续的潜在空间中。这统一了不同数据集的所有标签，因此联合训练是可行的。同时，分类点在连续的3D空间中的词汇令牌显着增加的泛化能力的模型相比，现有的方法，具有固定的解码器架构。此外，我们还在我们的框架中集成了即时学习，以减轻不同数据源之间的数据转移。大量的实验表明，我们的模型优于国家的最先进的大幅度。
2023-03-19 cs.CV
DBLFace: Domain-Based Labels for NIR-VIS Heterogeneous Face Recognition
Computational Biomedicine Lab（计算生物医学实验室）；University of Houston（休斯顿大学）
基于深度学习的领域不变特征学习方法在近红外和可见光（NIR-VIS）异构人脸识别中不断发展。然而，由于类内变化较大以及缺乏用于训练的近红外图像，这些方法容易出现过拟合。在本文中，我们介绍了基于域的标签脸（DBLFace），学习方法的基础上的假设，一个主题是不是由一个单一的标签，而是由一组标签。每个标签表示特定域的图像。特别地，每个受试者的两个标签的集合（一个用于NIR图像，一个用于VIS图像）用于训练NIR-VIS面部识别模型。将图像分类到不同的域减少了类内变异，并减轻了训练中数据不平衡的负面影响。为了训练具有标签集的网络，我们引入了基于域的角度裕度损失和最大角度损失以保持类间差异并加强集合中标签的紧密关系。定量实验证实，DBLFace在EDGE 20数据集上将rank-1识别率显著提高了6.7%，并在CASIA NIR-VIS 2.0数据集上实现了最先进的性能。
2020-10-08 cs.CV
Network Inversion of Convolutional Neural Nets
IIT Bombay（印度理工学院孟买分校）
针对神经网络决策不透明的“黑箱”问题，提出一种基于精心条件化生成器的网络反演方法，通过学习输入空间数据分布、最小化生成图像特征余弦相似度，提升神经网络的可解释性与可信度。
2024-11-26 cs.CV cs.LG
Learning from Multiple Datasets with Heterogeneous and Partial Labels for Universal Lesion Detection in CT
PAII Inc.（PAII公司）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Ping An Insurance (Group) Company of China, Ltd.（中国平安保险（集团）股份有限公司）
需要具有高质量标签的大规模数据集来训练准确的深度学习模型。然而，由于注释成本，医学成像中的数据集通常是部分标记的或小的。例如，DeepLesion是一个具有各种类型病变的大规模CT图像数据集，但它也有许多未标记的病变（缺失注释）。当在部分标记的数据集上训练病变检测器时，缺失的注释将生成不正确的负信号并降低性能。除了DeepLesion之外，还有几个小型的单一类型数据集，例如用于肺结节的LUNA和用于肝脏肿瘤的LiTS。这些数据集具有异构标签范围，即，在不同的数据集中标记不同的病变类型，而忽略其他类型。在这项工作中，我们的目标是开发一个通用的病变检测算法来检测各种病变。解决了异构和部分标签的问题。首先，我们建立了一个简单而有效的病变检测框架命名为病变集成（LENS）。LENS可以以多任务方式有效地从多个异构病变数据集学习，并通过建议融合来利用它们的协同作用。接下来，我们提出了利用临床先验知识和跨数据集知识转移从部分标记数据集中挖掘缺失注释的策略。最后，我们在四个公共病变数据集上训练我们的框架，并在DeepLesion中的800个手动标记的子体积上对其进行评估。我们的方法带来了49%的相对改善相比，目前国家的最先进的方法在平均灵敏度的度量。我们已经在https://github.com/viggin/DeepLesion_manual_test_set上公开发布了我们的DeepLesi…
2021-01-03 cs.CV
Heterogeneous Semantic Transfer for Multi-label Recognition with Partial Labels
Guangdong University of Technology（广东工业大学）；Sun Yat-sen University（中山大学）；The Hong Kong Polytechnic University（香港理工大学）
针对部分标签多标签识别任务，提出包含图像内、跨图像两个互补迁移模块的异构语义迁移框架，通过迁移已知标签知识生成未知标签伪标签来训练模型，在三个基准数据集上取得优于现有SOTA算法的性能。
2024-07-15 cs.CV
Weakly Supervised Visible-Infrared Person Re-Identification via Heterogeneous Expert Collaborative Consistency Learning
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文针对跨模态标签缺失的可见光-红外行人重识别问题，提出异构专家协作一致性学习框架，通过单模态标签训练专家并融合跨模态预测，在弱监督下建立鲁棒身份对应关系，显著提升跨模态识别性能。
2025-07-17 cs.CV
Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval
Ryerson University（瑞尔森大学）
本文提出了一种新的最先进的文档图像分类和检索，使用深卷积神经网络（CNN）学习的特征。在对象和景物分析中，深度神经网络能够学习从像素输入到简洁和描述性表示的分层抽象链。目前的工作探讨了这种能力在文档分析领域，并证实，这种表示策略优于各种流行的手工制作的替代品。实验还表明，（i）从CNN中提取的特征对压缩具有鲁棒性，（ii）在非文档图像上训练的CNN可以很好地转移到文档分析任务中，以及（iii）如果有足够的训练数据，则不需要强制执行特定于区域的特征学习。这项工作还提供了IIT-CDIP集合的一个新的标记子集，包含16个类别的40万个文档图像，可用于训练新的CNN进行文档分析。
2015-02-25 cs.CV cs.IR cs.LG
BP-SGCN: Behavioral Pseudo-Label Informed Sparse Graph Convolution Network for Pedestrian and Heterogeneous Trajectory Prediction
Durham University（杜伦大学）；KAIST（韩国科学技术院）
针对现有轨迹预测方法在异构场景下的局限，提出行为伪标签和BP-SGCN模型，通过级联训练策略学习伪标签引导预测，在多类数据集上性能优于现有方法。
2025-02-21 cs.AI cs.CV
Deep video gesture recognition using illumination invariants
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了基于深度神经网络的视频手势识别架构，这些架构对局部缩放是不变的。我们使用自适应加权方案来合并自动编码器和预测器架构，以处理大小减小的标记数据集，同时从巨大的未标记集丰富我们的模型。我们进一步提高鲁棒性的光照条件下，通过引入一个新的自适应滤波器的时间局部尺度归一化的基础上。我们提供了优于已知方法的结果，包括最近报道的基于神经网络的方法。
2016-03-21 cs.CV cs.LG
Mapping Images to Sentiment Adjective Noun Pairs with Factorized Neural Nets
Sony（索尼）；ICSI（国际计算机科学研究所）；DFKI（德国人工智能研究中心）；UC Berkeley（加州大学伯克利分校）；In-Q-Tel（In-Q-Tel公司）
我们认为视觉情感的任务映射图像到一个形容词名词对（ANP），如“可爱的宝贝”。为了捕获我们的ANP语义的双因素结构以及克服注释噪声和歧义，我们提出了一种新的因子分解的CNN模型，该模型学习形容词和名词的单独表示，但优化了其产品的分类性能。我们的实验上公开的SentiBank数据集表明，我们的模型显着优于不仅是独立的ANP分类器上看不见的ANP和检索图像的新的ANP，但也图像描述模型，捕捉词的语义从自然文本的共现;后者竟然是令人惊讶的穷人在捕捉纯视觉体验引起的情绪。也就是说，我们的因子化ANP CNN不仅可以更好地从嘈杂的标签中训练，更好地概括新图像，而且还可以自己扩展ANP词汇。
2015-11-21 cs.CL cs.CV
Multi-center anatomical segmentation with heterogeneous labels via landmark-based models
CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央高等电力学院）；Inria Saclay（法国国家信息与自动化研究所萨克莱分部）
针对多中心异质标签的解剖分割难题，提出基于地标的HybridGNet模型，通过图表示学习领域不变特征，在胸部X射线分割中优于像素级模型。
2022-11-14 cs.CV eess.IV
Exploring Homogeneous and Heterogeneous Consistent Label Associations for Unsupervised Visible-Infrared Person ReID
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文针对无监督可见光-红外行人重识别中的粗糙伪标签关联问题，提出 MULT、OCLR 与 AMIRL，以同构/异构一致性提升跨模态标签质量并达到最先进性能。
2024-12-04 cs.AI cs.CV
DeepSat V2: Feature Augmented Convolutional Neural Nets for Satellite Image Classification
Louisiana State University（路易斯安那州立大学）；Bay Area Environmental Research Institute（湾区环境研究所）；NASA Ames Research Center（美国国家航空航天局埃姆斯研究中心）
卫星图像分类是遥感、计算机视觉和机器学习的交叉点上的一个具有挑战性的问题。由于卫星数据固有的高度可变性，大多数当前的对象分类方法不适合处理卫星数据集。卫星图像分析的进展也因缺乏具有多个类别标签的单一标签高分辨率数据集而受到抑制。在这项工作的初步版本中，我们引入了两个新的高分辨率卫星图像数据集（SAT-4和SAT-6），并提出了基于“手工”特征和深度信念网络（DBN）的DeepSat分类框架。本文是一个扩展版本，我们提出了一个端到端的框架，利用改进的架构，增强了卷积神经网络（CNN）与手工制作的功能（而不是使用基于DBN的架构）进行分类。我们的框架可以访问从手工制作的特征以及CNN特征图获得的融合空间信息，在SAT-4和SAT-6上分别实现了99.90%和99.84%的准确率，超过了所有其他最先进的结果。基于分布可分性准则的统计分析证实了我们的方法在学习更好的卫星图像表示的鲁棒性。
2019-11-15 cs.CV cs.LG eess.IV
Label Denoising with Large Ensembles of Heterogeneous Neural Networks
Steklov Mathematical Institute（斯捷克洛夫数学研究所）；Neuromation OU；Samsung AI Center（三星人工智能中心）
尽管最近在基于各种卷积架构的计算机视觉方面取得了进展，但视频理解仍然是一个重要的挑战。在这项工作中，我们提出并讨论了基于YouTube-8 M数据集的大规模视频分类（标记）问题的顶级解决方案。我们展示并比较了预处理、数据增强、模型架构和模型组合的不同方法。我们的最终模型是基于一个大的合奏视频和帧级模型，但适合而有限的硬件限制。我们采用了一种基于知识蒸馏的方法来处理原始数据集中的噪声标签，并采用最近发展起来的混合技术来改进基本模型。
2019-01-15 cs.CV cs.LG
Training Semantic Segmentation on Heterogeneous Datasets
Eindhoven University of Technology（埃因霍温理工大学）
本文在传统的单数据集同质训练的基础上，对语义分割进行了探索，提出了语义分割的异质训练问题。HTSS涉及多个异构数据集的同时训练，即从语义分割的角度来看，具有冲突标签空间和不同（弱）注释类型的数据集。HTSS公式将深度网络暴露给更大且以前未探索的信息聚合，这些信息可以在三个方向上潜在地增强语义分割：i）性能：在可见数据集上增加分割度量，ii）泛化：在不可见数据集上改进分割度量，以及iii）知识性：增加可识别语义概念的数量。为了研究HTSS的这些好处，我们提出了一个统一的框架，该框架将异构数据集纳入一个单一的网络训练管道，遵循既定的FCN标准。我们的框架首先管理异构数据集，将它们转换为通用格式，然后同时在所有数据集上训练单一骨干FCN。为了实现这一点，它转换弱注释，这是不兼容的语义分割，每像素的标签，并分层到一个通用的分类标签空间。经过训练的HTSS模型在广泛的数据集上展示了性能和泛化增益，并扩展了推理标签空间，从而产生了数百个语义类。
2023-01-18 cs.AI cs.CV cs.LG
Unlocking the potential of two-point cells for energy-efficient and resilient training of deep nets
University of Oxford（牛津大学）；University of Wolverhampton（伍尔弗汉普顿大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；University of Edinburgh（爱丁堡大学）；University of Stirling（斯特灵大学）
早在1999年就发现了上下文敏感的两点第5层锥体细胞（L5PC）。然而，这一发现提供有用的神经计算的潜力还有待证明。在这里，我们第一次展示了一个变革性的L5PC驱动的深度神经网络（DNN），称为多感官协作计算（MCC）架构，可以有效地处理大量的异构现实世界的视听（AV）数据，使用更少的能源相比，最好的可用的“点”神经元驱动的DNN。Xilinx UltraScale+ MPSoC器件上的一种新型高度分布式并行实现估计节能高达245759 $ \times $ 50000 $μ$ J（即，在半监督学习设置中，单个突触消耗$8e^{-5}μ$ J。在监督学习设置中，节能可能达到基线模型的1250倍（每个前馈传输）。MCC中显著减少的神经活动导致固有的快速学习和对突然神经损伤的恢复力。在试点实验中的这一显着表现表明了我们提出的合作L5PC的体现神经形态智能，它从不同的相邻神经元接收输入作为上下文，以放大最显着和相关信息的传输，用于向前传输，从在芯片上训练的早期阶段使用的大量多模态信息。我们提出的方法为未来的片上DNN训练实现开辟了新的跨学科途径，并在当前的类脑计算范式中提出了根本性的转变。
2022-12-22 cs.CV cs.LG cs.NE
Convolutional Neural Nets vs Vision Transformers: A SpaceNet Case Study with Balanced vs Imbalanced Regimes
Department of Computer Science（计算机科学系）；San Francisco State University（旧金山州立大学）
本研究在SpaceNet数据集的平衡与非平衡划分下对比EfficientNet-B0与ViT-Base，发现类别平衡缩小架构性能差距，CNN仍具效率优势，并公开相关资源支持复现。
2025-09-29 cs.AI cs.CV cs.LG
