Knowledge Transfer via Dense Cross-Layer Mutual-Distillation
Intel Labs China（英特尔中国研究院）
基于知识蒸馏（KD）的方法采用单向知识转移（KT）方案，其中训练低能力学生网络由预先训练的高能力教师网络引导。最近，深度相互学习（DML）提出了一种双向KT策略，表明学生网络也有助于改善教师网络。在本文中，我们提出了密集跨层相互蒸馏（DCM），一种改进的双向KT方法，其中教师和学生网络从头开始协同训练。为了增强知识表示学习，精心设计的辅助分类器被添加到教师和学生网络的某些隐藏层。为了提高KT性能，我们在附加分类器的层之间引入密集的双向KD操作。在训练之后，所有辅助分类器都被丢弃，因此没有额外的参数被引入到最终模型中。我们测试我们的方法在各种KT任务，显示其优越性，相关的方法。代码可在https://github.com/sundw2014/DCM上获得
2020-08-18 cs.CV cs.LG
TAGLETS: A System for Automatic Semi-Supervised Learning with Auxiliary Data
Brown University（布朗大学）；LinkedIn（领英）
机器学习从业者通常可以访问一系列数据：目标任务的标记数据（通常是有限的），未标记数据和辅助数据，以及其他任务的许多可用标记数据集。我们描述了TAGLETS，一个系统，用于研究自动利用所有三种类型的数据和创建高质量的，可服务的分类器的技术。TAGLETS的关键组成部分是：（1）根据知识图谱组织的辅助数据，（2）封装不同方法的模块，用于开发辅助和未标记的数据，以及（3）一个蒸馏阶段，其中集成模块组合成一个可服务的模型。我们比较了TAGLETS与最先进的迁移学习和半监督学习方法在四个图像分类任务。我们的研究涵盖了一系列的设置，不同的标记数据的数量和语义相关的辅助数据的目标任务。我们发现，智能的辅助和未标记的数据纳入多种学习技术，使TAGLETS匹配，最经常显着超越这些替代品。TAGLETS作为一个开源系统在github.com/BatsResearch/taglets上提供。
2022-05-05 cs.CV cs.LG
Your Classifier can Secretly Suffice Multi-Source Domain Adaptation
Indian Institute of Science（印度科学学院）
多源领域自适应（MSDA）是指在领域转移的情况下，将任务知识从多个已标记的源领域转移到一个未标记的目标领域。现有的方法旨在使用辅助分布对准目标来最小化该域偏移。在这项工作中，我们提出了一个不同的视角，以MSDA，其中观察到深层模型，以隐式对齐标签监督下的域。因此，我们的目标是利用隐式对齐，而无需额外的训练目标来执行自适应。为此，我们使用伪标记的目标样本，并在伪标签上强制执行分类器协议，这一过程称为自监督隐式对齐（SIMpAl）。我们发现，即使在源域之间的类别转移下，SIMpAl也很容易工作。此外，我们提出分类器协议作为线索，以确定训练收敛，从而在一个简单的训练算法。我们根据五个基准对我们的方法进行了全面的评估，并对我们方法的每个组成部分进行了详细的分析。
2021-03-20 cs.CV cs.LG
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University（罗格斯大学）
辅助分类器GANs（AC-GANs）是广泛使用的条件生成模型，并且能够生成高质量的图像。以前的工作已经指出，AC-GAN学习有偏的分布。为了解决这个问题，Twin Auxiliary Classifier GAN（TAC-GAN）将一个孪生分类器引入到最小-最大博弈中。然而，据报道，使用双辅助分类器可能会导致训练不稳定。为此，我们提出了一种无偏辅助GANs（UAC-GAN），它利用互信息神经估计（MINE）来估计生成的数据分布和标签之间的互信息。为了进一步提高性能，我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯（MoG）、MNIST和CIFAR 10数据集上的实验结果表明，UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
Nanyang Technological University（南洋理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Southeast University（东南大学）
本文提出双头知识蒸馏方法，通过分离分类头和骨干网络，解决传统知识蒸馏中logit级损失与概率级损失结合导致的分类头崩溃问题，提升模型性能。
2025-05-28 cs.CV cs.LG
Self-supervised Audio Spatialization with Correspondence Classifier
University of California at Merced（加州大学默塞德分校）
空间音频是观众获得3D视觉和听觉体验的重要媒介。然而，记录设备和技术是昂贵的或公众无法获得的。在这项工作中，我们提出了一个自我监督的音频空间化网络，可以生成相应的视频和单声道音频的空间音频。为了增强空间化性能，我们使用辅助分类器来分类地面实况视频和左右声道交换的音频视频。我们收集了一个大规模的视频数据集与空间音频验证所提出的方法。实验结果表明，该模型的音频空间化任务的有效性。
2019-05-14 cs.CV cs.LG cs.SD
Confidence Estimation via Auxiliary Models
可靠地量化深度神经分类器的置信度是在安全关键型应用中部署此类模型的一项具有挑战性但又基本的要求。在本文中，我们介绍了一种新的目标标准模型的信心，即真类概率（TCP）。我们发现，TCP提供了更好的性能比标准的最大类概率（MCP）的置信度估计。由于真正的类本质上是未知的，在测试时，我们建议学习TCP标准的数据与辅助模型，引入一个特定的学习计划，适应这种情况。我们评估我们的方法上的任务，故障预测和自我训练的伪标签的领域自适应，这两个都需要有效的信心估计。进行了大量的实验，以验证所提出的方法在每个任务的相关性。我们研究了各种网络架构，并对小型和大型数据集进行了图像分类和语义分割的实验。在每一个测试的基准测试中，我们的方法都优于强大的基线。
2021-05-31 cs.CV cs.LG stat.ML
Class incremental learning with probability dampening and cascaded gated classifier
Sapienza University of Rome（罗马智慧大学）；Information Engineering, Electronics and Telecommunications (DIET)（信息工程、电子与电信学院）
本文提出边际阻尼正则化与级联缩放门控分类器，通过软约束和知识蒸馏保留旧知识，以辅助缩放函数调整旧预测，在多个基准上优于基线方法。
2024-05-23 cs.CV cs.LG
Combining Fine- and Coarse-Grained Classifiers for Diabetic Retinopathy Detection
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence GmbH (DFKI)（德国人工智能研究中心（DFKI））；Osaka Prefecture University（大阪府立大学）；National University of Science and Technology (NUST)（国立科技大学（NUST））；Opthalmology Clinic（眼科诊所）
早期糖尿病视网膜病变眼底图像中的视觉伪影通常体积较小，不明显，分散在视网膜各处。检测糖尿病视网膜病变需要医生查看整个图像并关注某些特定区域以定位疾病的潜在生物标志物。因此，从眼科医生的启发，我们建议结合粗粒度分类器，从整个图像中检测区别特征，与最近品种的细粒度分类器，发现并特别注意病理显著区域。为了评估这个提议的集成的性能，我们使用了公开可用的EyePACS和Messidor数据集。针对二进制、三进制和四进制分类的广泛实验表明，这种集成在很大程度上优于单个图像分类器，以及大多数糖尿病视网膜病变检测训练设置中的大多数已发表作品。此外，细粒度的分类器的性能被发现明显优于粗粒度的图像分类器，鼓励开发面向任务的细粒度的分类器建模专家眼科医生。
2020-05-28 cs.CV cs.LG eess.IV
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
Fine-Grained Visual Classification using Self Assessment Classifier
AIOZ；University of Liverpool（利物浦大学）
在细粒度的视觉分类任务中，识别特征的提取起着至关重要的作用。现有的大多数方法都侧重于发展注意力或增强机制，以实现这一目标。然而，解决前k个预测类中的模糊性并没有得到充分的研究。在本文中，我们引入了一个自评估分类器，它同时利用图像和前k个预测类的表示来重新评估分类结果。我们的方法的灵感来自于持续学习的粗粒度和细粒度分类器，以增加骨干中的特征的区分度，并产生图像上信息区域的注意力图。在实践中，我们的方法作为一个辅助分支，可以很容易地集成到不同的架构。我们表明，通过有效地解决前k个预测类中的模糊性，我们的方法在CUB 200 -2011，Stanford Dog和FGVC Aircraft数据集上实现了新的最先进的结果。此外，我们的方法还一致地提高了具有统一设置的不同现有细粒度分类器的准确性。
2022-05-21 cs.CV
Learning Target Domain Specific Classifier for Partial Domain Adaptation
Sun Yat-Sen University（中山大学）；Yitu Technology（依图科技）
无监督领域自适应（UDA）的目的是减少知识从有标记的源域向无标记的目标域转移时的分布差异。以前的UDA方法假设源域和目标域共享相同的标签空间，这在实践中是不现实的，因为目标域的标签信息是不可知的。本文重点讨论了一种更现实的UDA场景，即部分领域自适应（PDA），其中目标标签空间被归入源标签空间。在PDA场景中，目标域中不存在的源离群值可能会错误地匹配到目标域（技术上称为负转移），导致UDA方法的性能下降。提出了一种新的基于目标领域特定分类器学习的领域自适应（TSCDA）方法。TSCDA提出了一种软加权最大平均差异准则，以部分对齐特征分布和减轻负迁移。此外，它还使用伪标签和多个辅助分类器为目标域学习目标特定的分类器，以进一步解决分类器移位问题。一个名为Peers Assisted Learning的模块用于最小化多个目标特定分类器之间的预测差异，这使得分类器对目标域更具鉴别力。在三个PDA基准数据集上进行的大量实验表明，TSCDA的性能优于其他最先进的方法，例如，$4\%$和$5.6\%$平均分别在Office-31和家庭办公室。
2020-08-25 cs.CV
Collaborative Learning for Deep Neural Networks
Playground Global；Google（谷歌）
我们引入了协作学习，其中同一网络的多个分类器头同时在相同的训练数据上进行训练，以提高泛化能力和对标签噪声的鲁棒性，而无需额外的推理成本。它从辅助训练、多任务学习和知识升华中获得优势。协作学习有两种重要的机制。首先，来自不同分类器头的多个视图对同一示例的共识为每个分类器提供了补充信息以及正则化，从而提高了泛化能力。其次，中间层表示（ILR）共享与反向传播重新缩放聚合来自所有头的梯度流，这不仅降低了训练计算复杂度，而且便于监督共享层。CIFAR和ImageNet数据集上的实证结果表明，以协作方式作为一个群体学习的深度神经网络显著降低了泛化误差，并提高了对标签噪声的鲁棒性。
2018-11-07 cs.CV cs.LG stat.ML
Knowledge-Guided Recurrent Neural Network Learning for Task-Oriented Action Prediction
Sun Yat-Sen University（中山大学）
本文研究面向任务的动作预测，即，预测在特定场景下完成特定任务的动作序列，是计算机视觉研究中的一个新问题。主要的挑战在于如何建模特定于任务的知识，并将其整合到学习过程中。在这项工作中，我们提出训练一个循环的长短期记忆（LSTM）网络来处理这个问题，即，将场景图像（包括预先定位的对象）和指定的任务作为输入，并循环地预测动作序列。然而，训练这样的网络通常需要大量的注释样本来覆盖语义空间（例如，不同的动作分解和排序）。为了缓解这个问题，我们引入了一个时间与或图（AOG）的任务描述，分层表示成原子动作的任务。有了这个AOG表示，我们可以产生许多有效的样本（即，动作序列符合常识），用一小部分带注释的样本训练另一个辅助LSTM网络。并且这些生成的样本（即，面向任务的动作序列）有效地促进训练用于面向任务的动作预测的模型。在实验中，我们创建了一个包含不同日常任务的新数据集，并广泛评估了我们方法的有效性。
2017-07-15 cs.CV
CORSD: Class-Oriented Relational Self Distillation
Xi'an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）
针对现有知识蒸馏在关系建模与迁移上的不足，本文提出面向类别的关系自蒸馏框架CORSD，通过可训练关系网络与辅助分类器迁移深层关系知识，在多个数据集上实现了显著的准确率提升。
2023-04-28 cs.AI cs.CV cs.LG
Shapes Characterization on Address Event Representation Using Histograms of Oriented Events and an Extended LBP Approach
CONICET（阿根廷国家科学技术研究委员会）；Universidad Argentina de la Empresa (UADE)（阿根廷企业大学）
地址事件表示是一种新兴的技术，它可能会改变数字图像处理的范式。本文提出了一种方法来描述的形状的对象使用的异步事件流。一个新的描述符，增强尖峰连接与两个面向直方图为基础的表示。本文使用这些功能来开发一个非监督和监督的多分类框架，以识别扑克符号从扑克DVS公共数据集。上述框架使用非常有限数量的事件和简单的类建模，产生的结果挑战了现有技术提出的更复杂的方法。基于上下文形状的特征族应用于更具挑战性的2015年Poker-DVS数据集，监督分类器获得了98.5%的准确率。该系统也被应用到MNIST-DVS数据集产生的数字识别的准确率分别为94.6%和96.3%，规模4和8。
2018-02-09 cs.CV
ABC: Auxiliary Balanced Classifier for Class-imbalanced Semi-supervised Learning
KAIST（韩国科学技术院）
现有的半监督学习（SSL）算法通常假设类平衡的数据集，虽然许多现实世界的数据集的类分布是不平衡的。一般来说，在类不平衡数据集上训练的分类器偏向于大多数类。对于SSL算法来说，这个问题变得更成问题，因为它们利用未标记数据的有偏预测进行训练。然而，传统的类不平衡学习技术，这是专为标记的数据，不能很容易地与SSL算法相结合。我们提出了一个可扩展的类不平衡SSL算法，可以有效地使用未标记的数据，同时通过引入一个辅助平衡分类器（ABC）的单层，这是附加到现有的SSL算法的表示层减轻类不平衡。ABC是用一个小批量的类平衡损失来训练的，同时使用从小批量中的所有数据点学习的高质量表示，使用主干SSL算法来避免过拟合和信息丢失。此外，我们使用一致性正则化，这是一种最新的SSL技术，用于以修改的方式利用未标记的数据，通过为每个类选择具有相同概率的未标记数据来训练ABC以在类之间平衡。该算法在使用四个基准数据集的各种类不平衡SSL实验中实现了最先进的性能。
2021-10-20 cs.CV cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
人工智能中最有趣的挑战之一是训练条件生成器，这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中，提出了一种新的框架，通过将分类器与鉴别器并行放置来训练深度条件生成器，并通过生成器网络反向传播分类误差。该方法是通用的，适用于生成对抗网络（GAN）实现的任何变化，并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
Effects of Auxiliary Knowledge on Continual Learning
University of Catania（卡塔尼亚大学）；University of Modena and Reggio Emilia（摩德纳雷焦艾米利亚大学）
在持续学习（CL）中，神经网络在分布随时间变化的数据流上进行训练。在这种情况下，主要问题是如何学习新信息而不忘记旧知识（即，灾难性遗忘）。大多数现有的CL方法专注于寻找解决方案，以保存已获得的知识，因此工作在模型的过去。然而，我们认为，由于模型必须不断学习新任务，因此关注现有知识也很重要，这些知识可以改善后续任务的学习。在本文中，我们提出了一个新的，简单的，CL算法，专注于解决当前的任务的方式，可能有利于学习下一个。更具体地说，我们的方法将主要数据流与次要的、多样的和不相关的数据流相结合，网络可以从中提取辅助知识。这从不同的角度帮助模型，因为辅助数据可能包含当前和下一个任务的有用特征，并且传入的任务类可以映射到辅助类。此外，向当前任务添加数据隐含地使分类器更加鲁棒，因为我们正在强制提取更具鉴别力的特征。我们的方法可以优于现有的最先进的模型上最常见的CL图像分类基准。
2022-06-03 cs.AI cs.LG
Classifier and Exemplar Synthesis for Zero-Shot Learning
Tencent AI Lab（腾讯人工智能实验室）；University of Southern California（南加州大学）；Google AI（谷歌人工智能）；Cornell University（康奈尔大学）
零样本学习（Zero-shot learning，缩写为ZRL）可以解决一个任务，而不需要看到它的例子。在本文中，我们提出了两个学习合成新的看不见的类的参数的MATL框架。首先，我们建议铸造的问题，学习流形嵌入从图形组成的对象类，导致一个灵活的方法，合成“分类器”的看不见的类。然后，我们定义了一个辅助任务，合成“样本”的看不见的类被用作自动去噪机制，任何现有的CNOL方法或作为一个有效的CNOL模型本身。在五个视觉识别基准数据集上，我们展示了我们所提出的框架在传统和广义CNOL的各种场景中的优越性能。最后，我们通过一系列的实证分析提供了有价值的见解，其中包括完整ImageNet基准测试的语义表示比较以及广义ImageNet中使用的指标比较。我们的代码和数据可在https://github.com/pujols/Zero-shot-learning-journal上公开获取
2019-07-18 cs.CV
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University（马凯特大学）
深度学习是计算机断层扫描（CT）图像处理（如器官分割）中流行且功能强大的工具，但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性，但由于对儿童的辐射风险，儿科CT扫描的训练数据集尤其难以获得。在本文中，我们提出了一种方法，有条件地合成逼真的儿科CT图像，使用一个新的辅助分类器生成对抗网络（ACGAN）架构，考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像，以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
CAST: Closed-form Analytic Semantic Transfer for Zero-Shot Classifier Extension
Faculty of Science and Technology（科学与技术学院）；Norwegian University of Life Sciences（挪威生命科学大学）；NMBU
提出无训练无图像的CAST框架，通过权重注入扩展预训练分类器至未见类别，其性能接近少样本适配方法，为零样本学习提供了新的无图像解决方案。
2026-08-17 cs.CV
Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
Soochow University（苏州大学）
近年来，随着革命性的神经风格转换方法，可信的绘画可以自动合成的内容图像和风格图像。然而，当涉及到将绘画风格应用到动画草图的任务时，这些方法将只是随机地将草图线着色为输出，并且在主要任务中失败：特定的风格转换。在本文中，我们集成了残余U-网络应用的风格与辅助分类器生成对抗网络（AC-GAN）的灰度草图。整个过程自动化程度高，速度快，在艺术风格和色彩质量方面效果良好。
2017-06-13 cs.CV
Rebooting ACGAN: Auxiliary Classifier GANs with Stable Training
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
条件生成对抗网络（cGAN）通过将类别信息合并到GAN中来生成逼真的图像。虽然最流行的cGAN之一是具有softmax交叉熵损失（AC GAN）的辅助分类器GAN，但众所周知，随着数据集中类的数量增加，训练AC GAN具有挑战性。ACGAN也倾向于生成缺乏多样性的易于分类的样本。在本文中，我们介绍了ACGAN的两种解决方案。首先，我们发现分类器中的梯度爆炸可能会在早期训练中导致不期望的崩溃，将输入向量投影到单位超球体上可以解决这个问题。其次，我们提出了数据到数据的交叉熵损失（D2 D-CE），利用类标记数据集中的关系信息。在此基础上，我们提出了重启辅助分类器生成对抗网络（ReACGAN）。实验结果表明，ReACGAN在CIFAR 10，Tiny-ImageNet，CUB 200和ImageNet数据集上实现了最先进的生成结果。我们还验证了ReACGAN从可区分的增强中受益，并且D2 D-CE与StyleGAN 2架构相协调。模型权重和一个软件包，提供了代表性的cGAN的实现和我们论文中的所有实验，可在https://github.com/POSTECH-CVLab/PyTorch-StudioGAN上获得。
2021-11-01 cs.AI cs.CV cs.LG
Explore the Expression: Facial Expression Generation using Auxiliary Classifier Generative Adversarial Network
AZAD Research Lab（AZAD研究实验室）；Sweden（瑞典（注：此处Sweden为国家，非机构，根据要求应忽略。但原HTML中“Affiliation: Sweden”可能是笔误或格式错误，若仅保留明确的机构名“AZAD Research Lab”）。修正后应为：{）
面部表情是一种非语言交流的形式，人类可以无缝地进行有意义的信息传递。大多数文献都涉及面部表情识别方面，然而，随着生成模型的出现，除了对一组表情进行分类之外，还可以探索情感空间。在这篇文章中，我们提出了一个生成模型架构，强大地生成一组面部表情的多个字符的身份，并探讨了通过结合简单的生成复杂的表情的可能性。
2022-02-08 cs.CV cs.GR cs.LG
Active Semi-supervised Transfer Learning (ASTL) for Offline BCI Calibration
DataNova
脑电信号事件相关电位的单次分类是脑机接口（BCI）的一个重要研究方向。由于个体差异，通常需要一些特定于受试者的校准数据来为每个受试者定制分类器。迁移学习已被广泛用于通过利用来自类似/相关主体/任务的辅助数据来减少这种校准数据要求。然而，所有以前的研究都假设所有辅助数据都已标记。本文考虑了一个更一般的场景，其中部分辅助数据可以是未标记的。提出了一种基于主动半监督迁移学习（ASTL）的脑机接口离线校准方法，该方法集成了主动学习、半监督学习和迁移学习。使用视觉诱发电位古怪的任务和三种不同的EEG耳机，我们证明，ASTL可以实现一致的良好性能，跨学科和耳机，它优于一些国家的最先进的方法在文献中。
2018-05-12 cs.HC cs.LG stat.ML
TAC-GAN - Text Conditioned Auxiliary Classifier Generative Adversarial Network
University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for AI (DFKI)（德国人工智能研究中心 (DFKI)）；Insiders Technologies GmbH（Insiders Technologies有限公司）；University of Fribourg（弗里堡大学）
在这项工作中，我们提出了文本条件辅助分类器生成对抗网络（TAC-GAN）的文本到图像生成对抗网络（GAN）从他们的文本描述合成图像。以前的方法都试图条件的文本数据的生成过程，但联盟它的使用类信息，已知多样化生成的样本，提高其结构的连贯性，还没有被探索。我们在Oxford-102花卉数据集上训练了TAC-GAN模型，并使用Inception-Score评估了生成图像的可分辨性，以及使用多尺度结构相似性指数（MS-SSIM）评估了它们的多样性。我们的方法优于最先进的模型，即，它的初始得分为3.45，与最近推出的StackGan相比，相对增加了7.8%。每个类的训练和生成样本的平均MS-SSIM分数的比较表明，我们的方法能够生成高度多样化的图像，在所有生成的类中平均MS-SSIM为0.14。
2017-03-26 cs.CV
Conditional Image Synthesis With Auxiliary Classifier GANs
Google Brain（谷歌大脑）
合成高分辨率真实感图像一直是机器学习中的一个长期挑战。在本文中，我们介绍了用于图像合成的生成对抗网络（GANs）的改进训练的新方法。我们构建了一个变体的GANs，采用标签条件，导致128 × 128分辨率的图像样本表现出全局一致性。我们扩大以前的工作，图像质量评估提供两个新的分析，以评估类条件图像合成模型的样本的可辨别性和多样性。这些分析表明，高分辨率样品提供了低分辨率样品中不存在的类别信息。在1000个ImageNet类中，128x128样本的可分辨性是人工调整大小的32x32样本的两倍多。此外，84.7%的类具有与真实ImageNet数据相当的多样性。
2017-07-20 cs.CV stat.ML
Investigating the Potential of Auxiliary-Classifier GANs for Image Classification in Low Data Regimes
Northwestern University（西北大学）
生成对抗网络（GANs）在增强数据集和提高卷积神经网络（CNN）在图像分类任务上的性能方面表现出了希望。但是它们引入了更多的超参数来调整，并且需要额外的时间和计算能力来训练补充CNN。在这项工作中，我们研究了分类器GANs（AC-GANs）作为图像分类的“一站式”架构的潜力，特别是在低数据状态下。此外，我们还探索了对典型AC-GAN框架的修改，改变生成器的潜在空间采样方案，并采用带有梯度惩罚的Wasserstein损失来稳定图像合成和分类的同时训练。通过对不同分辨率和复杂度的图像进行实验，我们证明了AC-GAN在图像分类中表现出了良好的前景，与标准CNN相比具有竞争力的性能。这些方法可以作为一个“一体化”的框架，在缺乏大量训练数据的情况下具有特别的实用性。
2022-01-22 cs.CV eess.IV
RankUp: Boosting Semi-Supervised Regression with an Auxiliary Ranking Classifier
Academia Sinica（中央研究院）；NVIDIA（英伟达公司）
针对现有半监督分类技术无法直接用于回归任务的问题，提出RankUp方法将回归转排序任务结合分类技术，辅以RDA优化伪标签，在多领域回归基准上取得SOTA性能并开源代码。
2024-10-29 cs.CL cs.CV cs.LG
Advancing Re-Ranking with Multimodal Fusion and Target-Oriented Auxiliary Tasks in E-Commerce Search
JD.com, Inc.（京东集团）
针对电商搜索重排序中多模态信息整合不足的问题，提出融合注意力多模态技术与排序对齐辅助任务的ARMMT方法，京东实验显示其CVR提升0.22%，达SOTA水平，助力GMV增长。
2024-08-11 cs.CV cs.IR
CovidGAN: Data Augmentation Using Auxiliary Classifier GAN for Improved Covid-19 Detection
Maharaja Agrasen Institute of Technology（马哈拉贾·阿格拉森技术学院）；Near East University（近东大学）；State University of Ceará（塞阿拉州立大学）；University of Fortaleza（福塔莱萨大学）
冠状病毒（COVID-19）是由严重急性呼吸道综合征冠状病毒2（SARS-CoV-2）引起的病毒性疾病。COVID-19的传播似乎对全球经济和健康产生了不利影响。感染患者的胸部X光检查呈阳性是抗击COVID-19的关键一步。早期结果表明，提示COVID-19患者的胸部X光检查存在异常。这导致了各种深度学习系统的引入，研究表明，通过使用胸部X光检测COVID-19患者的准确性非常乐观。像卷积神经网络（CNN）这样的深度学习网络需要大量的训练数据。由于爆发是最近的，很难在这么短的时间内收集大量的放射图像。因此，在这项研究中，我们提出了一种方法来生成合成胸部X射线（CXR）图像，通过开发一个辅助分类生成对抗网络（ACGAN）的模型称为CovidGAN。此外，我们证明了CovidGAN生成的合成图像可用于增强CNN检测COVID-19的性能。单独使用CNN的分类产生了85%的准确率。通过添加CovidGAN生成的合成图像，准确率提高到95%。我们希望这种方法能加快COVID-19的检测速度，并带来更强大的放射学系统。
2021-03-08 cs.CV cs.LG eess.IV
HAD-GAN: A Human-perception Auxiliary Defense GAN to Defend Adversarial Examples
Information Engineering University（信息工程大学）
对抗性例子揭示了神经网络的脆弱性和无法解释的本质。研究对抗性例证的辩护具有重要的现实意义。大多数错误分类网络的对抗性例子通常是人类无法检测到的。在本文中，我们提出了一个防御模型训练分类器到人类的感知分类模型与形状偏好。提出的模型包括一个纹理传输网络（TTN）和一个辅助防御生成对抗网络（GAN）被称为人类感知辅助防御GAN（HAD-GAN）。TTN用于扩展干净图像的纹理样本，并帮助分类器专注于其形状。GAN用于形成模型的训练框架并生成必要的图像。在MNIST、Fashion-MNIST和CIFAR 10上进行的一系列实验表明，该模型在网络鲁棒性方面优于现有的防御方法。该模型还展示了对抗性示例的防御能力的显着提高。
2021-12-22 cs.CV cs.LG eess.IV
Relevant-features based Auxiliary Cells for Energy Efficient Detection of Natural Errors
Purdue University（普渡大学）
深度神经网络在许多分类任务上表现出最先进的性能。然而，他们没有内在的能力来识别他们的预测是错误的。在最近的过去，已经有几个努力来检测自然错误，但建议的机制提出了额外的能量要求。为了解决这个问题，我们提出了一个集成的分类器在隐藏层，使能源效率的自然错误检测。特别是，我们附加了基于相关特征的辅助细胞（RAC），它们是在相关特征上训练的特定于类的二进制线性分类器。RAC的一致性用于检测自然错误。基于RAC的组合置信度，可以提前终止分类，从而导致能量有效的检测。我们证明了我们的技术在各种图像分类数据集，如CIFAR-10，CIFAR-100和Tiny-ImageNet的有效性。
2020-02-26 cs.CV cs.LG stat.ML
FlexPooling with Simple Auxiliary Classifiers in Deep Networks
Department of Computer Vision, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE（阿联酋阿布扎比穆罕默德·本·扎耶德人工智能大学计算机视觉系）
提出FlexPooling自适应池化方法，通过学习加权平均替代标准池化，并附加简单辅助分类器，在多个图像分类数据集上提升准确率1-3%。
2026-06-16 cs.CV
Histogram of Oriented Gradients Meet Deep Learning: A Novel Multi-task Deep Network for Medical Image Semantic Segmentation
University College London（伦敦大学学院）；NAAMII；Redev Technology（Redev科技）
我们提出了一种新的用于医学图像分割的深度多任务学习方法。现有的多任务方法需要用于主要任务和辅助任务的地面实况注释。与此相反，我们建议以无监督的方式生成辅助任务的伪标签。为了生成伪标签，我们利用了方向直方图（HOG），这是最广泛使用和强大的手工检测功能之一。结合主任务的真实语义分割掩码和辅助任务的伪标签，我们学习深度网络的参数，以最大限度地减少主任务和辅助任务的损失。我们采用我们的方法在两个强大的和广泛使用的语义分割网络：UNet和U2Net训练在多任务设置。为了验证我们的假设，我们在两个不同的医学图像分割数据集上进行了实验。从大量的定量和定性结果，我们观察到，我们的方法一贯提高性能相比，对应部分的方法。此外，我们的方法是与MICCAI 2021联合举办的FetReg Endovis语义分割子挑战赛的获胜者。
2022-04-02 cs.CV eess.IV
DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
传统的半监督学习（SSL）方法由于类别不平衡和类别分布不匹配导致伪标签严重偏差，其性能与实际应用相差甚远。本文解决了这样一个相对不足的问题。首先，我们提出了一个一般的伪标签框架，类自适应地混合语义伪标签从基于相似性的分类器的线性分类器的线性，观察后，这两种类型的伪标签具有互补的属性的偏见。我们进一步引入了一种新的语义对齐损失，建立平衡的特征表示，以减少有偏见的预测分类。我们称整个框架为分布式感知面向语义（DASO）伪标签。我们在广泛的不平衡基准测试中进行了广泛的实验：CIFAR 10/100-LT，STL 10-LT和具有开集类的大规模长尾Semi-Aves，并证明，所提出的DASO框架可靠地改进了具有未标记数据的SSL学习器，特别是当（1）类不平衡和（2）分布不匹配占主导地位时。
2022-06-02 cs.AI cs.CV cs.LG
On the Limits of Multi-modal Meta-Learning with Auxiliary Task Modulation Using Conditional Batch Normalization
University of Edinburgh（爱丁堡大学）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）；Mila（米拉计算科学研究所）；McGill University（麦吉尔大学）；University of Calgary（卡尔加里大学）；CIFAR（加拿大高级研究所）
本研究探讨了一种基于条件批归一化的多模态少样本学习架构，发现桥接网络引入的额外计算和参数是改进主因，且效果无法跨基准复现，为多模态元学习提供了见解与建议。
2024-05-30 cs.AI cs.CV
PeaceGAN: A GAN-based Multi-Task Learning Method for SAR Target Image Generation with a Pose Estimator and an Auxiliary Classifier
Korea Advanced Institute of Science and Technology（韩国科学技术院）
虽然生成对抗网络（GANs）已成功应用于不同领域，但由于斑点噪声的影响，在合成孔径雷达（SAR）数据上训练GANs是一项具有挑战性的任务。一方面，从人类感知的学习角度来看，通过使用来自多个来源的各种信息来学习任务是很自然的。然而，在以往的GAN工作的SAR目标图像生成，只使用的信息，对目标的类别。由于SAR图像信号的后向散射特性，SAR目标图像的形状和结构强烈依赖于其姿态角。然而，姿态角信息还没有被纳入这样的SAR目标图像生成模型。在本文中，我们首先提出了一种新的基于GAN的多任务学习（MTL）的SAR目标图像生成方法，称为PeaceGAN，它使用的姿态角和目标类信息，这使得它可以产生所需的目标类在预期的姿态角的SAR目标图像。为此，PeaceGAN有两个额外的结构，一个姿态估计器和一个辅助分类器，在其分类器的一侧，以更有效地结合姿态和类信息。此外，PeaceGAN以端到端的方式作为MTL与姿态角和目标类别信息一起联合学习，大量实验表明，利用所提出的姿态估计器和辅助分类器的姿态角和目标类学习的优势，可以帮助PeaceGAN的生成器有效地学习SAR目标图像的分布，的MTL框架，使它可以更好地生成SAR目标图像更灵活，更忠实地在预期的姿态角为所需的目标类相比，最近的国家的最先进的方法。
2021-03-29 cs.CV eess.IV
Image Clustering using an Augmented Generative Adversarial Network and Information Maximization
University of Surrey（萨里大学）；National Physical Laboratory（国家物理实验室）
本文提出一种结合改进GAN与辅助分类器的深度聚类框架，通过Sobel操作增强特征可分离性并利用多聚类头处理不平衡数据，在CIFAR-10/100等数据集上取得优于现有方法的聚类性能。
2020-11-08 cs.CV
Canonical Polyadic Decomposition with Auxiliary Information for Brain Computer Interface
RIKEN（理化学研究所）；Singapore Institute for Neurotechnology（新加坡神经技术研究所）；National University of Singapore（新加坡国立大学）；Harbin Engineering University（哈尔滨工程大学）；Systems Research Institute, PAS（波兰科学院系统研究所）；SKOLTECH（斯科尔科沃科学技术研究院）
生理信号通常以多个维度的形式组织（例如，通道、时间、任务和3D体素），因此在处理时最好保持原始组织结构。与基于向量的方法破坏数据结构不同，典型多元分解（CPD）以多维数组的形式处理生理信号，考虑了维度之间的关系，保留了生理信号所包含的结构信息。目前，CPD被用作分类问题中的特征提取的无监督方法。之后，需要一个分类器，如支持向量机，来对这些特征进行分类。以这种方式，分类任务在两个独立的步骤中实现。我们提出了有监督的典型多元分解，通过在分解过程中直接加入辅助标签信息，可以实现分类任务，而无需额外的分类器训练步骤。该方法将分解和分类器学习融合在一起，与单独分解和分类相比，减少了分类任务的过程。为了评估所提出的方法的性能，三种不同类型的信号，合成信号，脑电信号，脑磁信号，被用来。对合成信号和实际信号的仿真结果表明，该方法是有效的。
2015-11-05 cs.CV
Minimizing the Effect of Noise and Limited Dataset Size in Image Classification Using Depth Estimation as an Auxiliary Task with Deep Multitask Learning
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）；Vector Institute（Vector研究所）
泛化能力是机器学习（ML）图像分类器的最终目标，噪声和有限的数据集大小是其中的主要关注点。我们通过利用深度多任务学习（dMTL）框架并将图像深度估计作为辅助任务来解决这些挑战。在MNIST数据集的定制和深度增强的推导中，我们表明：a）多任务损失函数是实现dMTL的最有效方法，b）有限的数据集大小主要导致分类不准确，c）深度估计主要受噪声影响。为了进一步验证结果，我们手动标记了NYU Depth V2数据集用于场景分类任务。作为对该领域的贡献，我们将python原生格式的数据作为开源数据集公开提供，并提供场景标签。我们在MNIST和NYU-Depth-V2上的实验表明，当数据集有噪声且样本数量有限时，dMTL提高了分类器的泛化能力。
2022-08-22 cs.CV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
To Balance or Not to Balance: A Simple-yet-Effective Approach for Learning with Long-Tailed Distributions
The University of Adelaide（阿德莱德大学）；University of Wollongong（卧龙岗大学）
真实世界的视觉数据通常呈现长尾分布，其中一些“头部”类具有大量样本，但只有少数样本可用于“尾部”类。这种不平衡的分布给深度神经网络的学习带来了巨大的挑战，这可以归结为一个两难的问题：一方面，我们更愿意增加尾类样本的暴露，以避免头类在分类器训练中的过度优势。另一方面，对尾类进行过采样会使网络容易过度拟合，因为头类样本通常因此代表性不足。为了解决这个难题，在本文中，我们提出了一个简单而有效的辅助学习方法。其核心思想是将网络分为分类器部分和特征提取器部分，然后对每个部分采用不同的训练策略。具体而言，为了提高尾类的意识，类平衡的采样方案用于训练分类器和特征提取器。对于特征提取器，我们还引入了一个辅助训练任务，即在规则随机抽样方案下训练分类器。以这种方式，特征提取器从两种采样策略联合训练，因此可以利用所有训练数据并避免过拟合问题。除了这个基本的辅助任务，我们进一步探索使用自监督学习作为辅助任务的好处。在不使用任何花哨的东西的情况下，我们的模型实现了优于最先进的解决方案的性能。
2020-03-10 cs.CV
MaskSAM: Towards Auto-prompt SAM with Mask Classification for Volumetric Medical Image Segmentation
Illinois Institute of Technology（伊利诺伊理工学院）；Peking University（北京大学）；University of Illinois Chicago（芝加哥伊利诺伊大学）；University of Michigan（密歇根大学）
针对SAM直接用于医学图像分割存在的语义标签预测缺失、需额外提示、性能不佳问题，提出无提示的MaskSAM框架，通过提示生成器、分类器token及3D适配器微调SAM，在多个数据集上超越nnUNet，实现SOTA性能。
2025-03-22 cs.CV
Expanding the Role of Diffusion Models for Robust Classifier Training
National Taiwan University（国立台湾大学）
本研究通过扩展扩散模型在对抗训练中的作用，发现其内部表示能提升鲁棒分类器的训练效果，并验证了扩散表示与合成数据的互补作用。
2026-02-23 cs.CV cs.LG
Learning Target-oriented Dual Attention for Robust RGB-T Tracking
Anhui University（安徽大学）
RGB-热目标跟踪尝试使用互补的视觉和热红外数据来定位目标对象。现有的RGB-T跟踪器通过鲁棒的特征表示学习或自适应模态加权来融合不同的模态。然而，如何整合双注意力机制来进行视觉跟踪，仍是一个尚未被研究的课题。在本文中，我们提出了两个视觉注意力机制鲁棒RGB-T目标跟踪。具体而言，通过利用RGB和热数据的共同视觉注意来训练深度分类器来实现局部注意。我们还介绍了全局注意力，这是一个多模态目标驱动的注意力估计网络。它可以为分类器提供全局建议以及从先前跟踪结果中提取的局部建议。在两个RGB-T基准数据集上的实验验证了该算法的有效性。
2019-08-12 cs.CV
Learning Debiased Classifier with Biased Committee
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
针对神经网络易受训练数据虚假相关性影响而泛化能力差的问题，提出无需虚假属性标签的去偏分类器训练方法，通过有偏分类器委员会识别加权偏置冲突数据并结合主分类器知识迁移，在五个数据集上性能优于同类无标签方法，部分超过有偏置标签的方法。
2023-05-01 cs.CV cs.LG
More than just an auxiliary loss: Anti-spoofing Backbone Training via Adversarial Pseudo-depth Generation
University of Toronto（多伦多大学）；Naver Corp.（Naver公司）
本文提出了一种新的训练流水线的方法，在RGB图像的反欺骗任务中取得了显著的效果。我们探索并强调了使用伪深度来预训练网络的影响，该网络将用作最终分类器的骨干。虽然将伪深度用于反欺骗任务本身并不是一个新的想法，但以前的努力只是利用伪深度作为另一种介质来提取用于执行预测的特征，或者作为辅助训练主分类器的许多辅助损失的一部分，将伪深度的重要性标准化为另一种语义信息。通过这项工作，我们认为，在训练最终的分类器可以获得一个显着的优势，通过预训练的生成器学习预测相应的伪深度的给定的面部图像，从生成对抗网络框架。我们的实验结果表明，我们的方法产生了一个适应性更强的系统，它可以泛化到数据集内样本之外，但也可以泛化到数据集间样本，这是在训练过程中从未见过的。定量地说，我们的方法接近当前最先进的反欺骗模型的基线性能，使用的参数少15.8倍。此外，实验表明，所介绍的方法表现良好，只使用基本的二进制标签没有额外的语义信息，这表明这项工作在工业和应用为基础的环境中，额外的标签和资源之间的权衡被认为是潜在的好处。
2021-03-19 cs.AI cs.CV
HOpenCls: Training Hyperspectral Image Open-Set Classifiers in Their Living Environments
Wuhan University（武汉大学）；Stanford University（斯坦福大学）
针对现有高光谱图像开集分类依赖可分性强、标注成本高的辅助未知类数据的问题，提出HOpenCls框架，将无标注野生数据的开集分类转化为PU学习问题，通过多标签策略和梯度收缩扩张模块求解，显著提升真实场景分类性能。
2025-02-21 cs.CV
An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation
Sun Yat-sen University（中山大学）；Tencent YouTu Lab（腾讯优图实验室）；University of Oxford（牛津大学）；DarkMatter AI Research
我们专注于无监督领域自适应（UDA）的语义分割的任务。最近，对抗对齐已被广泛采用，以匹配跨两个域的特征表示的边缘分布全局。然而，这种策略未能适应表示的尾部类或小对象的语义分割，因为对齐目标是由头部类别或大对象占主导地位。相反，对抗对齐，我们建议明确训练域不变的分类器生成和防御逐点特征空间对抗扰动。具体来说，我们首先用几个攻击目标扰动中间特征图（即，分类器和分类器），然后训练分类器使其对扰动不变。通过单独扰动每个位置，我们的模型均匀地处理每个位置，而不管类别或对象大小，从而避免了上述问题。此外，域间隙在特征空间中的减少外推源和目标扰动的功能对对方的攻击域的干扰。我们的方法在两个具有挑战性的语义分割领域自适应任务上实现了最先进的性能：GTA 5-> Cityscapes和SYNTHIA -> Cityscapes。
2019-12-18 cs.CV
ZeroPur: Succinct Training-Free Adversarial Purification
Chongqing University of Posts and Telecommunications（重庆邮电大学）；University of Nebraska Lincoln（内布拉斯加大学林肯分校）
ZeroPur是一种无训练的对抗净化方法，通过引导偏移和自适应投影将对抗图像投影到自然图像流形，在CIFAR-10等数据集上达到最先进鲁棒性能，无需依赖外部模型或再训练。
2026-08-12 cs.CR cs.CV
DMM: Disparity-guided Multispectral Mamba for Oriented Object Detection in Remote Sensing
University of Electronic Science and Technology of China（电子科技大学）；Beijing Institute of Space Mechanics and Electricity（北京空间机电研究所）；Donghai Laboratory（东海实验室）
针对多光谱定向目标检测的模态间与模态内差异问题，提出由DCFM、MTA模块和TPA辅助任务构成的DMM框架，在两个数据集上性能优于现有最优方法且保持计算效率。
2024-07-11 cs.CV
Oriented Edge Forests for Boundary Detection
University of California, Irvine（加州大学欧文分校）
我们提出了一个简单，有效的学习边界检测模型的基础上的随机森林分类。我们的方法结合了（1）有效的聚类的训练样本的基础上简单的分区的空间的局部边缘方向和（2）规模依赖校准的个别树输出概率之前，多尺度组合。由此产生的模型优于具有挑战性的BSDS500边界检测基准公布的结果。此外，在大型数据集上，我们的模型需要更少的内存来进行训练，并且与结构化森林模型相比，训练时间加快了10倍。
2015-06-28 cs.CV
