Free Performance Gain from Mixing Multiple Partially Labeled Samples in Multi-label Image Classification
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）
针对多标签部分标注数据，提出LogicMix方法，通过逻辑或混合多个样本标签，实现即插即用的数据增强，显著提升模型性能并达到多个基准数据集的最优结果。
2024-05-24 cs.AI cs.CV
MixerCA: An Efficient and Accurate Model for High-Performance Hyperspectral Image Classification
College of Engineering and IT, University of Dubai（迪拜大学工程学院）；Department of Geography, Simon Fraser University（西蒙弗雷泽大学地理系）
本文提出MixerCA模型，通过深度卷积和自注意力机制实现高效超分辨率图像分类，实验显示其在多个数据集上优于传统和深度学习方法。
2026-04-28 cs.CV
MiAMix: Enhancing Image Classification through a Multi-stage Augmented Mixed Sample Data Augmentation Method
Google Inc.（谷歌公司）；Stanford University（斯坦福大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出 MiAMix 多阶段增强 mixup 方法，通过集成图像增强、并发使用多种混合方式并随机选择掩码增强，在四个图像基准上以较低计算开销提升分类性能。
2023-08-15 cs.AI cs.CV cs.LG
MoireMix: A Formula-Based Data Augmentation for Improving Image Classification Robustness
National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所）；Tokyo Denki University（东京电机大学）；Waseda University（早稻田大学）；Fundamental AI Lab, University of Technology Nuremberg（纽伦堡工业大学基础人工智能实验室）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
本文提出基于分析干涉模式的轻量数据增强方法，通过生成覆盖广泛空间频率的结构扰动，提升图像分类鲁棒性，优于传统增强方法。
2026-03-26 cs.AI cs.CV
Semantic-Guided Fusion Network for Multi-Source Remote Sensing Image Classification
Ocean University of China（中国海洋大学）；Mississippi State University（密西西比州立大学）
针对多源遥感图像分类中语义建模不足和空间错位导致的融合不可靠问题，提出SGFNet，通过SMCB动态生成语义卷积核和FMFB频域交互，在Augsburg和Houston 2018数据集上优于现有方法。
2026-09-24 cs.CV eess.IV
SynerMix: Synergistic Mixup Solution for Enhanced Intra-Class Cohesion and Inter-Class Separability in Image Classification
School of IoT Engineering, Wuxi Institute of Technology（无锡职业技术学院物联网工程学院）
针对现有 Mixup 方法忽视类内混合及类内凝聚力不足的问题，提出协同 Mixup 方案 SynerMix，结合类内混合与现有类间混合方法，在六个数据集上显著提升了图像分类的类内凝聚力与类间可分性。
2024-03-24 cs.CV cs.LG
Consistent Posterior Distributions under Vessel-Mixing: A Regularization for Cross-Domain Retinal Artery/Vein Classification
School of Informatics, Xiamen University（厦门大学信息学院）
视网膜动脉/静脉（A/V）分级是诊断糖尿病和心血管疾病的关键技术。虽然基于深度学习的方法在A/V分类中取得了令人印象深刻的结果，但由于域转移，它们的性能在直接应用于另一个数据库时通常会严重下降，例如，这是由成像协议的变化引起的。在本文中，我们提出了一种新的基于血管混合的一致性正则化框架，用于视网膜A/V分类中的跨域学习。特别地，为了减轻对源域的严重偏差，基于标签平滑先验，该模型被正则化，以给出在扰动下的未标记的目标域输入的一致预测。这种一致性正则化隐含地引入了一种机制，其中模型和扰动彼此对立，其中模型被推到足够鲁棒以应对扰动。因此，我们研究了一个更困难的对手，以进一步激发模型的鲁棒性，在视网膜A/V的情况下，称为血管混合扰动。特别是，它有效地干扰眼底图像，特别是血管结构，通过区域混合两个图像。我们使用不同机构和成像设备收集的四个公共数据集对跨域A/V分类进行了广泛的实验。实验结果表明，该方法在跨域学习方面达到了最佳性能，并且接近目标域上的全监督学习的上界。
2021-06-18 cs.CV
SceneMixer: Exploring Convolutional Mixing Networks for Remote Sensing Scene Classification
College of Engineering（工程学院）；University of Dubai（迪拜大学）；Department of Geography（地理系）；Simon Fraser University（西蒙弗雷泽大学）；Department of Computer Science（计算机科学系）；Tezpur University（泰朱普大学）
SceneMixer通过卷积混合网络提升遥感场景分类的准确性和效率。
2025-12-07 cs.CV
Project and Mix: Task-Semantic Prototypes for Few-Shot Image Classification
Department of Computer Science, Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学计算机科学系）；Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心）；Media Integration and Communication Center, University of Florence, Italy（佛罗伦萨大学媒体整合与传播中心）；Bernoulli Institute, University of Groningen, the Netherlands（格罗宁根大学伯努利学院）；IDEAS Research Institute, Poland（波兰IDEAS研究所）；ESAT-PSI, KU Leuven, Belgium（比利时KU莱顿大学ESAT-PSI）
本文研究了直接混合图像与文本原型对少样本分类的影响，提出通过投影获取语义对齐的图像子空间，结合文本嵌入和图像特定LDA分类器提升性能。
2026-10-01 cs.CV
PCIM: Learning Pixel Attributions via Pixel-wise Channel Isolation Mixing in High Content Imaging
Genedata AG（基因数据公司）
PCIM通过像素级通道隔离混合方法，无需内部网络状态或梯度，生成像素属性图，提升高内容成像中的模型保真度和定位能力。
2024-12-03 cs.CV
SuperMix: Supervising the Mixing Data Augmentation
West Virginia University（西弗吉尼亚大学）
本文提出了一种有监督的混合增强方法SuperMix，它利用输入图像中的显著区域来构造混合训练样本。SuperMix旨在获得具有丰富视觉特征并符合真实图像先验的混合图像。为了提高算法的效率，我们开发了一个变种的牛顿迭代法，$65\times$快于梯度下降在这个问题上。我们通过对对象分类和知识蒸馏两项任务的广泛评估和消融研究来验证SuperMix的有效性。在分类任务上，SuperMix提供了与高级增强方法（如AutoAugment和RandAugment）相当的性能。特别是，将SuperMix与RandAugment相结合，在ImageNet与ResNet 50上实现了78.2\%的top-1准确率。在蒸馏任务中，仅使用教师的知识对混合图像进行分类，可以实现与最先进的蒸馏方法相当的性能。此外，平均而言，将混合图像合并到蒸馏目标中，在CIFAR-100和ImageNet上的性能分别提高了3.4%和3.1%。{ \it代码可在https：//github.com/alldbi/SuperMix获得}。
2021-12-10 cs.CV
Observations on K-image Expansion of Image-Mixing Augmentation for Classification
Seoul National University（首尔国立大学）；Chung-Ang University（中央大学）；NAVER Clova
图像混合增强（例如，Mixup和CutMix），通常涉及混合两个图像，已经成为图像分类的事实上的训练技术。尽管它们在图像分类中取得了巨大的成功，但在文献中尚未阐明要混合的图像的数量：只有朴素的K图像扩展已被证明会导致性能下降。基于Dirichlet先验分布下的棒断裂过程，提出了一种新的K图像混合增强方法。通过大量的实验和分析，我们证明了我们的K图像扩展增强比传统的两图像混合增强方法的优越性：（1）更鲁棒和广义的分类器;（2）更理想的损失景观形状;（3）更好的对抗鲁棒性。此外，我们还证明了我们的概率模型可以测量样本的不确定性，并通过将搜索时间减少7倍来提高网络架构搜索的效率。代码将在https://github.com/yjyoo3312/DCutMix-PyTorch.git上提供。
2023-03-17 cs.CV cs.LG
Disentangling Factors of Variation by Mixing Them
University of Bern, Switzerland（瑞士伯尔尼大学）；University of Maryland, USA（美国马里兰大学）
我们提出了一种方法来学习图像表示，包括解开的变化因素，而不利用任何手动标记或数据域知识。变化因子对应于可以在一组图像上一致地辨别的图像属性，诸如对象的姿势或颜色。我们的解纠缠表示由一系列特征块组成，每个特征块代表一个变化因子。它支持的应用程序，如属性从一个图像到另一个，通过简单的混合和unmixing功能块，和分类或检索的基础上的一个或多个属性，通过考虑用户指定的特征块的子集。我们学习我们的表示没有任何标签或知识的数据域，使用自动编码器架构与两个新的训练目标：首先，我们提出了一个不变性的目标，鼓励每个属性的编码，每个块的解码，是不变的变化，在其他属性和块，分别;第二，我们包括一个分类目标，它确保每个块对应于所表示的图像中的一致可辨别的属性，因此避免了完全忽略某些块的退化特征映射。我们证明了我们的方法在MNIST，Sprites和CelebA数据集上的有效性。
2018-03-28 cs.CV
MM-Mixing: Multi-Modal Mixing Alignment for 3D Understanding
The Chinese University of Hong Kong（香港中文大学）；Central South Unversity（中南大学）；Zhejiang Lab（之江实验室）
本研究提出多模态混合对齐框架MM-Mixing，通过两阶段混合训练优化3D编码器，在多个3D理解任务上显著提升性能，且易于集成到现有框架。
2024-08-19 cs.AI cs.CV
PreMix: Label-Efficient Multiple Instance Learning via Non-Contrastive Pre-training and Feature Mixing
Graduate School of Data Science, KAIST（数据科学研究生院，韩国科学技术院）；Department of Industrial and Systems Engineering, KAIST（工业与系统工程系，韩国科学技术院）
本文提出PreMix框架，结合Barlow Twins非对比预训练、Slide Mixing及Mixup增强，以提升有限标注WSI下的MIL分类性能，并在HIPT上实现平均F1提升4.7%。
2025-07-24 cs.CV
Cross-Dataset Generalization in Breast MRI Tumor Classification via Class-Wise Dataset Mixing
研究乳腺MRI肿瘤分类中深度学习模型因域转移和数据集来源偏差而跨机构失败的问题，通过构建类级混合训练集控制偏差，显著提升了WaveViT - Small和EfficientNet - B3在MAMA - MIA上的分类准确率和F1值。
2026-07-22 cs.CV cs.LG
Dataset Augmentation by Mixing Visual Concepts
Georgia State University（佐治亚州立大学）
本文提出 Mixing Visual Concepts (MVC) 数据集增强方法，通过微调预训练扩散模型并利用真实图像和新颖文本嵌入作为条件，生成多样且与真实数据相似的图像，有效减少领域差异，在基准分类任务上优于现有增强技术。
2024-12-19 cs.CV
MixFormer: Mixing Features across Windows and Dimensions
Baidu VIS（百度视觉技术部）；NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
虽然局部窗口自我注意在视觉任务中表现突出，但它存在感受野有限和建模能力弱的问题。这主要是因为它在非重叠窗口内执行自注意，并在通道维度上共享权重。我们提出MixFormer来寻找解决方案。首先，我们将局部窗口自注意与深度卷积结合在一起，模拟跨窗口连接以扩大感受野。其次，我们提出了跨分支的双向互动，以提供渠道和空间维度的互补线索。这两种设计被集成以实现窗口和维度之间的有效特征混合。我们的MixFormer在使用EfficientNet进行图像分类时提供了有竞争力的结果，并且显示出比RegNet和Swin Transformer更好的结果。在MS COCO、ADE 20k和LVIS上的5个密集预测任务中，下游任务的性能显著优于其替代方案，计算成本更低。代码可在\url{https://github.com/PaddlePaddle/PaddleClas}上获得。
2022-04-12 cs.CV
ResizeMix: Mixing Data with Preserved Object Information and True Labels
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
数据增强是一种增加数据多样性的有力技术，可以有效地提高神经网络在图像识别任务中的泛化能力。最近基于数据混合的增强策略已经取得了巨大的成功。特别是，CutMix使用一种简单但有效的方法来改进分类器，即从一张图像中随机裁剪一个补丁并将其粘贴到另一张图像上。为了进一步提升CutMix的性能，一系列的工作探索使用图像的显著性信息来指导混合。我们系统地研究了显著性信息对混合数据的重要性，发现显著性信息对增强性能的提高并不是那么必要。此外，我们发现基于切割的数据混合方法带来了标签分配错误和对象信息丢失两个问题，这两个问题不能同时解决。我们提出了一种更有效但更容易实现的方法，即ResizeMix。我们通过直接将源图像粘贴到一个小补丁上并将其粘贴到另一个图像上来混合数据。与传统的基于切割的方法相比，所得到的面片保留了更多的物体信息。ResizeMix在图像分类和目标检测任务上都表现出明显优于CutMix和显著性引导方法的优势，而无需额外的计算成本，甚至优于大多数基于搜索的自动增强方法。
2020-12-21 cs.CV
Improving CNN Training using Disentanglement for Liver Lesion Classification in CT
Tel Aviv University（特拉维夫大学）；Technion - Israel Institute of Technology（以色列理工学院）
训练数据是设计医学图像分析算法的关键组成部分，在许多情况下，它是实现良好结果的主要瓶颈。图像生成的最新进展已经使得能够使用合成数据来训练基于神经网络的解决方案。生成新样本的一个关键因素是控制重要的外观特征，并有可能生成具有不同变体的特定类别的新样本。在这项工作中，我们建议的合成新的数据混合类指定和未指定的表示不同的因素在训练数据。我们对CT中肝脏病变分类的实验显示，与基线训练方案相比，准确率平均提高了7.4%。
2018-11-01 cs.CV
Unmixing Convolutional Features for Crisp Edge Detection
Wuhan University（武汉大学）；RIKEN Center（理化学研究所中心）
基于卷积神经网络的混合现象（边缘分类中的特征混合和融合边预测中的边混合），提出了一种基于上下文感知的深边缘检测器的清晰边缘检测跟踪策略（CATS）. CATS由两个模块组成：一个新的跟踪损失，通过跟踪边界进行特征解混，以获得更好的侧边学习，以及一个上下文感知的融合块，通过聚合学习到的侧边的互补优点来处理侧边混合。实验表明，所提出的CATS可以集成到现代深边缘检测器，以提高定位精度。使用vanilla VGG 16主干，就BSDS 500数据集而言，我们的CATS在不使用形态学非最大抑制方案进行边缘检测的情况下进行评估时，将RCF和BDCN深边缘检测器的F-度量（ODS）分别提高了12%和6%。
2021-06-29 cs.CV
Adversarial AutoMixup
Chongqing Technology and Business University（重庆工商大学）；Telecom SudParis, Institut Polytechnique de Paris（巴黎综合理工大学电信高等学院）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对 AutoMix 因生成器与分类器目标一致而产生同质混合样本并导致过拟合的问题，本文提出对抗式 AdAutomixup，通过交替优化、EMA 教师和余弦相似度生成困难样本，在七个图像基准上取得最优分类性能。
2024-03-01 cs.CV
Shaken or Stirred? An Analysis of MetaFormer's Token Mixing for Medical Imaging
Institute of Medical Informatics, University of Lübeck（吕贝克大学医学信息学研究所）；Institute of Medical Systems Biology, Ulm University（乌尔姆大学医学系统生物学研究所）
本文首次系统研究了MetaFormer在医学影像中的token混合方法，分析了不同混合器在图像分类和语义分割中的表现，发现低复杂度混合器在分类中有效，而卷积混合器在分割中表现更优。
2026-04-24 cs.CV
Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data
Queensland Brain Institute, The University of Queensland（昆士兰脑研究所，昆士兰大学）；School of Information Technology and Electrical Engineering, The University of Queensland（信息技术与电气工程学院，昆士兰大学）
针对阿尔茨海默病分类中多模态数据缺失导致数据利用率低、模型性能受限的问题，提出带交叉注意力与模态丢弃机制的3MT模型，可处理任意数量模态与缺失数据，在ADNI、AIBL数据集上取得优异表现。
2023-07-16 cs.CV eess.IV
Semi-supervised Medical Image Classification with Global Latent Mixing
Rochester Institute of Technology（罗切斯特理工学院）
通过深度学习进行的计算机辅助诊断依赖于大规模的注释数据集，当涉及专家知识时，这可能是昂贵的。半监督学习（SSL）通过利用未标记的数据来缓解这一挑战。一种有效的SSL方法是通过单个数据点周围的扰动来正则化神经函数的局部光滑性。在这项工作中，我们认为，通过填充数据点之间的空隙来正则化神经函数的全局光滑性可以进一步提高SSL。我们提出了一种新的SSL方法，训练神经网络的线性混合的标记和未标记的数据，在输入和潜在的空间，以正则化网络的不同部分。我们评估了两个不同的医学图像数据集的胸部疾病和皮肤病变的半监督分类模型，证明其改进的性能SSL与局部扰动和SSL与全球混合，但在输入空间。我们的代码可在https://github.com/Prasanna1991/LatentMixing上获得。
2020-05-22 cs.CV cs.LG eess.IV
Feature Mixing Approach for Detecting Intraoperative Adverse Events in Laparoscopic Roux-en-Y Gastric Bypass Surgery
ICube UMR7357 CNRS INSERM University of Strasbourg France（法国斯特拉斯堡大学ICube研究所）；University Digestive Health Care Center, Clarunis, Basel, Switzerland（瑞士巴塞尔大学消化健康中心）；Dept. of Biomedical Engineering, University of Basel, Switzerland（瑞士巴塞尔大学生物医学工程系）；IHU Strasbourg France（法国斯特拉斯堡IHU）
针对腹腔镜胃旁路手术中罕见术中不良事件检测的数据不平衡问题，提出基于Beta分布混合与生成建模的BetaMixer模型，在扩展数据集上实现高召回率与精确度。
2025-04-23 cs.CV
NoiseCutMix: A Novel Data Augmentation Approach by Mixing Estimated Noise in Diffusion Models
Kyushu University（九州大学）
本研究提出NoiseCutMix数据增强方法，将CutMix概念引入扩散模型，通过混合两类估计噪声生成自然的高分辨率融合特征图像，实验验证其效果优于传统多类增强及Stable Diffusion随机生成等方法。
2025-08-30 cs.CV
CycleMix: Mixing Source Domains for Domain Generalization in Style-Dependent Data
Harokopio University（哈罗科普大学）
本文提出CycleMix方法，通过训练CycleGAN学习并随机混合训练数据中的不同图像风格生成新样本，从而训练出忽略风格特征、基于风格不变表示推断的鲁棒特征提取器，有效缓解图像分类中的领域泛化问题。
2024-07-24 cs.CV
PointPatchMix: Point Cloud Mixing with Patch Scoring
Central South University（中南大学）；Zhejiang Lab（之江实验室）
数据增强是一种有效的正则化策略，用于减轻深度神经网络中的过拟合，它在点云数据相对有限的3D视觉任务中起着至关重要的作用。虽然基于混合的增强已经显示出点云的前景，但以前的方法在块级或点级上混合点云，这限制了它们在生成不同训练样本和保留点云局部特征之间取得平衡的能力。此外，没有充分考虑点云的每个部分的不同重要性，导致并非所有部分对分类任务的贡献相等，并且某些部分可能包含不重要或冗余的信息。为了克服这些挑战，我们提出了PointPatchMix，一种新的方法，混合点云在补丁级别，并集成了补丁评分模块，以生成基于内容的混合点云的目标。我们的方法在补丁级别保留了本地特征，而补丁评分模块根据来自预训练教师模型的基于内容的重要性分数分配目标。我们在两个基准数据集，ModelNet 40和ScanObjectNN上评估PointPatchMix，并在合成和真实世界的数据集以及Few-Shot设置中展示了各种基线的显着改进。以Point-MAE为基线，我们的模型大大超过了以前的方法，在ScanObjectNN上达到了86.3%的准确率，在ModelNet 40上达到了94.1%的准确率。此外，我们的方法在多个架构中表现出很强的泛化能力，并增强了基线模型的鲁棒性。
2023-03-12 cs.CV
GradMix for nuclei segmentation and classification in imbalanced pathology image datasets
Sejong University（世宗大学）；Kangbuk Samsung Hospital（江北三星医院）；Sungkyunkwan University School of Medicine（成均馆大学医学院）；Korea University（高丽大学）
细胞核的自动分割和分类是数字病理学中的一项重要任务。目前基于深度学习的方法需要病理学家提供大量注释数据集。然而，现有的数据集一般在不同类型的核之间是不平衡的，从而导致显著的性能下降。在本文中，我们提出了一种简单但有效的数据增强技术，称为GradMix，是专门为细胞核分割和分类设计的。GradMix采用一对主要类核和一个稀有类核，创建一个自定义的混合掩码，并使用掩码将它们组合起来生成一个新的稀有类核。由于它结合了两个核，GradMix通过使用自定义的混合遮罩来考虑核和相邻环境。这使我们能够在不同的环境中生成真实的稀有类原子核。我们使用了两个数据集来评估GradMix的有效性。实验结果表明，GradMix是能够提高不平衡的病理图像数据集的细胞核分割和分类的性能。
2022-10-24 cs.CV eess.IV
MedDiffuseMix: Preserving Diagnostic Evidence with Saliency-Aware Diffusion Medical Image Data Augmentation
提出MedDiffuseMix框架，利用分类器显著性图引导扩散混合，主要增强低显著性背景区域，保留诊断关键区域，在四个医学图像数据集上提升分类性能。
2026-07-16 cs.AI cs.CV
An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks
Biometrics Research Laboratories, NEC（NEC生物识别研究实验室）
众所周知，生成对抗网络（GANs）的训练需要大量的迭代，然后生成器才能提供高质量的样本。虽然有一些研究来解决这个问题，但仍然没有普遍的解决方案。在本文中，我们研究了样本混合方法的效果，即混合，剪切混合，和新提出的平滑区域混合（SRMix），以减轻这个问题。众所周知，样本混合方法可以提高各种分类问题的准确性和鲁棒性，并且可以自然地应用于GANs，因为样本混合器的作用可以被解释为真实样本和虚假样本之间的分类。我们还提出了一种新的形式主义，将样本混合方法应用于具有饱和损耗的GANs，这些GANs没有明确的真假“标签”。我们使用LSUN和CelebA数据集进行了大量的数值实验。结果表明，在大多数情况下，Mixup和SRMix在FID方面提高了生成图像的质量，特别是SRMix在大多数情况下表现出最好的改善。我们的分析表明，混合样本可以提供不同的属性从香草假样本，和混合模式强烈影响的判别器的决定。Mixup生成的图像具有良好的高层特征，但低层特征不太令人印象深刻。另一方面，CutMix表现出相反的趋势。我们的SRMix表现出中间趋势，即表现出良好的高和低水平特征。我们相信我们的发现为加速GANs收敛和提高生成样本的质量提供了一个新的视角。
2021-04-08 cs.CV cs.LG
Informed Mixing -- Improving Open Set Recognition via Attribution-based Augmentation
Mannheim University（曼海姆大学）
针对开集识别中从现有数据学习未见类别相关特征的难题，提出基于梯度归因图的动态数据增强方法GradMix，在多任务上性能优于现有最优水平，还可提升模型鲁棒性与泛化能力。
2025-05-19 cs.CV cs.LG
TransformMix: Learning Transformation and Mixing Strategies from Data
Hong Kong University of Science and Technology（香港科技大学）
针对现有样本混合增强方法盲目混合图像、难以适应不同数据集的问题，提出TransformMix，从数据中自动学习变换与混合策略，生成包含正确关键信息的混合图像，在多个任务和数据集上优于强基线。
2024-03-19 cs.CV cs.LG
AutoMix: Unveiling the Power of Mixup for Stronger Classifiers
Zhejiang University（浙江大学）；Westlake University（西湖大学）
数据混合增强已被证明在提高深度神经网络的泛化能力方面是有效的。虽然早期的方法通过手工制作的策略（例如，线性插值），最近的方法利用显著性信息来经由复杂的离线优化来匹配混合样本和标签。然而，在精确的混合策略和优化复杂度之间出现了权衡。为了解决这一挑战，我们提出了一种新的自动混合（AutoMix）框架，其中的混合政策是参数化的，并直接服务于最终的分类目标。具体来说，AutoMix将混淆分类重新制定为两个子任务（即，混合样本生成和混合分类）与相应的子网络，并在双层优化框架中求解它们。对于生成，一个可学习的轻量级混合生成器，混合块，旨在通过在相应的混合标签的直接监督下对分片关系进行建模来生成混合样本。为了防止二级优化的退化和不稳定，我们进一步引入动量管道以端到端的方式训练AutoMix。在九个图像基准上进行的大量实验证明了AutoMix在各种分类场景和下游任务中与最先进技术相比的优越性。
2022-09-21 cs.AI cs.CV
MRL: Learning to Mix with Attention and Convolutions
Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个新的神经架构块的视觉域，名为混合区域和本地（MRL），开发的目的是有效地和高效地混合提供的输入功能。我们将输入特征混合任务分为区域和局部混合。为了实现有效的混合，我们利用自注意力提供的全域感受野进行区域尺度混合，并将卷积核限制在局部尺度进行局部尺度混合。更具体地说，我们提出的方法混合了与定义区域内的局部特征相关联的区域特征，然后是由区域特征增强的局部尺度特征混合。实验表明，这种自我注意和卷积的混合带来了改进的能力，泛化（右归纳偏差）和效率。在类似的网络设置下，MRL在分类、目标检测和分割任务方面优于或与同类产品相当。我们还表明，我们基于MRL的网络架构实现了H&E组织学数据集的最先进性能。我们分别为Kumar、CoNSep和CPM-17数据集实现了0.843、0.855和0.892的DICE，同时突出了MRL框架通过合并群卷积等层来改善特定于
2022-08-30 cs.CV cs.LG
Quantum-Grassmann-Plucker Token Mixing for Deep Learning-Based Post-Disaster Damage Assessment
Centre for Urban Resilience and Analytics (CURA), Georgia Institute of Technology (Georgia Tech)（佐治亚理工学院城市韧性与分析中心（CURA））；University of Exeter（埃克塞特大学）；University College London (UCL)（伦敦大学学院（UCL））
本研究首次将格拉斯曼-普吕克令牌混合应用于计算机视觉，提出QGP与HQML-GP两种头模型，在xBD龙卷风数据集的见/未见事件测试中，QGP均取得最优分类性能，为灾后损毁评估提供了无注意力的替代方案。
2026-09-01 cs.CV cs.LG
Semi-supervised learning for medical image classification using imbalanced training data
La Trobe University（拉筹伯大学）
医学图像分类通常具有挑战性，原因有两个：由于昂贵且耗时的注释协议而缺乏标记的示例，以及由于更广泛人群中疾病阳性个体的相对稀缺而导致的不平衡的类别标签。半监督学习（SSL）方法存在用于处理标签的缺乏，但是它们通常不解决类不平衡的问题。在这项研究中，我们提出了自适应混合一致性损失（ABCL），在扰动为基础的SSL方法的一致性损失的下降替代。ABCL抵消数据倾斜，根据类频率自适应混合的目标类分布的一致性损失。我们的实验与ABCL揭示了改进未加权平均召回两个不同的不平衡的医学图像分类数据集相比，现有的一致性损失，不是为了抵消类的不平衡。
2021-08-20 cs.CV cs.LG
Decoupled Data Augmentation for Improving Image Classification
Tencent Youtu Lab（腾讯优图实验室）；East China University of Science and Technology（华东理工大学）
针对图像分类中数据增强的保真度-多样性困境，提出解耦数据增强（De-DA），将图像分为类别相关与无关部分分别处理，兼顾语义一致性与多样性，实验验证有效。
2024-10-29 cs.AI cs.CV
Hard Negative Mixing for Contrastive Learning
NAVER LABS Europe（NAVER LABS欧洲）
对比学习已成为计算机视觉的自监督学习方法的关键组成部分。通过学习将同一图像的两个增强版本彼此靠近地嵌入，并将不同图像的嵌入分开，可以训练高度可转移的视觉表示。正如最近的研究所揭示的那样，大量的数据增强和大量的否定集在学习这种表示时都是至关重要的。与此同时，在图像或特征级别的数据混合策略通过合成新的示例来改善监督和半监督学习，迫使网络学习更鲁棒的特征。在本文中，我们认为，对比学习的一个重要方面，即，硬底片的影响，迄今为止一直被忽视。为了获得更有意义的负样本，当前的顶级对比自监督学习方法要么大幅增加批量大小，要么保持非常大的存储体;然而，增加存储体大小会导致性能方面的收益递减。因此，我们首先深入研究一个表现最好的框架，并证明需要更难的否定来促进更好更快的学习。基于这些观察结果，并受到数据混合成功的激励，我们提出了在特征级别的硬负混合策略，可以以最小的计算开销实时计算。我们详尽地消融我们的线性分类，目标检测和实例分割的方法，并表明，采用我们的硬负混合过程提高了质量的视觉表示学习的最先进的自监督学习方法。
2020-12-04 cs.CV cs.LG
Mix and Reason: Reasoning over Semantic Topology with Data Mixing for Domain Generalization
The University of Hong Kong（香港大学）；Xiamen University（厦门大学）；Deepwise AI Lab（深睿智慧人工智能实验室）
领域泛化（DG）使得能够将学习机从多个可见的源域泛化到不可见的目标域。DG方法的总体目标是学习独立于域标签的语义表示，这在理论上是合理的，但由于常见因素和域特定因素的复杂混合，在经验上受到挑战。虽然将表示分解为两个不相交的部分在DG中已经获得了动力，但对数据的强烈假设限制了其在许多现实世界场景中的功效。在本文中，我们提出了混合和原因（\mire），一个新的DG框架，学习语义表示，通过强制执行的结构不变性的语义拓扑结构。\mire \由两个关键组件组成，即类别感知数据混合（CDM）和自适应语义拓扑细化（ASTR）。CDM利用两个互补分类损失产生的激活图混合两个不同领域的图像，使分类器专注于语义对象的表示。ASTR引入关系图来表示语义拓扑，通过局部特征聚合和全局跨域关系推理之间的交互来逐步细化语义拓扑。在多个DG基准上的实验验证了所提出的\mire的有效性和鲁棒性。
2022-10-14 cs.CV cs.LG
Beyond One-Hot Labels: Semantic Mixing for Model Calibration
University of Sydney（悉尼大学）
本文提出校准感知语义混合（CSM）框架，利用扩散模型生成混合类别样本并标注置信度分数，通过校准重标注和适配损失函数，实现优于现有方法的模型校准。
2025-05-26 cs.AI cs.CV
MixMo: Mixing Multiple Inputs for Multiple Outputs via Deep Subnetworks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机科学实验室）；Thales（泰雷兹集团）
最近的策略实现了集成“免费”，同时适合不同的子网内的一个单一的基础网络。训练过程中的主要思想是每个子网络只学习对同时提供的多个输入中的一个进行分类。然而，如何最好地混合这些多个输入的问题还没有研究到目前为止。在本文中，我们介绍了MixMo，这是一种用于学习多输入多输出深度子网络的新的通用框架。我们的主要动机是用一个更合适的混合机制来取代隐藏在以前方法中的次优求和操作。为此，我们从成功的混合样本数据增强中得到启示。我们表明，二进制混合的功能-特别是与矩形补丁从CutMix -增强结果，使子网络更强大，更多样化。我们改进了CIFAR-100和Tiny ImageNet数据集上图像分类的最新技术。我们易于实现的模型明显优于数据增强的深度集成，没有推理和内存开销。当我们操作功能并更好地利用大型网络的表现力时，我们开启了一系列新的研究来补充之前的工作。
2021-08-24 cs.AI cs.CV cs.LG
NPNet: A Non-Parametric Network with Adaptive Gaussian-Fourier Positional Encoding for 3D Classification and Segmentation
Sirjan University of Technology（锡尔詹理工大学）；Clemson University（克莱姆森大学）
NPNet通过自适应高斯-傅里叶位置编码实现3D点云分类和分割，无需学习权重，具有高效的内存和推理性能。
2026-01-31 cs.CV cs.LG
Decentralized Gossip Learning and Federated Averaging for Histopathology Image Classification
Antalya Bilim University（安塔利亚比尔姆大学）；Ankara University（安卡拉大学）；Northwestern University（西北大学）
本研究比较了FedAvg、去中心化八卦学习及混合方法在IDC组织病理学图像分类中的性能，发现混合八卦-FedAvg在ROC-AUC上略优，FedAvg作为服务器基线最稳定，拓扑感知八卦提供了可行的去中心化替代方案。
2026-09-29 cs.CV cs.LG
LMT: Longitudinal Mixing Training, a Framework to Predict Disease Progression from a Single Image
Inserm（法国国家健康与医学研究院）；University of Western Brittany（西布列塔尼大学）；IMT Atlantique（大西洋国立高等工业技术学院）；Lariboisière Hospital（拉里博瓦西耶医院）；CHRU Brest（布雷斯特大学中心医院）
提出LMT框架，结合纵向混合训练与神经常微分方程，利用单张眼底图像预测糖尿病视网膜病变进展，AUC达0.798，优于基线0.641。
2023-10-16 cs.CV cs.LG eess.IV
Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；AITRICS
Mixup方案建议混合一对样本以创建增强的训练样本，并且最近获得了相当大的关注，以提高神经网络的泛化能力。Mixup的一个简单且广泛使用的扩展是与区域丢弃方法相结合：从一个样本中删除随机补丁，并用另一个样本的特征替换它。尽管这些方法简单有效，但由于其随机性，容易产生有害样本。为了解决这个问题，最近提出了“最大显着性”策略：他们只选择信息量最大的特征来防止这种现象。然而，他们现在缺乏样本多样化，因为他们总是确定性地选择具有最大显着性的区域，从而将偏见注入增强数据。在本文中，我们提出了一种新颖而简单的混合变体，它可以捕获两个世界中最好的。我们的想法是双重的。通过随机采样的功能和'嫁接'到另一个样本，我们的方法有效地产生不同的，但有意义的样本。其第二个要素是通过以显著性校准的方式混合标签来产生嫁接样本的标签，这纠正了随机抽样程序引入的监管误导。我们在CIFAR，Tiny-ImageNet和ImageNet数据集上的实验表明，我们的方案不仅在分类准确性方面优于当前最先进的增强策略，而且在应对数据损坏和对象遮挡等压力条件下也更优越。
2021-12-16 cs.AI cs.CV cs.LG
Token-Label Alignment for Vision Transformers
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
数据混合策略（例如，CutMix）已经显示出极大地提高卷积神经网络（CNN）性能的能力。他们混合两张图像作为训练的输入，并为它们分配具有相同比例的混合标签。虽然他们被证明是有效的视觉Transformer（ViTs），我们确定了一个令牌波动现象，抑制了潜在的数据混合策略。我们根据经验观察到，输入令牌的贡献随着前向传播而波动，这可能会在输出令牌中引起不同的混合比。因此，由原始数据混合策略计算的训练目标可能是不准确的，导致训练效率较低。为了解决这个问题，我们提出了一个标记-标签对齐（TL-Align）方法来跟踪转换后的标记和原始标记之间的对应关系，以维护每个标记的标签。我们在每一层重复使用计算的注意力，以实现有效的标记-标签对齐，只引入微不足道的额外训练成本。大量的实验表明，我们的方法提高了图像分类，语义分割，客观检测和迁移学习任务的性能。代码可从以下网址获得：https://github.com/Euphoria16/TL-Align。
2022-11-29 cs.AI cs.CV cs.LG
Feature Weaken: Vicinal Data Augmentation for Classification
Harbin Engineering University（哈尔滨工程大学）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
深度学习通常依赖于训练大规模数据样本来实现更好的性能。然而，基于训练数据的过拟合一直是一个问题。为了不断提高泛化能力，学者们提出了各种策略，如特征丢弃、特征混合等。为了达到同样的目的，我们颠覆性地提出了一种新的训练方法，特征弱化，它可以被看作是一种数据增强方法。特征弱化通过弱化原始样本的特征，构造出具有相同余弦相似度的邻域数据分布，用于模型训练。特别是特征弱化改变了样本的空间分布，调整了样本边界，降低了反向传播的梯度优化值。该工作不仅可以提高模型的分类性能和泛化能力，而且可以稳定模型训练，加速模型收敛。我们对经典的深度卷积神经模型和五个常见的图像分类数据集以及BERT模型和四个常见的文本分类数据集进行了广泛的实验。与经典模型或泛化改进方法如Dropout、Mixup、Cutout、CutMix等相比，特征弱化模型具有良好的兼容性和性能。我们还使用对抗样本进行了鲁棒性实验，结果表明特征弱化在提高模型的鲁棒性方面是有效的。
2022-11-20 cs.AI cs.CV cs.LG
