Dataset Condensation with Contrastive Signals
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）
最近的研究表明，基于梯度匹配的数据集合成或数据集浓缩（DC）方法在应用于数据高效学习任务时可以实现最先进的性能。然而，在这项研究中，我们证明了现有的DC方法可以比随机选择方法更差时，任务无关的信息形成的训练数据集的重要组成部分。我们将此归因于类间对比信号的缺乏参与，这是由于类间梯度匹配策略造成的。为了解决这个问题，我们提出了数据集浓缩与对比信号（DCC）通过修改的损失函数，使DC方法，以有效地捕捉类之间的差异。此外，我们分析了新的损失函数的训练动态跟踪内核速度。此外，我们引入了一个双层预热策略来稳定优化。我们的实验结果表明，虽然现有的方法是无效的细粒度图像分类任务，所提出的方法可以成功地为相同的任务生成信息合成数据集。此外，我们证明了所提出的方法甚至在SVHN，CIFAR-10和CIFAR-100等基准数据集上也优于基线。最后，我们通过将其应用于持续学习任务，证明了所提出的方法的高适用性。
2022-06-16 cs.CV cs.LG
Dataset Condensation for Time Series Classification via Dual Domain Matching
Shanghai Jiao Tong University（上海交通大学）；Ocean University of China（中国海洋大学）
本文提出CondTSC框架，通过时域与频域双域匹配、多视图增强和双代理目标解决时间序列分类数据集浓缩问题，实验表明其优于现有基线方法。
2024-06-10 cs.LG
Decomposed Distribution Matching in Dataset Condensation
本文针对分布匹配式数据集浓缩的性能下降问题，将数据分布解耦为内容与风格，通过特征图统计矩匹配风格并最大化类内KL散度，在多个数据集和持续学习中取得显著提升。
2024-12-06 cs.CV
M3D: Dataset Condensation by Minimizing Maximum Mean Discrepancy
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai University（上海大学）
本文提出M3D方法，通过在再生核希尔伯特空间中最小化最大均值差异来对齐真实与合成图像分布的所有阶矩，从而高效实现数据集浓缩，并在高分辨率ImageNet上超越SOTA优化方法IDC。
2024-02-25 cs.CV cs.LG
Generalized Large-Scale Data Condensation via Various Backbone and Statistical Matching
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；OPPO Research（OPPO研究院）；Hong Kong Polytechnic University（香港理工大学）
提出广义多种骨干网络与统计匹配（G-VBSM），通过多样化的局部-全局匹配创建信息更丰富的蒸馏数据集，在CIFAR-100、Tiny-ImageNet和ImageNet-1k上分别超越SOTA方法3.9%、6.5%和10.1%。
2024-03-17 cs.AI cs.CV
Calibrated Dataset Condensation for Faster Hyperparameter Search
University of Maryland（马里兰大学）；Laboratory for Physical Sciences, University of Maryland（马里兰大学物理科学实验室）
本文提出超参数校准数据集压缩（HCDC）算法，通过匹配超参数梯度生成合成验证集，以保持模型排名并加速超参数搜索。
2024-05-27 cs.AI cs.LG stat.ML
Improving Clinical Dataset Condensation with Mode Connectivity-based Trajectory Surrogates
Institute of Biomedical Engineering, University of Oxford, UK（生物医学工程研究所，牛津大学，英国）；GlaxoSmithKline, London, UK（葛兰素史克，伦敦，英国）；Nuffield Department of Primary Care Health Sciences, University of Oxford, UK（初级保健健康科学尼弗尔部门，牛津大学，英国）；Oxford-Suzhou Institute of Advanced Research (OSCAR), Suzhou, China（牛津-苏州先进研究所（OSCAR），苏州，中国）
针对临床数据集压缩中完整SGD轨迹噪声大、存储开销高的问题，提出用二次贝塞尔曲线替代轨迹作为监督信号，稳定梯度并加速收敛，在五个临床数据集上超越现有方法。
2025-10-16 cs.CV cs.DB cs.LG
Condensing Graphs via One-Step Gradient Matching
Michigan State University（密歇根州立大学）；Amazon（亚马逊）
由于在大型数据集上训练深度学习模型需要花费大量的时间和资源，因此希望构建一个小的合成数据集，以便我们可以充分训练深度学习模型。最近有一些工作已经探索了通过复杂的双层优化来压缩图像数据集的解决方案。例如，数据集压缩（DC）匹配网络梯度w.r.t.大真实数据和小合成数据，其中网络权重在每次外部迭代时针对多个步骤进行优化。然而，现有的方法有其固有的局限性：（1）它们不直接适用于数据是离散的图;（2）由于涉及嵌套优化，凝聚过程在计算上是昂贵的。为了弥补这一差距，我们研究了为图数据集量身定制的高效数据集浓缩，其中我们将离散图结构建模为概率模型。我们进一步提出了一个单步梯度匹配方案，该方案只进行单步的梯度匹配，而不需要训练网络权重。我们的理论分析表明，该策略可以生成合成图，导致较低的分类损失的真实图。在多种图数据集上的实验证明了该方法的有效性和高效性。特别是，我们能够将数据集大小减少90%，同时近似达到原始性能的98%，并且我们的方法比多步梯度匹配快得多（例如，CIFAR 10中合成500个图的速度为15倍）。代码可在\url{https://github.com/amazon-research/DosCond}上获得。
2022-09-08 cs.AI cs.LG
Guiding Distribution Matching Distillation with Gradient-Based Reinforcement Learning
Zhejiang University（浙江大学）；Bytedance Inc.（字节跳动公司）；Zhejiang Lab（浙江实验室）
本文提出GDMD框架，通过优先考虑蒸馏梯度而非原始像素输出来优化奖励机制，提升了少步生成的质量与稳定性，实验证明其在生成质量与人类偏好指标上均优于现有方法。
2026-11-03 cs.CV cs.LG
Dataset Condensation via Efficient Synthetic-Data Parameterization
Seoul National University（首尔国立大学）；NAVER AI Lab（NAVER人工智能实验室）；University of Tübingen（图宾根大学）；NAVER Clova
机器学习在处理大量数据方面取得的巨大成功是以巨大的计算成本和用于训练和调优的存储为代价的。最近关于数据集压缩的研究试图通过合成紧凑的训练数据集来减少对这种海量数据的依赖。然而，现有的方法有根本的限制，在优化，由于有限的合成数据集的代表性，而不考虑任何数据的规律性特征。为此，我们提出了一种新的凝聚框架，通过考虑数据规律性的有效参数化，以有限的存储预算生成多个合成数据。我们进一步分析了现有的基于梯度匹配的压缩方法的缺点，并开发了一种有效的优化技术，以提高训练数据信息的压缩。我们提出了一种统一的算法，该算法可以大大提高CIFAR-10，ImageNet和Speech Commands上当前最先进的压缩数据的质量。
2022-06-02 cs.LG
Towards Model-Agnostic Dataset Condensation by Heterogeneous Models
Kyung Hee University（庆熙大学）
针对数据集蒸馏图像特定于模型的问题，提出异构模型数据集蒸馏方法HMDC，通过梯度平衡模块和互蒸馏技术促进跨模型交互，生成通用蒸馏图像，提升实用性。
2024-09-22 cs.CV
Discrete-continuous Action Space Policy Gradient-based Attention for Image-Text Matching
Nanjing University of Information Science and Technology（南京信息工程大学）；East China Normal University（华东师范大学）
图文匹配是一项重要的多模态任务，有着广泛的应用。它试图匹配图像和文本具有相似的语义信息。现有的办法没有明确地将不同的模式转变为一个共同的空间。同时，在图像-文本匹配模型中广泛使用的注意力机制没有监督机制。我们提出了一种新的注意力方案，该方案将图像和文本嵌入到一个共同的空间中，并直接对评估指标优化注意力权重。所提出的注意方案可以被认为是一种监督注意，不需要额外的注释。它是通过一个新的离散连续动作空间策略梯度算法，这是更有效地建模复杂的动作空间比以前的连续动作空间策略梯度。我们在两个广泛使用的基准数据集上评估了所提出的方法：Flickr 30 k和MS-COCO，大大优于以前的方法。
2021-04-21 cs.CV
Elucidating the Design Space of Dataset Condensation
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有数据集浓缩方法计算成本高或设计空间次优的问题，本研究提出包含软类别感知匹配、学习率调度调整的EDC框架，在大小规模数据集上均实现SOTA性能。
2025-01-17 cs.AI cs.CV cs.LG
FALLNEST: Dual-Domain Dataset Condensation of Imbalanced IMU Data for Wearable Fall Detection
Indian Institute of Technology Madras（印度马德拉斯理工学院）；Indian Institute of Technology Guwahati（印度古瓦哈蒂理工学院）
FALLNEST是一种以数据为中心的双域IMU数据集浓缩方法，可将大型不平衡IMU数据集提炼为微小类别平衡合成训练集，在跌倒检测任务中用少量合成数据训练的TinyCNN取得了优异性能。
2026-10-14 cs.AI cs.CV eess.SP
GRAD-MATCH: Gradient Matching based Data Subset Selection for Efficient Deep Model Training
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
现代机器学习模型在大型数据集上的巨大成功取决于大量的计算资源，以及高昂的财务和环境成本。解决这个问题的一种方法是提取与完整数据同等的子集。在这项工作中，我们提出了一个通用的框架，梯度匹配，它发现的子集，密切匹配的梯度的训练或验证集。我们发现这样的子集有效地使用正交匹配追踪算法。我们展示了所提出的算法的严格的理论和收敛保证，并通过我们在真实世界数据集上的广泛实验，展示了我们所提出的框架的有效性。我们表明，GRAD-MATCH显着和一贯优于最近的几个数据选择算法，并实现了最佳的准确性和效率的权衡。GRAD-MATCH是CORDS工具包\url{https://github.com/decile-team/cords}的一部分。
2021-06-11 cs.LG
Indirect Gradient Matching for Adversarial Robust Distillation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出间接梯度蒸馏模块（IGDM），通过间接匹配教师与学生的输入梯度来迁移知识，能与现有对抗蒸馏方法无缝集成，显著提升小模型的对抗鲁棒性。
2025-03-06 cs.CV
Comparison of Stereo Matching Algorithms for the Development of Disparity Map
Tarbiat Modares University（塔比阿特·莫达雷斯大学）
立体匹配是计算机视觉中提取三维信息的经典问题之一，但在精度和处理成本方面仍存在争议。匹配技术和成本函数的使用在视差图的开发中至关重要。本文对块匹配（BM）、块匹配动态规划（BMDP）、置信度传播（BP）、梯度特征匹配（GF）、梯度直方图（HOG）等六种立体匹配算法进行了比较研究，并提出了一种新的立体匹配方法。还使用了三个成本函数，即均方误差（MSE），绝对差之和（SAD），归一化互相关（NCC），并进行了比较。本研究中使用的立体图像来自Middlebury立体数据集，提供了完美和不完美的校准。结果表明，匹配函数的选择是相当重要的，也取决于图像的属性。结果表明，BP算法在大多数情况下提供了更好的结果，达到95%以上的准确率。
2022-10-28 cs.CV
Value Gradient Guidance for Flow Matching Alignment
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；University of Tübingen（图宾根大学）；Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；Mila – Quebec AI Institute（魁北克AI研究所）
VGG-Flow通过价值梯度指导实现流匹配模型的高效微调与先验保留对齐。
2026-03-03 cs.CV cs.LG
Towards Efficient Deep Hashing Retrieval: Condensing Your Data via Feature-Embedding Matching
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；ETH Zurich（苏黎世联邦理工学院）；College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
本文针对深度哈希检索训练成本高的问题，探讨了主流数据集压缩方法的影响，并提出以分布匹配为中心、结合模型与数据增强技术的IEM方法，显著提升了哈希空间特征及检索性能。
2025-03-03 cs.CV
ImagebindDC: Compressing Multi-modal Data with Imagebind-based Condensation
EPIC Lab, SJTU（上海交通大学EPIC实验室）；Bosch Corporate Research Asia Pacific（博世亚太公司研究部）；HKUST（香港科技大学）
针对多模态数据压缩中保留模态间依赖的挑战，提出ImageBindDC框架，在ImageBind特征空间用特征函数损失实现三级分布对齐，在NYU-v2上仅用5个类内压缩数据点即获无损性能，压缩时间减少超4倍。
2025-11-11 cs.AI cs.CV
SGMD: Score Gradient Matching Distillation for Few-Step Video Diffusion Distillation
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；Hong Kong University of Science and Technology（香港科技大学）
针对分布匹配蒸馏在少步视频扩散中训练昂贵且运动动态保守的问题，提出得分梯度匹配蒸馏（SGMD），通过直接优化假得分朝向教师并使用教师停止梯度Fisher作为稳定目标，实现约3倍训练加速并显著提升运动动态。
2026-07-23 cs.CV cs.LG
Pyramidal Gradient Matching for Optical Flow Estimation
Chongqing Key Laboratory of Emergency Communication（重庆应急通信重点实验室）；Chongqing Communication Institute（重庆通信学院）
通过稀疏描述符匹配或密集块匹配初始化光流场已被证明对于捕获大位移特别有用。在本文中，我们提出了一个金字塔梯度匹配的方法，可以提供高精度和高效率的光流估计密集的匹配。我们的方法的一个新的贡献是图像梯度被用来描述图像补丁，并证明能够产生强大的匹配。因此，我们的方法比采用特殊特征（如SIFT）或补丁距离度量的方法更有效。此外，我们发现，图像梯度是可伸缩的光流估计，这意味着我们可以使用不同层次的梯度特征（例如，完整的梯度或仅梯度的方向信息），以获得不同的复杂度没有显着变化的准确性。另一个贡献是，我们发现有限PatchMatch的秘密，通过深入的分析，并设计了一个金字塔匹配框架，基于这些秘密。我们的金字塔匹配框架的目的是强大的梯度匹配和有效的增长内点和拒绝离群点。在这个框架中，我们提出了一些特殊的增强梯度匹配中的离群值过滤。通过使用我们的匹配初始化EpicFlow，实验结果表明，我们的方法是有效的和鲁棒的（在MPI Sintel数据集的clean pass和final pass中排名第一）。
2017-04-11 cs.CV
Instance Data Condensation for Image Super-Resolution
Visual Information Lab, University of Bristol, UK（视觉信息实验室，布里斯托大学）
本文提出了一种针对图像超分辨率的实例数据压缩框架，通过生成高质量合成数据提升训练稳定性与性能。
2026-03-06 cs.CV
Improving GAN with neighbors embedding and gradient matching
ST Electronics - SUTD Cyber Security Laboratory（新科电子-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
我们提出了两种用于训练生成对抗网络（GANs）的新技术。我们的目标是减轻模式坍塌的GAN和提高所产生的样本的质量。首先，我们提出了邻域嵌入，这是一种基于流形学习的正则化，可以显式地保留生成样本中潜在样本的局部结构。这可防止发生器从不同的潜在样本中产生几乎相同的数据样本，并减少模式坍塌。我们提出了一个逆t-SNE正则化子来实现这一点。其次，我们提出了一种新的技术，梯度匹配，对齐生成的样本和真实样本的分布。由于使用高维样本分布具有挑战性，因此我们建议通过标量分数来对齐这些分布。我们限制真实样本和生成样本的最小值之间的差异。我们进一步约束这些梯度的梯度之间的差异。我们得到这些约束条件从泰勒近似的函数。我们进行实验，以证明我们提出的技术是计算简单，易于纳入现有的系统。当梯度匹配和邻域嵌入一起应用时，我们的GN-GAN在1D/2D合成、CIFAR-10和STL-10数据集上取得了出色的结果，例如STL-10数据集的FID得分为$30.80$。我们的代码可在：https://github.com/tntrung/gan
2018-11-04 cs.CV
Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom Digital Intelligence Technology Co., Ltd.（中国电信数字智能科技有限公司）
近年来，一系列的图文匹配方法取得了令人瞩目的成绩。然而，我们观察到，大多数现有的ITM模型在训练开始时都存在梯度消失的问题，这使得这些模型容易陷入局部极小值。大多数ITM模型采用三重态损失，硬负挖掘（HN）作为优化目标。我们发现，优化ITM模型只使用硬负样本很容易导致梯度消失。在本文中，我们推导出在训练过程中梯度为零的条件。当正对相似性和负对相似性之间的差接近0时，图像和文本编码器上的梯度都将接近0。为了缓解梯度消失问题，我们提出了一种选择性硬负挖掘（SelHN）策略，该策略根据梯度消失条件选择是否挖掘硬负样本。SelHN可以即插即用应用于现有的ITM模型，以提供更好的训练行为。为了进一步确保梯度的反向传播，我们使用SelHN构建了一个剩余视觉语义嵌入模型，表示为RVSE++。在两个ITM基准上进行的大量实验证明了RVSE++的实力，实现了最先进的性能。
2023-03-01 cs.CV cs.MM
LeapAlign: Post-Training Flow Matching Models at Any Generation Step by Building Two-Step Trajectories
The Australian National University（澳大利亚国立大学）
本文提出LeapAlign方法，通过缩短生成轨迹为两步，减少计算成本并实现早期生成步骤的梯度传播，提升模型更新效率与稳定性，优于现有方法。
2026-09-09 cs.CV
Learning to Annotate Part Segmentation with Gradient Matching
Tsinghua University（清华大学）；University of Edinburgh（爱丁堡大学）
最先进的深度神经网络的成功在很大程度上依赖于大规模标记数据集的存在，这是非常昂贵和耗时的注释。本文的重点是通过使用预训练的GAN生成高质量图像并使用自动注释器标记生成的图像来解决半监督零件分割任务。特别是，我们制定的注释者学习作为一个学习学习的问题。给定预先训练的GAN，注释器学习标记随机生成的图像集合中的对象部分，使得在具有其预测标签的这些合成图像上训练的部分分割模型在手动标记的图像的小验证集合上获得低分割误差。我们进一步减少这个嵌套循环优化问题，一个简单的梯度匹配问题，并有效地解决它的迭代算法。我们表明，我们的方法可以从广泛的标记图像，包括真实图像，生成的图像，甚至分析渲染的图像中学习注释器。我们的方法与半监督部分分割任务进行评估，并显着优于其他半监督的竞争对手时，标记的例子是非常有限的。
2022-11-06 cs.CV
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
University of Bonn（波恩大学）
姿态估计和地图构建是自主机器人的核心组成部分，通常依赖于传感器数据的配准。在本文中，我们研究了一种新的度量注册的图像，建立在光度误差的想法。我们的方法结合了梯度方向为基础的度量与幅度相关的缩放项。我们集成到立体声估计以及视觉里程计系统，并显示出明显的优势，典型的差距和直接图像配准任务时，使用我们提出的度量。我们的实验评估表明，我们的度量导致更强大，更准确的估计场景深度以及相机轨迹。因此，该度量提高了相机姿态估计，进而提高了移动机器人的映射能力。我们相信，一系列现有的视觉里程计和视觉SLAM系统可以受益于本文报道的研究结果。
2020-04-08 cs.CV
SOMA: Feature Gradient Enhanced Affine-Flow Matching for SAR-Optical Registration
针对SAR与光学图像跨模态配准精度不足、梯度线索未被深度学习有效利用的问题，本文提出SOMA密集配准框架，通过FGE增强特征区分度、GLAM实现由粗到精对齐，在两个数据集上显著提升配准精度且泛化性良好。
2025-11-17 cs.AI cs.CV
Sharpness-Aware Gradient Matching for Domain Generalization
The Hong Kong Polytechnic University（香港理工大学）；Center for Artificial Intelligence and Robotics（人工智能与机器人中心）；HKISI CAS（中国科学院香港创新研究院）；State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统全国重点实验室）；CASIA（中国科学院自动化研究所）
领域泛化（DG）的目标是增强从源领域学习到其他未知领域的模型的泛化能力。最近开发的锐度感知最小化（SAM）方法旨在通过最小化损失景观的锐度度量来实现这一目标。虽然SAM及其变体已经展示了令人印象深刻的DG性能，但它们可能并不总是收敛到具有小损耗值的期望平坦区域。本文提出了两个条件来保证模型能够以较小的损失收敛到一个平坦的最小值，并提出了一种算法SAGM（Sharpness-Aware Gradient Matching）来满足这两个条件以提高模型的泛化能力。具体地，SAGM的优化目标将同时最小化经验风险、扰动损失（即，参数空间中邻域内的最大损失）以及它们之间的间隙。通过隐式调整经验风险和扰动损失之间的梯度方向，SAGM在不增加计算成本的情况下提高了SAM及其变体的泛化能力。大量的实验结果表明，我们提出的SAGM方法始终优于国家的最先进的方法在五个DG基准，包括PACS，VLCS，THEREHome，TerraIncognita和DomainNet。代码可在https://github.com/Wang-pengfei/SAGM上获得。
2023-03-18 cs.CV
Background Gradients Shape Memorization in Flow Matching
本研究通过配对轨迹框架揭示背景梯度响应是类条件流匹配中同类别图像影响目标记忆化与复制的关键机制，实验显示替换重复图像使提取率从80.7%降至18.0%。
2026-09-29 cs.CV
EgoFlow: Gradient-Guided Flow Matching for Egocentric 6DoF Object Motion Generation
TU München（慕尼黑工业大学）；MCML（慕尼黑机器学习中心）；ETH Zürich（苏黎世联邦理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出EgoFlow，通过多模态第一人称观察生成物理合理的物体运动轨迹，结合Mamba-Transformer-Perceiver架构和梯度引导推理，提升运动生成的准确性和物理真实性。
2026-04-01 cs.CV
Steering the Flow: Inverting Face Recognition Models via Gradient-Guided Flow Matching
School of Cyberspace Science, Harbin Institute of Technology（哈尔滨工业大学网络空间安全学院）
本文提出两阶段白盒模型逆攻击方法SFMI，通过梯度引导流匹配将逆攻击转化为轨迹引导任务，在人脸数据集上实现了优于现有方法的攻击性能。
2026-10-27 cs.AI cs.CR cs.CV
