Neighborhood Consensus Contrastive Learning for Backward-Compatible Representation
Peking University（北京大学）；Huawei Technologies（华为技术有限公司）
在对象重识别（ReID）中，深度学习技术的开发通常涉及模型更新和部署。在部署新模型时，系统挂起时重新嵌入和重新索引是无法忍受的。因此，本文提出了向后兼容的表示方法，使得“新”特征可以直接与“旧”特征进行比较，即当数据库中同时存在“新”特征和“旧”特征时，数据库是活动的，因此我们可以滚动刷新数据库，甚至不对数据库做任何操作来更新。现有的向后兼容方法要么需要新旧训练数据之间的强重叠，要么简单地在实例级进行约束。因此，它们难以处理复杂的聚类结构，并且在消除旧嵌入中离群值的影响方面受到限制，从而导致损害新特征的区分能力的风险。在这项工作中，我们提出了一个邻居共识对比学习（NCCL）的方法。在不假设新的训练数据的情况下，我们估计旧嵌入的子簇结构。新的嵌入在子类级的嵌入空间和判别空间中都受到多个旧嵌入的约束。离群值的影响减弱了，因为多个样本起到了“刻薄教师”的作用。此外，我们还提出了一种过滤低可信度旧嵌入的方案，进一步提高了兼容性鲁棒性。我们的方法确保了向后兼容性，而不会损害新模型的准确性。它甚至可以提高新模型在大多数情况下的准确性。
2023-03-09 cs.CV
Privacy-Preserving Model Upgrades with Bidirectional Compatible Training in Image Retrieval
ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；Tsinghua University（清华大学）；AI Technology Center of Tencent Video（腾讯视频AI技术中心）
图像检索中的隐私保护模型升级任务希望在不访问原始图库图像的情况下获得快速发展的新模型的好处。一项开创性的工作引入了向后兼容的训练，其中新模型可以以无回填的方式直接部署，即，新的查询可以直接与旧的图库特征进行比较。尽管有一个可能的解决方案，但它在连续模型升级方面的改进逐渐受到固定和质量不佳的旧画廊嵌入的限制。为此，我们提出了一种新的模型升级范式，称为双向兼容训练（BiCT），它将通过向前兼容的训练对向后兼容的新模型的嵌入空间升级旧的图库嵌入。我们进行了全面的实验来验证BiCT的显着改善，有趣的是，观察到向后兼容性的不明显的损失重量实际上起着至关重要的作用，向后和向前检索性能。总之，我们介绍了一个新的和有价值的问题命名为隐私保护模型升级，与适当的解决方案BiCT。进一步提出了几个有趣的见解，以充分利用我们的方法。
2022-04-29 cs.CV
UMERegRobust - Universal Manifold Embedding Compatible Features for Robust Point Cloud Registration
Ben-Gurion University（本-古里安大学）
本文扩展了通用流形嵌入（UME）框架，提出 UMERegRobust 点云配准流程及 RotKITTI 基准，在部分重叠和不同采样场景下实现鲁棒配准，并在 KITTI 和 RotKITTI 上显著超越 SOTA。
2024-08-23 cs.CV
Adaptive Global and Fine-Grained Perceptual Fusion for MLLM Embeddings Compatible with Hard Negative Amplification
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（人工智能国家重点实验室，智能科学与技术学院，北京大学）；Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）
本文提出AGFF-Embed方法，通过自适应融合全局和细粒度语义信息，提升多模态嵌入在一般和细粒度理解上的性能。
2026-02-05 cs.CV cs.LG
Unsupervised Domain Adaptation via Discriminative Manifold Embedding and Alignment
Sun Yat-Sen University（中山大学）；JiaYing University（嘉应学院）；Guangzhou University（广州大学）
无监督领域自适应能够有效地利用源域到无监督目标域的丰富信息。虽然深度学习和对抗策略在特征适应性方面取得了重要突破，但还有两个问题需要进一步探讨。首先，在目标域上硬分配的伪标签对固有的数据结构是有风险的。其次，深度学习中的分批训练方式限制了对全局结构的描述。本文提出了一个黎曼流形学习框架，以实现一致的可转移性和可区分性。对于第一个问题，该方法通过软标签在目标域上建立概率判别准则。此外，该标准扩展到第二个问题的全球近似计划，这种近似也是节省内存。利用流形度量对齐与嵌入空间兼容。理论上的误差界推导出，以方便对齐。通过大量的实验对提出的一致流形学习框架进行了研究，实验结果表明了一致流形学习框架的优越性。
2020-02-28 cs.CV cs.LG stat.ML
Boundary-aware Backward-Compatible Representation via Adversarial Learning in Image Retrieval
Ant Group（蚂蚁集团）
针对图像检索模型升级需重算全库嵌入耗时长的问题，提出带弹性边界约束的对抗式后向兼容训练方法AdvBCT，兼顾兼容性与判别性，在多个基准数据集上表现优于同类方法。
2023-05-04 cs.CV
Asymmetric Image Retrieval with Cross Model Compatible Ensembles
Amazon（亚马逊）；Technion - Israel Institute of Technology（以色列理工学院）
本文提出一种基于嵌入变换模型的非对称图像检索方法，可集成多个多样化图库模型与单一查询模型，在低查询计算预算下超越单一模型精度，并利用嵌入多样性实现图库图像拒绝。
2023-10-29 cs.CV
Prototype Perturbation for Relaxing Alignment Constraints in Backward-Compatible Learning
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
本文提出通过扰动旧特征原型来缓解后向兼容学习中的对齐约束，提升新模型的判别能力。
2026-03-07 cs.CV
FastFill: Efficient Compatible Model Update
University of Oxford（牛津大学）；Apple（苹果公司）
在许多检索系统中，原始高维数据（例如，图像）通过学习的嵌入模型被映射到较低维度的特征。从图库集合中检索与给定查询数据最相似的数据的任务是通过对特征的相似性比较来执行的。当嵌入模型被更新时，它可能会产生与已经在用旧模型计算的图库中的特征不可比/不兼容的特征。随后，图库中的所有特征都需要使用新的嵌入模型重新计算--这是一个计算成本很高的过程，称为嵌入。最近，兼容的表示学习方法已经被提出来避免混淆。尽管它们相对成功，但在新模型的性能及其与旧模型的兼容性之间存在固有的权衡。在这项工作中，我们介绍FastFill：一个兼容的模型更新过程中使用的功能对齐和基于策略的部分重复，以及时提高检索性能。我们发现，以前的训练策略遭受性能下降，并证明了训练目标和在线部分训练中的排序的重要性。我们提出了一种新的训练方法，使用不确定性估计的新旧嵌入模型之间的特征对齐。与以前的工作相比，我们在各种数据集上获得了显着改进的搜索结果：ImageNet上的mAP（+4.4\%），Places-365（+2.7\%）和VGG-Face 2（+1.3\%）。此外，我们证明了当使用FastFill更新有偏模型时，少数子组准确性差距会随着一小部分的部分重复而迅速消失。
2023-03-08 cs.CV cs.IR cs.LG
Towards Cross-modal Backward-compatible Representation Learning for Vision-Language Models
Google DeepMind（谷歌DeepMind）；University of Central Florida（中央佛罗里达大学）
针对检索系统模型升级时嵌入不兼容需高成本回填的问题，本文首次提出跨模态向后兼容训练（XBT），通过仅用文本预训练的投影模块结合参数高效策略，实现VLP模型免回填的跨模态检索升级。
2025-10-06 cs.AI cs.CV
Forward Compatible Few-Shot Class-Incremental Learning
Nanjing University（南京大学）；Hikvision Research Institute（海康威视研究院）
在我们这个动态变化的世界中，新的类经常出现，例如，认证系统中的新用户，并且机器学习模型应该识别新类而不会忘记旧类。当新的类实例不足时，这种情况变得更具挑战性，这被称为Few-Shot类增量学习（FSCIL）。目前的方法通过使更新后的模型与旧模型相似来处理增量学习。相比之下，我们建议前瞻性地学习，为未来的更新做准备，并为FSCIL提出ForwArd兼容培训（FACT）。前向兼容性要求未来的新类可以根据当前阶段的数据轻松地合并到当前模型中，我们试图通过为未来的新类保留嵌入空间来实现这一点。详细地说，我们分配虚拟原型来挤压已知类的嵌入并为新类保留。此外，我们预测可能出现的新类别，并为更新过程做好准备。虚拟原型允许模型在未来接受可能的更新，这些更新充当分散在嵌入空间中的代理，以在推理过程中构建更强大的分类器。FACT有效地整合了具有向前兼容性的新类，同时阻止了对旧类的遗忘。大量的实验验证了FACT的最先进的性能。代码可在：https://github.com/zhoudw-zdw/CVPR22-Fact
2022-03-14 cs.CV cs.LG
Metric Compatible Training for Online Backfilling in Large-Scale Retrieval
Seoul National University（首尔大学）；Meta；University of Central Florida（中佛罗里达大学）
针对图像检索模型升级中回填计算成本高的问题，提出一种在线回填算法，通过距离排名合并、反向变换模块和度量兼容对比学习，在不牺牲新模型最终性能的前提下实现渐进性能提升。
2024-12-19 cs.CV cs.IR cs.LG
Towards Compatible Fine-tuning for Vision-Language Model Updates
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing University（南京大学）
本文针对基础模型更新后即插即用微调模块失效的问题，提出类条件上下文优化方法ContCoOp，通过注意力层融合可学习提示与类嵌入，在15个数据集上验证了其最高的模型更新兼容性和鲁棒的分布外泛化能力。
2024-12-30 cs.CV cs.LG
Dual-Tuning: Joint Prototype Transfer and Structure Regularization for Compatible Feature Learning
Singapore University of Technology and Design（新加坡科技设计大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
可视化检索系统面临着频繁的模型更新和部署。每次重新提取整个数据库的特征是一项繁重的工作，特征兼容性使得学习到的新视觉特征可以直接与存储在数据库中的旧特征进行比较。通过这种方式，在更新部署的模型时，我们可以绕过不灵活且耗时的特征重新提取过程。然而，需要兼容的旧特征空间并不理想，并且面临着不同监督损失导致的与新空间的分布差异问题。在这项工作中，我们提出了一个全局优化的双重调整方法，以获得对不同的网络和损失的功能兼容性。提出了一种特征级原型丢失算法，通过传递全局原型信息来明确对齐两种类型的嵌入特征。此外，我们设计了一个组件级的相互结构正则化隐式优化的功能内在结构。在百万级数据集上的实验结果表明，我们的双调优能够在不牺牲性能的情况下获得功能兼容性。(Our代码将在https：//github.com/yanbai1993/Dual-Tuning上提供）
2021-08-06 cs.CV
Multi-modal Knowledge Preserving Adapter for Embedding Backward Compatibility
Seoul National University（首尔大学）；Amazon AGI（亚马逊AGI）
本文提出MKP-Adapter，首个无需更新骨干的仅适配器向后兼容训练方法，通过多级保持损失和焦点重加权策略，在多模态检索任务中实现高效向后兼容。
2026-09-16 cs.CV
Multi-view Reconstructive Preserving Embedding for Dimension Reduction
Dalian Maritime University（大连海事大学）；Dalian University of Technology（大连理工大学）
随着特征提取技术的发展，一个样本往往可以用多个特征来表示，这些特征位于高维空间。多个特征可以反映同一样本的不同视角，因此多个视角之间必须存在兼容和互补的信息。因此，将多个功能集成在一起以获得更好的性能是很自然的。然而，大多数多视图降维方法不能处理高维非线性空间中的多个特征。为了解决这个问题，本文提出了一种新的多视图降维方法--多视图重构保持嵌入（MRPE）。MRPE通过利用其k个最近邻居来重建每个样本。每个样本和它的邻居之间的相似性被映射到低维空间，以保持原始流形的底层邻域结构。MRPE通过线性重建充分利用了多个视图中每个样本及其相邻样本之间的相关性。此外，MRPE构造一个优化问题，并推导出一个迭代过程，以获得低维嵌入。基于文档分类、人脸识别和图像检索等应用的各种评价表明了该方法在多视图降维方面的有效性。
2018-07-25 cs.CV
Spherical Interpolation for Backward-Compatible Multimodal Representations
University of Florence（佛罗伦萨大学）；University of Trento（特伦托大学）
本文提出在正交对齐后沿球面测地线对新旧模型查询表示进行插值，以在不重新索引图库的情况下改善跨模态检索的向后兼容性，并通过理论刻画和实验验证其有效性。
2026-10-01 cs.CV cs.LG
Compatibility Family Learning for Item Recommendation and Generation
Appier Inc.（沛星互动科技）；National Taiwan University（国立台湾大学）；National Tsing Hua University（国立清华大学）
物品之间的兼容性，如衣服和鞋子，是客户购买决策中的一个主要因素。然而，学习“兼容性”是具有挑战性的，因为（1）兼容性的概念比相似性的概念更广泛，（2）兼容性的不对称性质，以及（3）只有一小部分兼容和不兼容的项目被观察到。我们提出了一个端到端的可训练系统，每个项目嵌入到一个潜在的向量和项目的查询项目到K兼容的原型在同一个空间。这些原型反映了兼容性的广泛概念。我们将嵌入和原型都称为“兼容性家族”。在我们的学习空间中，我们引入了一种新的投影兼容性距离（PCD）函数，该函数是可区分的，并通过至少一个原型接近兼容项来确保多样性，而没有一个原型接近不兼容项。我们在一个玩具数据集、两个亚马逊产品数据集和Polyvore服装数据集上评估了我们的系统。我们的方法始终实现最先进的性能。最后，我们表明，我们可以可视化候选兼容原型使用度量正则化条件生成对抗网络（MrCGAN），其中输入是一个投影原型和输出是一个兼容项目的生成图像。我们要求人类评估者判断我们生成的图像和CGAN直接基于查询项生成的图像之间的相对兼容性。我们生成的图像是明显的首选，大约是其他图像的两倍。
2017-12-02 cs.AI cs.CV cs.LG
