Pose-Aware Self-Supervised Learning with Viewpoint Trajectory Regularization
UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；University of Michigan（密歇根大学）
本文提出基于视角轨迹正则化的自监督学习方法，利用无标注图像三元组学习兼顾物体身份与姿态的视觉特征，在保持语义分类精度的同时实现全局姿态感知并提升对新物体的泛化能力。
2024-08-07 cs.CV cs.LG
Generalizing Consistency Policy to Visual RL with Prioritized Proximal Experience Regularization
University of Chinese Academy of Sciences（中国科学院大学）
针对视觉强化学习样本效率低、训练不稳定的问题，提出带优先级近端经验正则化的一致性策略CP3ER，结合样本熵正则化稳定训练，在21项任务上取得SOTA，是首个将扩散/一致性模型应用于视觉强化学习的方法。
2024-10-29 cs.AI cs.CV cs.LG
Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization
The University of Adelaide（阿德莱德大学）
针对有限数据下细粒度视觉识别中预训练模型特征相关性低、无关特征主导训练的问题，提出基于归一化特征熵的特征幅度正则化及动态加权机制，在多个数据集上实现显著性能提升。
2024-09-07 cs.AI cs.CV cs.LG
Diffusion Visual Counterfactual Explanations
University of Tübingen（图宾根大学）
视觉反事实推理（VCE）是理解图像分类器决策的重要工具。它们是改变分类器决策的图像的“小”但“现实”的语义变化。当前的VCE生成方法局限于对抗性强的模型，并且通常包含不真实的伪影，或者局限于具有很少类别的图像分类问题。在本文中，我们通过扩散过程为任意ImageNet分类器生成扩散视觉反事实推理（DVCE）来克服这一点。对扩散过程的两个修改对于我们的DVCE来说是关键的：首先，自适应参数化，其超参数在图像和模型之间泛化，再加上距离正则化和扩散过程的延迟开始，使我们能够生成对原始图像具有最小语义变化但不同分类的图像。其次，我们通过对抗性鲁棒模型进行的锥正则化确保了扩散过程不会收敛到微不足道的非语义变化，而是产生目标类的真实图像，这些图像通过分类器实现了高置信度。
2022-10-21 cs.CV cs.LG
Channel DropBlock: An Improved Regularization Method for Fine-Grained Visual Classification
Beijing University of Posts and Telecommunications（北京邮电大学）；Stony Brook University（石溪大学）
从同一超类别中对对象的子类别进行分类（例如，鸟）在细粒度视觉分类（FGVC）任务中高度依赖于挖掘多个判别特征。现有的方法主要通过引入注意力机制来定位区分部分或特征编码方法来以弱监督的方式提取高度参数化的特征来解决这个问题。在这项工作中，我们提出了一个轻量级的，但有效的正则化方法命名为通道DropBlock（CDB），结合两个替代的相关性度量，以解决这个问题。其关键思想是在训练过程中随机屏蔽一组相关通道，以破坏自适应特征，从而增强特征表示。在三个基准FGVC数据集上的实验表明，CDB有效地提高了性能。
2021-06-07 cs.CV
Interpret Your Decision: Logical Reasoning Regularization for Generalization in Visual Classification
Xi’an-Jiaotong Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；Duke Kunshan University（昆山杜克大学）
本文提出逻辑推理正则化L-Reg，通过将逻辑分析框架与图像分类结合，降低模型复杂度并提取显著特征，从而在多域泛化和广义类别发现等未见数据场景中显著提升视觉分类的泛化能力。
2025-01-27 cs.AI cs.CV cs.LG
Adversarial Regularization for Visual Question Answering: Strengths, Shortcomings, and Side Effects
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
视觉问答（VQA）模型已经被证明过度依赖于VQA数据集中的语言偏见，在不考虑视觉上下文的情况下“盲目”回答问题。对抗正则化（AdvReg）旨在通过一个对抗子网络来解决这个问题，该子网络鼓励主模型学习问题的无偏差表示。在这项工作中，我们研究了AdvReg的优点和缺点，目的是更好地理解它如何影响VQA模型中的推理。尽管在VQA-CP上实现了新的最先进技术，但我们发现AdvReg会产生一些不期望的副作用，包括不稳定的梯度和域内示例的性能急剧下降。我们证明，在训练过程中逐步引入正则化有助于缓解，但不能完全解决这些问题。通过错误分析，我们观察到AdvReg提高了对二进制问题的泛化能力，但削弱了具有异构答案分布的问题的性能。定性地，我们还发现正则化模型倾向于过度依赖视觉特征，而忽略了问题中重要的语言线索。我们的研究结果表明，AdvReg需要进一步完善，才能被认为是一个可行的偏差缓解技术VQA。
2019-06-20 cs.CL cs.CV cs.LG
Answer Questions with Right Image Regions: A Visual Attention Regularization Approach
Shandong University（山东大学）；China University of Petroleum (East China)（中国石油大学（华东））
视觉问答（VQA）中的视觉注意定位正确的图像区域的答案预测，提供了一个强大的技术，以促进多模态的理解。然而，近年来的研究指出，视觉注意中突出显示的图像区域往往与给定的问题和答案无关，从而导致正确的视觉推理的模型混淆。为了解决这个问题，现有的方法大多采取对齐视觉注意力权重与人类的注意力。然而，收集这些人类数据既费力又昂贵，使得在数据集之间调整开发良好的模型变得繁重。为了解决这个问题，在本文中，我们设计了一种新的视觉注意正则化方法，即AttReg，更好地在VQA视觉接地。具体地，AttReg首先识别对于问答而言必不可少但意外地被忽略的图像区域（即，分配有低注意力权重）。然后，利用掩模引导的学习方案来规则化视觉注意力，使其更多地关注这些被忽略的关键区域。该方法是非常灵活和模型无关的，它可以集成到大多数基于视觉注意力的VQA模型，不需要人的注意力监督。在三个基准数据集上进行了广泛的实验，即，已执行VQA-CP v2、VQA-CP v1和VQA v2，以评价AttReg的有效性。作为一个副产品，当将AttReg纳入强基线LMH时，我们的方法可以实现60.00%的最新准确度，在VQA-CP v2基准数据集上的绝对性能增益为7.01%。
2021-11-08 cs.CV
AutoTrack: Towards High-Performance Visual Tracking for UAV with Automatic Spatio-Temporal Regularization
Tongji University（同济大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
大多数现有的基于判别相关滤波器（DCF）的跟踪器试图引入预定义的正则化项来改善目标对象的学习，例如，通过抑制背景学习或通过限制相关滤波器的变化率。然而，预定义的参数在调整它们时引入了很多工作，并且它们仍然不能适应设计者没有想到的新情况。在这项工作中，提出了一种新的方法，在线自动和自适应学习时空正则化项。在空间上引入局部响应图变化作为空间正则化，使DCF集中学习对象的可信部分，全局响应图变化决定滤波器的更新速率。在四个无人机基准上进行的广泛实验证明了我们的方法与最先进的基于CPU和GPU的跟踪器相比的优越性，在单个CPU上运行的速度为每秒约60帧。我们的跟踪器还建议应用于无人机定位。大量的室内实际场景测试证明了我们的定位方法的有效性和通用性。该代码可在https://github.com/vision4robotics/AutoTrack上获得。
2020-03-29 cs.CV
InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs
University of Alberta（阿尔伯塔大学）；vivo Mobile Communication Co., Ltd（维沃移动通信有限公司）
本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。
2026-04-06 cs.AI cs.CV cs.LG
Cross Knowledge-based Generative Zero-Shot Learning Approach with Taxonomy Regularization
Yunnan University（云南大学）
尽管零样本学习（zero-shot learning，ZNL）具有识别新类的推理能力，但它始终面临着两个基本挑战：跨模态和跨领域的挑战。为了缓解这些问题，我们开发了一个生成的基于网络的学习方法，配备了建议的交叉知识学习（CKL）计划和分类规则化（TR）。在我们的方法中，语义特征作为输入，输出是从相应的语义特征生成的合成视觉特征。CKL使更多相关的语义特征能够被训练用于语义到视觉特征的嵌入，而分类规则化（TR）显着改善了与未见过的图像的交集，这些图像具有从生成网络生成的更一般化的视觉特征。在几个基准数据集上进行了广泛的实验（即，AwA 1，AwA 2，CUB，NAB和aPY）表明，我们的方法是优于这些国家的最先进的方法，在EFL图像分类和检索。
2021-01-25 cs.CV
Zero-Shot Aerial Object Detection with Visual Description Regularization
Sichuan University（四川大学）
针对航空图像新型类别标注昂贵问题，提出视觉描述正则化 DescReg，通过相似性感知三元组损失注入类间视觉先验，在 DIOR、xView、DOTA 上显著提升零样本检测性能。
2024-03-01 cs.CV
CARE: Condition-Aware Representation Regularization for Diffusion Models
Tsinghua University（清华大学）
针对扩散模型正则化忽视条件信号的问题，提出条件感知表示正则化框架CARE，动态调节特征分布，在ImageNet和文本到图像任务中显著降低FID并提升训练效率。
2026-09-25 cs.CV cs.LG
Visual Tracking via Nonnegative Regularization Multiple Locality Coding
提出了一种基于近似局部约束线性编码的目标跟踪方法。在本文中，而不是使用一个非负约束的编码系数，以保证这些元素的非负，在本文中，非负约束取代传统的$\ell_2$范数正则化项近似LLC获得类似的非负效果。并在理论分析上给出了详细而充分的解释，以阐明这种替代的合理性。代替指定固定的K个最近邻来构造局部字典，选择具有预定义数目的最近邻的一系列不同字典。这些不同的字典的权重也是从类似框架中的近似LLC中学习的。为了减轻跟踪漂移，我们提出了一种简单而有效的遮挡检测方法。遮挡检测的标准主要取决于是否选择负模板来表示严重遮挡的目标。对几个具有挑战性的序列的定性和定量评估表明，所提出的跟踪算法实现了良好的性能相比，其他国家的最先进的方法。
2015-10-29 cs.CV
Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies
Technion（以色列理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
许多最近的数据集包含各种不同的数据模态，例如，在视觉问答（VQA）中的图像、问题和答案数据。当在这些多模态数据集上训练深度网络分类器时，模态在不同的尺度上被利用，即，某些模式比其他模式更容易有助于分类结果。这是次优的，因为分类器固有地偏向于模态的子集。为了克服这一缺点，我们提出了一种新的正则化项的基础上的功能熵。直观地说，这个术语鼓励平衡每个模态对分类结果的贡献。然而，用函数熵正则化是具有挑战性的。为了解决这个问题，我们开发了一种基于log-Sobolev不等式的方法，该方法将函数熵与函数Fisher信息结合起来。直观地说，这最大限度地提高了模态提供的信息量。在两个具有挑战性的多模态数据集VQA-CPv 2和SocialIQ上，我们获得了最先进的结果，同时更均匀地利用了模态。此外，我们证明了我们的方法对有色MNIST的有效性。
2020-10-21 cs.CV cs.LG
DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
针对现有视觉模型微调易过拟合或优化不足的问题，提出带语义校准的分布正则化框架DR-Tune，通过分布正则化和语义校准模块提升性能，在多数据集和骨干网络上验证有效。
2023-08-23 cs.CV
Overcoming Language Priors in Visual Question Answering with Adversarial Regularization
Georgia Institute of Technology（佐治亚理工学院）
现代视觉问答（VQA）模型已经被证明严重依赖于在训练过程中学习的问题和答案之间的表面相关性，例如压倒性地报告房间类型为厨房或正在进行的运动为网球，而不管图像如何。最令人担忧的是，这一缺点在评估过程中往往没有得到很好的反映，因为测试分布中存在相同的强先验;然而，未能将图像内容中的问题作为基础的VQA系统可能在现实世界中表现不佳。在这项工作中，我们提出了一种新的正则化方案VQA，减少这种影响。我们引入了一个只问问题的模型，该模型将VQA模型中的问题编码作为输入，并且必须利用语言偏见才能成功。然后，我们将训练视为VQA模型和这个只问问题的对手之间的对抗游戏-阻止VQA模型在其问题编码中捕获语言偏见。此外，我们利用这个仅限问题的模型来估计考虑图像后模型置信度的增加，我们明确地最大化以鼓励视觉基础。我们的方法是一个与模型无关的训练过程，并且易于实现。我们的经验表明，它可以显着提高VQA数据集的偏置敏感分裂多个基础模型的性能-实现最先进的这项任务。此外，在标准VQA任务中，与现有的偏差减少VQA模型相比，我们的方法显示出更少的准确性下降。
2018-11-08 cs.CV
REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization
National University of Singapore（新加坡国立大学）；Stanford University（斯坦福大学）；The Chinese University of Hong Kong（香港中文大学）
针对视觉自回归模型与扩散模型的性能差距，该研究发现核心瓶颈为生成器-分词器不一致，提出reAR训练策略，无需改动原有架构即可显著提升生成效果，在ImageNet上实现与大参数扩散模型相当的性能。
2025-10-06 cs.CV
Breaking Language Barriers in Visual Language Models via Multilingual Textual Regularization
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
针对视觉语言模型存在的图像诱导保真度损失问题，提出在视觉指令微调中注入纯文本多语言数据的持续整合策略，在不降低视觉性能的前提下提升跨语言语言保真度，为VLM全球应用提供有效路径。
2025-05-20 cs.AI cs.CV
Learning Sparse Visual Representations with Leaky Capped Norm Regularizers
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出泄漏受限范数正则化器，用于学习过完备视觉表示，证明了其在3D形状恢复中的收敛性，优于ℓ1和非凸正则化方法。
2017-11-08 cs.AI cs.CV cs.LG
PARIC: Probabilistic Attention Regularization for Language Guided Image Classification from Pre-trained Vison Language Models
Uppsala University（乌普萨拉大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Science for Life Laboratory（生命科学实验室）
针对预训练视觉语言模型确定性注意力图忽视跨模态映射多值性的问题，本文提出概率框架 PARIC，通过生成含不确定性的参考注意力图提升分类准确率、公平性、一致性与鲁棒性。
2025-03-14 cs.AI cs.CV cs.LG
Binarized Weight Error Networks With a Transition Regularization Term
Middle East Technical University（中东技术大学）
本文提出了一种新的二值化权重网络（BT）的资源有效的神经结构。所提出的模型估计的权重的二进制表示，考虑到近似误差与一个额外的长期。该模型增加了表示能力和稳定性，特别是对于浅网络，同时理论上减少了计算负荷。此外，引入了一种新的正则化项，适用于所有基于阈值的二进制精度网络。该项惩罚远离二进制转换发生的阈值的可训练参数。这一步骤促进了在训练时间对二进制精度响应的快速修改。实验结果进行了两组任务：视觉分类和视觉逆问题。Cifar10，SVHN，Fashion，ImageNet2012，Set5，Set14，Urban和BSD 100数据集的基准测试表明，我们的方法在二进制精度上优于所有同行。
2021-05-09 cs.CV
eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts
Center for AI Research PH（人工智能研究菲律宾中心）
eX2L通过对比视觉解释对正则化，解耦分类器的潜在表示中的混淆特征，提升模型在分布偏移下的性能，实现功能域不变性。
2026-09-23 cs.AI cs.CV cs.LG
Streaming Audio-Visual Speech Recognition with Alignment Regularization
Meta
提出基于混合CTC/注意力架构的流式AV-ASR系统，采用分块自注意力与触发注意力实现流式识别，并引入对齐正则化技术促进音视频编码器同步，在LRS3数据集上达到无外部数据下的最优WER。
2023-07-02 cs.CV cs.SD eess.AS
PriorityCut: Occlusion-guided Regularization for Warp-based Image Animation
MoneyBrain Inc.（MoneyBrain公司）
图像动画生成源图像的视频跟随驱动视频的运动。最先进的自监督图像动画方法根据驱动视频的运动来扭曲源图像，并通过修复来恢复扭曲伪影。这些方法大多使用vanilla卷积进行图像修复，vanilla卷积不区分有效像素和无效像素。因此，视觉伪影在修复后仍然很明显。CutMix是一种最先进的正则化策略，可以剪切和混合图像块，并在不同的计算机视觉任务中得到广泛研究。在剩余的计算机视觉任务中，基于扭曲的图像动画是CutMix效果尚待研究的领域之一。本文首先对CutMix在基于变形的图像动画中的作用进行了初步的研究。我们在研究中观察到，CutMix仅有助于提高像素值，但会扰乱像素之间的空间关系。基于这样的观察，我们提出了PriorityCut，一种新的增强方法，使用前景的前k个百分比的遮挡像素来正则化基于扭曲的图像动画。通过利用基于扭曲的图像动画中的领域知识，PriorityCut显著减少了不同数据集上最先进的基于扭曲的图像动画模型中的扭曲伪影。
2021-03-22 cs.CV cs.LG
Scaling Representation Diversity: Modulated Attention and Reconstructive Regularization for Visual Grounding
针对指代表达理解模型跨数据集泛化能力有限的问题，提出含mACH与JEPA辅助流的架构及Objects365-Caption数据，实现了强泛化与具竞争力的REC性能。
2026-08-14 cs.CV
Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with Adversarial Discriminative Domain Regularization
University of Central Florida（中佛罗里达大学）；Facebook（脸书）
跨图像和文本模态匹配信息是涉及视觉和自然语言处理的许多应用的基本挑战。我们的目标是找到有效的相似性度量比较视觉和文本信息之间的相似性。现有的方法主要是利用注意力机制将局部视觉对象和句子单词在共享空间中进行匹配。匹配性能仍然是有限的，因为相似性计算是基于简单的比较匹配功能，忽略了他们的分布在数据中的特点。在本文中，我们解决了这个限制与一个有效的学习目标，认为视觉对象和句子单词之间的歧视性特征分布。具体来说，我们提出了一种新的对抗性判别域正则化（ADDR）学习框架，超越了范式度量学习目标，在每个图像-文本对中构建一组判别数据域。我们的方法通常可以提高学习效率和现有的度量学习框架的性能，通过调节匹配对之间的隐藏空间的分布。在MS-COCO和Flickr 30 K上的实验结果表明，该方法显著提高了几种流行的跨模态匹配技术（SCAN，VSRN，BFAN）的整体性能.
2020-10-27 cs.CV
Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University at Buffalo（布法罗大学）；Amazon（亚马逊）
对比损失已经越来越多地用于从多种模态学习表征。在有限的范围内，对比损失的性质鼓励模态在潜在空间中彼此精确匹配。然而，它仍然是一个悬而未决的问题，如何通道对齐影响下游的任务绩效。在本文中，基于信息理论的论点，我们首先证明，准确的模态对齐是次优的下游预测任务。因此，我们认为，更好的表现的关键在于有意义的潜在情态结构，而不是完美的情态对齐。为此，我们提出了三种构建潜在情态结构的一般方法。具体来说，我们设计了1）用于模态内正则化的深度特征分离损失; 2）用于模态间正则化的布朗桥损失;以及3）用于模态内和模态间正则化的几何一致性损失。在两个流行的多模态表示学习框架上进行了大量的实验：基于CLIP的双塔模型和基于ALBEF的融合模型。我们测试我们的模型上的各种任务，包括零/Few-Shot图像分类，图像-文本检索，视觉问答，视觉推理和视觉蕴涵。我们的方法取得了一致的改进，现有的方法，证明了我们提出的方法的有效性和通用性的潜在模态结构正则化。
2023-03-10 cs.AI cs.CV cs.LG
AspectCLIP: Optimizing CLIP Representation Space via Aspect-Guided Consistency Regularization
School of Computer Science and Technology, South China University of Technology（华南理工大学计算机科学与工程学院）
研究针对图像与文本信息不对称问题，提出AspectCLIP框架，通过基于文本相似性划分样本为属性簇，在簇内应用循环一致性并限制跨簇正则化，实现更优的表示空间，在下游任务中性能超传统方法。
2026-07-17 cs.CV
ARGS: Advanced Regularization on Aligning Gaussians over the Surface
KAIST（韩国科学技术院）
该研究在SuGaR基础上提出ARGS，通过有效秩正则化和神经SDF先验改善高斯形状与表面对齐，从而提升3DGS重建的视觉保真度和场景一致性。
2025-09-29 cs.CV cs.GR
Learning Taxonomic Trees with Hierarchical Representation Regularization for Large Multimodal Models
PKU-ICST-MIPL（北京大学信息科学技术学院多媒体信息处理实验室）
研究大型多模态模型缺乏分类知识致层次视觉识别一致性低的问题，提出层次表示正则化方法，含语义感知视觉树构建框架，结合两个互补目标，有效捕捉分类结构。
2026-07-07 cs.AI cs.CV
Prior-Driven Enhancements in 3D Gaussian Splatting: Normals and Depths Regularization
KakaoMobility（Kakao出行）
针对3DGS在复杂场景中的几何失真问题，提出融合表面法线与密集深度先验的正则化方法，提升几何精度与视觉质量，并在街景及高反射环境验证了鲁棒性。
2026-09-30 cs.CV
Deep multi-task learning for a geographically-regularized semantic segmentation of aerial images
Swiss Data Science Center, ETH Zurich（苏黎世联邦理工学院瑞士数据科学中心）；Wageningen University and Research（瓦赫宁根大学及研究中心）
当在分米空间分辨率范围内接近架空图像的语义分割时，成功的策略通常将学习语义类的视觉外观的强大方法（例如卷积神经网络）与空间正则化策略（例如图形模型，如条件随机场）相结合。在本文中，我们提出了一种方法来学习证据的形式，语义类的可能性，语义边界跨类和浅到深的视觉特征，每一个由多任务卷积神经网络架构建模。我们将这种自下而上的信息与自上而下的空间正则化相结合，该空间正则化由条件随机场模型编码，该模型优化了具有与区域之间的结构、空间和数据依赖成对关系相关的约束的分段层次结构中的标签空间。我们的研究结果表明，这种策略比一系列反映最先进技术的强基线提供了更好的正则化。所提出的策略提供了一个灵活和原则性的框架，包括视觉和结构信息的几个来源，同时允许不同程度的空间正则化占先验的预期输出结构。
2018-08-23 cs.CV
ENCORE: Entropy-Guided Cropping and Attention Regularization for Robust Vision--Language Understanding
Shanghai Jiao Tong University（上海交通大学）
ENCORE是一个熵引导的视觉-语言理解框架，通过基于熵的裁剪策略和熵正则化训练，仅微调0.14%参数，在10个VQA基准上实现平均1.43%的准确率提升，达到2B参数VLMs的SOTA性能。
2026-08-25 cs.CV
Dual-Tuning: Joint Prototype Transfer and Structure Regularization for Compatible Feature Learning
Singapore University of Technology and Design（新加坡科技设计大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
可视化检索系统面临着频繁的模型更新和部署。每次重新提取整个数据库的特征是一项繁重的工作，特征兼容性使得学习到的新视觉特征可以直接与存储在数据库中的旧特征进行比较。通过这种方式，在更新部署的模型时，我们可以绕过不灵活且耗时的特征重新提取过程。然而，需要兼容的旧特征空间并不理想，并且面临着不同监督损失导致的与新空间的分布差异问题。在这项工作中，我们提出了一个全局优化的双重调整方法，以获得对不同的网络和损失的功能兼容性。提出了一种特征级原型丢失算法，通过传递全局原型信息来明确对齐两种类型的嵌入特征。此外，我们设计了一个组件级的相互结构正则化隐式优化的功能内在结构。在百万级数据集上的实验结果表明，我们的双调优能够在不牺牲性能的情况下获得功能兼容性。(Our代码将在https：//github.com/yanbai1993/Dual-Tuning上提供）
2021-08-06 cs.CV
Three Necessary Principles for Self-Supervised Visual Representation Learning
Imperial College London（帝国理工学院）；CERTH, ITI（CERTH ITI）
该研究提出自监督视觉表征学习的三条必要原则，通过理论证明与受控实验分析各原则的作用，表明主流自监督方法可纳入统一框架，且任意两个原则无法替代第三个。
2026-09-03 cs.AI cs.CV cs.LG
Regularization of Building Boundaries in Satellite Images using Adversarial and Regularized Losses
Graz University of Technology（格拉茨工业大学）
在本文中，我们提出了一种在卫星图像中构建边界细化和正则化的方法，该方法使用一个完全卷积的神经网络进行训练，该神经网络结合了对抗性和正则化损失。与纯Mask R-CNN模型相比，整体算法在准确性和完整性方面可以实现等同的性能。然而，与产生不规则足迹的Mask R-CNN不同，我们的框架生成了正则化和视觉上令人愉悦的建筑边界，这在许多应用中都是有益的。
2020-07-23 cs.CV eess.IV
Zero Shot Learning with the Isoperimetric Loss
University of California, Los Angeles（加州大学洛杉矶分校）
我们引入等周损失作为学习从视觉表示到语义嵌入的映射的正则化标准，用于在零样本学习设置中将知识转移到未知类。我们使用预训练的深度神经网络模型作为图像数据的视觉表示，类别标签的Word2Vec嵌入以及视觉和语义嵌入空间之间的线性映射。然而，空间本身并不是线性的，我们假设样本嵌入是由光滑流形附近的噪声样本填充的。我们利用由样本点定义的图形结构来正则化流形的估计，通过使用从黎曼几何到图形的等周不等式的推广来推断图形连通性。令人惊讶的是，这种正则化单独与最简单的基线模型配对，在零样本学习基准测试（如AwA和CUB）中优于最先进的全自动方法。这种改进仅仅是通过施加规则性来学习底层空间的结构来实现的。
2019-12-03 cs.CV cs.LG stat.ML
LISA: Likelihood Score Alignment for Visual-condition Controllable Generation
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Research（华为研究院）
提出LISA方法，通过将侧网络中间特征与近似似然分数对齐，加速训练收敛并提升生成质量，且不增加推理成本。
2026-09-29 cs.CV
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University（北京大学）；University of Technology, Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，用于分类的图像数据集自然与多个标签相关联，并由多个视图组成，因为每个图像可能包含多个对象（例如行人，自行车和树木），并通过多个视觉特征（例如颜色，纹理和形状）进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发，我们引入多视图向量值流形正则化（MV $\mathbf{^3}$ MR）来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性，在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07（VOC）和MIR Flickr（MIR）上进行了广泛的实验，并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization
Northeastern University（东北大学）；JangHo School of Architecture, Northeastern University（东北大学姜浩建筑学院）；AstrumU（AstrumU公司）
该研究提出MGS-SLAM，通过联合优化稀疏视觉里程计与3D Gaussian Splatting，并结合MVS深度监督、深度平滑损失和SDAR，提升单目VSLAM的位姿估计、新视角合成与几何重建精度。
2024-09-10 cs.CV cs.RO
Remove Cosine Window from Correlation Filter-based Visual Trackers: When and How
Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）
本文研究带空间正则化的相关滤波跟踪器中移除余弦窗的可行性，提出二值与高斯形掩码函数解决边界不连续问题，在三个基准上性能优于现有最优跟踪器。
2019-05-16 cs.CV
Multi-mode Tensor Train Factorization with Spatial-spectral Regularization for Remote Sensing Images Recovery
Hangzhou Dianzi University（杭州电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Huawei（华为技术有限公司）
张量训练（TT）分解及其对应的TT秩能很好地表达高阶张量的低阶性和模态相关性，近年来受到了广泛的关注。然而，基于TT分解的方法通常不足以表征沿三阶张量的每个模式的低秩。受此启发，我们将张量训练分解推广到模k张量训练分解，并引入相应的多模张量训练（MTT）秩.然后，我们提出了一种新的低MTT秩张量完成模型，通过多模式TT分解和空间谱平滑正则化。为了解决该模型，我们开发了一个有效的近似交替最小化（PAM）算法。大量的数值实验结果表明，所提出的MTTD3R方法优于比较方法的视觉和定量措施。
2022-05-05 cs.CV eess.IV math.OC
Machine-learned Regularization and Polygonization of Building Segmentation Masks
Graz University of Technology（格拉茨工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
我们提出了一种基于机器学习的方法，用于建筑物分割掩模的自动正则化和正则化。以图像作为输入，我们首先利用通用全卷积网络（FCN）预测构建分割图。然后，涉及生成对抗网络（GAN）来执行建筑物边界的正则化，以使它们更真实，即，具有更多的直线轮廓，如果需要的话可以构成直角。这是通过提供输入图像为真的概率的生成器和从生成器的响应中学习以创建更逼真的图像的生成器之间的相互作用来实现的。最后，我们训练骨干卷积神经网络（CNN），其适于从正则化的建筑物分割结果中预测对应于建筑物拐角的稀疏结果。在三个建筑物分割数据集上的实验表明，该方法不仅能够获得准确的分割结果，而且能够生成视觉上令人愉悦的多边形建筑物轮廓。
2020-12-17 cs.CV
GigaTok: Scaling Visual Tokenizers to 3 Billion Parameters for Autoregressive Image Generation
The University of Hong Kong（香港大学）；ByteDance Seed Project（字节跳动种子项目）
针对自回归图像生成中视觉分词器扩展时重建与生成质量的矛盾，提出GigaTok方法，通过语义正则化缓解潜在空间复杂度问题，并结合三种扩展实践，将分词器扩展至30亿参数，同时提升重建、生成和表示学习性能。
2025-08-24 cs.CV
Landmark-Guided Cross-Speaker Lip Reading with Mutual Information Regularization
School of Life Science and Technology, University of Electronic Science and Technology of China（电子科技大学生命科学与技术学院）；Defense Innovation Institute, Academy of Military Sciences（军事科学院国防创新研究院）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）；High-tech Institute of Qingzhou（青州高新技术研究院）
本文提出利用唇部地标引导的细粒度视觉线索和最大最小互信息正则化方法，在混合CTC/注意力架构下学习对说话人身份不敏感的唇语识别模型，并在公开数据集上验证了其在跨说话人场景中的有效性。
2024-05-02 cs.AI cs.CV cs.MM
Improved Total Variation based Image Compressive Sensing Recovery by Nonlocal Regularization
Harbin Institute of Technology（哈尔滨工业大学）；Peking University（北京大学）
近年来，基于全变分（TV）的最小化算法在自然图像的压缩感知（CS）恢复中取得了巨大的成功，由于其保持边缘的优点。然而，电视的使用是不能够恢复的细节和纹理，往往遭受不希望的阶梯伪影。为了减少这些影响，本文提出了一种改进的基于电视的图像CS恢复算法，通过引入一个新的非局部正则化约束CS优化问题。非局部正则化是建立在著名的非局部均值（NLM）滤波，并利用图像的自相似性，这有助于抑制阶梯效应和恢复的细节。此外，一个有效的增广拉格朗日算法被开发来解决上述组合TV和非局部正则化约束问题。实验结果表明，该算法实现了显着的性能改善，比国家的最先进的电视为基础的算法在PSNR和视觉感知。
2012-12-26 cs.CV
CO2: Consistent Contrast for Unsupervised Visual Representation Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
对比学习是无监督视觉表示学习的核心方法。在没有人工注释的情况下，通常的做法是执行实例区分任务：给定查询图像裁剪，该任务将来自同一图像的裁剪标记为阳性，将来自其他随机采样图像的裁剪标记为阴性。这种标签分配策略的一个重要局限性是，它不能反映查询作物和其他图像中的每个作物之间的异质相似性，将它们视为同样的负面，而其中一些作物甚至可能与查询属于相同的语义类。为了解决这个问题，受半监督学习中未标记数据的一致性正则化的启发，我们提出了一致性对比（CO2），它将一致性正则化项引入到当前的对比学习框架中。关于查询作物与来自其他图像的每个作物的相似性为“未标记”，一致性项将正作物的对应相似性作为伪标签，并且鼓励这两个相似性之间的一致性。从经验上看，CO2在ImageNet线性协议上将动量对比度（MoCo）提高了2.9%的前1准确度，在1%和10%标记的半监督设置上提高了3.8%和1.1%的前5准确度。它还转移到图像分类，目标检测，和语义分割的PASCAL VOC。这表明CO2为这些下游任务学习了更好的视觉表示。
2020-10-05 cs.CV
Convolutional Fine-Grained Classification with Self-Supervised Target Relation Regularization
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）
细粒度视觉分类可以在手动预定义目标（例如，one-hot或Hadamard码）。这样的目标编码方案对类间相关性建模的灵活性较低，并且对稀疏和不平衡的数据分布也很敏感。鉴于此，本文提出了一种新的目标编码方案--动态目标关系图（DTRG），它是一种自生成的结构化输出，作为一种辅助的特征正则化，从输入图像中映射出来。具体地说，在线计算类级特征中心的目的是在表示空间中生成跨类别距离，从而可以通过动态图以非参数的方式来描绘。显式地最小化锚定在这些类级中心的类内特征变化可以鼓励学习区分性特征。此外，由于利用类间依赖性，所提出的目标图可以缓解数据稀疏性和不平衡性的表示学习。受最近成功的混合式数据增强的启发，本文将随机性引入到动态目标关系图的软构造中，以进一步探索目标类的关系多样性。实验结果可以证明我们的方法在多个视觉分类任务的各种基准上的有效性，特别是在流行的细粒度对象基准上实现了最先进的性能，并且对稀疏和不平衡数据具有出色的鲁棒性。源代码可在https://github.com/AkonLau/DTRG上公开获取。
2022-08-03 cs.CV
Examining Representational Similarity in ConvNets and the Primate Visual Cortex
Indian Institute of Technology Delhi（印度理工学院德里分校）
我们比较了几个具有不同深度和正则化技术的ConvNets与多单元猕猴IT皮层记录，并评估了它们对灵长类视觉皮层表征相似性的影响。我们发现，随着深度和验证性能的提高，ConvNet特征更接近皮质IT表示。
2016-09-12 cs.CV q-bio.NC
GazeTrack: High-Precision Eye Tracking Based on Regularization and Spatial Computing
Dalian University of Technology（大连理工大学）
GazeTrack通过正则化和空间计算方法，实现高精度眼动追踪，构建了首个包含多族裔、多年龄和多视力条件的基准数据集，并提出新的形状误差正则化和坐标变换方法，提升眼动向量预测的准确性。
2025-11-27 cs.AI cs.CV cs.HC
Improving GANs for Long-Tailed Data through Group Spectral Regularization
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
深度长尾学习的目标是在实际的、真实世界的不平衡分布上训练有用的深度网络，其中尾部类的大多数标签与少数样本相关联。人们已经做了大量的工作来训练用于视觉识别的长尾分布的判别模型。相比之下，我们的目标是训练条件生成对抗网络，这是一类基于长尾分布的图像生成模型。我们发现，类似的识别，国家的最先进的方法，图像生成也遭受性能下降的尾巴类。性能下降主要是由于类特定的模式坍塌的尾巴类，我们观察到的空调参数矩阵的频谱爆炸。我们提出了一种新的组谱正则化器（gSR），防止光谱爆炸减轻模式坍塌，这导致多样的和合理的图像生成，即使是尾部类。我们发现，gSR有效地结合了现有的增强和正则化技术，导致国家的最先进的图像生成性能的长尾数据。大量的实验证明了我们的正则化器在具有不同程度不平衡的长尾数据集上的有效性。
2022-08-21 cs.CV cs.LG eess.IV
Consistency as Regularization for Unsupervised Shadow Removal
La Rochelle University（拉罗谢尔大学）
该研究提出无监督阴影去除框架ShadowCLR，利用带阴影图像间的一致性作为正则化，在多个基准上取得优于现有无监督方法的性能，无需阴影掩码或无阴影参考图像。
2026-09-03 cs.CV
Tensor Robust PCA with Nonconvex and Nonlocal Regularization
Shandong University of Finance and Economics（山东财经大学）；Shandong Provincial Key Laboratory of Digital Media Technology（山东省数字媒体技术重点实验室）；Harbin Engineering University（哈尔滨工程大学）；Shandong University（山东大学）
本文针对TRPCA对奇异值同等收缩及全局低秩假设在视觉数据中受限的问题，提出基于张量可调对数范数的非凸TRPCA，并结合非局部自相似性构建NN-TRPCA模型，通过分组张量增强低秩性，实验证明其在视觉数据恢复上优于现有TRPCA方法。
2023-07-07 cs.CV
