Does Progress On Object Recognition Benchmarks Improve Real-World Generalization?
Meta AI (FAIR)(元人工智能(基础人工智能研究团队));New York University(纽约大学)
该研究针对标准目标识别基准难以衡量真实世界泛化的问题,通过全球家庭物品数据集开展近百个模型的实证评估,发现标准基准进展与真实泛化存在差距且会加剧地理性能差异,提出最后一层重训练可作为规模扩展的补充方向。
2023-07-24 cs.CV cs.LG
Boundless Across Domains: A New Paradigm of Adaptive Feature and Cross-Attention for Domain Generalization in Medical Image Segmentation
本文针对医学图像分割的领域泛化问题,提出基于跨通道注意力的领域不变表示约束和自适应特征混合方法,以生成分布外样本扩展领域范围,并在两个标准基准上验证了其优越性能。
2024-11-22 cs.AI cs.CV cs.LG
DomainVerse: A Benchmark Towards Real-World Distribution Shifts For Tuning-Free Adaptive Domain Generalization
Institute of Computing Technology (ICT), Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Southeast University(东南大学);Lenovo Research(联想研究院);Lenovo Ltd.(联想有限公司)
针对自适应域泛化缺乏真实细粒度基准的问题,本文构建含390个真实域、约50万张图像的DomainVerse,并提出免调优的Domain CLIP与Domain++ CLIP方法。
2024-03-05 cs.CV
Adaptive Domain Generalization via Online Disagreement Minimization
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出 AdaODM 框架,通过在测试时利用多个领域特定分类器间的预测分歧自适应微调源模型,从而提升现有领域泛化算法的跨域泛化性能,并在多个基准上取得最优结果。
2023-07-09 cs.CV cs.LG
Discovering Hierarchy-Grounded Domains with Adaptive Granularity for Clinical Domain Generalization
Department of Computer Science, Stevens Institute of Technology(斯蒂文斯理工学院计算机科学系);Weill Cornell Medicine Graduate School of Medical Sciences, Cornell University(韦尔医学院医学研究生院,康奈尔大学)
UdonCare通过利用医学本体发现基于层次结构的动态患者领域,提升临床领域泛化性能。
2026-09-15 cs.AI cs.LG
Domain Generalization for Improved Human Activity Recognition in Office Space Videos Using Adaptive Pre-processing
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学);Center for Bioengineering Innovation and Design (CBID)(生物工程创新与设计中心);Johns Hopkins University(约翰斯·霍普金斯大学)
针对办公视频中训练与测试域不同导致的活动识别难题,提出三种可适配任意视频编码器的预处理技术,结合 MViT 等模型显著提升未见域上的多项指标并优于域适应方法。
2025-03-16 cs.CV
Adaptive Network Combination for Single-Image Reflection Removal: A Domain Generalization Perspective
Harbin Institute of Technology(哈尔滨工业大学);The Hong Kong Polytechnic University(香港理工大学)
最近,已经建立了多个合成和真实世界的数据集,以促进深度单图像反射去除(SIRR)模型的训练。同时,不同的测试集也提供了不同类型的反射和场景。然而,训练集和测试集之间不可忽视的领域差距使得很难学习深度模型,从而很好地推广到测试图像。反射和场景的多样性进一步使得学习对所有测试集和真实世界反射有效的单个模型成为不可能的任务。在本文中,我们解决了这些问题,从领域泛化的角度学习SIRR模型。特别地,对于每个源集合,特定的SIRR模型被训练为相关反射类型的领域专家。对于一个给定的反射污染的图像,我们提出了一个反射类型感知加权(RTAW)模块来预测专家明智的权重。然后,RTAW可以与自适应网络组合(AdaNEC)结合,用于处理不同的反射类型和场景,即,推广到未知领域。两种代表性的AdaNEC方法,即,输出融合(OF)和网络内插(NI),通过考虑自适应水平和效率来提供。对于来自一个源集的图像,我们训练RTAW仅预测其他领域专家的专家级权重以提高泛化能力,而所有专家的权重在测试期间被预测和使用。提出了一种用于训练RTAW的域内专家(IDE)损失。大量的实验表明,我们的AdaNEC在不同的国家的最先进的SIRR网络的吸引力的性能增益。源代码和预训练模型将在https://github.com/csmliu/AdaNEC上提供。
2022-04-04 cs.CV
Action-Adaptive Continual Learning: Enabling Policy Generalization under Dynamic Action Spaces
Southwestern University of Finance and Economics(西南财经大学);Southwest Petroleum University(西南石油大学);Shanxi University(山西大学)
本文针对动态动作空间下的持续学习问题,提出动作自适应持续学习框架AACL,通过构建动作表示空间实现策略与动作空间解耦,并发布基准验证其在策略泛化上的优势。
2025-06-06 cs.AI cs.LG
HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization
The Chinese University of Hong Kong, Hong Kong(香港中文大学);FSI Lab, Huawei Technologies Co., Ltd.(华为技术有限公司FSI实验室);Carnegie Mellon University, Pittsburgh, PA, USA(卡内基梅隆大学)
HiLoRA提出免训练的自适应层级路由框架,通过序列级和词元级选择秩一组件,实现域泛化,准确率提升高达55%。
2025-10-14 cs.AI cs.LG
Learning Adaptive Warping for Real-World Rolling Shutter Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The University of Tokyo(东京大学)
本文提出了第一个真实世界的卷帘快门(RS)校正数据集,BS-RSC,以及相应的模型来校正失真视频中的RS帧。消费者市场中具有用于视频捕获的基于CMOS的传感器的移动设备在视频采集过程期间发生相对移动时通常会导致卷帘快门效应,这需要RS效应去除技术。然而,目前的国家的最先进的RS校正方法往往无法消除RS的影响,在实际情况下,由于运动是多种多样的,难以建模。为了解决这个问题,我们提出了一个真实世界的RS校正数据集BS-RSC。通过一个精心设计的基于分束器的采集系统,同时记录具有相应地面实况的真实失真视频。BS-RSC包含动态场景中摄像机和物体的各种运动。在此基础上,提出了一种自适应变形的遥感校正模型。我们的模型可以通过预测多个位移场自适应地将学习到的RS特征变形为全局快门对应物。这些扭曲的特征被聚合,然后以从粗到精的策略重建成高质量的全局快门帧。实验结果表明,该方法的有效性,我们的数据集可以提高模型的能力,以消除在现实世界中的RS效果。
2022-04-29 cs.CV
Adaptive Spectral-Koopman Dynamics Modeling for Temporal Domain Generalization
East China Normal University(华东师范大学)
针对时间域泛化中噪声过拟合和复杂历史建模问题,提出谱正则化Koopman动力学与目标条件注意力机制,在八个基准上取得最优性能。
2026-10-05 cs.AI cs.LG
AdaJEPA: An Adaptive Latent World Model
New York University(纽约大学);AMI Labs(AMI实验室)
提出AdaJEPA,一种在模型预测控制闭环中进行测试时自适应的潜在世界模型,通过自监督信号持续校准模型,显著提升规划成功率。
2026-07-01 cs.AI cs.LG
When Domain Generalization meets Generalized Category Discovery: An Adaptive Task-Arithmetic Driven Approach
IIT Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学研究院);Georgia Institute of Technology(佐治亚理工学院)
针对广义类别发现现有方法依赖目标域训练数据、易受分布偏移影响的问题,提出DG-GCD新范式与DG2CD-Net,通过情景训练和自适应任务算术提升跨域泛化能力,在三个数据集上表现优于现有定制方法。
2025-03-21 cs.CV
GAQAT: gradient-adaptive quantization-aware training for domain generalization
Tsinghua University(清华大学);CUHK(香港中文大学)
针对现有基于平坦度的域泛化方法在低精度量化训练中泛化性能下降的问题,提出梯度自适应量化感知训练框架GAQAT,通过解决尺度-梯度冲突稳定训练,在多个数据集上实现低精度模型的泛化性能提升。
2024-12-07 cs.CV
LORENZA: Enhancing Generalization in Low-Rank Gradient LLM Training via Efficient Zeroth-Order Adaptive SAM
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学)
针对LLM微调泛化不足与内存受限问题,提出AdaZo-SAM(单梯度零阶SAM)及内存高效低秩版本LORENZA,实现全参数微调并提升泛化,附收敛保证。
2025-02-26 cs.LG math.OC stat.ML
Adaptive Clipping for Privacy-Preserving Few-Shot Learning: Enhancing Generalization with Limited Data
Deakin University(迪肯大学);Data61, CSIRO(联邦科学与工业研究组织Data61研究院);The University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校);University of New South Wales (UNSW)(新南威尔士大学)
针对隐私保护少样本学习中的效用下降问题,提出自适应裁剪方法Meta-Clip,动态调整裁剪阈值以平衡隐私与泛化,显著提升元学习模型性能。
2025-03-27 cs.AI cs.LG
An Adaptive Method Stabilizing Activations for Enhanced Generalization
Department of Statistics University of Georgia(佐治亚大学统计学系);School of Computing University of Georgia(佐治亚大学计算机学院);School of Electrical Engineering Hanyang University(翰林大学电气工程学院)
提出 AdaAct 优化算法,依据激活方差进行神经元级学习率自适应,以稳定神经元输出,在 CIFAR 和 ImageNet 上兼顾 Adam 的收敛速度与 SGD 的泛化能力。
2025-06-10 cs.CV cs.LG
Domain Adaptive Cascade R-CNN for MItosis DOmain Generalization (MIDOG) Challenge
Histo Pathology Diagnostic Center(组织病理诊断中心);Technical University of Munich(慕尼黑工业大学)
我们总结了用于数字组织病理学图像有丝分裂检测的域自适应级联R-CNN方法。通过全面的数据增强和适应现有的流行检测架构,我们提出的方法在MICCAI 2021的MItosis DOmain Generalization(MIDOG)Challenge中的初步测试集上获得了0.7500的F1分数。
2021-09-29 cs.CV eess.IV
Generalization properties of contrastive world models
Baylor College of Medicine(贝勒医学院);Shirley Ryan AbilityLab(雪莉·瑞安能力实验室);Northwestern University(西北大学)
本文系统测试对比式世界模型在多种OOD场景下的泛化性质,发现其因对象属性变化破坏表征分解而泛化失败,表明当前模型学习以对象为中心表征的能力有限。
2023-12-29 cs.CV cs.LG
Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework
Southeast University(东南大学);University of Wollongong(伍伦贡大学);Nanjing University(南京大学)
领域泛化(DG)是近年来在人员再识别(ReID)中备受关注的一个问题。它旨在使在多个源域上训练的模型推广到一个看不见的目标域。虽然取得了可喜的进展,现有的方法通常需要源域进行标记,这可能是一个重大的负担,实际的ReID任务。在本文中,我们转而研究ReID的无监督领域泛化,假设没有标签可用于任何源域。为了解决这个具有挑战性的设置,我们提出了一个简单而有效的特定于域的自适应框架,并实现它的自适应规范化模块设计的批处理和实例规范化技术。在这样做的过程中,我们成功地产生了可靠的伪标签来实现训练,并根据需要增强了模型的领域泛化能力。此外,我们表明,我们的框架甚至可以应用于提高人的ReID下的设置监督领域泛化和无监督领域自适应,表现出竞争力的性能与相关的方法。在基准数据集上进行了广泛的实验研究,以验证所提出的框架。我们的工作的一个意义在于,它显示了潜在的无监督领域泛化的人ReID,并设置了一个强有力的基线,为进一步研究这一主题。
2023-03-23 cs.CV
Adversarially Adaptive Normalization for Single Domain Generalization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院)
单领域泛化的目标是学习一个模型,该模型在许多看不见的领域中表现良好,只有一个领域的数据用于训练。现有的工作集中在研究对抗域增强(ADA),以提高模型的泛化能力。规范化层的统计量对领域泛化的影响仍然没有得到充分的研究。在本文中,我们提出了一种通用的归一化方法,自适应标准化和重新缩放归一化(ASR规范),以补充在以前的作品中缺失的部分。ASR-Norm通过神经网络学习标准化和重新缩放统计数据。这种新形式的规范化可以被看作是传统规范化的一般形式。当使用ADA进行训练时,ASR-Norm中的统计量被学习为适应来自不同域的数据,从而提高了跨域模型的泛化性能,特别是在与源域差异较大的目标域上。实验结果表明,ASR-Norm可以带来一致的改善,以国家的最先进的ADA方法的1.6%,2.7%和6.3%,平均数字,CIFAR-10-C和PACS基准,分别。作为一种通用工具,ASR-Norm引入的改进与ADA方法的选择无关。
2021-06-01 cs.CV
Adaptive adversarial training method for improving multi-scale GAN based on generalization bound theory
Huazhong University of Science and Technology(华中科技大学)
近年来,多尺度生成对抗网络(GANs)被提出来建立基于单样本的广义图像处理模型。受样本大小的限制,多尺度GANs很难收敛到全局最优,这最终导致其能力受到限制。本文开创性地将PAC-Bayes广义界理论引入到特定模型在不同对抗训练方法下的训练分析中,对于指定的多尺度GAN结构,可以获得泛化误差的非空上界。基于不同对抗攻击和不同训练状态下泛化误差界的剧烈变化,提出了一种自适应训练方法,可以大大提高多尺度GANs的图像处理能力。最后的实验结果表明,本文提出的自适应训练方法在多个图像处理任务上极大地提高了多尺度GANs生成图像的质量。特别是对于图像超分辨率恢复任务,通过所提出的方法训练的多尺度GAN模型实现了自然图像质量评估器(NIQE)的100%减少和均方根误差(RMSE)的60%减少,这优于在大规模数据集上训练的许多模型。
2022-11-30 cs.CV cs.LG eess.IV
Gradient-Map-Guided Adaptive Domain Generalization for Cross Modality MRI Segmentation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
提出梯度图引导的自适应域泛化框架,结合无学习跨域表示与测试时自适应,在跨模态MRI分割中稳定优于现有方法,且对训练数据需求低。
2023-11-16 cs.CV
Adaptive Prediction Ensemble: Improving Out-of-Distribution Generalization of Motion Forecasting
University of California, Berkeley(加利福尼亚大学伯克利分校);University of California, Riverside(加利福尼亚大学河滨分校);Honda Research Institute(本田研究所)
针对深度学习轨迹预测模型在分布外场景泛化差的问题,提出集成深度学习与规则专家的APE框架,通过学习型路由函数动态选择预测结果,显著提升了零样本泛化与长期预测能力。
2024-12-20 cs.AI cs.CV cs.LG
CAT: Class Aware Adaptive Thresholding for Semi-Supervised Domain Generalization
Ahsanullah University of Science and Technology(阿萨努拉科技大学);Hallym University(翰林大学)
针对半监督域泛化中固定阈值依赖、伪标签噪声敏感的问题,提出类别感知自适应阈值方法CAT,结合灵活阈值与噪声标签修正生成高质量伪标签,在多个基准上实现更优的域偏移鲁棒泛化。
2024-12-11 cs.CV
Boosting Generalization with Adaptive Style Techniques for Fingerprint Liveness Detection
JIIOV Technology(JIIOV科技)
提出一种高性能指纹活体特征提取技术,结合风格迁移方法,在训练数据有限时提升准确率与泛化能力,并在LivDet 2023挑战赛中取得最优性能。
2023-10-24 cs.AI cs.CV
Sharpness-Aware Minimization with Adaptive Regularization for Training Deep Neural Networks
College of Computer Science and Technology(计算机科学与技术学院);National University of Defense Technology(国防科技大学)
针对 SAM 使用固定正则化超参数的局限,本文提出 SAMAR 方法,通过灵活的锐度比率规则动态更新正则化参数,并从理论上证明其收敛性,实验表明该方法有效提升了模型准确率与泛化能力。
2024-12-22 cs.CV cs.LG
Generalization in diffusion models arises from geometry-adaptive harmonic representations
Ctr. for Data Science, New York University(纽约大学数据科学中心);Flatiron Institute, Simons Foundation(西蒙斯基金会弗莱彻研究所);Collège de France(法兰西学院)
该研究证明扩散模型中的去噪网络在数据充足时学习到近乎相同的评分函数,实现强泛化,其归纳偏置表现为几何自适应谐波基上的收缩操作,从而生成高质量且不同于训练集的图像。
2024-04-12 cs.CV cs.LG
Adaptive Multi-Modality Prompt Learning
Institution1(机构1);Institution2(机构2)
本文提出自适应多模态提示学习,通过掩蔽无意义图像块并结合文本信息填充,同时提升样本内与样本外泛化,在多个下游任务上优于现有SOTA方法。
2023-11-30 cs.AI cs.CV cs.LG
Domain and Content Adaptive Convolution based Multi-Source Domain Generalization for Medical Image Segmentation
Northwestern Polytechnical University(西北工业大学)
主要由可变的医学图像质量引起的域差距在实验室中训练分割模型和将训练的模型应用于看不见的临床数据之间的路径上呈现出主要障碍。为了解决这个问题,已经提出了域泛化方法,然而这些方法通常使用静态卷积并且不太灵活。在本文中,我们提出了一个多源域泛化模型的基础上的域和内容自适应卷积(DCAC)的分割医学图像在不同的方式。具体来说,我们设计了域自适应卷积(DAC)模块和内容自适应卷积(CAC)模块,并将两者合并到一个编码器-解码器骨干。在DAC模块中,动态卷积头以输入的预测域代码为条件,使我们的模型适应看不见的目标域。在CAC模块中,动态卷积头以全局图像特征为条件,使我们的模型适应测试图像。我们针对前列腺分割、COVID-19病变分割和视杯/视盘分割任务的基线和四种最先进的领域泛化方法评估了DCAC模型。我们的研究结果不仅表明,建议的DCAC模型优于所有竞争的方法在每个分割任务,但也证明了DAC和CAC模块的有效性。代码可在\url{https://git.io/DCAC}上获得。
2022-09-25 cs.CV eess.IV
Towards Cross-Platform Generalization: Domain Adaptive 3D Detection with Augmentation and Pseudo-Labeling
Dalian University of Technology(大连理工大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本研究提出一种基于增强与伪标签的域适应3D检测方法,在RoboSense2025挑战中取得第三名,实现了跨平台检测性能的提升。
2026-01-13 cs.CV
Sensor Generalization for Adaptive Sensing in Event-based Object Detection via Joint Distribution Training
本文通过联合分布训练,研究事件相机数据中内在参数对目标检测性能的影响,并提升模型对不同传感器的鲁棒性。
2026-02-26 cs.CV
Adaptive Feature Fusion: Enhancing Generalization in Deep Learning Models
UNC Charlotte(北卡罗来纳大学夏洛特分校)
本文提出自适应特征融合(AFF)框架,通过动态调整特征表示的融合过程来增强深度学习模型的泛化能力,实验证明其优于传统特征融合技术。
2023-04-04 cs.AI cs.CV
SAGE: Style-Adaptive Generalization for Privacy-Constrained Semantic Segmentation Across Domains
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Sun Yat-Sen University(中山大学);National Supercomputing Center in Shenzhen(国家超级计算深圳中心)
SAGE框架通过风格迁移生成视觉提示,提升冻结模型在隐私约束下的跨域泛化能力,无需修改模型权重,实验表明其在隐私约束下性能优于现有方法。
2026-03-30 cs.CV
Adaptive Gray World-Based Color Normalization of Thin Blood Film Images
University of Westminster(威斯敏斯特大学)
本文提出了一种有效的外周血标本薄血膜图像颜色归一化方法。薄的血膜图像可以容易地分离为前景(细胞)和背景(血浆)部分。等离子体区域的颜色用于估计和减少由不同照明条件引起的差异。第二阶段基于数据库灰度世界算法的归一化将前景对象的颜色变换为与参考颜色字符匹配。定量实验证明了该方法的有效性,并与其他两种通用的颜色校正方法:简单的灰色世界和Retinex的优势。
2016-07-14 cs.CV
Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification
在无监督的领域自适应人员再识别(ReID)任务中,基于预处理的方法被证明是有效的。然而,现有的工作沿着这种方法仍然遭受噪声的伪标签和不可靠的泛化能力在整个训练过程中。为了解决这些问题,本文提出了一种新的方法来学习的特征表示具有更好的泛化能力,通过限制噪声伪标签。首先,我们提出了一个样本丢弃(SD)的方法,以防止模型的训练陷入恶性循环所造成的样本,经常被分配有噪声的伪标签。此外,在经典的互教结构下,提出了一种全新的特征多样性学习方法(FDL),可以显著提高特征表示在目标域上的泛化能力。实验结果表明,我们提出的FDL-SD实现了国家的最先进的性能在多个基准数据集。
2022-01-25 cs.CV
ACE: Adaptive Confusion Energy for Natural World Data Distribution
Academia Sinica(中央研究院);National Taiwan University(台湾大学);New York University(纽约大学)
随着深度学习的发展,标准分类问题取得了很好的效果。然而,传统的分类问题往往过于理想化。自然界中的大多数数据通常具有分布不均匀和细粒度的特征。最近,许多最先进的方法倾向于单独关注一个或另一个,但很少同时关注两个。在本文中,我们引入了一种新的自适应批量正则化的基础上提出的自适应混淆能量(ACE)灵活地解决自然世界的分布,这通常涉及细粒度和长尾属性在同一时间。ACE增加了训练过程的难度,并进一步简化了过拟合问题。通过细粒度(CUB,CAR,AIR)和长尾(ImageNet-LT)或综合问题(CUB-LT,iNaturalist)的技术问题数据集,结果表明ACE不仅在性能上与一些最先进的竞争,而且还展示了训练的有效性。
2021-03-12 cs.CV
Boosting Domain Generalized and Adaptive Detection with Diffusion Models: Fitness, Generalization, and Transferability
Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能学院);School of Aerospace Engineering, Xiamen University(厦门大学航空航天工程学院)
本文提出从单步扩散过程提取中间特征以减少75%推理时间,并构建以目标为中心的辅助分支结合一致性损失,在统一框架内通过特征与目标级对齐提升跨域检测的适应性、泛化性与可迁移性。
2025-06-28 cs.CV
From Adaptation to Generalization: Adaptive Visual Prompting for Medical Image Segmentation
Technical University of Munich(慕尼黑技术大学);Korea University(韩国大学);Kyung Hee University(庆熙大学);Seoul National University of Science and Technology(首尔科学技术大学)
本文提出APEX框架,通过学习可微的提示记忆来提取输入特定的提示,以提升医学图像分割在跨域和内域变化中的泛化能力。
2026-04-19 cs.CV
API: Empowering Generalizable Real-World Image Dehazing via Adaptive Patch Importance Learning
Xidian University(西安电子科技大学)
本文提出API框架,通过自适应块重要性学习和多负样本对比损失,提升现实世界图像去雾的泛化能力和性能。
2026-01-05 cs.CV
Adaptive Contextual Perception: How to Generalize to New Backgrounds and Ambiguous Objects
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Columbia University(哥伦比亚大学)
本文研究视觉模型如何自适应利用上下文实现分布外泛化,发现因子化表征和适当特征加权是关键,并提出新数据增强方法,在分布内和OOD测试中均优于强基线。
2023-10-27 cs.AI cs.CV cs.LG
Adaptive Texture Filtering for Single-Domain Generalized Segmentation
Tianjin University(天津大学);Nankai University(南开大学);Sun Yat-sen University(中山大学)
语义分割中的领域泛化旨在通过学习领域不变特征来缓解不可见领域的性能下降。现有方法通过添加复杂甚至异常的纹理来降低对域特定特征的敏感性,从而使源域中的图像多样化。然而,这些方法严重依赖于纹理库的丰富性,并且训练它们可能是耗时的。与任意导入纹理或随机增加样式不同,我们专注于单个源域本身来实现泛化。在本文中,我们提出了一种新的自适应纹理过滤机制,以抑制纹理的影响,而不使用增强,从而消除特定领域的功能的干扰。此外,我们设计了一个分层的指导泛化网络,配备了结构引导增强模块,其目的是学习领域不变的广义知识。广泛使用的数据集上的消融研究进行了广泛的实验,以验证所提出的模型的有效性,并显示其优于其他国家的最先进的替代品。
2023-03-06 cs.CV
Efficient and Degradation-Adaptive Network for Real-World Image Super-Resolution
The HongKong Polytechnic University(香港理工大学);OPPO Research(OPPO研究院)
由于真实世界图像的复杂退化和实际应用中有限的计算资源,高效的真实世界图像超分辨率(Real-ISR)是一个具有挑战性的任务。通过对图像退化空间进行建模,Real-ISR的最新研究取得了重大进展;然而,这些方法在很大程度上依赖于重型骨干网络,并且它们不灵活,无法处理不同退化程度的图像。在本文中,我们提出了一个高效和有效的退化自适应超分辨率(DASR)网络,其参数是自适应地指定通过估计每个输入图像的退化。具体地说,一个微小的回归网络被用来预测输入图像的退化参数,而具有相同拓扑结构的几个卷积专家通过专家的非线性混合专家模型被联合优化以指定网络参数。多个专家的联合优化和退化自适应流水线显着扩展了模型的能力,以处理各种级别的退化,而推理仍然是有效的,因为只有一个自适应指定的网络用于超分辨率的输入图像。我们广泛的实验表明,所提出的DASR不仅比现有的方法更有效地处理现实世界中的图像与不同的退化水平,但也有效地易于部署。代码、模型和数据集可在www.example.com上获得。
2022-03-27 cs.CV eess.IV
Self-Adaptive Training: beyond Empirical Risk Minimization
Peking University(北京大学);TTIC(丰田工业大学芝加哥分校)
我们提出了自适应训练--一种新的训练算法,通过模型预测动态纠正有问题的训练标签,而不会产生额外的计算成本--以提高深度学习对潜在损坏的训练数据的泛化能力。这个问题对于从被破坏的数据中鲁棒地学习至关重要,例如,标签噪声和分布外样本。然而,这种数据的标准经验风险最小化(ERM)可能很容易过拟合噪声,从而遭受次优性能。在本文中,我们观察到模型预测可以大大有利于训练过程:自适应训练在各种噪声水平下显着提高了ERM的泛化能力,并减轻了自然和对抗训练中的过拟合问题。我们评估了自适应训练的误差容量曲线:测试误差是单调递减的w.r.t.示范能力。这与最近在ERM中发现的双下降现象形成鲜明对比,双下降现象可能是噪声过拟合的结果。在CIFAR和ImageNet数据集上的实验验证了我们的方法在两个应用中的有效性:带有标签噪声的分类和选择性分类。我们在https://github.com/LayneH/self-adaptive-training上发布代码。
2020-09-30 cs.CV cs.LG stat.ML
AdaWCT: Adaptive Whitening and Coloring Style Injection
Gearbox Studios AB(Gearbox工作室AB)
自适应实例规范化(AdaIN)已成为样式注入的标准方法:通过缩放和移位操作重新规范化特征,它已广泛用于样式传输,图像生成和图像到图像的翻译。在这项工作中,我们提出了一个泛化的AdaIN,它依赖于白化和着色变换(WCT),我们称之为AdaWCT,我们应用于大型GANs中的样式注入。我们通过对StarGANv2架构的实验表明,这种泛化虽然在概念上很简单,但会显著提高生成图像的质量。
2022-08-01 cs.CV eess.IV
SAN-Net: Learning Generalization to Unseen Sites for Stroke Lesion Segmentation with Self-Adaptive Normalization
Fudan University(复旦大学);Shanghai Center for Brain Science and Brain-inspired Technology(上海脑科学与类脑研究中心)
由于脑卒中是一种重要的脑血管疾病,因此在医学成像领域中,对脑卒中磁共振(MR)图像的自动分割具有重要意义。尽管已经提出了基于深度学习的模型来完成这项任务,但将这些模型推广到看不见的部位是困难的,这不仅是因为不同扫描仪、成像协议和人群之间存在很大的部位间差异,而且还因为中风病变形状、大小和位置的变化。为了解决这个问题,我们引入了一个自适应归一化网络,称为SAN网络,以实现自适应泛化中风病变分割看不见的网站。基于传统的z值归一化和动态网络,提出了一种屏蔽自适应实例归一化(MASK Adaptive instance normalization,MAIN)算法,通过动态学习仿射参数,将不同位置的输入MR图像转换为与位置无关的图像; \ie,MAIN可以对图像强度值进行仿射变换。然后,我们利用梯度反转层来迫使U-net编码器使用站点分类器学习站点不变表示,这进一步提高了模型的泛化能力。最后,受人类大脑的“伪随机性”的启发,我们引入了一种简单而有效的数据增强技术,称为随机性启发的数据增强(SIDA),它可以嵌入到SAN网络中,使样本大小增加一倍,同时将内存消耗减半。在中风后病变的基准解剖学追踪(ATLAS)v1.2数据集上的实验结果表明,在“leave-one-site-out”设置下,所提出的SAN-Net在定量指标和定性比较方面优于最近发表的方法。
2023-02-24 cs.CV eess.IV physics.med-ph
Cosmos-Transfer1: Conditional World Generation with Adaptive Multimodal Control
NVIDIA(英伟达)
提出条件世界生成模型Cosmos-Transfer,通过自适应多模态空间控制输入实现高度可控的世界生成,适用于Sim2Real等场景,并开源模型与代码以加速Physical AI研究。
2025-04-01 cs.AI cs.CV cs.LG
ICAT: Incident-Case-Grounded Adaptive Testing for Physical-Risk Prediction in Embodied World Models
Shenzhen University(深圳大学)
ICAT通过结合真实事故报告和安全手册构建结构化风险记忆,约束生成具有因果链和严重程度标签的风险案例,提升体素世界模型在物理风险预测中的可靠性。
2026-10-20 cs.AI cs.CV cs.LG
Toward Real-world Image Super-resolution via Hardware-based Adaptive Degradation Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
大多数单图像超分辨率(SR)方法都是在合成低分辨率(LR)和高分辨率(HR)图像对上开发的,这些图像对通过预定的降级操作进行模拟,例如,双三次下采样然而,这些方法只学习预定操作的逆过程,因此它们不能超分辨真实世界的LR图像;真正的公式偏离了预定操作。为了解决这个问题,我们提出了一种新的监督方法来模拟一个未知的退化过程,包括成像系统的先验硬件知识。我们在监督学习框架中设计了一个自适应模糊层(ABL)来估计目标LR图像。ABL的超参数可以针对不同的成像硬件进行调整。在真实世界数据集上的实验验证了我们的退化模型可以比预定的退化操作更准确地估计LR图像,以及促进现有的SR方法比传统方法更准确地对真实世界LR图像进行重建。
2021-10-20 cs.CV eess.IV
Real-World Multi-Domain Data Applications for Generalizations to Clinical Settings
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
随着计算机视觉中基于机器学习的模型的有希望的结果,医学成像数据的应用已经呈指数级增长。然而,对复杂的真实世界临床数据的概括是一个持续存在的问题。深度学习模型在人工设置(如临床试验)的标准化数据集上训练时表现良好。然而,现实世界的数据是不同的,翻译产生不同的结果。医疗保健中的实际应用的复杂性可能来自多个设备域中不同数据分布的混合,以及来自不同图像分辨率、人为错误和缺乏手动分级的不可避免的噪声。此外,医疗保健应用程序不仅受到标记数据稀缺的困扰,而且由于HIPAA法规、患者隐私、数据所有权的模糊性以及从不同来源收集数据的挑战,还面临着对未标记数据的有限访问。这些限制对在医疗保健和临床翻译中应用深度学习算法提出了额外的挑战。在本文中,我们利用自我监督的表示学习方法,制定有效的迁移学习设置,以解决有限的数据可用性。我们的实验验证了不同的现实世界的数据推广到临床环境的重要性。我们表明,通过在多域真实世界数据集上采用迁移学习的自监督方法,我们可以在标准化数据集上实现16%的相对改进。
2020-07-24 cs.CV
Beyond Pixels: Text Enhances Generalization in Real-World Image Restoration
Tsinghua University(清华大学);Huawei(华为);CUHK(香港中文大学);USTC(中国科学技术大学)
针对扩散图像复原模型在分布外真实数据上的生成能力失活问题,提出文本模块 Res-Captioner 和 RealIR 基准,显著提升泛化性且即插即用。
2024-12-06 cs.CV
Adaptive Context Matters: Towards Provable Multi-Modality Guidance for Super-Resolution
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究院)
本文提出M$^3$ESR框架,通过动态模态融合提升超分辨率的泛化和语义一致性,理论分析揭示了多模态SR的优化方法。
2026-05-11 cs.CV
PHATNet: A Physics-guided Haze Transfer Network for Domain-adaptive Real-world Image Dehazing
National Tsing Hua University(清华大学);MediaTek(联发科);National Chengchi University(台北市立成功大学);National Yang Ming Chiao Tung University(交通大学)
针对真实世界去雾模型在未见域上性能下降的问题,本文提出物理引导雾霾迁移网络PHATNet,通过迁移雾霾模式生成域特定微调集并引入一致性损失与内容泄漏损失,显著提升现有去雾模型的域自适应能力。
2025-07-20 cs.CV
Style-Adaptive Detection Transformer for Single-Source Domain Generalized Object Detection
School of Information and Electronics, Beijing Institute of Technology(信息与电子学院,北京理工大学);Beijing Institute of Technology Chongqing Innovation Center(北京理工大学重庆创新中心);National Key Laboratory for Space-Born Intelligent Information Processing(空间智能信息处理国家级重点实验室)
提出SA-DETR,通过在线风格适配器、动态记忆库和对象感知对比学习,使DETR在仅用单源域数据训练时提升跨天气场景的目标检测泛化性能。
2025-07-25 cs.CV