Simon-SR: Spatially Adaptive Modulation and Visual Prompt Adaptation for Text-Reinforced Super-Resolution
College of Electronic Science and Engineering, Jilin University(吉林大学电子科学与工程学院)
针对单图像超分辨率问题,提出Simon-SR框架,利用可学习提示进行语义挖掘和文本-图像融合,结合对比提示学习与空间自适应细化,实验证明该方法超越现有技术,在多项指标上有明显提升。
2026-10-01 cs.CV
LiteVSR: Lightweight Adaptation of Frozen Diffusion Transformers for Video Super-Resolution
University of Science and Technology of China(中国科学技术大学)
提出LiteVSR,利用流匹配原理,通过轻量级状态感知适配器在冻结扩散变换器上实现视频超分辨率,仅需11.25%可训练参数和12 GPU小时训练。
2026-06-08 cs.CV
Texture and Noise Dual Adaptation for Infrared Image Super-Resolution
针对可见光信息辅助红外超分易引入噪声和模糊的问题,本文提出 DASRGAN,通过 TOA 与 NOA 双重域自适应分别增强纹理并抑制噪声迁移,在多项基准上达到最先进水平。
2025-02-20 cs.CV eess.IV
Dual Adversarial Adaptation for Cross-Device Real-World Image Super-Resolution
Sun Yat-sen University(中山大学);Tencent America(美国腾讯公司)
由于复杂的成像过程,由不同相机捕获的相同场景可以表现出不同的成像模式,从而在来自不同设备的图像上训练的超分辨率(SR)模型之间引入不同的熟练程度。在本文中,我们研究了一种新颖而实用的任务编码跨设备SR,它致力于将在一个相机捕获的配对图像上训练的真实世界SR模型适应于由任意目标设备捕获的低分辨率(LR)图像。由于缺乏来自各种成像设备的配对数据,所提出的任务极具挑战性。为了解决这个问题,我们提出了一个无监督的域自适应机制,为现实世界的SR,命名为双ADVERSARIAL适应(DADA),它只需要LR图像在目标域与可用的真实配对数据从源相机。DADA采用领域不变注意(DIA)模块,即使没有人力资源监督,也可以建立目标模型训练的基础。此外,DADA的双重框架促进了针对来自两个域的两个LR输入图像的一个分支中的域间对抗适应(InterAA),以及针对LR输入图像的两个分支中的域内对抗适应(IntraAA)。InterAA和IntraAA一起提高了模型从源域到目标域的可移植性。我们凭经验进行实验,在六个真实的真实的适应设置之间的三个不同的相机,并实现优越的性能相比,现有的国家的最先进的方法。我们还评估了建议的DADA,以解决适应视频摄像机,这是一个有前途的研究课题,以促进现实世界的超分辨率的广泛应用。我们的源代码可在https://github.com/lonelyhope/DADA.git上…
2022-05-07 cs.CV eess.IV
Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);Transsion(传音控股)
针对基于CNN的高效图像超分辨率方法需更深网络和更大特征图导致复杂度与推理成本增加的问题,提出DSCLoRA,将ConvLoRA集成到SPAN中,提升性能且不增加复杂度,在NTIRE 2025挑战赛综合性能赛道中排名第一。
2025-04-15 cs.CV
MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces
Harbin Institute of Technology(哈尔滨工业大学);Shanghai Transsion Co, Ltd(上海传音控股有限公司);Peng Cheng Laboratory(鹏城实验室)
针对盲图像超分辨率中人脸恢复耗时且优化不确定的问题,提出MetaF2N方法,利用人脸在元学习框架中一步微调模型以适应整幅自然图像,并引入MaskNet降低低置信区域影响,在合成与真实数据集上均取得优越性能。
2023-09-15 cs.CV
Sub-Aperture Feature Adaptation in Single Image Super-resolution Model for Light Field Imaging
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
随着商业光场(LF)相机的可用性,LF成像已经成为计算摄影中的新兴技术。然而,由于空间和角度信息的固有复用,空间分辨率在基于商业微透镜的LF相机中受到显著约束。因此,它成为光场相机其他应用的主要瓶颈。本文提出了一种预训练的单图像超分辨率(SISR)网络中的自适应模块,以利用强大的SISR模型,而不是使用高度工程化的光场成像域特定的超分辨率模型。自适应模块由子孔径偏移模块和融合模块组成。进一步利用LF图像中的空间和角度信息来提高超分辨率性能是SISR网络中的一种适应。实验验证表明,该方法优于现有的光场超分辨率算法。与比例因子2的相同预训练SISR模型相比,它还在所有数据集上实现了超过1 dB的PSNR增益,并且对于比例因子4,PSNR增益为0.6至1 dB。
2022-07-26 cs.CV eess.IV
Test-Time Adaptation for Super-Resolution: You Only Need to Overfit on a Few More Images
Signal Processing Lab (LTS5) EPFL(信号处理实验室(LTS5)洛桑联邦理工学院)
现有的基于参考(RF)的超分辨率(SR)模型试图在测试时与低分辨率(LR)输入配对的高分辨率RF图像的可用性的假设下改善SR中的感知质量。由于RF图像在内容、颜色、对比度等方面应与测试图像相似,这妨碍了在实际场景中的适用性。其他提高图像感知质量的方法,包括感知损失和对抗损失,往往会通过显著降低PSNR/SSIM来显著降低对地面实况的保真度。为了解决这两个问题,我们提出了一种简单而通用的方法,通过进一步微调SR网络对来自训练数据集的图像子集的感知质量,来改善给定LR输入上的预训练SR网络的HR预测,其中训练数据集具有与初始HR预测相似的激活模式,相对于特征提取器的过滤器。特别是,我们展示了微调对这些图像的感知质量和PSNR/SSIM值的影响。与感知驱动的方法相反,我们证明了微调网络产生的HR预测具有更高的感知质量和相对于初始HR预测的PSNR/SSIM的最小变化。此外,我们提出了新的数值实验关于SR网络的过滤器,我们通过过滤器相关性,我们的方法微调网络的过滤器更接近“理想”的过滤器,比基线网络或网络微调随机图像。
2021-04-06 cs.CV
Low-Rank Adaptation of Pre-Trained Stable Diffusion for Rigid-Body Target ISAR Imaging
Xidian University(西安电子科技大学);Anhui University(安徽大学)
提出利用预训练稳定扩散模型的低秩适配增强时频表示,实现刚体目标ISAR超分辨成像,模拟训练实测验证泛化性。
2025-03-26 cs.CV
AdaptSR: Low-Rank Adaptation for Efficient and Scalable Real-World Super-Resolution
Koc University(科克大学);University of Würzburg(维尔茨堡大学)
AdaptSR提出一种低秩适配(LoRA)框架,通过仅更新轻量级LoRA层将双三次训练的SR模型高效适配到真实世界任务,在减少92%训练参数的同时超越GAN和扩散方法,并可在轻量级硬件上快速完成适配。
2025-03-10 cs.CV eess.IV
Super-Resolution of BVOC Emission Maps Via Domain Adaptation
Politecnico di Milano(米兰理工大学)
本研究结合深度学习超分辨率与域自适应技术,利用模拟排放图信息增强卫星观测的BVOC低分辨率排放图,并系统评估数据稀缺对自适应策略的影响,为观测排放重建提供初步方案。
2023-06-22 cs.CV eess.IV
Sparse-based Domain Adaptation Network for OCTA Image Super-Resolution Reconstruction
Beijing Institute of Technology(北京理工大学);Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(中国科学院宁波材料技术与工程研究所);Cixi Institute of Biomedical Engineering(慈溪生物医学工程研究所);Ningbo University of Technology(宁波工程学院)
高分辨率视网膜光学相干断层血管成像(OCTA)对于视网膜血管的定量和分析具有重要意义。但是,在相同的采样频率下,OCTA图像的分辨率与视场成反比,不利于临床医生分析更大的血管区域。在本文中,我们提出了一种新的基于稀疏域自适应超分辨率网络(SASR)的重建现实6x6 mm 2/低分辨率(LR)OCTA图像的高分辨率(HR)表示。更具体地说,我们首先对3x 3 mm 2/高分辨率(HR)图像进行简单的降级,以获得合成LR图像。然后采用有效的配准方法将合成LR与其在6x6 mm 2图像内的对应3x 3 mm 2图像区域配准,以获得裁剪的真实LR图像。然后,我们提出了一个多层次的超分辨率模型的合成数据的全监督重建,指导现实LR图像的重建,通过生成对抗策略,使合成和现实LR图像在特征域中统一。最后,一种新的稀疏边缘感知损失的设计,以动态优化血管边缘结构。在两个OCTA集上的大量实验表明,我们的方法比最先进的超分辨率重建方法表现得更好。此外,我们还研究了重建结果在视网膜结构分割上的性能,这进一步验证了我们的方法的有效性。
2022-07-25 cs.CV eess.IV
Video compression with low complexity CNN-based spatial resolution adaptation
Bristol Vision Institute(布里斯托尔视觉研究所);University of Bristol(布里斯托尔大学)
最近已经证明,空间分辨率自适应可以集成在视频压缩中,以通过在编码之前进行空间下采样和在解码器处进行超分辨来提高整体编码性能。当使用卷积神经网络(CNN)来执行分辨率上采样时,已经报告了显著的改进。然而,由于采用了基于CNN的超分辨率,这种方法在解码器处具有高复杂度。在本文中,提出了一种新的框架,支持灵活分配的复杂性之间的编码器和解码器。该方法采用CNN模型在编码器处进行视频下采样,并使用Lanczos 3滤波器在解码器处重建全分辨率。所提出的方法被集成到HEVC HM 16.20软件中,并使用All Intra配置在JVET UHD测试序列上进行评估。实验结果证明了所提出的方法的潜力,与原始HEVC HM相比具有显著的比特率节省(超过10%),并且编码器(29%)和解码器(10%)处的计算复杂度降低。
2020-07-29 cs.CV cs.LG cs.MM
Unsupervised domain adaptation and super resolution on drone images for autonomous dry herbage biomass estimation
Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk(VistaMilk研究中心);University College Dublin(都柏林大学学院);Teagasc(爱尔兰农业与食品发展局)
牧草质量产量和组成估计是奶农确保为放牧和随后的牛奶生产提供充足的高质量牧草的重要工具。通过准确估计牧草质量和组成,可以部署有针对性的氮肥施用策略,以改善牧草地的局部区域,有效减少过度施肥对生物多样性和环境的负面影响。在这种情况下,深度学习算法提供了一种诱人的替代方法,以替代通常的草地成分估计方法,这种方法涉及从牧草地切割样本并手动分类牧草中所有植物物种的破坏性过程。这个过程是劳动密集型和耗时的,因此农民不使用。深度学习已成功应用于地面高分辨率相机收集的图像。然而,将深度学习解决方案移动到无人机成像,有可能通过将地面估计扩展到田地/围场占用的大面积来进一步改善牧草质量产量和成分估计任务。无人机图像的代价是从高空拍摄的田地分辨率较低,并且需要从无人机图像覆盖的大面积表面进一步收集牧草地面实况。本文提出以无监督的方式将地面图像上学到的知识转移到原始无人机图像。为此,我们使用不成对的图像风格转换将无人机图像的分辨率提高了8倍,并将其修改为更接近地面的图像。然后我们... ~ \url{www.github.com/PaulAlbert31/Clover_SSL}。
2022-04-18 cs.CV
DynaVSR: Dynamic Adaptive Blind Video Super-Resolution
Seoul National University(首尔大学)
大多数传统的监督超分辨率(SR)算法假设低分辨率(LR)数据是通过用固定的已知核对高分辨率(HR)数据进行降尺度而获得的,但是这样的假设在实际场景中通常不成立。一些最近的盲SR算法已经被提出来估计不同的降尺度内核为每个输入LR图像。然而,他们遭受沉重的计算开销,使他们不可行的直接应用到视频。在这项工作中,我们提出了DynaVSR,一种新的基于元学习的框架,用于现实世界的视频SR,使有效的降尺度模型估计和适应当前的输入。具体来说,我们使用各种类型的合成模糊核来训练多帧缩减模块,该模块与视频SR网络无缝结合,以进行输入感知自适应。实验结果表明,DynaVSR一贯提高性能的国家的最先进的视频SR模型的大幅度提高,一个数量级更快的推理时间相比,现有的盲SR方法。
2020-11-09 cs.CV
Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction
Monash University(莫纳什大学);South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(教育部大数据与智能机器人重点实验室);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
本文提出高效测试时自适应框架 SRTTA,通过预训练分类器预测退化类型并构建二阶退化数据,利用特征级重建学习快速适配超分辨率模型,在多种退化场景下显著提升性能。
2023-10-29 cs.CV
Adaptation of the super resolution SOTA for Art Restoration in camera capture images
IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文将基于DM的超分辨率SOTA模型适配并微调为统一的艺术品图像修复模型,通过多数据集训练处理噪声、模糊、划痕和褪色等多种退化。
2023-09-28 cs.CV eess.IV
TOLA: Text-aware One-Step Latent Adaptation for Diffusion-based Text Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai AI Laboratory(上海人工智能实验室)
TOLA提出一种文本感知单步潜在适配框架,通过置信度加权文本条件模块和轻量级潜在残差校正模块,在无需迭代图像-文本扩散的情况下,实现文本图像超分辨率,并在CTR-TSR-Test和RealCE-200基准上取得最优性能,PSNR至少提升2.72 dB。
2026-09-25 cs.AI cs.CV
Unsupervised Representation Learning for 3D MRI Super Resolution with Degradation Adaptation
Vitalent Consulting(维塔伦特咨询公司);University Hospital Heidelberg(海德堡大学医院);James Cook University(詹姆斯库克大学);La Trobe University(拉筹伯大学);Monash University(莫纳什大学);University of Sydney(悉尼大学)
本文提出无监督退化自适应网络 UDEAN,通过从不对齐或未配对的低分辨率 MRI 中学习退化表示,再训练超分辨率重建网络,从而缓解合成与真实低分辨率图像之间的退化差异,提升临床三维 MRI 超分辨率重建质量。
2024-04-24 cs.CV eess.IV physics.med-ph
Cross-Resolution SAR Target Detection Using Structural Hierarchy Adaptation and Reliable Adjacency Alignment
Department of Information Engineering, Harbin Institute of Technology(信息工程系,哈尔滨工业大学)
本文提出CR-Net,通过结构诱导层次特征自适应和可靠结构邻接对齐实现跨分辨率SAR目标检测的可靠域自适应,并在不同分辨率数据集上取得SOTA性能。
2025-09-19 cs.CV
Super-Resolution Domain Adaptation Networks for Semantic Segmentation via Pixel and Output Level Aligning
Naval Aeronautical University(海军航空大学);Hebei University of Technology(河北工业大学)
近年来,无监督领域自适应(UDA)在解决语义分割任务中的领域转移问题方面引起了越来越多的关注。虽然以往的UDA方法取得了良好的性能,但它们仍然受到源和目标域之间的分布差距,特别是遥感图像的分辨率差异。针对这一问题,设计了一种新的端到端语义分割网络,即超分辨率领域自适应网络(SRDA-Net)。SRDA-Net可以同时完成超分辨率任务和领域自适应任务,满足了遥感图像语义分割的要求,因为遥感图像通常涉及不同分辨率的图像。SRDA-Net包括三个部分:一个超分辨率和分割(SRS)模型,用于恢复高分辨率图像和预测分割图;一个像素级域分类器(PDC),用于确定像素属于哪个域;通过两个分类器联合优化SRS,该方法不仅可以消除源域和目标域之间的分辨率差异,而且可以提高语义分割任务的性能。在两个不同分辨率的遥感数据集上的实验结果表明,SRDA-Net在精度和视觉质量方面优于一些最先进的方法。代码和型号可在https://github.com/tangzhenjie/SRDA-Net上获得。
2022-05-13 cs.CV
When Does Resolution Help a Frozen Backbone? Global Attention at Resolution Predicts Scalable Adaptation for Camouflaged and Marine Animal Segmentation
University of Delaware(特拉华大学);University of South Florida(南佛罗里达大学)
研究适应冻结视觉基础模型进行细粒度分割时主干网络选择的影响,通过控制实验建立主干网络应用全局注意力与分辨率、低秩适配器效果的关系模式,特定主干网络在多数据集上表现优。
2026-07-07 cs.CV
Ultra-Resolution Adaptation with Ease
National University of Singapore(新加坡国立大学)
针对高分辨率图像生成模型训练数据与算力有限的难题,提出URAE超分辨率适配准则,从数据与参数效率两方面优化,仅用少量样本和迭代就实现媲美顶级闭源模型的2K生成效果并刷新4K生成基准。
2025-03-20 cs.CV
Dual-domain Adaptation Networks for Realistic Image Super-resolution
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, School of Artificial Intelligence, Xidian University(教育部智能感知与图像理解重点实验室,西安电子科技大学人工智能学院);School of Telecommunications Engineering, Xidian University(西安电子科技大学电信工程学院);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机科学与信息工程学院);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Guangdong Key Laboratory of Big Data Analysis and Processing(广东省大数据分析与处理重点实验室)
本文提出双域适应网络,通过空间域和频率域适应提升真实图像超分辨率效果。
2025-11-21 cs.CV
Make a Cheap Scaling: A Self-Cascade Diffusion Model for Higher-Resolution Adaptation
Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯AI实验室);The Hong Kong University of Science and Technology(香港科技大学);Clemson University(克莱姆森大学)
本文提出自级联扩散模型,利用低分辨率模型知识快速适配高分辨率生成,实现5倍训练加速和仅0.002M调优参数,微调1万步即可高效生成高分辨率图像和视频。
2024-09-19 cs.CV
CircleNet: Reciprocating Feature Adaptation for Robust Pedestrian Detection
University of Chinese Academy of Sciences(中国科学院大学);University of California at Berkeley(加州大学伯克利分校);BeiHang University(北京航空航天大学)
在野外的行人检测仍然是一个具有挑战性的问题,特别是当场景包含显着的遮挡和/或低分辨率的行人检测。现有的方法无法适应这些困难的情况下,同时保持可接受的性能。在本文中,我们提出了一种新的特征学习模型,称为CircleNet,通过模仿人类观看低分辨率和遮挡对象的过程来实现特征自适应:如果第一次无法清楚地识别对象,则再次以更精细的尺度聚焦。CircleNet被实现为一组特征金字塔,并使用权重共享路径增强来实现更好的特征融合。它的目标是使用多个自顶向下和自底向上的路径进行往复特征自适应和迭代目标检测。为了充分利用CircleNet的特征自适应能力,我们设计了一个实例分解训练策略,专注于在每个周期中检测各种分辨率和不同遮挡程度的行人实例。具体来说,CircleNet以端到端的方式实现了具有硬负提升思想的特征集成。在两个行人检测数据集Caltech和CityPersons上的实验表明,CircleNet提高了具有显著边缘的遮挡和低分辨率行人的性能,同时保持了正常情况下的良好性能。
2022-12-12 cs.CV
Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large Language Models
School of Informatics, Xiamen University(厦门大学信息学院);Peng Cheng Laboratory(鹏城实验室);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文提出混合分辨率适配 MRA,通过 MR-Adapters 融合高低分辨率视觉通路并缩短输入序列,构建高效的 LLaVA-HR,在多项视觉-语言任务上取得显著性能提升。
2024-03-05 cs.CV
Inflation with Diffusion: Efficient Temporal Adaptation for Text-to-Video Super-Resolution
University of Chicago(芝加哥大学);Google(谷歌)
本文提出将文本到图像 SR diffusion 模型权重膨胀到视频框架并加入时序适配器,以低成本实现具有视觉质量与时序一致性的文本到视频超分辨率生成。
2024-01-18 cs.CV
Unsupervised Domain Adaptation for Cross-sensor Pore Detection in High-resolution Fingerprint Images
Indian Institute of Technology Indore(印度理工学院印多尔分校)
随着高分辨率指纹传感器的出现,下一代自动指纹识别系统(AFRS)的第3级指纹特征,特别是毛孔,受到了很多关注。随着深度学习在各种计算机视觉任务中的成功,研究人员开发了基于学习的方法来检测高分辨率指纹图像中的孔隙。通常,基于学习的方法比手工制作的基于特征的方法提供更好的性能。然而,现有的基于学习的孔隙检测方法的领域适应性从未被研究过。在本文中,我们研究这方面,并提出了一种方法,在跨传感器的情况下,孔隙检测。为此,我们已经生成了一个内部的1000 dpi指纹数据集与地面真实孔坐标(称为IITI-HRFP-GT),并评估了现有的基于学习的孔隙检测方法的性能。所提出的用于在跨传感器场景中检测孔隙的方法的核心是DeepDomainPore,这是一种基于残差学习的卷积神经网络(CNN),用于孔隙检测。DeepDomainPore中的域适应性是通过在CNN和域分类器网络之间嵌入梯度反转层来实现的。该方法在涉及公共高分辨率指纹数据集的跨传感器场景中实现了最先进的性能,具有88.12%的真实检测率和83.82%的F-score。
2020-01-28 cs.CV
Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution
University of Science and Technology of China(中国科学技术大学);University of Rochester(罗切斯特大学)
提出SATeCo方法,通过学习时空指导并冻结预训练模型参数,仅优化SFA和TFA模块,实现视频超分辨率中的高分辨率帧合成与时间特征对齐。
2024-03-25 cs.CV cs.MM
Joint Semi-supervised 3D Super-Resolution and Segmentation with Mixed Adversarial Gaussian Domain Adaptation
MRC London Institute of Medical Sciences(MRC伦敦医学科学研究所);Imperial College London(帝国理工学院);National Heart Research Institute Singapore(新加坡国家心脏研究所);National Heart Center Singapore(新加坡国家心脏中心);Technical University of Munich(慕尼黑工业大学)
优化心脏结构和功能的分析需要精确的形状和运动的3D表示。然而,诸如心脏磁共振成像的技术传统上限于采集具有低的通过平面分辨率和潜在的切片间空间未对准的连续横截面切片。医学成像中的超分辨率旨在提高图像的分辨率,但传统上是在来自低分辨率数据集的特征上训练的,并且不对相应的分割进行超分辨率。在这里,我们提出了一个半监督多任务生成对抗网络(Gemini-GAN),它使用高分辨率3D电影和分割的地面真实值来执行图像及其标签的联合超分辨率,而无监督变分对抗混合自动编码器(V-AMA)用于连续域自适应。我们提出的方法是广泛的两个跨国多种族人口的1,331和205成年人分别进行评估,提供了一个改进的最先进的方法方面的骰子指数,峰值信噪比,和结构相似性指数的措施。该框架还超过了外部验证的最新生成域自适应模型的性能(Dice指数为0.81,左心室为0.74)。这展示了联合超分辨率和分割如何在具有跨域泛化的3D地面实况数据上进行训练,从而在不同人群中实现强大的精确表型分析。
2021-07-16 cs.CV eess.IV
Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory
Central South University(中南大学)
语义分割是高分辨率遥感图像自动解译的关键技术之一,受到遥感界的广泛关注。深度卷积神经网络(DCNN)由于其分层表示能力,已成功应用于HRS图像语义分割任务。然而,DCNN对大量标注密集的训练数据的依赖性以及对数据分布变化的敏感性严重限制了其在HRS图像语义分割中的应用。本研究提出一种新的无监督领域自适应语义分割网络(MemoryAdaptNet)的HRS图像的语义分割。MemoryAdaptNet构建了一个输出空间对抗学习方案,以弥合源域和目标域之间的域分布差异,并缩小域偏移的影响。具体来说,我们嵌入了一个不变特征记忆模块来存储不变的域级上下文信息,因为从对抗学习中获得的特征只倾向于表示当前有限输入的变化特征。该模块通过类别注意力驱动的不变域级上下文聚合模块集成到当前伪不变特征中,以进一步增强像素表示。采用基于熵的伪标签过滤策略,利用当前目标图像的高置信度伪不变特征更新存储模块。在三个跨领域任务下的大量实验表明,我们提出的MemoryAdaptNet是显着优于国家的最先进的方法。
2023-02-14 cs.CV
FAN: Feature Adaptation Network for Surveillance Face Recognition and Normalization
Michigan State University(密歇根州立大学);Youtu Lab, Tencent(腾讯优图实验室)
本文研究了监控图像中的人脸识别和归一化问题。侦查是一个具有挑战性的问题,在执法中具有重要的价值。尽管最近的进展,在传统的FR,较少的努力一直致力于监督FR。为了弥合这一差距,我们提出了一个功能自适应网络(FAN),共同执行监督FR和规范化。我们的人脸归一化主要作用于图像分辨率方面,与人脸超分辨率密切相关。然而,以前的人脸超分辨率方法需要具有像素到像素对应关系的成对训练数据,这通常在现实世界的低分辨率和高分辨率人脸之间不可用。FAN可以利用配对和未配对的数据,因为我们将特征分解为身份和非身份分量,并适应身份特征的分布,这打破了当前人脸超分辨率方法的限制。我们进一步提出了一种随机尺度增强方案来学习分辨率鲁棒的身份特征,与之前的固定尺度增强相比具有优势。在LFW、WIDER FACE、QUML-SurvFace和SCface数据集上的大量实验表明了该方法在监测FR和归一化方面的有效性。
2020-10-02 cs.CV cs.LG
Q-Frame: Query-aware Frame Selection and Multi-Resolution Adaptation for Video-LLMs
MiLM Plus, Xiaomi Inc.(小米公司)
本文提出 Q-Frame,一种基于 CLIP 和 Gumbel-Max 的免训练即插即用方法,通过查询感知的自适应帧选择与多分辨率缩放,使视频大语言模型在有限计算资源下处理更多关键帧,并在多个视频理解基准上取得优于现有方法的效果。
2025-07-22 cs.CV
High Resolution Zero-Shot Domain Adaptation of Synthetically Rendered Face Images
Microsoft(微软)
使用计算机图形学方法生成大规模人脸的照片级真实感图像仍然是一项非常困难的任务。这是因为这些要求光的模拟是照片级的,这反过来又要求对头部和周围场景的几何形状、材料和光源进行物理上精确的建模。然而,非真实感渲染越来越容易制作。与计算机图形方法相比,从更容易获得的2D图像数据中学习的生成模型已经被证明可以产生难以与真实数据区分的人脸样本。学习的过程通常对应于对所生成的图像的形状和外观的控制的丧失。例如,即使是简单的解开任务,如修改头发独立的脸,这是微不足道的,在计算机图形学的方法来完成,仍然是一个开放的研究问题。在这项工作中,我们提出了一种算法,该算法将非真实感的合成生成图像与预训练的StyleGAN2模型的潜在向量相匹配,该模型反过来将向量映射到具有相同姿势,表情,头发和照明的人的真实感图像。与大多数以前的工作相比,我们不需要合成的训练数据。据我们所知,这是同类算法中第一个在1K分辨率下工作的算法,代表了视觉现实主义的重大飞跃。
2020-06-26 cs.CV
Unsupervised Domain Adaptation for Neuron Membrane Segmentation based on Structural Features
The University of Sydney(悉尼大学)
针对电子显微镜图像神经元膜分割的跨域泛化问题,提出融合结构特征权重模块、结构特征超分辨率、正交分解模块的无监督域自适应方法,经实验验证有效提升了分割性能。
2023-05-04 cs.CV
One Adapter, Every Resolution: Gated Low-Rank Adaptation for Remote Sensing VLMs
Nanjing University(南京大学);ETH Zurich(苏黎世联邦理工学院);RWTH Aachen University(亚琛工业大学)
本文提出ScaleEarth框架,通过连续尺度条件变量动态调节模型计算路径,结合SSE-U和GeoScale-VQA实现遥感VLMs在不同GSD下的高效适应。
2026-10-01 cs.CV
SHARP: Spectrum-aware Highly-dynamic Adaptation for Resolution Promotion in Remote Sensing Synthesis
School of Computer Science, Northwestern Polytechnical University, Xi'an, China(计算机科学学院,西北工业大学,西安,中国);School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University, Xi'an, China(人工智能学院,光学与电子学(iOPEN),西北工业大学,西安,中国)
本文提出SHARP方法,通过频谱感知的高动态适应策略,在无需训练的情况下提升遥感图像分辨率,优于现有无训练基线,在CLIP分数、审美分数和HPSv2上表现更优。
2026-08-14 cs.CV
Uncertainty-Guided Mixup for Semi-Supervised Domain Adaptation without Source Data
现有的领域自适应方法通常通过同时访问源数据和目标数据来执行显式表示对齐。然而,由于隐私保护考虑或带宽限制,源数据并不总是可用的。无源领域自适应旨在通过在不访问源数据的情况下执行领域自适应来解决上述问题。自适应范式近年来受到越来越多的关注,针对无监督无源领域自适应已经提出了多种工作。然而,在自适应阶段不利用任何监督信号和源数据,目标模型的优化是不稳定和脆弱的。为了缓解这个问题,我们专注于在无源设置下的半监督领域自适应。更具体地说,我们提出了不确定性引导的Mixup,以减少表示的域内差异,并执行域间对齐,而无需直接访问源数据。最后,我们在各种数据集上进行了广泛的半监督领域自适应实验。我们的方法优于最近的半监督基线,无监督变体也达到了有竞争力的性能。实验代码将在未来发布。
2021-07-14 cs.CV
Causal Prototype-inspired Contrast Adaptation for Unsupervised Domain Adaptive Semantic Segmentation of High-resolution Remote Sensing Imagery
Central South University(中南大学)
针对高分辨率遥感影像语义分割的域偏移问题,提出因果原型启发对比自适应方法,通过特征解耦、原型对比与因果干预学习域不变因果特征,显著提升跨域语义分割性能。
2024-03-06 cs.CV
Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019
JD AI Reseach(京东人工智能研究院)
本文概述并比较分析了我们为视觉领域自适应挑战赛(VisDA-2019)中的以下两个任务设计的系统:多源领域自适应和半监督领域自适应。多源领域自适应:我们研究了多源领域自适应任务的像素级和特征级自适应,即,通过CycleGAN直接对标记的目标样本产生幻觉,并通过自学习学习域不变特征表示。此外,进一步研究了融合不同骨干特征的机制,以促进领域不变分类器的学习。源代码和预训练模型可在\url{https://github.com/Panda-Peter/visda2019-multisource}上获得。半监督领域自适应:采用标准的自学习框架,根据已标记的源数据和目标数据构建分类器,并为未标记的目标数据生成伪标签。然后利用这些具有伪标签的目标数据在接下来的迭代中重新训练分类器。此外,基于原型的分类模块,另外利用,以加强预测。源代码和预训练模型可在\url{https://github.com/Panda-Peter/visda2019-semisupervised}上获得。
2019-10-14 cs.CV
Closer to Reality: Practical Semi-Supervised Federated Learning for Foundation Model Adaptation
Sony AI(索尼人工智能);University of Central Florida(中央佛罗里达大学)
本文提出实用半监督联邦学习框架FedMox,通过稀疏专家混合架构解决边缘设备计算受限与标注数据稀缺问题,在自动驾驶目标检测任务中验证了其有效性和隐私保护优势。
2025-08-22 cs.CV cs.LG
ViBe: Ultra-High-Resolution Video Synthesis Born from Pure Images
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Jilin University(吉林大学)
本文提出纯图像适应框架,通过两阶段LoRA策略提升视频扩散模型生成超高清视频的能力,无需视频训练数据,在VBench基准上超越现有最佳模型。
2026-03-24 cs.CV
Improved Benthic Classification using Resolution Scaling and SymmNet Unsupervised Domain Adaptation
University of Sydney(悉尼大学);Norwegian University of Science and Technology(挪威科技大学)
自主水下航行器(AUV)对海洋环境进行定期目视调查,以确定和监测底栖生物的组成和多样性。机器学习分类器在此任务中的使用受到可用注释数量少和涉及许多细粒度类的限制。除了这些挑战之外,由于相机系统、成像高度、照明和水柱特性的变化,在不同的AUV勘测期间获取的图像集之间存在域偏移,导致来自不同勘测的图像的分类性能下降,其中一些或所有这些元素可能已经改变。本文提出了一个框架,以提高性能的底栖形态分类器时,用于分类图像从不同的调查相比,训练数据。我们采用SymmNet最先进的无监督领域自适应方法,采用高效的双线性池化层和图像缩放来归一化空间分辨率,并提高了分类精度。我们在两个数据集上测试了我们的方法,这些数据集具有不同成像有效载荷和位置的AUV调查图像。结果表明,通用的领域自适应可以得到增强,以产生一个显着增加的准确性从AUV调查的图像,从训练图像不同。
2023-03-20 cs.CV cs.RO
Semi-Supervised Hypothesis Transfer for Source-Free Domain Adaptation
Zhejiang University(浙江大学);Harvard Medical School(哈佛医学院);University of California Santa Barbara(加州大学圣巴巴拉分校)
领域自适应已被广泛应用于处理视觉、语言、多媒体等领域的分布偏移。大多数领域自适应方法都是利用来自两个领域的数据来学习领域不变特征。然而,当由于数据隐私问题而无法获得源数据时,这种策略在实践中可能不可行。为了解决这个问题,我们提出了一种新的自适应方法,通过假设转移无需访问源数据在适应阶段。为了充分利用有限的目标数据,提出了一种半监督的互增强方法,该方法迭代使用熵最小化和增广标签传播进行域间和域内对齐。在三个公开数据集上的实验结果表明,与现有方法相比,该方法在半监督自适应任务上的性能提高了19.9%。
2021-07-14 cs.CV
Selective Pseudo-Labeling with Reinforcement Learning for Semi-Supervised Domain Adaptation
Didi Chuxing(滴滴出行);Carleton University(卡尔顿大学);Beijing University of Posts and Telecommunications(北京邮电大学)
最近的领域自适应方法在无监督领域自适应问题上取得了令人瞩目的进步。然而,在半监督领域自适应(SSDA)设置中,其中目标域具有几个可用的标记实例,这些方法可能无法提高性能。受领域自适应中伪标签有效性的启发,提出了一种基于强化学习的半监督领域自适应选择性伪标签方法.传统的伪标记方法很难平衡伪标记数据的正确性和代表性。为了解决这一限制,我们开发了一个深度Q学习模型来选择准确和有代表性的伪标记实例。此外,由于大间隔损失在学习小数据的判别特征时的能力,我们进一步提出了一种新的目标间隔损失用于我们的基础模型训练,以提高其判别能力。我们提出的方法进行了评估的几个基准数据集SSDA,并表现出优越的性能,所有的比较方法。
2020-12-07 cs.CV
Cluster-Guided Semi-Supervised Domain Adaptation for Imbalanced Medical Image Classification
Kyushu University(九州大学);Kyoto University(京都大学);The University of Tokyo(东京大学)
半监督领域自适应是一种通过使用来自目标域的许多未标记样本和少量标记样本修改另一(源)域中的分类器来构建目标域的分类器的技术。在本文中,我们开发了一种半监督领域自适应方法,它具有鲁棒性类不平衡的情况下,这是常见的医学图像分类任务。为了鲁棒性,我们提出了一个弱监督聚类管道,以获得高纯度的集群,并利用集群的表示学习领域自适应。所提出的方法在实验中使用严重类不平衡的病理图像补丁显示出最先进的性能。
2023-03-02 cs.CV
ID-Align: RoPE-Conscious Position Remapping for Dynamic High-Resolution Adaptation in Vision-Language Models
Peking University(北京大学)
提出ID-Align方法,通过重排位置ID缓解RoPE长期衰减导致的高分辨率令牌与缩略图令牌交互受阻问题,在LLaVA-Next框架下实现MMBench关系推理任务6.09%的提升。
2026-09-09 cs.CL cs.CV
Efficient Self-Supervised Adaptation for Medical Image Analysis
KTH Royal Institute of Technology(皇家理工学院);Science for Life Laboratory(生命科学实验室)
本文提出 ESSA 框架,将参数高效微调用于医学图像的自监督适配,其中 APLA 在多任务上超越全参数 SSA 与有监督微调,并显著降低显存、提升吞吐。
2025-09-27 cs.CV
CARA: Collision-Aware Resolution Adaptation for Multiresolution Hash Encoding Based Image Fitting
University of Toronto(多伦多大学);Stanford University(斯坦福大学);University of Waterloo(滑铁卢大学)
针对多分辨率哈希编码中哈希碰撞导致的容量分配不均问题,提出碰撞感知分辨率自适应方法,通过平衡各层信息负载并引入可逆像素洗牌变换,在减少参数的同时提升图像拟合的保真度。
2026-09-17 cs.CV cs.GR
Semi-Supervised Domain Adaptation with Auto-Encoder via Simultaneous Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
我们提出了一种新的半监督领域自适应框架,该框架结合了一种新的基于自动编码器的领域自适应模型与同时学习方案,该方案提供了对最先进的领域自适应模型的稳定改进。我们的框架具有很强的分布匹配属性,通过使用一种新的同时学习方案在单个图上训练源和目标自动编码器,并使用最佳修改的MMD损失目标函数。此外,我们设计了一种半监督分类方法,通过将对齐的域不变特征空间从源域转移到目标域。我们评估三个数据集,并证明我们的框架可以有效地解决脆弱的收敛(对抗)和源和目标特征空间(差异)之间的弱分布匹配问题,具有很高的适应速度,需要非常低的迭代次数。
2022-10-18 cs.CV
StandardGAN: Multi-source Domain Adaptation for Semantic Segmentation of Very High Resolution Satellite Images by Data Standardization
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);LuxCarta;Centre National d’Études Spatiales(法国国家空间研究中心);ACRI-ST
语义分割的领域自适应最近被积极研究,以提高深度学习模型的泛化能力。绝大多数的域自适应方法都是针对单源的情况,在这种情况下,在单个源域上训练的模型被适应到目标域。然而,这些方法具有有限的实际现实世界的应用,因为通常一个具有不同的数据分布的多个源域。在这项工作中,我们处理的多源域适应问题。我们的方法,即StandardGAN,对每个源和目标域进行分类,使所有数据具有相似的数据分布。然后,我们使用标准化的源域训练分类器和分割标准化的目标域。我们在两个遥感数据集上进行了广泛的实验,其中第一个由来自一个国家的多个城市组成,另一个包含来自不同国家的多个城市。我们的实验结果表明,StandardGAN生成的标准化数据允许分类器生成更好的分割。
2020-04-14 cs.CV cs.LG eess.IV
CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
无监督领域自适应(UDA)的目的是将标记的源分布与未标记的目标分布对齐,以获得领域不变的预测模型。然而,众所周知的UDA方法的应用在半监督领域自适应(SSDA)场景中不能很好地推广,其中来自目标域的标记样本很少。在本文中,我们提出了一个简单的对比学习框架,半监督领域自适应(CLDA),试图弥合标记和未标记的目标分布之间的域内差距和源和未标记的目标分布之间的域间差距在SSDA。我们建议采用类的对比学习,以减少域间的差距和实例级对比对准之间的原始(输入图像)和强烈增强的未标记的目标图像,以尽量减少域内的差异。我们的经验表明,这两个模块相互补充,以实现卓越的性能。三个著名的领域自适应基准数据集,即DomainNet的,家庭,和B2B 31上的实验证明了我们的方法的有效性。CLDA在所有上述数据集上都取得了最先进的结果。
2021-11-10 cs.CV
Semi-supervised Domain Adaptation via Minimax Entropy
Boston University(波士顿大学);University of California, Berkeley(加州大学伯克利分校)
当代领域自适应方法在不需要任何目标监督的情况下对齐源和目标域的特征分布是非常有效的。然而,我们表明,这些技术表现不佳时,即使是几个标记的例子是在目标。为了解决这个半监督领域自适应(SSDA)设置,我们提出了一种新的极大极小熵(MME)的方法,逆向优化自适应Few-Shot模型。我们的基础模型由一个特征编码网络组成,然后是一个分类层,用于计算特征与估计原型(每个类的代表)的相似性。自适应是通过交替地最大化未标记的目标数据的条件熵相对于分类器和最小化它相对于特征编码器。我们凭经验证明了我们的方法优于许多基线,包括传统的特征对齐和Few-Shot方法,为SSDA设置了一个新的最先进的状态。
2019-09-14 cs.CV