Stage-wise Attention-Guided Region Sequencing for Adversarial Attacks on Large Vision-Language Models
KAIST(韩国科学技术院);KENTECH(KENTECH研究院)
研究针对大型视觉语言模型的有针对性对抗攻击,基于注意力分析提出逐阶段注意力引导区域排序,介绍了黑盒区域排序框架SAGA,在多个模型上取得了最先进的攻击成功率和最佳不可感知性。
2026-07-07 cs.CV
GPV-Pose: Category-level Object Pose Estimation via Geometry-guided Point-wise Voting
Tsinghua University(清华大学);Google(谷歌);Technical University of Munich(慕尼黑工业大学)
虽然6D物体姿态估计最近取得了巨大的飞跃,但大多数方法仍然只能处理单个或少数几个不同的物体,这限制了它们的应用。为了避免这个问题,类别级对象姿态估计最近已经被修改,其目的是预测6D姿态以及来自给定对象类集合的先前看不见的实例的3D度量大小。然而,由于严重的类内形状变化,这是一个更具挑战性的任务。为了解决这个问题,我们提出了GPV-Pose,这是一种用于鲁棒类别级姿态估计的新框架,利用几何洞察来增强类别级姿态敏感特征的学习。首先,我们引入了一个解耦的置信度驱动的旋转表示,它允许几何感知恢复相关的旋转矩阵。其次,我们提出了一种新的几何引导逐点投票范例的3D对象限界框的鲁棒检索。最后,利用这些不同的输出流,我们可以强制执行几个几何一致性项,进一步提高性能,特别是对于非对称类别。GPV-Pose在公共基准测试中产生了优于最先进竞争对手的结果,同时几乎达到了20 FPS的实时推理速度。
2022-03-17 cs.CV
ManiTrans: Entity-Level Text-Guided Image Manipulation via Token-wise Semantic Alignment and Generation
Fudan University(复旦大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现有的文本引导的图像操作方法主要是在虚拟或简单的场景中对图像的外观进行修改或对少数对象进行编辑,离实际应用还很远。在这项工作中,我们研究了一个新的任务,在现实世界中的实体水平上的文本引导的图像操作。该任务提出了三个基本要求,(1)编辑与文本描述一致的实体,(2)保留文本无关区域,以及(3)将操纵的实体自然地合并到图像中。为此,我们提出了一种新的基于变换器的框架的基础上的两阶段的图像合成方法,即\textbf{ManiTrans},它不仅可以编辑实体的外观,但也产生新的实体对应的文本指导。我们的框架采用了语义对齐模块来定位要操作的图像区域,以及语义损失来帮助对齐视觉和语言之间的关系。我们在真实数据集、CUB、Oxford和COCO数据集上进行了大量的实验,验证了我们的方法可以区分相关区域和不相关区域,与基线方法相比,可以实现更精确和灵活的操作。项目主页是\url{https://jawang19.github.io/manitrans}。
2022-04-09 cs.CV
Step-wise Distribution Alignment Guided Style Prompt Tuning for Source-free Cross-domain Few-shot Learning
College of Computer Science, Nankai University(南开大学计算机科学学院);Center for Machine Vision and Signal Analysis (CMVS), University of Oulu(奥卢大学机器视觉与信号分析中心);College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院)
本文解决无源跨域少样本学习问题,提出StepSPT方法,通过风格提示和双阶段优化过程隐式缩小域差距,在五个数据集上优于现有方法。
2025-09-13 cs.CV
CAD-SIGNet: CAD Language Inference from Point Clouds using Layer-wise Sketch Instance Guided Attention
SnT University of Luxembourg(卢森堡大学SnT研究院);German Research Center for Artificial Intelligence(德国人工智能研究中心);Artec3D(阿泰克3D公司)
本文提出CAD-SIGNet,一种端到端自回归架构,通过逐层交叉注意力和草图实例引导注意力模块从点云中恢复CAD模型的草图-拉伸设计历史,并支持交互式多选逆向工程。
2024-02-27 cs.CV
Box-driven Class-wise Region Masking and Filling Rate Guided Loss for Weakly Supervised Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The University of Sydney(悉尼大学);SenseTime(商汤科技);Chinese Academy of Sciences - Artificial Intelligence Research(中国科学院人工智能创新研究院)
语义分割通过采用深度全卷积网络(FCN)取得了巨大的进步。然而,基于FCN的模型的性能严重依赖于大量的像素级注释,这是昂贵的和耗时的。为了解决这个问题,学习从边界框进行弱监督分割是一个很好的选择。如何充分利用边界盒的类级和区域级监督是弱监督学习面临的关键挑战。在本文中,我们首先介绍了一个盒子驱动的类的屏蔽模型(casual-wise masking model,简称casual-wise masking model)来去除每个类的不相关区域。此外,基于限界框监督生成的像素级分割建议,计算每个类别的平均填充率作为重要的先验线索,提出填充率引导的自适应损失(FR-Loss)算法,帮助模型忽略建议中错误标记的像素。与以前的方法直接训练模型与固定的个别段建议,我们的方法可以调整模型学习与全局统计信息。因此,它可以帮助减少错误标记提案的负面影响。我们评估所提出的方法上具有挑战性的PASCAL VOC 2012基准,并与其他方法进行比较。大量的实验结果表明,该方法是有效的,达到了最先进的结果。
2019-04-26 cs.CV
Fast Model-guided Instance-wise Adaptation Framework for Real-world Pansharpening with Fidelity Constraints
University of Electronic Science and Technology of China(电子科技大学);National Research Council, Institute of Methodologies for Environmental Analysis (CNR-IMAA)(国家研究委员会,环境分析方法研究所(CNR-IMAA))
本文提出FMG-Pan框架,通过联合优化光谱和物理保真度约束,实现快速训练和推理,提升全色增强的跨传感器泛化能力与实时性。
2026-04-10 cs.CV
Mask-guided Spectral-wise Transformer for Efficient Hyperspectral Image Reconstruction
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Shenzhen Institute of Future Media Technology(深圳未来媒体技术研究院);Westlake University(西湖大学);ETH Zürich(苏黎世联邦理工学院)
提出掩码引导光谱Transformer(MST),通过光谱多头自注意力和掩码引导机制,在模拟与真实HSI数据集上性能优于SOTA方法,且计算内存成本更低。
2026-11-19 cs.CV eess.IV
Guided Collaborative Training for Pixel-wise Semi-Supervised Learning
City University of Hong Kong(香港城市大学);SenseTime Research(商汤科技研究院)
我们研究的推广半监督学习(SSL)不同的像素明智的任务。虽然SSL方法在图像分类中取得了令人印象深刻的结果,但由于其需要密集的输出,将其应用于像素级任务的性能并不令人满意。此外,现有的逐像素SSL方法仅适用于某些任务,因为它们通常需要使用特定于任务的属性。在本文中,我们提出了一个新的SSL框架,命名为引导协作训练(GCT),像素明智的任务,有两个主要的技术贡献。首先,GCT通过一种新的缺陷检测器解决了密集输出所引起的问题。其次,GCT中的模块通过两个新提出的独立于任务特定属性的约束从未标记数据中协作学习。因此,GCT可以应用于广泛的像素级任务,而无需结构自适应。我们对四个具有挑战性的视觉任务进行了广泛的实验,包括语义分割,真实图像去噪,人像图像抠图和夜间图像增强,结果表明GCT的性能大大优于最先进的SSL方法。我们的代码可在:https://github.com/ZHKKKe/PixelSSL.
2020-08-12 cs.CV cs.LG eess.IV
GRASP: Guided Residual Adapters with Sample-wise Partitioning
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学);Imperial College London(伦敦帝国理工学院)
GRASP通过样本层面的划分和残差适配器提升长尾场景下的生成质量与多样性,有效解决传统方法在长尾设置中的性能下降问题。
2026-10-27 cs.CV
Diffusion Model Guided Sampling with Pixel-Wise Aleatoric Uncertainty Estimation
针对扩散模型缺乏图像质量定量评估的问题,提出在采样阶段利用扰动去噪分数方差估计逐像素任意不确定性,并以此引导采样,在 ImageNet 和 CIFAR-10 上改善低质样本过滤与 FID。
2024-11-29 cs.CV cs.LG stat.ML
Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive Keypoint Estimates
Microsoft Research(微软研究院)
典型的自自底向上的【形】人体姿态估计框架包括两个阶段,关键点检测和分组。大多数现有的工作集中于开发分组算法,例如,关联嵌入和我们在方法中采用的像素关键点回归。我们提出了几个方案,很少或不彻底的研究之前,提高关键点检测和分组(关键点回归)的性能。首先,我们利用关键点热图进行逐像素关键点回归,而不是将它们分离以改进关键点回归。其次,我们采用逐像素空间Transformer网络来学习自适应表示,以处理尺度和方向方差,从而进一步提高关键点回归质量。最后,我们提出了一个联合形状和热值评分计划,以促进更有可能是真实的姿态估计的姿态。连同用于平衡背景和关键点像素从而提高热图估计质量的权衡热图估计损失,我们得到了最先进的自自底向上的【形】的人体姿态估计结果。代码可在https://github.com/HRNet/HRNet-Bottom-up-Pose-Estimation上获得。
2020-06-28 cs.CV
STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference
De Artificial Intelligence Lab(人工智能实验室)
针对大视觉语言模型视觉token推理计算开销大、现有单阶段免训练剪枝高剪枝率下性能下降明显的问题,提出分两阶段注意力引导的即插即用免训练token缩减框架STAR,实现加速同时保持甚至提升性能。
2025-05-18 cs.CV cs.LG
Structure-Preserving Zero-Shot Image Editing via Stage-Wise Latent Injection in Diffusion Models
Department of Image(图像系);Department of Artificial Intelligence(人工智能系)
本研究提出一种基于扩散模型的零样本图像编辑框架,通过阶段式潜变量注入策略与扩散反转等技术,在保留源图结构的同时实现精准细粒度编辑,无需微调即可统一文本与参考引导编辑,在多类编辑任务上达到SOTA性能。
2025-05-20 cs.CV
WISE: Weak-Supervision-Guided Step-by-Step Explanations for Multimodal LLMs in Image Classification
Faculty of Engineering, Monash University(墨尔本大学工程学院);AIM for Health Lab, Faculty of IT, Monash University(墨尔本大学信息技术学院健康人工智能实验室)
本文提出WISE方法,在弱监督下将概念瓶颈模型表示转化为多模态思维链,为图像分类数据集增补可解释推理链,实验表明可解释性提升37%且微调后分类准确率提高。
2025-09-22 cs.CL cs.CV
Edge-guided Non-local Fully Convolutional Network for Salient Object Detection
Anhui University(安徽大学)
全卷积神经网络(FCN)凭借其高层次语义特征提取的优点,近年来被广泛应用于显著目标检测中,但现有的基于FCN的方法仍然存在连续跨越和池化操作,导致空间结构丢失和边缘模糊。为了保持显著对象的清晰边缘结构,我们提出了一种新的边缘引导的非局部FCN(ENFNet)执行边缘引导的特征学习,以准确的显著目标检测。在一个具体的,我们提取层次化的全球和本地的信息,在FCN纳入有效的特征表示的非本地功能。为了保持显著对象的良好边界,我们提出了一个指导块,将边缘先验知识嵌入到分层特征图中。引导块不仅执行特征方面的操作,而且空间方面的变换,以实现有效的边缘嵌入。我们的模型在MSRA-B数据集上训练,并在五个流行的基准数据集上进行测试。与现有方法相比,该方法在所有数据集上都取得了最好的性能。
2019-08-11 cs.CV
Epipolar-Guided Deep Object Matching for Scene Change Detection
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
本文描述了一个视点鲁棒的基于对象的变化检测网络(OBJ-CDNet)。由于相机轨迹和快门定时的差异,行车记录仪等移动相机每次都从不同的视点捕获图像。然而,以前的方法,逐像素的变化检测是脆弱的视点差异,因为他们假设对齐的图像对作为输入。为了解决这个困难,我们引入了一个深度图匹配网络,它在图像对之间建立对象对应关系。介绍使我们能够检测对象明智的场景变化,而无需精确的图像对齐。为了更准确的对象匹配,我们提出了一个核线引导的深度图匹配网络(EGMNet),它将核线约束纳入OBJCDNet中使用的深度图匹配层。为了评估我们的网络对视点差异的鲁棒性,我们从图像对中创建了用于场景变化检测的合成和真实数据集。实验结果验证了该网络的有效性。
2020-07-30 cs.CV
Prior-Guided Residual Diffusion: Calibrated and Efficient Medical Image Segmentation
PGRD通过先验引导残差扩散方法,在医学图像分割中实现高精度与高效校准。
2026-01-31 cs.CV
EPTQ: Enhanced Post-Training Quantization via Hessian-guided Network-wise Optimization
Sony Semiconductor Israel(索尼半导体以色列公司)
提出增强型训练后量化方法EPTQ,利用无标签Hessian矩阵上界构建样本-层注意力分数与知识蒸馏损失,实现跨层依赖的网络级优化,在多种视觉任务上达到SOTA。
2024-09-26 cs.CV cs.LG
FFNeRV: Flow-Guided Frame-Wise Neural Representations for Videos
Sungkyunkwan University(成均馆大学)
FFNeRV通过将光流信息融入逐帧神经表示并采用一维时间网格的全卷积架构,在视频压缩与帧插值上超越同类神经场方法,结合模型压缩技术后性能媲美最先进视频压缩算法。
2023-08-07 cs.CV cs.LG
CT-Guided Spatially-varying Regularization for Voxel-Wise Deformable Whole-Body PET Registration
Institute of Medical Technology, Peking University Health Science Center(北京大学医学部医学技术研究所);Ren Ji Hospital, Shanghai Jiao Tong University(上海交通大学仁济医院);University of Oxford(牛津大学)
本文提出基于CT的局部变化正则化方法,用于全身体积PET变形注册,通过CT体积构建voxel级正则化图,提高全身体积注册精度和器官对齐性能。
2026-04-24 cs.AI cs.CV eess.IV
Attention-guided Progressive Mapping for Profile Face Recognition
South China University of Technology(华南理工大学)
由于深度学习的进步,过去几年在人脸识别领域取得了巨大进展。然而,交叉姿态人脸识别仍然是一个重大挑战。许多深度学习算法很难缩小姿势变化造成的性能差距;其主要原因与不同姿势的人脸图像之间的类内差异和训练数据集的姿势不平衡有关。通过遍历正面人脸的特征空间来学习姿态鲁棒特征提供了一种有效且廉价的方法来缓解这个问题。在本文中,我们提出了一种方法,逐步转换的轮廓面表示的规范构成一个细心的成对损失。首先,为了降低将侧面人脸特征直接转换为正面姿势的难度,我们提出以逐块的方式学习源姿势及其附近姿势之间的特征残差,从而通过添加学习的残差来遍历较小姿势的特征空间。其次,我们提出了一个细心的成对损失,以指导特征变换在最有效的方向进展。最后,我们提出的渐进模块和注意成对损失是轻量级的,易于实现,只增加了约7:5%的额外参数。在CFP和CPLFW数据集上的实验结果表明了该方法的优越性。代码可在https://github.com/hjy1312/AGPM上获得。
2021-06-29 cs.CV
Distillation Guided Residual Learning for Binary Convolutional Neural Networks
Microsoft(微软)
弥合二进制CNN(BCNN)和浮点CNN(FCNN)之间的性能差距具有挑战性。我们观察到,这种性能差距导致BCNN和FCNN的中间特征图之间存在大量残差。为了最小化性能差距,我们强制BCNN产生与FCNN类似的中间特征图。这种训练方法,即利用从FCNN导出的逐块蒸馏损失来优化每个二进制卷积块,导致对BCNN的更有效的优化。这也促使我们更新二进制卷积块架构,以促进逐块蒸馏损失的优化。具体地,将轻量级快捷分支插入到每个二进制卷积块中以补充每个块处的残差。得益于其挤压和相互作用(SI)结构,这个快捷分支引入了一小部分参数,例如,10\%的间接费用,但有效地补充了残差。在ImageNet上的大量实验证明了我们的方法在分类效率和准确性方面的优越性能,例如,使用我们的方法训练的BCNN在ImageNet上达到了60.45%的准确率。
2020-07-27 cs.CV
Fast End-to-End Trainable Guided Filter
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);eBay Research(eBay研究);University of Oxford(牛津大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
通过利用全卷积网络(FCN)的能力,密集像素图像预测已经得到了改进。FCN的一个核心问题是处理联合上采样的能力有限。为了解决这个问题,我们提出了一种新的构建块的FCNs,即引导过滤层,它的目的是有效地生成一个高分辨率的输出,给出相应的低分辨率和高分辨率的指导地图。这样的层包含可学习的参数,这些参数可以与FCN集成,并通过端到端训练进行联合优化。为了进一步利用端到端训练,我们插件中插入了一个可训练的转换函数,用于生成特定于任务的指导图。基于所提出的层,我们提出了一个一般的框架,逐像素图像预测,命名为深度引导过滤网络(DGF)。建议的网络进行评估的五个图像处理任务。在MIT-Adobe FiveK数据集上的实验表明,DGF的运行速度提高了10-100倍,达到了最先进的性能。我们还表明,DGF有助于提高多个计算机视觉任务的性能。
2019-09-25 cs.CV
Mix-and-Match Pruning: Globally Guided Layer-Wise Sparsification of DNNs
1 Brandenburg Technical University, Cottbus, Germany;2 University of Zanjan, Iran;3 Tallinn University of Technology, Estonia;4 Leibniz Institute for High Performance Microelectronics, Frankfurt Oder, Germany
本文提出混合匹配剪枝方法,通过全局引导分层稀疏化DNNs,在不同层和架构对剪枝响应不同的情况下,生成多样化高质量剪枝配置,实现部署-ready的精度-稀疏度平衡。
2026-03-17 cs.AR cs.CV cs.LG
G2DA: Geometry-Guided Dual-Alignment Learning for RGB-Infrared Person Re-Identification
China University of Geoscience(中国地质大学);University of Chinese Academy of Sciences(中国科学院大学)
RGB-红外(IR)人物重新识别的目的是从异构相机中检索感兴趣的人,容易遭受由不同的传感波长范围引起的大的图像模态差异。现有的工作通常通过调整全局特征的域分布来最大限度地减少这种差异,而忽略了语义部分之间的模态内结构关系。这可能会导致网络过度关注局部线索,而不考虑长期身体部位依赖性,从而导致无意义的区域表示。在本文中,我们提出了一种支持图形的分布匹配解决方案,称为几何引导双对齐(G2 DA)学习,用于RGB-IR ReID。它可以通过解决嵌入人类拓扑信息的多尺度骨架图中的图匹配任务,共同鼓励部件语义和结构关系之间的跨模态一致性,以实现细粒度的模态对齐。具体来说,我们建议建立一个语义对齐的完整图,所有的跨模态图像可以通过姿势自适应图的构建机制映射到。该图通过节点表示提取的整体-部分特征,并表示与关联边缘的节点相似性。为了实现基于图的双对齐学习,进一步引入了基于最优传输(OT)的结构化度量,以同时测量跨模态的逐点关系和逐组结构相似性。通过最小化跨模态传输计划的成本,G2 DA可以学习一个一致的和有区别的特征子空间,用于跨模态图像检索。此外,我们提出了一个消息融合注意力(MFA)机制,自适应地重新加权语义传播的信息流,有效地加强了所提取的语义特征的可区分性。
2021-07-25 cs.CV
Image Inpainting Guided by Coherence Priors of Semantics and Textures
National Institute of Informatics(国立信息学研究所);Wuhan University(武汉大学);National Tsing Hua University(国立清华大学)
现有的修复方法在修复特定场景的缺陷图像方面取得了很好的效果。然而,填补涉及多个语义类别的漏洞仍然具有挑战性,由于模糊的语义边界和不同的语义纹理的混合。在本文中,我们引入语义和纹理之间的相干先验,这使得有可能集中精力完成单独的纹理在语义明智的方式。具体而言,我们采用多尺度联合优化框架,首先建模的一致性先验,然后相应地交错优化图像修补和语义分割在一个由粗到细的方式。一个语义明智的注意力传播(SWAP)模块的设计,以完善完成跨尺度的图像纹理探索非局部语义一致性,有效地减轻混淆的纹理。我们还提出了两个一致性损失约束的语义和修复图像的整体结构和详细的纹理之间的一致性。实验结果表明,我们提出的方法的优越性,具有复杂的孔挑战性的情况下。
2020-12-15 cs.CV
Transmission-Guided Bayesian Generative Model for Smoke Segmentation
The Australian National University(澳大利亚国立大学)
烟雾分割对于精确定位野火至关重要,以便在早期阶段将其扑灭。尽管深度神经网络在图像分割任务上取得了令人鼓舞的结果,但由于其非刚性形状和透明外观,它们容易对烟雾分割过于自信。这是由知识水平的不确定性和标记水平的不确定性引起的,知识水平的不确定性是由于用于精确烟雾分割的有限训练数据和标记水平的不确定性,标记水平的不确定性表示标记地面实况的困难。为了有效地模拟这两种类型的不确定性,我们引入了贝叶斯生成模型来同时估计模型参数及其预测的后验分布。此外,烟雾图像具有低对比度和模糊性,受基于物理的图像去雾方法的启发,我们设计了一种传输引导的局部相干性损失,以引导网络基于像素距离和传输特征学习成对关系。为了促进这一领域的发展,我们还提供了一个高质量的烟雾分割数据集SMOKE 5K,由1,400个真实图像和4,000个合成图像组成,并带有像素级注释。基准测试数据集上的实验结果表明,我们的模型实现了准确的预测和可靠的不确定性地图表示模型对其预测的无知。我们的代码和数据集可在https://github.com/redlessme/Transmission-BVM上公开获取。
2023-03-02 cs.CV
LWDrive: Layer-Wise World-Model-Guided Vision-Language Model Planning for Autonomous Driving
Chongqing University(重庆大学)
提出LWDrive框架,通过逐层世界模型引导,将VLM输出的粗轨迹逐步细化为几何精确、多视角感知的规划轨迹,在NAVSIM基准上取得92.0分。
2026-07-01 cs.AI cs.CV
Label-Guided Knowledge Distillation for 3D-CNNs in Action Recognition
National Engineering Laboratory for Big Data Analytics (NEL-BDA)(大数据分析国家工程实验室)
针对3D-CNN动作识别中特征蒸馏忽视时间维度的问题,提出标签引导知识蒸馏(LGKD),通过样本级与类别级蒸馏学习教师特征,在UCF101和HMDB51上取得竞争力结果。
2026-09-14 cs.AI cs.CV
Layer-wise Noise Guided Selective Wavelet Reconstruction for Robust Medical Image Segmentation
Big Data and Software College, Chongqing University(重庆大学大数据与软件学院);Office of Scientific Research, Peking University(北京大学科研办公室);Key Lab of High Confidence Software Technology, Ministry of Education (Peking University)(教育部高可信软件技术重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院);Department of Cardiology and Institute of Vascular Medicine, Peking University Third Hospital(北京大学第三医院心内科和血管医学研究院)
LNG-SWR通过分层噪声引导选性小波重建提升医学图像分割的鲁棒性,无需对抗训练也能增强模型在对抗攻击下的稳定性。
2025-11-20 cs.CV cs.GR
GFSR-Net: Guided Focus via Segment-Wise Relevance Network for Interpretable Deep Learning in Medical Imaging
Institute of Physical Chemistry (IPC) and Abbe Center of Photonics (ACP), Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学物理化学研究所与阿贝光子学中心);Leibniz Institute of Photonic Technology(莱布尼茨光子技术研究所)
针对医学影像深度学习模型可解释性不足的问题,提出GFSR-Net方法,通过少量标注引导模型聚焦诊断相关区域,在多类医学影像上实现准确率相当或更优,且显著性图更符合人类预期,提升诊断可靠性。
2025-10-02 cs.CV eess.IV physics.data-an
Semantic-Guided Diffusion Model for Single-Step Image Super-Resolution
Beijing Institute of Technology(北京理工大学);Nanjing University(南京大学);School of Computer Science, Peking University(北京大学计算机学院)
针对单步扩散超分在复杂语义区域恢复不足的问题,提出SAMSR框架,通过语义掩码引导噪声、逐像素采样和语义一致性损失提升细节与感知质量。
2025-05-11 cs.CV
DAPGNet: Dynamic Adaptive Physics-Guided Graph Diffusion Network for Hyperspectral Image Classification
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学);Guangzhou University(广州大学)
研究针对高光谱图像分类中像素关系建模问题,提出DAPGNet。该网络将物理先验融入图学习,经多步骤构建拓扑、进行图扩散等操作,通过跨尺度融合优化。实验表明其在多个数据集上性能最优,提升了分类准确率,验证了各模块的互补作用。
2026-07-17 cs.CV
Bridging Spectral-wise and Multi-spectral Depth Estimation via Geometry-guided Contrastive Learning
LG AI Research(LG人工智能研究院)
提出对齐与融合策略,通过几何引导的对比学习对齐多光谱嵌入空间并训练可附加特征融合模块,使单个深度网络同时实现光谱不变和多光谱融合的深度估计,兼顾可靠性、内存效率与灵活性。
2025-03-02 cs.AI cs.CV cs.RO
Segmentation-Guided CT Synthesis with Pixel-Wise Conformal Uncertainty Bounds
University of Mons(蒙斯大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本文提出STF-RUE框架,通过分割引导的CBCT到CT转换和逐像素共形预测不确定性量化,在提升合成CT解剖一致性的同时提供可靠的不确定性区间,从而推动自适应质子治疗的临床应用。
2025-03-11 cs.CV physics.med-ph
Progressive Stage-wise Learning for Unsupervised Feature Representation Enhancement
Shanghai Jiao Tong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学);Peking University(北京大学);Waymo(Waymo公司)
无监督学习方法最近显示出其与监督训练的竞争力。通常,这些方法使用单个目标来训练整个网络。但无监督学习相对于监督学习的一个显著优点是,前者在目标设计上具有更大的多样性和自由度。在这项工作中,我们通过提出渐进式阶段学习(PSL)框架来探索无监督学习的新维度。对于给定的无监督任务,我们设计了多级任务,并为深度网络定义了不同的学习阶段。早期学习阶段被迫专注于低层次的任务,而后期阶段则被引导通过更难的任务来提取更深层次的信息。我们发现,通过渐进式阶段式学习,可以有效地增强无监督特征表示。我们广泛的实验表明,PSL始终提高领先的无监督学习方法的结果。
2021-06-11 cs.CV
SPAE: Spectrally Guided Autoencoder for Pretrained Visual Latents
Alibaba Group(阿里巴巴集团);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对DiT生成隐层与编码器隐层的频谱不匹配问题,提出SPAE框架,通过紧凑瓶颈结构与通道级掩码策略实现隐层适配,在视觉理解、生成质量与重建保真度间取得良好平衡。
2026-08-04 cs.CV
Efficient Reasoning via Thought Compression for Language Segmentation
Northwestern Polytechnical University, China(西北工业大学);Northwest Institute of Nuclear Technology, China(西北核技术研究所)
WISE通过压缩推理过程提升语言分段性能,采用自蒸馏目标确保简洁总结与详细解释的语义一致性,实验显示其在ReasonSeg基准上达到58.3 cIoU,推理长度减少近5倍。
2026-04-02 cs.CV
LAF-YOLOv10 with Partial Convolution Backbone, Attention-Guided Feature Pyramid, Auxiliary P2 Head, and Wise-IoU Loss for Small Object Detection in Drone Aerial Imagery
Department of Information Technology(信息科技系);Department of Computer Science and Engineering(计算机科学与工程系)
LAF-YOLOv10通过部分卷积、注意力特征金字塔、辅助P2头和Wise-IoU损失提升无人机图像中小目标检测性能。
2026-02-13 cs.CV cs.LG
Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
POSTECH(浦项科技大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对文本引导图像压缩中像素保真度下降的问题,提出文本自适应编码与联合图像-文本损失训练的框架,在保持高感知质量的同时实现高像素级保真度,并在LPIPS指标上优于所有基线。
2024-05-22 cs.CV cs.LG
Deblurring Face Images using Uncertainty Guided Multi-Stream Semantic Networks
Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院);Adobe Inc.(奥多比公司)
我们提出了一种新的多流架构和训练方法,利用语义标签的面部图像去模糊。提出的不确定性引导多流语义网络(UMSN)独立地处理属于每个语义类的区域,并学习将它们的输出组合成最终的去模糊结果。使用分割网络获得逐像素语义标签。在训练过程中使用预测的置信度来引导网络朝向人脸的具有挑战性的区域,例如眼睛和鼻子。整个网络以端到端的方式进行训练。在三个不同的人脸数据集上的综合实验表明,该方法取得了显着的改善,最近的国家的最先进的人脸去模糊方法。代码可在:https://github.com/ rajeevyasarla/UMSN-Face-Deflurring
2020-04-20 cs.CV
Attention-Guided Network for Iris Presentation Attack Detection
Michigan State University(密歇根州立大学)
卷积神经网络(CNN)正越来越多地用于解决虹膜呈现攻击检测问题。在这项工作中,我们提出了注意力引导的虹膜呈现攻击检测(AG-PAD),以增强具有注意力机制的CNN。两种类型的注意力模块独立地附加在骨干网络的最后一个卷积层的顶部。具体地,通道注意模块用于对特征之间的通道间关系进行建模,而位置注意模块用于对特征之间的空间间关系进行建模。一个元素的总和是用来融合这两个注意力模块。此外,一个新的层次注意力机制的介绍。涉及JHU-APL专有数据集和基准LivDet-Iris-2017数据集的实验表明,所提出的方法取得了令人满意的结果。据我们所知,这是第一个利用虹膜呈现攻击检测中的注意力机制的工作。
2020-10-23 cs.CV
Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(清华大学深圳国际研究生院);Huazhong University of Science and Technology, Wuhan, China(华中科技大学);Ping An Technology, Shenzhen, China(平安科技)
ADVLA通过注意力引导实现低振幅、稀疏的对抗攻击,有效削弱VLA模型的下游动作预测。
2025-11-26 cs.AI cs.CV
MeGA-CDA: Memory Guided Attention for Category-Aware Unsupervised Domain Adaptive Object Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
现有的无监督域自适应目标检测方法通过对抗训练来执行特征对齐。虽然这些方法在性能上实现了合理的改进,但它们通常执行与类别无关的域对齐,从而导致特征的负转移。为了克服这个问题,在这项工作中,我们试图将类别信息到领域自适应过程中提出的记忆引导注意类别感知领域自适应(MeGA-CDA)。所提出的方法包括采用类别明智的鉴别器,以确保类别感知的特征对齐学习域不变的判别特征。然而,由于类别信息是不可用的目标样本,我们建议生成记忆引导的类别特定的注意力地图,然后使用适当的路由功能到相应的类别分类。该方法在几个基准数据集上进行了评估,并显示出优于现有方法的性能。
2021-04-03 cs.CV
CNN as Guided Multi-layer RECOS Transform
University of Southern California(南加州大学)
人们对开发基于神经网络的有监督机器学习问题的解决方案重新产生了兴趣。本文将研究卷积神经网络(CNN)。首先,我们介绍RECOS变换作为CNN的基本构建块。“RECOS”是“球体上的RECtified-Correlations”的首字母缩写。它包括两个主要概念:1)球体上的数据聚类和2)校正。之后,我们将CNN解释为实现具有三个亮点的引导多层RECOS变换的网络。首先,我们比较了传统的单层和现代多层信号分析方法,指出了实现多层方法的关键因素,并对CNN的工作原理进行了全面的解释。其次,我们讨论了标签如何在训练中通过反向传播(BP)提供指导。第三,我们表明,一个训练有素的网络可以大大简化,在测试阶段只需要一位表示的滤波器权重和输入。
2017-02-19 cs.CV
Offset-Guided Attention Network for Room-Level Aware Floor Plan Segmentation
Avon Old Farms School(埃文老农场中学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
平面图的识别一直是一项具有挑战性和受欢迎的任务。尽管最近已经提出了许多方法来完成这项任务,但它们通常无法进行房间级的统一预测。具体来说,多个语义类别可以分配在一个房间,这严重限制了他们的视觉质量和适用性。在本文中,我们提出了一种新的方法来识别平面图布局与新提出的偏移引导注意力机制,以提高语义一致性的房间内。此外,我们提出了一个特征融合注意力模块,该模块利用通道注意力来鼓励房间,墙壁和门预测的一致性,进一步增强了房间级语义的一致性。实验结果表明,该方法能够提高房间级的语义一致性,并在定性和定量上优于现有的工作。
2022-10-22 cs.CV
ChimeraLoRA: Multi-Head LoRA-Guided Synthetic Datasets
Graduate School of AI, POSTECH(POSTECH人工智能研究生院);Dept. of CSE, POSTECH(POSTECH计算机科学与工程系);NAVER AI Lab(NAVER人工智能实验室)
ChimeraLoRA通过结合类别共享LoRA和图像特定LoRA,生成多样且细节丰富的合成数据集,提升下游分类性能。
2026-03-10 cs.CV
STADB: A Self-Thresholding Attention Guided ADB Network for Person Re-identification
Anhui University(安徽大学);Peng Cheng Laboratory(鹏城实验室)
最近,批量DropBlock网络(BDB)已经证明了其有效性的人的图像表示和重新识别任务,通过特征擦除。但是,BDB删除了可能导致次优结果的功能\textbf{randomly}。在本文中,我们提出了一种新的自我保持注意力引导的自适应DropBlock网络(STADB)的人重新识别,它可以\textbf{adaptively}删除最具歧视性的区域。具体来说,STADB首先通过通道池化获得注意力图,并通过对注意力图进行阈值化来返回丢弃掩码。然后,将输入特征和自阈值化注意力引导丢弃掩模相乘以生成丢弃的特征图。此外,STADB利用空间和通道的注意力来学习一个更好的特征图,并迭代训练的特征丢弃模块的人re-ID。几个基准数据集上的实验表明,提出的STADB优于许多其他相关的方法的人re-ID。本文的源代码发布在:\textcolor{red}{\url{https://github.com/wangxiao5791509/STADB_ReID}}。
2021-08-19 cs.CV
Foreign object segmentation in chest x-rays through anatomy-guided shape insertion
University Medicine Essen(埃森大学医学部);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对胸部X光片中异物分割标注困难的问题,提出通过解剖引导的任意形状插入和剪切粘贴增强生成合成数据,在减少93%人工标注下达到全监督模型性能。
2025-01-21 cs.CV
Textual and Visual Prompt Fusion for Image Editing via Step-Wise Alignment
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学);Hohhot Minzu College(呼和浩特民族学院)
针对图像编辑中视觉参考语义控制不足与文本引导视觉质量受损的问题,本文提出将视觉参考和文本提示融合进冻结扩散模型语义潜空间的框架,以小型网络实现高质量、逼真且可控的编辑。
2025-01-04 cs.AI cs.CV
Component Attention Guided Face Super-Resolution Network: CAGFace
The University of Auckland(奥克兰大学);Purdue University(普渡大学);The Australian National University(澳大利亚国立大学)
为了充分利用人脸的底层结构、人脸数据集的集体信息以及上采样过程中的中间估计,这里我们介绍了一种用于人脸图像的4 $\times$超分辨率的全卷积多级神经网络。我们使用分割网络隐式地施加面部组件式注意力地图,以使我们的网络专注于面部固有模式。我们网络的每个阶段都由一个主干层、一个残差主干层和空间上采样层组成。我们循环地应用阶段来重建中间图像,然后重用其空间到深度转换的版本来逐步引导和增强图像质量。我们的实验表明,我们的脸超分辨率方法实现定量优越和感知愉悦的结果相比,最先进的。
2019-10-19 cs.CV
Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement
Wenzhou-Kean University(温州肯恩大学)
低光图像挑战人类感知和计算机视觉算法。对于计算摄影和计算机视觉应用(如实时检测和分割)来说,使算法鲁棒以启发弱光图像至关重要。本文提出了一种语义引导的zero-shot低光照增强网络(SGZ),该网络在没有配对图像、未配对数据集和分割注释的情况下进行训练。首先,我们设计了一个增强因子提取网络使用dependency可分离卷积的低光图像的像素级光不足的有效估计。其次,我们提出了一个经常性的图像增强网络,逐步增强低光图像与负担得起的模型大小。最后,我们引入了一个无监督的语义分割网络,用于在密集增强过程中保留语义信息。在基准数据集和低光视频上的大量实验表明,我们的模型优于以前的最先进的。我们进一步讨论了所提出的方法用于低光检测和分割的好处。代码可在https://github.com/ShenZheng2000/Semantic-Guided-Low-Light-Image-Enhancement上获得
2021-11-25 cs.CV
HandFoldingNet: A 3D Hand Pose Estimation Network Using Multiscale-Feature Guided Folding of a 2D Hand Skeleton
Sungkyunkwan University(成均馆大学)
随着三维手势估计在各种人机交互应用中的应用越来越多,基于卷积神经网络(CNN)的估计模型已经被积极地开发。然而,现有的模型需要复杂的架构或冗余的计算资源,以可接受的精度进行交易。为了解决这一限制,本文提出了HandFoldingNet,这是一种准确有效的手部姿势估计器,它可以从归一化的3D手部点云输入中回归手部关节位置。该模型利用了一个基于折叠的解码器,将给定的2D手骨架折叠成相应的关节坐标。为了获得更高的估计精度,折叠由多尺度特征引导,多尺度特征包括全局和联合局部特征。实验结果表明,该模型优于现有的方法在三个手部姿势基准数据集与最低的模型参数要求。代码可在https://github.com/cwc1260/HandFold上获得。
2021-08-12 cs.CV