FGAA-FPN: Foreground-Guided Angle-Aware Feature Pyramid Network for Oriented Object Detection
International school of BUPT(北京邮电大学国际学院)
针对高分辨率遥感和航空图像中定向目标检测难题,提出FGAA-FPN。通过层次功能分解,利用前景引导特征调制模块和角度感知多头注意力模块,在DOTA数据集上实验,取得75.5%和68.3% mAP的最优结果。
2026-07-08 cs.CV
HOComp: Interaction-Aware Human-Object Composition
Tongji University(同济大学);CityUHK(城市大学香港分校);HKUST(GZ)(香港理工大学(广州))
针对人-物交互合成难题,提出 HOComp,通过 MRPG 姿态引导与 DCAP 外观保持,并构建 IHOC 数据集,实现更自然一致的人-物交互合成。
2025-07-22 cs.CV
BargainNet: Background-Guided Domain Translation for Image Harmonization
Shanghai Jiao Tong University(上海交通大学)
图像合成是图像编辑领域的一项基本操作。然而,不协调的前景和背景降低了合成图像的质量。图像协调是一项重要而又具有挑战性的任务,它调整前景以提高一致性。以往基于深度学习的方法主要集中在直接学习从合成图像到真实图像的映射,而忽略了背景所起的至关重要的指导作用。在这项工作中,假设前景需要被翻译到与背景相同的域,我们制定的背景引导域翻译的图像协调任务。因此,我们提出了一个图像协调网络与一个新的域代码提取器和量身定制的三重损失,它可以捕获背景域信息,以指导前景协调。在现有的图像协调基准上进行的大量实验证明了该方法的有效性。代码可在https://github.com/bcmi/BargainNet上获得。
2021-04-03 cs.CV
Background Fades, Foreground Leads: Curriculum-Guided Background Pruning for Efficient Foreground-Centric Collaborative Perception
KAIST(韩国科学技术院);Texas A&M University(德克萨斯A&M大学)
本文提出FadeLead框架,通过课程学习策略在训练中学习将背景上下文压缩为紧凑的前景特征,提升协同感知的效率和效果。
2026-03-24 cs.CV cs.RO
Anomaly-Guided Observation and Two-Level Semantic Feedback for Training-Free Video Anomaly Analysis
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出一种无训练语义反馈框架,通过VAD引导的主动观测与两级语义反馈优化视频异常检测,在UCF-Crime和XD-Violence数据集上显著提升了检测性能。
2026-10-14 cs.CV
Deep Image Harmonization with Globally Guided Feature Transformation and Relation Distillation
Shanghai Jiao Tong University(上海交通大学);INTSIG(合合信息)
本文提出一种利用全局信息引导前景特征变换并结合关系蒸馏的深度图像和谐化方法,同时构建了模拟自然光照变化的ccHarmony数据集,显著提升了合成图像前景与背景光照一致性的调整效果。
2023-08-01 cs.CV
Progressively Dual Prior Guided Few-shot Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Eastern Institute for Advanced Study(东方理工高等研究院);Northwestern Polytechnical University(西北工业大学)
Few-Shot语义分割任务的目的是在查询图像中使用少量带注释的支持样本进行分割。目前,Few-Shot分割方法主要集中在利用前景信息,而没有充分利用丰富的背景信息,这可能会导致错误激活类似前景的背景区域,并且不适应支持-查询图像对的剧烈场景变化。同时,由于原型处理对象外观变化的能力有限,细节挖掘机制的缺乏可能导致粗糙的解析结果,没有一些语义成分或边缘区域。为了解决这些问题,我们提出了一个渐进的双重先验引导的Few-Shot语义分割网络。首先设计了双先验模板生成(DPMG)模块,将背景作为辅助细化信息,以前景-背景比较的方式抑制错误激活。在此基础上,提出了一种渐进式语义细节丰富(PSDE)模块,通过迭代删除高置信度的前景区域并激活其余区域中的细节,使解析模型能够捕获隐藏的语义细节。DPMG和PSDE的合作制定了一个新的Few-Shot分割网络,可以以端到端的方式学习。在PASCAL-5i和MS COCO上的综合实验表明,该算法具有较好的性能。
2022-11-20 cs.CV
NegAS: Negative Label Guided Attention and Scoring for Out-of-Distribution Object Detection with Vision-Language Models
Northwestern Polytechnical University(西北工业大学)
提出NegAS框架,利用负标签引导注意力(NegA)和基于sigmoid的OOD评分函数(NegS),解决VLM检测器中OOD区域利用不足和评分不兼容问题,显著提升OOD检测性能。
2026-06-26 cs.CV
Guided Slot Attention for Unsupervised Video Object Segmentation
Yonsei University(延世大学)
本文提出引导式槽注意力网络,通过查询初始化的前景/背景槽迭代交互及K近邻过滤与特征聚合Transformer,增强空间结构信息,在无监督视频目标分割任务中取得最先进性能并验证了鲁棒性。
2024-03-31 cs.CV
On guiding video object segmentation
Insight Centre for Data Analytics(Insight数据分析中心);Dublin City University(都柏林城市大学);Universidad Autónoma de Madrid(马德里自治大学)
提出了一种基于引导卷积神经网络的无约束运动目标分割方法。该引导过程依赖于来自独立算法(即,最先进的算法)的前景掩模来实现注意力机制,该注意力机制结合前景和背景的空间位置来计算它们的分离表示。我们的方法首先提取两种功能,为每帧使用颜色和光流信息。这些特征在乘法方案之后被组合,以从它们的互补性中受益。这些统一的颜色和运动特征稍后被处理以获得分离的前景和背景表示。然后,两个独立的表示被级联和解码以执行前景分割。在具有挑战性的DAVIS 2016数据集上进行的实验表明,我们的引导表示不仅优于非引导表示,而且优于最近和性能最高的视频对象分割算法。
2019-04-25 cs.CV
Two-stream Flow-guided Convolutional Attention Networks for Action Recognition
National University of Singapore(新加坡国立大学)
本文提出了一种用于视频中动作识别的双流流引导卷积注意力网络。其中心思想是,光流,当适当补偿相机运动,可以用来引导注意到人类前景。因此,我们开发了从时间网络(在流上训练)到空间网络(在RGB帧上训练)的交叉链接层。这些交叉链接层引导空间流更多地关注人类前景区域,并且较少受背景杂波的影响。在UCF 101、HMDB 51和Hollywood2数据集上,我们的方法获得了很好的性能。
2017-08-30 cs.CV
Align then Refine: Text-Guided 3D Prostate Lesion Segmentation
Department of Radiology, Northwestern University, Chicago, USA(放射科,西北大学,芝加哥,美国);Department of Urology, Northwestern University, Chicago, USA(泌尿科,西北大学,芝加哥,美国);Center for Cancer Research, National Cancer Institute, Bethesda, USA(癌症研究中心,国家癌症研究所,贝塞斯达,美国)
本文提出一种多编码器U-Net架构,通过引入对齐损失、热图损失和置信度门控多头交叉注意力细化模块,提升前列腺病变分割的精度和多模态融合能力。
2026-04-20 cs.CV
Semantic-guided Automatic Natural Image Matting with Trimap Generation Network and Light-weight Non-local Attention
McGill University(麦吉尔大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会)
自然图像抠图的目的是使用alpha抠图精确地将前景对象从背景中分离出来。没有外部注释的全自动自然图像抠图是具有挑战性的。性能良好的抠图方法通常需要精确的劳动密集型手工制作的三分图作为额外的输入,而扩张前景分割的自动三分图生成方法的性能随着分割质量而波动。因此,我们认为,如何处理额外的信息输入的权衡是自动抠图的一个主要问题。本文提出了一种基于语义引导的自然图像自动抠图流水线,该流水线采用Trimap生成网络和轻量级非局部注意力,不需要输入Trimap和背景。具体来说,在前景分割的指导下,Trimap生成网络估计准确的trimap。然后,以估计的trimap为指导,我们的轻量级Non-local Matting Network with Refinement产生最终的alpha Matte,其trimap引导的全局聚合注意力块配备了步幅下采样卷积,降低了计算复杂度并提高了性能。实验结果表明,我们的抠图算法具有竞争力的性能与国家的最先进的方法在两个trimap自由和trimap需要方面。
2021-09-11 cs.CV
FoBa: A Foreground-Background co-Guided Method and New Benchmark for Remote Sensing Semantic Change Detection
Beihang University(北航大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文针对遥感语义变化检测中数据类别不足和变化信息利用不充分的问题,构建了细粒度基准LevirSCD,并提出前景-背景协同引导的FoBa方法,结合门控交互融合模块与一致性损失,在三个数据集上均取得优于现有SOTA的性能。
2025-09-19 cs.CV
Localization-Guided Foreground Augmentation in Autonomous Driving
Toyota Motor Corporation, Japan(日本电产公司);Toyota Motor North America, USA(美国电产北美公司)
本文提出LG-FA模块,通过在线增强几何上下文提升自动驾驶中的前景感知,提高BEV表示的几何完整性和时间稳定性,减少定位误差,并实现全局一致的车道和拓扑重建。
2026-04-21 cs.CV cs.RO
Anywhere: A Multi-Agent Framework for User-Guided, Reliable, and Diverse Foreground-Conditioned Image Generation
Nanjing University(南京大学);Jilin University(吉林大学);China Mobile Research Institute(中国移动研究院);Beijing Shuzhimei Technology Co., Ltd(北京数智美科技有限公司);Tianjin University(天津大学)
针对前景条件图像生成中对象完整性、一致性和多样性不足的问题,提出多智能体框架Anywhere,通过模块化分工与用户引导,实现更可靠、多样且可控的生成。
2025-02-24 cs.CV cs.GR
Confidence Guided Stereo 3D Object Detection with Split Depth Estimation
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
准确可靠的3D目标检测对于安全自动驾驶至关重要。尽管最近的发展,基于立体的方法和基于激光雷达的方法之间的性能差距仍然相当大。准确的深度估计对于基于立体的3D目标检测方法的性能是至关重要的,特别是对于与前景中的对象相关联的那些像素。此外,基于立体的方法遭受深度估计精度的高变化,这在目标检测流水线中通常不被考虑。为了解决这两个问题,我们提出了CG-立体声,一个置信度引导的立体3D目标检测流水线,它在深度估计过程中对前景和背景像素使用单独的解码器,并利用来自深度估计网络的置信度估计作为3D对象检测器中的软注意力机制。我们的方法在KITTI基准上优于所有最先进的基于立体的3D探测器。
2020-03-11 cs.CV
Sparsity-Aware Voxel Attention and Foreground Modulation for 3D Semantic Scene Completion
本文提出VoxSAMNet,通过稀疏感知和语义引导设计,解决单目语义场景补全中体素分布不平衡和泛化能力差的问题,实现更高效准确的3D场景补全。
2026-04-07 cs.CV
Person Search via A Mask-Guided Two-Stream CNN Model
Nanjing University of Science and Technology(南京理工大学);The University of Sydney(悉尼大学);SenseTime(商汤科技);Tencent(腾讯)
在这项工作中,我们解决了人的搜索问题,这是一个具有挑战性的任务,包括行人检测和人的重新识别~(re-ID)。而不是在一个单一的联合模型共享表示,我们发现,分离检测器和重新ID特征提取产生更好的性能。为了提取每个身份的更具代表性的特征,我们从原始图像块中分割出前景人。我们提出了一种简单而有效的re-ID方法,该方法分别对前景人物和原始图像块进行建模,并从两个单独的CNN流中获得丰富的表示。在中大中山大学和PRW两个标准的人物搜索基准上的实验中,我们分别实现了$83.0\%$和$32.6\%$的mAP,大大超过了现有技术水平(超过5 pp)。
2018-07-21 cs.CV
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
本文提出一种引导模型推理至概念层面语义的微调框架,通过优化内部相关性映射对齐空间 grounded 的概念掩码,提升模型在分布偏移下的鲁棒性。
2026-09-29 cs.AI cs.CV cs.LG
DreamCom: Finetuning Text-guided Inpainting Model for Image Composition
Shanghai Jiao Tong University(上海交通大学)
本文提出 DreamCom,将图像合成视为对象定制的文本引导修复,通过少量参考图像微调模型并引入掩码注意力抵抗背景干扰,在 DreamEditBench 和 MureCom 上表现优异。
2024-01-24 cs.CV
CompTrack: Information Bottleneck-Guided Low-Rank Dynamic Token Compression for Point Cloud Tracking
CompTrack通过信息瓶颈引导的低秩动态令牌压缩技术,有效解决点云中空间和信息冗余问题,实现高效实时的三维单目标跟踪。
2025-11-22 cs.AI cs.CV
Domain-RAG: Retrieval-Guided Compositional Image Generation for Cross-Domain Few-Shot Object Detection
Fudan University(复旦大学);Fuzhou University(福州大学);East China Normal University(华东师范大学);HKUST(GZ)(香港科技大学(广州))
Domain-RAG通过检索引导的组合图像生成方法,解决跨领域少样本目标检测中的领域对齐与背景生成问题,实现高质量样本生成。
2025-12-09 cs.CV
MVFusion-GS: Motion-Variance Guided Temporal Attention for High-Quality Dynamic Gaussian Splatting
Tsinghua University(清华大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Electronic Science and Technology of China(电子科技大学)
提出MVFusion-GS,通过运动方差引导细化与MotionFormer时间注意力模块增强变形网络,显式建模运动强度与时间一致性,在动态场景重建和无干扰重建任务中达到最先进性能。
2026-07-17 cs.CV
Focal-PETR: Embracing Foreground for Efficient Multi-Camera 3D Object Detection
Beijing Institute of Technology(北京理工大学)
主要的多摄像机3D检测范例是基于显式的3D特征构造,这需要通过3D到2D投影对局部图像视图特征进行复杂的索引。其它方法隐含地引入几何位置编码并执行全局注意(例如,PETR)来建立图像令牌和3D对象之间的关系。3D到2D视角的不一致性和全局注意力导致前景令牌和查询之间的弱相关性,从而导致收敛缓慢。我们提出了Focal-PETR与实例指导的监督和空间对齐模块,以自适应地将对象查询集中在有区别的前景区域。Focal-PETR还引入了下采样策略,以减少对全局注意力的消耗。由于高度并行化的实现和下采样策略,我们的模型在没有深度监督的情况下,在大规模nuScenes基准测试中实现了领先的性能,并在单个RTX 3090 GPU上实现了30 FPS的卓越速度。大量的实验表明,我们的方法优于PETR,同时消耗3倍的训练时间。该代码将公开发布。
2022-12-13 cs.CV
Query-guided Prototype Evolution Network for Few-Shot Segmentation
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
针对少样本分割中现有方法忽略查询特定需求的问题,提出QPENet,通过PPG、DPE和GBC模块实现查询引导的前后景原型演化,在PASCAL-$5^i$和COCO-$20^i$数据集上取得优于现有SOTA的性能。
2024-12-07 cs.CV
Sketch-Guided Scene Image Generation
JAIST(日本先进科学技术学院)
针对手绘草图转复杂场景图像的扩散模型生成难题,提出拆解为对象级跨域生成与场景级构建的Sketch-Guided框架,通过身份嵌入保前景保真、布局融合与全局提示生成,性能超越现有最优方法。
2024-07-09 cs.CV cs.GR
Look Beyond Saliency: Low-Attention Guided Dual Encoding for Video Semantic Search
Saudi Data And Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局)
本文提出低注意力引导的双编码方法,通过逆注意力嵌入提升视频语义搜索在拥挤场景中的召回率,无需额外训练。
2026-05-07 cs.CV
Complementary Text-Guided Attention for Zero-Shot Adversarial Robustness
School of Computer Science and Engineering, Tianjin University of Technology(天津理工大学计算机科学与工程学院);State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of the Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出TGA-ZSR和Comp-TGA方法,通过局部注意力细化模块和全局注意力约束模块提升CLIP模型的零样本对抗鲁棒性,实验显示在16个数据集上分别提升9.58%和11.95%。
2026-03-19 cs.CV
VINO: Video-driven Invariance for Non-contextual Objects via Structural Prior Guided De-contextualization
Nota AI GmbH(Nota AI公司)
VINO通过结构先验引导的去上下文化方法,有效分离视频中前景与背景,提升非上下文物体的表示鲁棒性。
2026-03-07 cs.AI cs.CV
LayerDiff: Exploring Text-guided Multi-layered Composable Image Synthesis via Layer-Collaborative Diffusion Model
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出LayerDiff,一种层协作扩散模型,通过层间与层内注意力机制及自掩码引导采样,实现文本引导的多层可组合图像合成,支持层特定编辑与风格迁移,性能媲美整图生成方法。
2024-03-18 cs.CV
DreamFuse: Adaptive Image Fusion with Diffusion Transformer
Sun Yat-sen University(中山大学);ByteDance Intelligent Creation(字节跳动智能创作);Peng Cheng Laboratory(鹏城实验室)
DreamFuse提出基于扩散Transformer的自适应图像融合方法,通过人在回路数据生成流程、位置仿射机制和局部化直接偏好优化,实现前景与背景的和谐交互融合,并在多个指标上超越现有方法。
2025-04-11 cs.CV
EgoHieraLoc: A Cortically Inspired Hierarchical Segmentation-Guided Framework for Egocentric Visual Query Localization
Dalian University of Technology(大连理工大学);University of International Business and Economics(对外经济贸易大学);Jinan University(暨南大学)
该研究提出受人类视觉分层机制启发的EgoHieraLoc框架,含判别解析等三个模块及GSJC,在VQL-2D和VQL-3D基准上实现最优视觉查询定位性能。
2026-08-11 cs.CV
NeuSEditor: From Multi-View Images to Text-Guided Neural Surface Edits
Delft University of Technology(代尔夫特理工大学)
针对神经隐式表面编辑难保留身份、维持几何一致的问题,提出NeuSEditor方法,通过身份保留架构与几何感知蒸馏损失,实现多视图生成的神经表面的文本引导编辑,效果优于现有前沿方法。
2025-05-16 cs.CV
A$^\text{T}$A: Adaptive Transformation Agent for Text-Guided Subject-Position Variable Background Inpainting
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
针对现有背景修复中主体位置固定导致的背景不协调问题,提出新任务及自适应变换智能体A$^\ ext{T}$A,通过PosAgent Block和反向位移变换模块动态调整主体位置,在可变与固定位置修复中均表现优异。
2025-04-02 cs.CV
Dual-attention Guided Dropblock Module for Weakly Supervised Object Localization
Beijing University of Posts and Telecommunications(北京邮电大学)
注意力机制经常被用来学习区分性特征以获得更好的特征表示。在本文中,我们扩展的注意力机制的任务,弱监督对象定位(WSOL),并提出了双注意力引导dropblock模块(DGDM),其目的是学习的信息和互补的视觉模式的WSOL。该模块包含两个关键组件,通道注意引导丢弃(CAGD)和空间注意引导丢弃块(SAGD)。为了对通道相互依赖性进行建模,CAGD对通道关注度进行排名,并将具有最大幅度的前k个关注度视为重要关注度。它还保留了一些低价值的元素,如果它们在训练期间变得重要,则增加它们的价值。SAGD可以通过擦除特征图的连续区域而不是单个像素来有效地去除最具鉴别力的信息。这将引导模型捕获区分度较低的部分进行分类。此外,它还可以区分前景对象和背景区域,以减轻注意误导。实验结果表明,该方法实现了新的国家的最先进的定位性能。
2020-07-09 cs.CV
Background Matters: A Cross-view Bidirectional Modeling Framework for Semi-supervised Medical Image Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);College of Physics and Information Engineering, Fuzhou University(福州大学物理与信息工程学院);National Institute of Healthcare Data Science, Nanjing University(健康数据科学国家研究院,南京大学);Nanjing Drum Tower Hospital(南京鼓楼医院)
提出跨视图双向建模(CVBM)框架,通过显式建模背景区域并引入双向一致性机制,提升半监督医学图像分割性能,在多个数据集上达到最先进水平,且仅用20%标注数据超越全监督方法。
2025-05-22 cs.CV
Attention-guided Unified Network for Panoptic Segmentation
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics, Inc.(地平线机器人公司);Johns Hopkins University(约翰斯·霍普金斯大学);Noah’s Ark Lab, Huawei Inc.(华为公司诺亚方舟实验室)
本文研究了全景分割,最近提出的任务,分割前景(FG)的对象在实例级别以及背景(BG)的内容在语义级别。现有的方法大多分别处理这两个问题,但在本文中,我们揭示了它们之间的潜在关系,特别是FG对象提供互补的线索,以帮助BG的理解。我们的方法,命名为注意力引导的统一网络(AUNet),是一个统一的框架,具有两个分支的FG和BG分割同时进行。BG分支中增加了两个关注源,即RPN和FG分割掩码,分别提供对象级和像素级关注。我们的方法被推广到不同的骨干,在FG和BG分割中具有一致的准确性增益,并且在MS-COCO(46.5%PQ)和Cityscapes(59.0%PQ)基准中也设置了新的最先进的技术。
2019-04-17 cs.CV
Guided Attention Network for Object Detection and Counting on Drones
Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校);JD Digits(京东数科)
目标检测和计数是相关但具有挑战性的问题,特别是对于具有小目标和杂乱背景的基于无人机的场景。在本文中,我们提出了一个新的引导注意力网络(GANet)处理目标检测和计数任务的基础上的特征金字塔。与以往的方法依赖于无监督注意力模块不同,我们融合不同尺度的特征图,通过使用提出的弱监督背景注意力(BA)之间的背景和对象的更多的语义特征表示。然后,前景注意力(FA)模块的开发,以考虑全局和局部外观的对象,以促进准确定位。此外,新的数据论证策略被设计用于训练在各种复杂场景下的鲁棒模型。在三个具有挑战性的基准上进行了广泛的实验(即,UAVDT、CARPK和PUCPR+)的实验结果表明,与现有方法相比,该方法具有最先进的检测和计数性能。
2019-09-25 cs.CV
Confidence-guided Adaptive Gate and Dual Differential Enhancement for Video Salient Object Detection
Sun Yat-sen University(中山大学);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室)
视频显著性目标检测(VSOD)的目的是利用隐藏在视频序列中的空间和时间线索来定位和分割最吸引人的目标。然而,在现实世界的场景中,空间和时间线索通常是不可靠的,例如低对比度前景,快速运动和多个移动对象。为了解决这些问题,我们提出了一个新的框架,自适应地捕捉可用的信息,从空间和时间的线索,其中包含信心引导自适应门(CAG)模块和双差分增强(DDE)模块。对于RGB特征和光流特征,CAG估计预测和地面实况之间由IoU监督的置信度分数,以利用门机制重新校准信息。动态数据交换技术利用差分特征表示来丰富空间和时间信息,并生成融合特征。在四个广泛使用的数据集上的实验结果表明,该方法对十三个国家的最先进的方法的有效性。
2021-05-14 cs.CV
AlphaNet: An Attention Guided Deep Network for Automatic Image Matting
Fynd
在本文中,我们提出了一个端到端的解决方案,即从自然图像中高精度提取前景物体的图像抠图。当背景是纯绿色或蓝色时,可以在工作室设置中通过色度键控轻松实现图像抠图和背景检测。尽管如此,在具有复杂且不均匀深度背景的自然场景中的图像抠图仍然是需要人为干预的繁琐任务。为了在自然场景中实现完整的自动前景提取,我们提出了一种方法,该方法将语义分割和深度图像抠图过程同化到单个网络中,以生成用于图像合成任务的详细语义抠图。我们提出的方法的贡献是双重的,首先,它可以被解释为一个完全自动化的语义图像抠图方法,其次作为现有的语义分割模型的细化。我们提出了一种新的模型架构,作为分割和抠图的组合,将上采样和下采样算子的功能与注意力的概念统一起来。如我们的工作所示,注意力引导下采样和上采样可以提取高质量的边界细节,不像其他正常的下采样和上采样技术。为了实现同样的目标,我们利用了一个注意力引导的编码器-解码器框架,该框架进行无监督学习,用于从数据中自适应地生成注意力图,以服务和指导上采样和下采样算子。我们还构建了一个以时尚电子商务为重点的数据集,其中包含高质量的alpha蒙版,以便于图像蒙版的训练和评估。
2020-03-07 cs.CV cs.LG eess.IV
Mask-guided cross-image attention for zero-shot in-silico histopathologic image generation with a diffusion model
AstraZeneca Computational Pathology GmbH(阿斯利康计算病理学有限公司);AstraZeneca(阿斯利康)
针对现有外观迁移扩散模型不适用于病理图像的问题,提出基于分割掩码的类别特异性AdaIN特征匹配引导方法,实现零样本高保真免疫组化图像生成,可减少75%上皮分割任务的训练标注量。
2025-01-15 cs.CV
Text as Illumination: Spatial Contrastive Retinex Learning for Language-guided Medical Image Segmentation
School of Software Technology & DUT-RU International School of Information Science and Engineering, Dalian University of Technology(大连理工大学软件学院 & 大连理工大学-俄罗斯国际信息科学与工程学院);School of Future Technology, Dalian University of Technology(大连理工大学未来技术学院);Central Hospital of Dalian University of Technology(大连理工大学中心医院);Cancer Hospital of Dalian University of Technology(大连理工大学肿瘤医院);College of Computer Science and Engineering, Shandong University of Science and Technology(山东科技大学计算机科学与工程学院)
提出TIRNet框架,将文本嵌入作为语义照明调制特征,通过Retinex启发模块和对比损失实现语言与分割的精确对齐,在MosMedData+和QaTa-COV19数据集上取得最优性能。
2026-06-29 cs.CV
BEVControl: Accurately Controlling Street-view Elements with Multi-perspective Consistency via BEV Sketch Layout
Tianjin University(天津大学);CFAR, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心);Tsinghua University(清华大学);Westlake University(西湖大学)
本文提出两阶段生成方法BEVControl,利用BEV草图布局在多视角下精确控制街景前景与背景生成,并建立多层级评估协议,在分割精度和下游感知性能上均显著超越现有方法。
2023-09-23 cs.CV
STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification
Dalian University of Technology(大连理工大学);Zhejiang University(浙江大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
STMI通过分割引导特征调节、语义令牌重新分配和跨模态超图交互,提升多模态目标重识别的性能与鲁棒性。
2026-02-28 cs.CV
Does Attention-Guided Masking Really Help Object Discovery in Object-Centric Learning?
Guilin University of Electronic Technology(桂林电子科技大学);Aalto University(阿尔托大学);University of Oulu(奥卢大学)
本研究探讨注意力引导掩码(AGM)在对象中心学习中的效果,发现其并不总是优于随机掩码,仅在特定数据集上改善背景分割,前景发现未提升,提示利用内部注意力语义改进OCL存在风险。
2026-10-28 cs.CV
Attention-Guided Perturbation Network for Industrial Anomaly Detection
University of Louisville(路易斯维尔大学)
针对无监督图像异常检测中重构方法易漏检异常的问题,提出AGPNet框架,通过样本感知注意力掩码引导扰动,在MVTec系列数据集上取得优异性能。
2026-08-11 cs.CV
Attention-guided Temporally Coherent Video Object Matting
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种新的基于深度学习的视频对象抠图方法,可以实现时间上一致的抠图结果。它的关键组件是一个基于注意力的时间聚合模块,最大限度地提高图像抠图网络的视频抠图网络的强度。该模块计算特征空间中沿时间轴彼此相邻的像素的时间相关性,这对运动噪声是鲁棒的。我们还设计了一个新的损失项训练的注意力权重,这大大提高了视频抠图性能。此外,我们展示了如何有效地解决trimap生成问题,通过微调一个国家的最先进的视频对象分割网络与稀疏的用户注释的关键帧集。为了便于视频抠图和trimap生成网络的训练,我们构建了一个大规模的视频抠图数据集,其中包含80个训练和28个验证前景视频剪辑,并使用地面真实alpha抠图。实验结果表明,我们的方法可以生成高质量的阿尔法蒙版的各种视频具有外观变化,遮挡,快速运动。我们的代码和数据集可以在https://github.com/yunkezhang/TCVOM上找到
2021-07-29 cs.CV
Attention Map-guided Two-stage Anomaly Detection using Hard Augmentation
Sogang University(西江大学)
异常检测是识别输入样本是否包括在目标正常类或异常类的分布中的任务。传统的基于生成对抗网络(GAN)的方法利用包括前景和背景的整个图像作为输入。然而,在这些方法中,与正常类无关的无用区域(例如,不相关的背景)被学习为正态类分布,从而导致错误检测。为了缓解这个问题,本文提出了一种新的两阶段网络,包括一个注意力网络和异常检测GAN(AD GAN)。注意力网络生成可以指示表示正态类分布的区域的注意力图。为了生成准确的注意力地图,我们提出了基于硬增强生成的合成异常样本的注意力损失和对抗性异常损失。通过将注意力图应用于图像特征图,ADGAN学习从中去除无用区域的正态类分布,并且可以大大降低异常检测任务的问题难度。此外,估计的注意力图可以用于异常分割,因为它可以区分正常和异常区域。因此,所提出的方法优于国家的最先进的异常检测和异常分割方法广泛使用的数据集。
2021-03-31 cs.CV
Region Guided Attention Network for Retinal Vessel Segmentation
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
提出一种基于编码器-解码器机制和区域引导注意力的轻量级视网膜血管分割网络,引入逆向加法注意力块聚焦前景,并采用加权 Dice loss 解决类别不平衡,在基准数据集上取得优于现有方法的性能。
2024-09-21 cs.CV
PGE-SAM: Prompt-Guided Feature Enhancement for Interactive Segmentation under Degradation
FPT Software AI Center(FPT软件人工智能中心);VNU University of Engineering and Technology(VNU工程大学)
提出PGE-SAM框架,通过提示引导生成器、多尺度特征交互和前景重建损失,增强SAM在噪声、模糊等退化下的交互式分割鲁棒性,并构建DM-Seg基准,在医学和自然图像上取得SOTA。
2026-06-29 cs.CV
FlowDIS: Language-Guided Dichotomous Image Segmentation with Flow Matching
Picsart AI Research (PAIR)(Picsart AI研究院)
本文提出FlowDIS,一种基于流匹配框架的二元图像分割方法,通过文本提示实现精确像素级对象分割,实验表明其在DIS-TE测试集上优于现有方法。
2026-05-12 cs.CV
MEGANet: Multi-Scale Edge-Guided Attention Network for Weak Boundary Polyp Segmentation
University of Arkansas(阿肯色大学);John von Neumann Institute, VNU-HCM(越南国立大学胡志明市约翰·冯·诺依曼研究所);Vietnam National University, Ho Chi Minh City(越南国立大学胡志明市分校)
针对结肠镜图像息肉分割中边界模糊等难题,提出融合边缘检测与注意力机制的MEGANet端到端框架,通过EGA模块保留边界高频信息,在五个基准数据集六项指标上优于现有SOTA方法。
2023-11-05 cs.CV
Domain-Guided YOLO26 with Composite BCE-Dice-Lovász Loss for Multi-Class Fetal Head Ultrasound Segmentation
Informatics Engineering, Faculty of Computer Science Sriwijaya University
本文提出一种域引导的YOLO26模型,结合复合BCE-Dice-Lovász损失,实现胎儿头超声多类结构分割,实验表明其在Dice系数上优于基线方法。
2026-03-31 cs.CV