rPPG-SysDiaGAN: Systolic-Diastolic Feature Localization in rPPG Using Generative Adversarial Network with Multi-Domain Discriminator
West Virginia University(西弗吉尼亚大学)
本文提出rPPG-SysDiaGAN架构,通过引入专注于时域、频域及时域信号二阶导数的多判别器生成对抗网络,从面部视频中提取rPPG信号,解决了现有方法无法准确区分收缩和舒张成分的问题。
2025-04-01 cs.CV
UGD-IML: A Unified Generative Diffusion-based Framework for Constrained and Unconstrained Image Manipulation Localization
提出统一生成式扩散框架UGD-IML,首次同时处理约束与无约束图像篡改定位,降低标注依赖,F1指标分别超越SOTA 9.66和4.36。
2025-08-08 cs.CV
DINO-FIL: Multi-Layer Transformer Fusion for Generative Inpainting Forgery Localization
AIT Austrian Institute of Technology GmbH(奥地利技术研究所)
提出基于Transformer的DINO-FIL框架,利用DINOv3 ViT-H+/16编码器的多层特征融合,在跨数据集的生成图像伪造定位任务中,泛化能力优于现有基线且保持高真负率。
2026-10-16 cs.AI cs.CV
Mechanistic Learning with Guided Diffusion Models to Predict Spatio-Temporal Brain Tumor Growth
ETH Zurich, 8092 Zurich, Switzerland - SIB Swiss Institue of Bioinformatics, 1015 Lausanne, Switzerland Department of Radiation Oncology, Inselspital, Bern University Hospital;University of Bern, Switzerland Sheikh Zayed Institute for Pediatric Surgical Innovation, Children’s National Medical Center, Washington, DC 20010, United States University of California San Francisco, San Francisco, CA 94143, United States University Children's Hospital Zurich, 8008 Zurich, Switzerland
提出结合数学肿瘤生长模型与梯度引导DDIM的混合机制学习框架,从既往MRI合成解剖可行的未来图像,在数据受限场景下实现生物学知情的时空肿瘤生长预测。
2025-09-11 cs.AI cs.CV
Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization
Arizona State University(亚利桑那州立大学);Mila – Quebec Artificial Intelligence Institute(魁北克人工智能研究所(Mila));Mayo Clinic(梅奥诊所)
生成式对抗网络(GANs)带来了图像到图像翻译的革命。GANs的发展和扩散提出了一个有趣的问题:我们能否训练一个GAN从图像中删除一个对象(如果存在),同时保留图像?具体来说,GAN是否可以通过将健康状况未知(患病或健康)的医学图像转换为健康图像,从而通过减去这两个图像来显示患病区域,从而“虚拟治愈”任何人?这样的任务需要GAN识别用于域平移的目标像素的最小子集,我们称之为定点平移的能力,GAN还没有配备。因此,我们提出了一种新的GAN,称为固定点GAN,通过以下方式进行训练:(1)通过有条件的身份丢失来监督同域翻译,以及(2)通过修订的对抗性,域分类和循环一致性丢失来正则化跨域翻译。基于固定点翻译,我们进一步推导出一个新的框架,疾病检测和定位,仅使用图像级注释。定性和定量的评价表明,该方法优于最先进的多域图像到图像的翻译,它超越了主要的弱监督定位方法在疾病检测和定位。可在https://github.com/jlianglab/Fixed-Point-GAN上获得实现。
2019-08-29 cs.CV eess.IV
From Snapshots to Symphonies: The Evolution of Protein Prediction from Static Structures to Generative Dynamics and Multimodal Interactions
Shenzhen University of Advanced Technology(深圳先进技术大学)
本文综述了人工智能在蛋白质科学中的范式转变,探讨了多模态表示、静态预测优化、生成框架、异质相互作用预测及功能推断等核心方法,指出现存瓶颈并展望未来方向。
2026-03-19 cs.CV
Attention-Aware Generative Adversarial Networks (ATA-GANs)
University of Patras(帕特雷大学)
在这项工作中,我们提出了一种新的方法来训练生成对抗网络(GANs)。使用教师网络产生的注意力地图,我们能够提高生成的图像的质量,以及对生成的图像执行弱对象定位。为此,我们生成了用间接免疫荧光(IIF)捕获的HEp-2细胞的图像,并研究了我们的网络对细胞进行弱定位的能力。首先,我们证明了虽然GANs可以有效地学习输入域和目标分布之间的映射,但RBF网络无法检测到感兴趣的区域。其次,我们提出了一种新的注意力转移机制,它允许我们通过迁移学习来加强对感兴趣区域的强调。第三,我们表明,这会导致更逼真的图像,因为神经元学会把重点放在感兴趣的区域。第四,所提出的方法允许人们生成图像以及注意力图,这对于例如目标检测中的数据注释是有用的。
2018-02-25 cs.CV
UniAIDet: A Unified and Universal Benchmark for AI-Generated Image Content Detection and Localization
Wangxuan Institute of Computer Technology(计算机技术研究所)
针对现有AI生成图像检测基准覆盖不足的问题,提出统一基准UniAIDet,涵盖多种生成模型和图像类型,评估检测方法并探讨泛化能力与检测定位关系。
2025-10-27 cs.CL cs.CV
LoGAN: Multilingual Font Localization with Generative Agents
Netflix(网飞公司)
提出LoGAN,一个基于VLM的生成式智能体框架,通过字形扩散、风格微调、间距迁移和纹理扩展等模块,实现少样本多语言字体本地化,在27种以上语言上取得更高字形保真度与一致性。
2026-09-09 cs.AI cs.CV
Weakly-supervised deepfake localization in diffusion-generated images
Bitdefender(比特梵德);University Politehnica of Bucharest(布加勒斯特理工大学)
针对扩散模型生成的伪造图像,本文提出弱监督定位框架,比较三类方法,发现基于局部分数的方法在宽松监督下表现最佳,且对数据集或生成器不匹配更敏感。
2023-11-13 cs.CV
Order within Chaos: Capturing Intrinsic Energy Anomalies for AI-Manipulated Image Forgery Localization
Zhejiang University(浙江大学)
本文提出FLAME框架,利用扩散过程抑制局部高频方差产生的统计能量间隙,结合LAD图和SAM适配器实现像素级伪造定位,并引入EditStream流水线持续合成训练数据,在AI生成伪造数据集上达到最先进性能。
2026-06-01 cs.AI cs.CV
ManipShield: A Unified Framework for Image Manipulation Detection, Localization and Explanation
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);University of Electronic and Science Technology of China(电子科技大学);Tianjin University(天津大学)
ManipShield基于多模态大语言模型,通过对比学习LoRA微调和任务特定解码器,实现图像篡改的统一检测、定位和解释。
2026-10-14 cs.CV
Towards Generalized Image Manipulation Localization via Score-based Model
Sichuan University(四川大学)
本文提出DiffIML框架,通过引入基于分数的生成模型来解决图像操纵定位中的泛化问题,利用结构先验迭代恢复相干掩码,提升模型鲁棒性,并在多个基准测试中证明其优越的泛化能力。
2026-10-27 cs.CV
Synthetic Augmentation for Anatomical Landmark Localization using DDPMs
Medical University of Graz(格拉茨医科大学);Graz University of Technology(格拉茨工业大学)
本文提出利用2通道输入的DDPM同时生成医学图像与标志热图以增强解剖标志定位训练数据,并通过MRF和SSM评估生成质量,在手部X光片ALL任务中验证其有效性。
2024-10-17 cs.CV
Attention, May I Have Your Decision? Localizing Generative Choices in Diffusion Models
Warsaw University of Technology(华沙技术大学);valeo.ai;IDEAS Research Institute(IDEAS研究所)
本文提出基于探测的定位技术,发现自注意力层是解决模糊概念的关键,并设计ICM方法通过干预少量自注意力层实现精确去偏。
2026-06-03 cs.CV
Conditioning Residuals for Diffusion Models via Representation Feedback
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(虚拟现实技术与系统国家重点实验室,北京航空航天大学);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
研究扩散模型中能否利用固有路径路由内部推断语义,提出条件残差这一轻量级反馈机制,通过反馈紧凑特征摘要提供自适应指导,实验显示其提升了生成性能及下游任务表现,还揭示了训练动态和特征结构的改进。
2026-07-17 cs.CV
Leveraging Diffusion Models for Synthetic Data Augmentation in Protein Subcellular Localization Classification
本研究探讨利用DDPM生成合成图像以增强蛋白质亚细胞定位多标签分类,提出MixModel结合混合训练策略,但泛化不佳,而基于ResNet的基线分类器表现更稳定,凸显了逼真数据生成与稳健监督的重要性。
2025-05-28 cs.CV
AlphaGAN: Generative adversarial networks for natural image matting
Trinity College Dublin(都柏林圣三一学院)
我们提出了第一个用于自然图像抠图的生成对抗网络(GAN)。我们的新型生成器网络经过训练,可以预测视觉上吸引人的阿尔法,并增加了训练用于对合成良好的图像进行分类的分类器的对抗性损失。此外,我们改进了现有的编码器-解码器架构,以更好地处理卷积神经网络(CNN)中继承的空间定位问题,方法是使用扩张卷积来捕获全局上下文信息,而不会缩小特征图并丢失空间信息。我们提出了最先进的结果的梯度误差的在线基准,并在其他类似的结果。我们的方法特别适用于头发等精细结构,这在电影/电视制作等实际消光应用中非常重要。
2018-07-26 cs.CV
BrokenVideos: A Benchmark Dataset for Fine-Grained Artifact Localization in AI-Generated Videos
Fudan University(复旦大学);Shenzhen University(深圳大学);The Chinese University of Hong Kong(香港中文大学);IntelliFusion Inc.(IntelliFusion公司)
本文提出BrokenVideos基准数据集,包含3,254个带像素级掩码标注的AI生成视频,用于细粒度视觉伪影定位,实验证明其能有效提升伪影检测模型和多模态大语言模型的定位能力。
2025-06-25 cs.AI cs.CV
Enhancing Generative Networks for Chest Anomaly Localization through Automatic Registration-Based Unpaired-to-Pseudo-Paired Training Data Translation
Samsung Medical Center(三星医疗中心);Sungkyunkwan University School of Medicine(成均馆大学医学院);SAIHST, Sungkyunkwan University(成均馆大学SAIHST)
针对非配对胸部X线数据导致异常定位不稳定的问题,提出结合深度学习配准与左右肺交换增强的两阶段GAN-IT框架,将非配对数据转为伪配对数据并在多模型上稳定提升AL-CXR性能。
2024-06-16 cs.CV cs.LG eess.IV
Cross-Attention Head Position Patterns Can Align with Human Visual Concepts in Text-to-Image Generative Models
Seoul National University(首尔大学)
本文提出头相关性向量(HRVs)对齐人类视觉概念,通过有序弱化分析验证其有效性,并用于减少多义词误解、改进图像编辑和缓解多概念生成中的灾难性忽略,推进了扩散模型交叉注意力层的机制可解释性。
2025-02-24 cs.AI cs.CV
DeCLIP: Decoding CLIP representations for deepfake localization
Bitdefender(比特 Defender(比特防御));Politehnica Bucharest(布加勒斯特理工大学)
本文提出 DeCLIP,利用 CLIP 等大型自监督预训练表示配合卷积解码器进行局部深度伪造定位,提升跨生成器泛化,并可处理潜在扩散模型的全局指纹情形。
2024-12-10 cs.CV cs.LG
Localization in Aerial Imagery with Grid Maps using LocGAN
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
在这项工作中,我们提出了LocGAN,我们的定位方法的基础上,地理参考航空影像和激光雷达网格地图。目前,大多数自定位方法将当前传感器观测与从先前获取的数据生成的地图相关联。不幸的是,这些数据并不总是可用的,生成的地图通常是传感器设置特定的。全球导航卫星系统(GNSS)可以解决这个问题。然而,由于多路径和阴影效应,它们并不总是可靠的,特别是在城市地区。由于航空图像通常是可用的,我们可以使用它作为先验信息。为了将航空图像与网格地图相匹配,我们使用条件生成对抗网络(cGAN)将航空图像转换为网格地图域。使用定位网络(LocNet)估计预测的和测量的网格地图之间的变换。给定地理参考的航空图像变换,可以估计车辆姿态。对德国卡尔斯鲁厄地区记录的数据进行的评估表明,我们的LocGAN方法提供了可靠的全球定位结果。
2019-07-16 cs.CV cs.LG
Applications of deep generative models to DNA reaction kinetics and to cryogenic electron microscopy
The University Of British Columbia(不列颠哥伦比亚大学)
本文探讨了深度生成模型在DNA反应动力学和低温电子显微镜分析中的应用,提出ViDa和Struc2mapGAN等方法,提升生物过程的可解释性和结构建模的准确性。
2026-04-18 cs.AI cs.CV cs.LG
GEN-SLAM: Generative Modeling for Monocular Simultaneous Localization and Mapping
Ford Greenfield Labs(福特格林菲尔德实验室);KULeuven(鲁汶大学)
我们提出了一个基于深度学习的系统,用于任何移动机器人都必不可少的定位和避障双重任务。我们的系统从传统的几何SLAM学习,并使用单个相机输出相机在环境中的拓扑姿态以及周围障碍物的深度图。我们使用CNN在拓扑图中进行定位,并使用条件VAE输出相机图像的深度,条件是该拓扑位置估计。我们证明了我们的单目定位和深度估计系统在模拟和真实数据集上的有效性。
2019-02-06 cs.CV
DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization
Information Technologies Institute, CERTH(信息科技研究所,CERTH)
本文提出DiffusionPrint,通过对比学习框架学习鲁棒于潜在解码引入的频谱畸变的取证信号,提升基于融合的图像伪造定位性能,实验表明在多个生成模型上均取得显著提升。
2026-04-14 cs.CV
Generative Prompt Model for Weakly Supervised Object Localization
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学)
针对弱监督目标定位易忽略低判别性目标部位的问题,提出生成式提示模型GenPromp,通过条件图像去噪结合视觉语言模型嵌入生成多尺度注意力图,在两个基准数据集上Top-1 Loc指标均优于现有最优判别式模型。
2023-07-19 cs.CV
TLGAN: document Text Localization using Generative Adversarial Nets
Data Analytic Laboratory(数据分析实验室);Samsung Life Insurance(三星人寿保险)
从数字图像中定位文本是光学字符识别任务的第一步。传统的基于图像处理的文本定位对于特定的例子来说是足够的。然而,一般的文本本地化仅由最近的基于深度学习的模式存档。在这里,我们提出了文档文本定位生成对抗网络(TLGAN),它是深度神经网络,用于从数字图像中执行文本定位。TLGAN是一种通用且易于训练的文本本地化模型,需要少量数据。在扫描收据OCR和信息抽取(SROIE)上仅训练来自Robust Reading Challenge的10个标记收据图像,TLGAN对SROIE测试数据实现了99.83%的准确率和99.64%的召回率。我们的TLGAN是一个实用的文本本地化解决方案,只需最少的数据标记和模型训练工作,即可产生最先进的性能。
2020-10-22 cs.CV cs.LG
Weakly-Supervised Action Localization by Generative Attention Modeling
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
弱监督时间动作定位是一个学习动作定位模型的问题,只有视频级的动作标记可用。一般框架主要依赖于分类激活,它采用注意力模型来识别动作相关帧,然后将它们分类到不同的类。这种方法导致动作上下文混淆的问题:动作片段附近的上下文帧往往被识别为动作帧本身,因为它们与特定的类密切相关。为了解决这个问题,在本文中,我们提出了模型的类不可知帧的概率条件下的帧注意使用条件变分自动编码器(VAE)。通过观察到上下文在表示级别上表现出与动作的显著差异,概率模型,即,条件VAE被学习以对给定注意力的每个帧的可能性进行建模。通过最大化关于注意力的条件概率,动作和非动作框架被很好地分离。在THUMOS 14和ActivityNet1.2上的实验表明了该方法的优越性和处理动作上下文混淆问题的有效性。代码现在在GitHub上可用。
2020-03-30 cs.CV
Co-visual pattern augmented generative transformer learning for automobile geo-localization
University of Electronic Science and Technology of China(电子科技大学);Northwestern University(西北大学)
针对跨视角汽车地理定位中的航空-地面对齐难题,提出 MGTL 框架,通过双向知识生成 Transformer 和级联注意力掩码增强共视建模,并在 CVACT、CVUSA 上刷新最先进性能。
2023-04-20 cs.CV
Towards Robustness against Typographic Attack with Training-free Concept Localization
University of Virginia(弗吉尼亚大学)
提出一种无需训练的可解释性方法,通过分析注意力头对词汇和语义的编码差异,定位并干预ViT中的词汇偏置电路,从而在不额外训练的情况下显著提升对印刷体攻击的鲁棒性。
2026-07-03 cs.CL cs.CV
A Generative Map for Image-based Camera Localization
fortiss GmbH(fortiss有限公司);Technical University of Munich(慕尼黑工业大学)
在基于图像的相机定位系统中,关于环境的信息通常存储在某种表示中,其可以被称为地图。传统上,大多数地图都是建立在手工制作的功能。最近,神经网络作为一种数据驱动的地图表示方法引起了人们的关注,并在视觉定位方面显示出了很好的效果。然而,这些神经网络图通常很难被人类解释。可读的地图不仅是人类可以访问的,而且还提供了一种在地面真实姿态不可用时进行验证的方法。为了解决这个问题,我们提出了Generative Map,这是一种用于学习人类可读神经网络地图的新框架,通过将生成模型与卡尔曼滤波器相结合,这也允许它包含额外的传感器信息,如立体视觉里程计。为了进行评估,我们使用来自7-Scenes和Oxford RobotCar数据集的真实世界图像。我们证明,我们的生成地图可以查询与感兴趣的姿势从测试序列预测的图像,这非常类似于真实的场景。对于本地化,我们表明生成地图实现了与当前回归模型相当的性能。此外,我们的框架完全从头开始训练,不像回归模型依赖于大型ImageNet预训练网络。
2019-04-16 cs.CV cs.LG stat.ML
GIM: A Million-scale Benchmark for Generative Image Manipulation Detection and Localization
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
针对图像篡改检测与定位任务缺乏大规模数据的问题,本文构建数据生成流水线,推出百万级GIM数据集与基准,并提出GIMFormer框架,实验证明其性能超越现有最优方法。
2025-01-13 cs.CV
Mechanisms of Object Localization in Vision-Language Models
Goethe University Frankfurt, Germany(法兰克福歌德大学,德国);The Hessian Center for AI, Germany(黑森人工智能中心,德国)
本文研究了视觉-语言模型中物体定位的核心机制,通过分析LLaVA-1.5和InternVL-3.5等模型,揭示了定位依赖于容器化机制,并发现只有少量注意力头参与分类和定位任务,为未来模型设计提供了指导。
2026-05-19 cs.CV
CRADL: Contrastive Representations for Unsupervised Anomaly Detection and Localization
German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ))
医学成像中的无监督异常检测旨在检测和定位任意异常,而无需在训练期间注释异常数据。通常,这是通过学习正常样本的数据分布并检测图像中偏离该分布的异常区域来实现的。大多数当前最先进的方法使用直接在图像上操作的潜变量生成模型。然而,生成模型已被证明主要捕获低级特征,例如,像素强度,而不是丰富的语义特征,这也适用于它们的表示。我们规避这个问题,提出CRADL,其核心思想是直接在低维表示空间的编码器训练与对比的预文本任务的正常样本的分布建模。通过利用对比学习的表征,我们的目标是修复低层特征上的过固定,并学习更多语义丰富的表征。我们使用三个不同的评估数据集对异常检测和定位任务进行的实验表明:1)对比表示优于生成潜变量模型的表示,2)CRADL框架显示出与最新技术相比具有竞争力或优越的性能。
2023-01-05 cs.CV
Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of California, Merced(加州大学默塞德分校);Apertix(阿珀蒂克斯公司)
针对时空视频定位的自回归解码存在延迟高、误差易传播的问题,提出并行轨迹解码,在VidSTG等数据集上实现显著的延迟降低与吞吐量提升,且可零样本泛化到多项相关任务
2026-08-31 cs.CV
What is Healthy? Generative Counterfactual Diffusion for Lesion Localization
The University of Edinburgh(爱丁堡大学);Canon Medical Research Europe(佳能医疗欧洲研究院);University of Glasgow(格拉斯哥大学);The Alan Turing Institute(艾伦·图灵研究所)
由于成本限制,减少医学图像分割中对密集注释掩模的要求是重要的。在本文中,我们考虑仅使用图像级标签进行训练来推断脑病变的像素级预测的问题。通过利用生成扩散概率模型的最新进展,我们合成了“如果X病理不存在,病人会出现什么样的情况?".观察到的患者状态和健康的反事实之间的差异图像可以用于推断病理的位置。我们生成对应于输入的最小变化的反事实,以便将其转换为健康域。这需要在DPM中使用健康和不健康的数据进行训练。我们改进了以前的反事实的DPM操作的生成过程中,与隐式的指导以及注意力调节,而不是使用分类器。代码可在https://github.com/vios-s/Diff-SCM上获得。
2022-07-25 cs.AI cs.CV
Learning Universal Features for Generalizable Image Forgery Localization
Dalian University of Technology(大连理工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出可泛化图像伪造定位方法GIFL,通过学习原始内容中的通用特征而非特定伪造痕迹来检测未见伪造,并构建深度生成编辑数据集,在未见伪造检测上超越现有方法。
2026-10-27 cs.CV
DinoLizer: Separating VAE and Diffusion Artifacts in Generative Inpainting Localization
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IMT Nord Europe(法国国立高等矿业电信学校联盟北欧洲分校);UMR 9189 CRIStAL(法国国家科学研究中心里尔信息、信号与自动化联合研究中心(UMR 9189));CERI SN(国家科学研究中心数字科学研究中心)
DinoLizer基于DINOv2改进生成修复中的篡改定位,通过滑动窗口和后处理提升鲁棒性,实现更高的IoU性能。
2026-07-31 cs.AI cs.CV
Anomaly localization by modeling perceptual features
AnotherBrain
尽管使用变分自编码器(VAE)的图像数据集的无监督生成建模已被用于检测异常图像或图像中的异常区域,但最近的工作表明,该方法经常识别与人类感知不一致的图像或区域,甚至质疑生成模型用于鲁棒异常检测的可用性。在这里,我们认为,这些问题可以从一个简单的异常分布模型中出现,我们提出了一个新的基于VAE的模型,表达了一个更复杂的异常模型,也更接近人类的感知。这种增强的VAE不仅通过在像素空间中重建输入图像来训练,而且还通过在几个不同的特征空间中重建输入图像来训练,这些特征空间由预先在大型图像数据集上训练的卷积神经网络计算。它在MVTec异常检测和定位数据集上实现了对最先进方法的明显改进。
2020-08-12 cs.CV eess.IV
AGIDefect-4K: A Richly Annotated Dataset for AI-Generated Image Defect Detection, Localization and Explanation
Xidian University(西安电子科技大学)
本文推出含4000张图像的AGIDefect-4K数据集,并提出基于多模态大语言模型的AGIDA基准框架,用于AGI缺陷检测、定位、解释及质量预测,凸显了AGI缺陷理解研究的价值。
2026-08-24 cs.CV
A Study on Unsupervised Anomaly Detection and Defect Localization using Generative Model in Ultrasonic Non-Destructive Testing
Graduate School of Science and Technology, Gunmma University(群马大学理工学研究生院);Faculty of Informatics, Gunmma University(群马大学信息学部)
本研究提出基于扩散模型的无监督异常检测方法,用于激光超声无损检测中的缺陷定位,仅用无缺陷数据训练,实验证明优于传统目标检测算法。
2024-05-26 cs.CV cs.LG eess.IV
Learning a Weight Map for Weakly-Supervised Localization
Tel-Aviv University(特拉维夫大学)
在弱监督定位设置中,监督作为图像级标签给出。我们建议采用一个图像分类器$f$和训练生成网络$g$,输出,给定的输入图像,每像素的权重图,指示图像内的对象的位置。通过最小化分类器$f$在原始图像上的输出与其在给定由$g$的输出加权的相同图像的情况下的输出之间的差异来训练网络$g$。该方案需要一个正则化项,以确保$g$不提供一个统一的权重,并提前停止标准,以防止$g$过度分割的图像。我们的研究结果表明,该方法优于现有的定位方法的一个相当大的利润率上具有挑战性的细粒度分类数据集,以及一个通用的图像识别数据集。此外,所获得的权重图在细粒度分类数据集中的弱监督分割中也是最先进的。
2021-11-28 cs.CV
Learning models for visual 3D localization with implicit mapping
DeepMind(深度思维)
我们考虑基于学习的方法,视觉定位,不需要建设明确的地图的形式点云或体素。我们的目标是在更高、更抽象的层次上学习环境的隐式表示。我们建议使用基于生成查询网络(GQN,Eslami et al. 2018)的生成方法,提出以下问题:1)GQN能否捕获比最初演示的场景更复杂的场景?2)GQN可以在这些场景中用于本地化吗?为了研究这种方法,我们考虑程序生成的Minecraft世界,我们可以生成复杂3D场景的图像以及相机姿势坐标。我们首先表明,GQN,增强了一种新的注意力机制可以捕捉Minecraft中的3D场景的结构,证明了他们的样本。然后,我们将模型应用于定位问题,将结果与有区别的基线进行比较,并比较每种方法捕获任务不确定性的方式。
2018-12-12 cs.CV cs.LG stat.ML
Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?
University of Southampton(南安普顿大学);MyWay srl;Queensland University of Technology(昆士兰科技大学);University of Essex(埃塞克斯大学)
本文首次系统研究黑盒生成式视觉语言模型作为独立零样本地理定位系统的潜力,发现其在粗粒度定位上表现良好,但在细粒度定位上因现实变化而显著退化。
2026-06-29 cs.CV cs.RO
TAG-WM: Tamper-Aware Generative Image Watermarking via Diffusion Inversion Sensitivity
Anhui Province Key Laboratory of Digital Security, University of Science and Technology of China(安徽省数字安全重点实验室,中国科学技术大学);School of Computing, National University of Singapore(computing学院,新加坡国立大学)
TAG-WM通过扩散反向敏感性实现抗篡改生成图像水印,提升篡改鲁棒性和定位能力,保持生成质量与水印容量。
2025-12-21 cs.CV cs.MM eess.IV
Generative Residual Attention Network for Disease Detection
Seoul National University(首尔大学);Kookmin University(国民大学)
从放射学图像中准确识别和定位异常在计算机辅助诊断(CAD)系统中起着关键作用。构建一个高度可推广的系统通常需要大量具有高质量注释的数据,包括疾病特异性的全局和局部信息。然而,在医学图像中,由于注释费用,只有有限数量的高质量图像和注释可用。在本文中,我们通过使用条件生成对抗学习提出一种新的X射线疾病生成方法来探索这个问题。具体而言,给定来自源域的胸部X射线图像,我们在目标域中生成对应的放射学图像,同时保留患者的身份。然后,我们使用目标域中生成的X射线图像来增强我们的训练,以提高检测性能。我们还提出了一个统一的框架,同时执行疾病的生成和localization.We评估所提出的方法对X射线图像数据集提供的北美放射学会(RSNA),超越了国家的最先进的基线检测算法。
2021-10-25 cs.CV cs.LG eess.IV
Blind stain separation using model-aware generative learning and its applications on fluorescence microscopy images
University of Alberta(阿尔伯塔大学)
在生物医学图像分析中,通常使用多种染色剂来突出生物物质。为了分解多个染色剂用于共定位量化,通常执行盲源分离。现有的基于模型的染色剂分离方法通常依赖于染色剂在图像上的空间分布,并且可能无法解决共定位问题。利用机器学习的优势,深度生成模型被用于此目的。由于成像模型的先验知识在纯数据驱动的解决方案中被忽略,因此这些方法可能是次优的。在这项研究中,一个新的学习为基础的盲源分离框架,提出了生物医学成像的物理模型,纳入正规化的学习过程。引入的模型相关的对抗性损失耦合框架中的所有生成器,并限制了生成模型的容量。此外,该框架的训练算法是创新的,以避免在学习过程中的发电机之间的混乱。本文特别以荧光显微图像中的荧光解混为应用实例。公共荧光显微镜图像集上的定性和定量实验表明,该方法优于先前的基于模型的方法和基于学习的方法。
2021-02-12 cs.CV cs.LG eess.IV
Discriminative Bimodal Networks for Visual Localization and Detection with Natural Language Queries
University of Michigan(密歇根大学)
将图像区域与文本查询相关联最近已经被探索作为一种新的方式来桥接视觉和语言表示。已经提出了一些基于生成训练的递归神经语言模型的开创性方法(例如,生成字幕),但是实现了有限的定位精度。为了更好地解决基于自然语言的视觉实体定位,我们提出了一种判别方法。我们制定了一个歧视性的双峰神经网络(DBNet),它可以训练的分类器广泛使用的负样本。我们的训练目标鼓励在单个图像上更好地定位,在广泛的范围内合并文本短语,并将图像区域与文本短语正确地配对为正面和负面示例。在Visual Genome数据集上的实验表明,所提出的DBNet无论是在单个图像上的定位还是在多个图像上的检测方面都明显优于以前的最先进的方法。我们还建立了自然语言视觉检测的评估协议。
2017-04-17 cs.CV stat.ML
Image Realness Assessment and Localization with Multimodal Features
Indian Institute of Technology, Kharagpur(印度理工学院,克哈拉格普)
本文提出一种基于多模态特征的框架,利用视觉语言模型生成的不一致文本描述,同时实现AI生成图像的整体客观真实感评估与局部不一致区域识别,有效提升了预测性能并生成稠密真实感图。
2025-09-16 cs.CV eess.IV
TGIF2: Extended Text-Guided Inpainting Forgery Dataset & Benchmark
Ghent University – imec(根特大学 - imec);CERTH(希腊研究与技术中心)
TGIF2数据集与基准针对文本引导修复中伪造本地化挑战,通过FLUX.1模型和随机非语义掩码扩展数据集,评估IFL和SID方法的鲁棒性,揭示生成修复对现有防伪流程的削弱。
2026-03-30 cs.AI cs.CR cs.CV
Explaining image classifiers by removing input features using generative models
Auburn University(奥本大学)
基于扰动的解释方法通常通过经由例如模糊、添加噪声或变灰(其通常产生不切实际的样本外)来消除输入特征来测量输入特征对图像分类器的输出的贡献。相反,我们建议将生成inpainter集成到三个有代表性的归因方法中,以删除输入功能。我们提出的变化改进了所有三种方法:(1)在真实数据分布下生成更合理的反事实样本;(2)根据三个指标更准确:对象定位,删除和显着性指标;(3)对超参数变化更具鲁棒性。我们的研究结果在ImageNet和Places 365数据集以及两对不同的分类器和inpainter中是一致的。
2020-10-06 cs.CV cs.LG stat.ML