Siamese Box Adaptive Network for Visual Tracking
Huaqiao University(华侨大学);University of Chinese Academy of Sciences(中国科学院大学);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Xiamen University(厦门大学);Nanjing University of Science and Technology(南京理工大学)
现有的大多数跟踪器通常依赖于多尺度搜索方案或预定义的锚框来精确估计目标的尺度和长宽比。不幸的是,它们通常需要繁琐和启发式的配置。为了解决这个问题,我们提出了一个简单而有效的视觉跟踪框架(命名为暹罗盒自适应网络,SiamBAN),利用全卷积网络(FCN)的表达能力。SiamBAN将视觉跟踪问题视为一个并行的分类和回归问题,因此可以在统一的FCN中直接对对象进行分类并回归其边界框。无先验盒设计避免了与候选盒相关联的超参数,使SiamBAN更灵活和通用。在视觉跟踪基准测试(包括VOT 2018、VOT 2019、OTB100、NFS、UAV123和LaSOT)上进行的大量实验表明,SiamBAN实现了最先进的性能,并以40 FPS运行,证实了其有效性和效率。该代码将在https://github.com/hqucv/siamban上提供。
2020-04-22 cs.CV
Fast Visual Object Tracking with Rotated Bounding Boxes
York University(约克大学)
在本文中,我们提出了一种新的算法,使用椭圆拟合估计的限界框旋转角度和大小的分割(掩模)的目标上的在线和实时的视觉对象跟踪。我们的方法SiamMask_E改进了最先进的对象跟踪算法SiamMask的限界框拟合过程,并且在配备GPU(GeForce GTX 1080 Ti或更高版本)的系统上仍然保持快速跟踪帧速率(80 fps)。我们在使用旋转边界框标记的视觉对象跟踪数据集(VOT 2016,VOT 2018和VOT 2019)上测试了我们的方法。通过与原始SiamMask相比,我们在VOT 2019上实现了0.652和0.309 EAO的改进精度,比原始SiamMask高出0.056和0.026。该实现可在GitHub上获得:https://github.com/baoxinchen/siammask_e。
2019-09-12 cs.CV
Detecting Visual Relationships Using Box Attention
Google Research(谷歌研究院);IST Austria(奥地利科学技术研究所)
我们提出了一个新的模型来检测视觉关系,如“人骑摩托车”或“瓶子在桌子上”。这项任务是实现全面结构化图像理解的重要一步,超越了检测单个对象。我们的主要新颖性是一个框注意力机制,允许使用标准的目标检测管道对象之间的成对交互模型。由此产生的模型在概念上是干净的,有表现力的,并依赖于合理的训练和预测程序。此外,与以前提出的方法不同,我们的模型不会在底层检测模型已经需要的那些组件或超参数之上引入任何额外的复杂组件或超参数。我们对三个具有挑战性的数据集,V-COCO,视觉关系和开放图像进行了实验评估,展示了强大的定量和定性结果。
2019-05-02 cs.CV
Towards Visual Distortion in Black-Box Attacks
Wuhan University(武汉大学)
在黑盒威胁模型中构建对抗性示例会通过引入视觉失真来损害原始图像。在本文中,我们提出了一种新的黑盒攻击方法,可以直接通过学习的噪声分布的对抗性的例子,假设只有损失预言机访问黑盒网络最小化诱导失真。量化的视觉失真,它测量的感知距离之间的敌对的例子和原始图像,引入我们的损失,而相应的不可微的损失函数的梯度近似采样噪声从学习的噪声分布。我们验证了我们对ImageNet攻击的有效性。与最先进的黑盒攻击相比,我们的攻击导致的失真要低得多,并且在InceptionV3,ResNet50和VGG16bn上实现了$100\%$成功率。该代码可在https://github.com/Alina-1997/visual-distortion-in-attack上获得。
2021-01-20 cs.CV cs.LG stat.ML
Geometry Meets Semantics: Fractional Gradient Stabilization for Semantic-Driven Bounding Box Optimization in Visual Detection Tasks
Beijing University of Technology(北京工业大学);ShanghaiTech University(上海科技大学);Beijing Institute of Technology(北京理工大学);Beijing Electronic Science and Technology Institute(北京电子科技学院);Zhengzhou University(郑州大学);Yunnan Normal University(云南师范大学)
研究视觉检测任务中边界框优化问题,提出分数语义IoU损失,通过设计语义相似性度量构建SIoU损失,再扩展为分数阶形式的FrSIoU损失,积累历史IoU状态正则化梯度,提升不同任务性能。
2026-08-12 cs.CV
IoU Attack: Towards Temporally Coherent Black-Box Adversarial Attack for Visual Object Tracking
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
对抗攻击的出现是由于深度神经网络的脆弱性,以感知注入了不可感知的扰动的输入样本。最近,对抗攻击已被应用于视觉对象跟踪,以评估深度跟踪器的鲁棒性。假设深度跟踪器的模型结构是已知的,用于视觉跟踪的各种白盒攻击方法已经证明了有希望的结果。然而,关于深度跟踪器的模型知识通常在实际应用中不可用。本文提出了一种基于决策的黑盒攻击方法用于视觉目标跟踪。与现有的处理静态图像进行图像分类的黑盒对抗攻击方法相比,我们提出了基于当前和历史帧的预测IoU分数顺序生成扰动的IoU攻击。通过降低IoU分数,所提出的攻击方法降低了时间相干边界框的准确性(即,物体运动)。此外,我们将学习到的扰动转移到接下来的几帧中,以初始化时间运动攻击。我们在最先进的深度跟踪器上验证了所提出的IoU攻击(即,基于检测、基于相关滤波器和长期跟踪器)。在基准数据集上的大量实验表明了所提出的IoU攻击方法的有效性。源代码可在https://github.com/VISION-SJTU/IoUattack上获得。
2021-03-27 cs.CV
Integrating Boxes and Masks: A Multi-Object Framework for Unified Visual Tracking and Segmentation
Zhejiang University(浙江大学);Baidu Research(百度研究院)
本文提出多目标掩码-框集成框架MITS,统一支持框和掩码初始化与预测,在VOT和VOS基准上取得最先进性能,并在GOT-10k上超越此前最佳方法约6%。
2023-09-21 cs.CV
Decoupled Box Proposal and Featurization with Ultrafine-Grained Semantic Labels Improve Image Captioning and Visual Question Answering
Google AI(谷歌AI)
目标检测在当前的视觉和语言任务(如图像描述和视觉问答)的解决方案中起着重要作用。然而,像Faster R-CNN这样的流行模型依赖于为边界框及其相应的语义标签注释地面事实的昂贵过程,这使得它不太适合作为迁移学习的原始任务。在本文中,我们研究的效果去耦盒建议和特征化的下游任务。关键的见解是,这使我们能够利用大量的标记注释,这些注释以前无法用于标准目标检测基准。从经验上讲,我们证明了这会导致有效的迁移学习和改进的图像描述和视觉问答模型,如在公开的基准测试中所测量的。
2019-09-04 cs.CL cs.CV
Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models
Amazon AWS AI(亚马逊云科技人工智能部门);KAIST(韩国科学技术院)
针对大型视觉语言模型的物体幻觉问题,提出黑盒视觉提示工程框架,通过训练路由器模型动态选择最优视觉提示,无需访问模型内部即可有效缓解幻觉。
2025-04-30 cs.AI cs.CL cs.CV
Mean Box Pooling: A Rich Image Representation and Output Embedding for the Visual Madlibs Task
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了Mean Box Pooling,这是一种新颖的视觉表示,它将大量高度重叠的对象提案的CNN表示合并在一起。我们表明,这样的表示与nCCA,一个成功的多模态嵌入技术,实现了最先进的性能上的视觉Madlibs任务。此外,受nCCA目标函数的启发,我们扩展了经典的CNN+LSTM方法,通过直接最大化深度学习架构的内部表示与候选答案之间的相似性来训练网络。同样,这种方法比之前的工作有了显著的改进,之前的工作也在Visual Madlibs上使用了CNN+LSTM方法。
2016-08-09 cs.AI cs.CL cs.CV
Consistency and Uncertainty: Identifying Unreliable Responses From Black-Box Vision-Language Models for Selective Visual Question Answering
Northeastern University(东北大学)
针对黑盒视觉-语言模型无法访问内部或重训练的问题,提出用小代理模型近似采样问题邻域,并依据邻域一致性识别不可靠回答,支持选择性视觉问答。
2024-04-16 cs.CV
Training Spatial-Frequency Visual Prompts and Probabilistic Clusters for Accurate Black-Box Transfer Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Letsur Inc.(Letsur公司)
针对黑盒预训练模型迁移中的数据分布差异及资源受限问题,提出结合空频混合视觉提示与概率簇训练的参数高效迁移学习框架,在少样本视觉识别任务上性能优于现有基线,且能降低计算成本。
2024-08-15 cs.CV
SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding
Illinois Institute of Technology(伊利诺伊理工学院);Cisco Research(思科研究院);University of Central Florida(中佛罗里达大学)
本文提出SegVG方法,将框级标注迁移为分割信号,通过多层多任务编码器-解码器和三重对齐模块,为视觉定位提供像素级监督并缓解特征域差异,在多个数据集上取得SOTA性能。
2024-07-06 cs.CV
Jag: Direct Box Prediction for Efficient Visual Grounding
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
Jag将紧凑预训练多模态模型适配为直接连续边界框预测,通过几何监督共同适配各模块,在多基准测试中提升定位准确率,且延迟与内存占用更低,实现高效视觉定位。
2026-10-14 cs.CV
Information-Theoretic Visual Explanation for Black-Box Classifiers
Seoul National University(首尔国立大学);ASRI(自动化与系统研究院(注:ASRI为首尔国立大学下属自动化与系统研究院,此处保留缩写并直译));INMC(跨学科微电子研究中心(注:INMC为首尔国立大学下属跨学科微电子研究中心,此处保留缩写并直译));ISRC(智能系统研究中心(注:ISRC为首尔国立大学下属智能系统研究中心,此处保留缩写并直译));Institute of Engineering Research, Seoul National University(首尔国立大学工程研究院)
在这项工作中,我们试图从信息论的角度来解释任何黑盒分类器的预测。对于每个输入特征,我们使用两个信息理论度量来比较具有和不具有该特征的分类器输出。相应地,我们得到两个属性图-信息增益(IG)图和逐点互信息(PMI)图。IG地图提供了一个独立于类别的答案“每个像素的信息量有多大?PMI图提供了一个类特定的解释,“每个像素支持特定类的程度是多少?”“与现有方法相比,我们的方法在定量指标方面提高了属性图的正确性。我们还提供了使用所提出的方法对ImageNet分类器的详细分析,代码可以在线获得。
2021-07-16 cs.CV
Synthesizing Black-box Anti-forensics DeepFakes with High Visual Quality
Nanchang University(南昌大学);Purdue University in Indianapolis(普渡大学印第安纳波利斯分校)
针对现有DeepFake反取证攻击常牺牲视觉质量的问题,提出基于对抗性锐化掩码的黑盒反取证方法,可在干扰先进检测器的同时显著提升伪造图像的视觉质量。
2023-12-17 cs.AI cs.CV
Visual explanation of black-box model: Similarity Difference and Uniqueness (SIDU) method
Aalborg University(奥尔堡大学);Yodaway
近年来,可解释人工智能(XAI)已成为一个非常适合的框架,以生成人类可理解的解释“黑盒”模型。在本文中,一种新的XAI视觉解释算法被称为相似性差异和uniform(SIDU)的方法,可以有效地本地化负责预测的整个对象区域的全部细节。SIDU算法的鲁棒性和有效性进行了分析,通过各种计算和人体实验。特别是,SIDU算法使用三种不同类型的评估(应用程序,人类和功能接地)进行评估,以证明其优越的性能。为了更好地理解SIDU算法的性能,进一步研究了SIDU算法在对抗攻击下对“黑箱”模型的鲁棒性.我们的代码可在https://github.com/satyamahesh84/SIDU_XAI_CODE上获得。
2022-07-10 cs.AI cs.CV cs.HC
CoordRefer: Coordinate-Aware 3D Visual Grounding from Multiview Images
本文提出CoordRefer框架,解耦坐标帧选择与坐标条件三维定位,在ScanRefer数据集上实现定位精度提升,性能优于坐标不可知基线及部分显式三维输入方法。
2026-08-07 cs.CV
Credit the Right Box: Marginal Contribution Assignment for Structured Visual Perception
Amap, Alibaba Group(高德,阿里巴巴集团)
针对多模态大语言模型结构化视觉感知中响应级监督的粒度不匹配问题,提出MCR-GRPO框架,通过边界框级边际贡献分配优化,在多个基准上取得了优于现有GRPO基线的最先进性能。
2026-08-04 cs.AI cs.CV
Self-Supervised Learning for Visual Relationship Detection through Masked Bounding Box Reconstruction
Deeplab;National Technical University of Athens(雅典国立技术大学);SnT, University of Luxembourg(卢森堡大学SnT);ETH, Zürich(苏黎世联邦理工学院)
该研究提出掩码边界框重建(MBBR)这一自监督方法,通过对象级掩码建模学习捕捉场景对象交互的上下文感知表征,仅用少量标注样本就在VRD的PredDet评估中超越现有最优方法。
2023-11-08 cs.CV
CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking
Stony Brook University(石溪大学)
高质量的目标建议是利用区域建议网络(RPN)的视觉跟踪算法的关键。这些建议的改进,通常是通过箱回归和分类并行,已被广泛采用,以提高跟踪性能。然而,在处理复杂动态背景时,该方法仍存在一些问题。因此,出于动机,在本文中,我们介绍了一个改进的建议细化模块,级联回归对齐分类(CRAC),它产生了新的国家的最先进的性能在许多基准测试。首先,我们观察到,从框回归的偏移量可以作为建议功能细化的指导,我们设计CRAC作为一个级联的框回归,功能对齐和框分类。关键是通过对齐步骤来桥接框回归和分类,这会为建议分类带来更准确的特征,并提高鲁棒性。为了解决对象外观的变化,我们引入了一个用于框分类的识别-区分组件,该组件利用离线可靠的细粒度模板和在线丰富的背景信息来区分目标和背景。此外,我们提出了金字塔RoIAlign的好处CRAC利用本地和全球线索的建议。在推理过程中,跟踪通过对所有细化的建议进行排名并选择最佳建议来进行。在包括OTB-2015,UAV 123,NfS,VOT-2018,TrackingNet,GOT-10 k和LaSOT在内的七个基准测试中,与最先进的竞争对手相比,我们的CRACT表现出非常有希望的结果,并实时运行。
2020-11-25 cs.CV
Paint Outside the Box: Synthesizing and Selecting Training Data for Visual Grounding
Nanyang Technological University(南洋理工大学);Nanjing University of Science and Technology(南京理工大学)
本文提出POBF框架,通过框外内绘合成图像并设计结合难度与过拟合分数的过滤方案,在数据稀缺下提升视觉定位性能,平均提升5.83%,并验证了跨模型与数据规模的鲁棒性。
2026-10-19 cs.AI cs.CV cs.LG
Learning to discover and localize visual objects with open vocabulary
University of Pittsburgh(匹兹堡大学);Google Research(谷歌研究院)
为了减轻获得用于训练当今最先进的目标检测模型的准确边界框的成本,最近的弱监督检测工作提出了从图像级标签学习的技术。然而,需要离散的图像级标签是限制性的和次优的。现实世界的“监督”通常由更多的非结构化文本组成,如标题。在这项工作中,我们学习图像和字幕之间的关联映射。然后,我们使用一种新的对象性标准来对所得到的候选框进行排名,使得高排名的框沿着所有边缘都具有很强的梯度。因此,我们可以检测超出固定对象类别词汇表的对象,如果这些对象足够频繁和独特。我们表明,我们的对象标准,提高了建议的边界框有关以前的弱监督检测方法。此外,我们只从图像级字幕的目标检测令人鼓舞的结果。
2018-11-25 cs.CV
BoxTuning: Directly Injecting the Object Box for Multimodal Model Fine-Tuning
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);Faculty of Computer Science and Artificial Intelligence, Shenzhen University of Advanced Technology(深圳理工大学计算机科学与人工智能学院)
BoxTuning通过将物体空间时间信息直接注入视觉模态,解决多模态大语言模型在视频问答中物体细粒度定位的不足,显著降低token成本并保持时间分辨率,实验表明其在空间导向任务中优于文本坐标方法。
2026-04-13 cs.AI cs.CV
RTrack: Accelerating Convergence for Visual Object Tracking via Pseudo-Boxes Exploration
Guangdong University of Technology(广东工业大学);South University of Science and Technology(南方科技大学)
针对真实边界框难以处理目标形变与旋转的问题,本文提出基于采样点生成伪框的 RTrack,并采用一对多主导分配策略,在 GOT-10k 上以仅 10% 训练成本达到 SOTA 性能。
2023-09-23 cs.CV
Out of the Box: Reasoning with Graph Convolution Nets for Factual Visual Question Answering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
准确回答有关给定图像的问题需要将观察与常识相结合。虽然这对人类来说毫不费力,但用一般知识进行推理仍然是一个算法挑战。为了推进这一方向的研究,最近引入了一种新的“基于事实”的视觉问答(FVQA)任务,以及大量链接两个实体的精选事实,即,两个可能的答案,通过一个关系。给定一个问题-图像对,深度网络技术已经被用来连续地减少大的事实集,直到最终剩余事实的两个实体之一被预测为答案。我们观察到,一次考虑一个事实以形成局部决策的连续过程是次优的。相反,我们开发了一个实体图,并使用一个图卷积网络,通过联合考虑所有实体来“推理"正确答案。我们在具有挑战性的FVQA数据集上表明,与最先进的技术相比,这导致准确度提高了约7%。
2018-11-01 cs.CV
Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Science, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)理学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);National Center for Applied Mathematics, Chongqing Normal University(重庆师范大学国家应用数学中心)
现有的大多数跟踪器都是基于分类器和多尺度估计来估计目标状态的。因此,正如预期的那样,跟踪器变得更加稳定,而跟踪精度却停滞不前。虽然跟踪器采用基于交并(IoU)损失的最大重叠方法来缓解此问题,但IoU损失本身存在缺陷,当给定的限界框完全包含在另一个限界框内/不包含另一个边界框时,无法继续优化目标函数;这使得准确估计目标状态非常具有挑战性。因此,在本文中,我们解决了上述问题,提出了一种新的跟踪方法的基础上的距离IoU(DIoU)的损失,使建议的跟踪器包括目标估计和目标分类。训练目标估计部分以预测目标地面实况限界框和估计的限界框之间的DIoU分数。DIoU损失可以保持IoU损失提供的优势,同时最小化两个边界框的中心点之间的距离,从而使目标估计更准确。此外,我们引入了一个分类部分,该部分是在线训练的,并使用基于共轭梯度的策略进行优化,以保证实时跟踪速度。综合实验结果表明,该方法实现了竞争力的跟踪精度相比,国家的最先进的跟踪器,同时具有实时跟踪速度。
2022-01-20 cs.CV
CoTBox-TTT: Grounding Medical VQA with Visual Chain-of-Thought Boxes During Test-time Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港大学深圳研究院数据科学学院)
针对医疗视觉问答系统在领域转移下失效、答案与图像证据关联弱的问题,提出CoTBox-TTT方法,通过测试时训练更新软提示,利用视觉思维链信号识别相关区域并确保答案一致性,提升模型可靠性与准确率。
2025-11-16 cs.CV
Black-box Attacks on Image Activity Prediction and its Natural Language Explanations
Idiap Research Institute(伊迪亚普研究所);University of Perugia(佩鲁贾大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Queen Mary University of London(伦敦玛丽女王大学)
本文首次评估了基于图像的自理性活动识别模型生成的自然语言解释对黑盒对抗攻击的鲁棒性,通过生成空间变化的扰动破坏预测与解释的关联,仅访问模型最终输出即可误导其生成不忠实解释。
2023-09-30 cs.CV
Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents
University of California, Irvine(加州大学尔湾分校)
研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击,提出Lucid框架,通过制作扰动实现记忆中毒和注入两种攻击模式,在多种对话领域和架构上评估,揭示了多模态记忆管道的结构漏洞。
2026-07-20 cs.CR cs.CV cs.LG
A Better Loss for Visual-Textual Grounding
University of Padua(帕多瓦大学);Bruno Kessler Foundation(布鲁诺·凯斯勒基金会)
给定一个文本短语和一个图像,视觉基础问题是定位句子所引用的图像内容的任务。这是一项具有挑战性的任务,在人机交互、图像-文本参考分辨率和视频-文本参考分辨率方面有几个实际应用。在过去的几年里,一些作品已经解决了这个问题,提出了越来越多的大型和复杂的模型,试图捕捉视觉文本依赖比以前更好。这些模型通常由两个主要部分组成,分别关注如何学习有用的多模态特征用于接地以及如何改进视觉提及的预测限界框。在这两个子任务之间找到正确的学习平衡并不容易,并且当前的模型在这个问题上不一定是最佳的。在这项工作中,我们提出了一个损失函数基于边界框类概率:(i)提高边界框的选择;(ii)提高边界框坐标预测。我们的模型虽然使用了一个简单的多模态特征融合组件,但在两个广泛采用的数据集上,它能够实现比最先进的模型更高的准确性,从而在上述两个子任务之间实现更好的学习平衡。
2022-02-02 cs.CV cs.LG
Robust Adaptation of Foundation Models with Black-Box Visual Prompting
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Seoul(首尔市立大学);Yonsei University(延世大学);University of Washington(华盛顿大学)
本文提出BlackVIP方法,通过协调器和SPSA-GC组件实现无需模型参数的PTM适应,通过实验展示其在不同领域和任务中的鲁棒性,同时提供理论分析支持视觉提示方法的鲁棒性。
2026-04-03 cs.CV cs.LG
How to Determine the Preferred Image Distribution of a Black-Box Vision-Language Model?
Autodesk AI Research(欧特克AI研究院)
提出通过测量输出一致性来识别黑盒视觉语言模型偏好图像分布的方法,引入CAD-VQA数据集,并利用人类反馈优化模型输出,确立复杂视觉推理任务的基线。
2024-10-15 cs.CV
GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Zhongguancun Laboratory(中关村实验室);Xiaomi EV(小米汽车);Alibaba DAMO Academy(阿里巴巴达摩院)
GameReplica提出黑盒游戏复现基准,通过闭环框架评估视觉语言代理仅凭截图和交互归纳规则并生成可验证游戏的能力,实验显示当前代理视觉复现强于机制复现。
2026-11-17 cs.AI cs.CV
DeTrack: In-model Latent Denoising Learning for Visual Object Tracking
Fudan University(复旦大学);Shanghai Key Lab of Intelligent Information Processing(上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Engineering Research Center of AI & Robotics(上海市人工智能与机器人工程技术研究中心);Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院)
本文提出 DeTrack,将视觉跟踪建模为模型内潜在去噪学习,通过去噪 ViT 逐块消除边界框噪声,并结合轨迹与视觉记忆,在保证实时性的同时提升鲁棒性和跟踪性能。
2025-01-05 cs.CV
Predicting Visual Overlap of Images Through Interpretable Non-Metric Box Embeddings
University College London(伦敦大学学院);Niantic
两个图像在多大程度上描绘了相同的3D表面?即使这是一个已知的场景,答案通常需要在尺度空间上进行昂贵的搜索,并对大量的局部特征进行匹配和几何验证。当针对图库评估查询图像时,例如在视觉重新定位中,该费用进一步倍增。虽然我们不需要几何验证,但我们提出了一种可解释的图像嵌入,它将尺度空间中的搜索削减为基本上的查找。我们的方法测量两个图像之间的不对称关系。然后,该模型从具有已知3D可见表面重叠的训练样本中学习场景特定的相似性度量。结果是,我们可以快速识别,例如,哪个测试图像是另一个的特写版本,以及通过什么比例因子。随后,仅需要在该尺度下检测局部特征。我们通过展示这种嵌入如何产生有竞争力的图像匹配结果来验证我们的场景特定模型,同时更简单,更快,也可由人类解释。
2020-08-13 cs.CV cs.LG
Seeing Out of tHe bOx: End-to-End Pre-training for Vision-Language Representation Learning
University of Science and Technology Beijing(北京科技大学);Beijing Engineering Research Center of Industrial Spectrum Imaging(北京工业光谱成像工程技术研究中心);Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
我们研究了卷积神经网络(CNN)和Transformer的联合学习,用于视觉语言预训练(VLPT),旨在从数百万个图像-文本对中学习跨模态对齐。最先进的方法提取显着的图像区域和对齐区域的话一步一步。由于基于区域的视觉特征通常表示图像的一部分,因此现有的视觉语言模型很难完全理解成对自然语言的语义。在本文中,我们提出SOHO“看到了tHe bOx”,需要一个完整的图像作为输入,并学习视觉语言表示在一个端到端的方式。SOHO不需要限界框注释,这使得推理速度比基于区域的方法快10倍。特别是,SOHO通过视觉词典(VD)学习提取全面而紧凑的图像特征,以促进跨模态理解。VD被设计为表示相似语义的一致视觉抽象。它是动态更新的,并在我们提出的预训练任务Masked Visual Modeling(MVM)中使用。我们进行实验,四个完善的视觉语言任务,以下标准VLPT设置。特别地,SOHO在MSCOCO文本检索5 k测试分割上实现了2.0%R@1得分的绝对增益,在NLVR $^2$ test-P分割上实现了1.5%的准确率,在SNLI-VE测试分割上实现了6.7%的准确率。
2021-04-08 cs.CV
Char-SAM: Turning Segment Anything Model into Scene Text Segmentation Annotator with Character-level Visual Prompts
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出 Char-SAM 自动标注流程,通过字符级边界框细化和字符字形细化两个模块改进 SAM 的提示方式,解决场景文本分割中的过分割与欠分割问题,实现免训练的高质量文本分割标注生成。
2024-12-27 cs.CV
Language-Guided Diffusion Model for Visual Grounding
University of Toronto(多伦多大学)
提出语言引导扩散框架LG-DVG,通过迭代去噪噪声框实现视觉定位,在五个数据集上验证了生成式方法的优越性能。
2025-02-25 cs.CV cs.MM
Locate Then Generate: Bridging Vision and Language with Bounding Box for Scene-Text VQA
School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Tencent YouTu Lab(腾讯优图实验室)
本文提出“定位然后生成”(LTG)多模态框架,通过空间边界框作为桥梁显式统一视觉与语言语义,在无预训练任务下显著提升STVQA准确率。
2023-04-04 cs.AI cs.CV
IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models
University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory of Communication Content Cognition(通信内容认知技术国家重点实验室);Peng Cheng Laboratory(鹏城实验室)
研究多模态大语言模型视觉定位中训练与评估不匹配问题,提出IoUPD方法,利用真实框作特权指导,训练时学生模型接收原始信息,教师模型接收增强提示,经监督微调与特权蒸馏损失训练,推理时无需额外模块,实验显示该方法有改进。
2026-10-14 cs.CV
Video Annotation for Visual Tracking via Selection and Refinement
Dalian University of Technology(大连理工大学);CSA Intellicloud Ltd(CSA 智云有限公司);Remark Holdings(Remark Holdings公司)
基于深度学习的视觉跟踪器需要在大量视频数据集上进行离线预训练,这些视频数据集具有精确的限界框注释,而实现这些注释的劳动力成本很高。我们提出了一个新的框架,以促进限界框注释的视频序列,调查的选择和细化策略,自动提高跟踪算法产生的初步注释。提出了一种时间评估网络(T-Assess Net),该网络能够捕获目标位置的时间相关性,并通过测量其质量来选择可靠的跟踪结果。同时,视觉几何细化网络(VG-Refine Net)也被设计为进一步增强所选择的跟踪结果,通过考虑目标外观和时间几何约束,允许不准确的跟踪结果进行校正。上述两种网络的结合提供了一种原则性的方法来确保自动视频标注的质量。在大规模跟踪基准上的实验表明,我们的方法可以提供高度准确的限界框注释,并显着减少94.0%的人工劳动,产生一种有效的手段,以进一步提高跟踪性能与增强训练数据。
2021-08-09 cs.CV
Representation of White- and Black-Box Adversarial Examples in Deep Neural Networks and Humans: A Functional Magnetic Resonance Imaging Study
Korea Advanced Institute of Science and Technology(韩国科学技术院);Hyundai Motor Company(现代汽车公司)
最近,受大脑启发的深度神经网络(DNN)在解决复杂的高级视觉任务方面取得了成功,这使得人们对它们与人类视觉系统相匹配的潜力的期望越来越高。然而,DNN表现出的特质表明它们的视觉表示和处理可能与人类视觉有很大的不同。DNN的一个局限性是它们容易受到对抗性示例的影响,输入图像上添加了微妙的,精心设计的噪声来欺骗机器分类器。人类视觉系统对对抗性示例的鲁棒性可能非常重要,因为它可以揭示机器视觉尚未包含的关键机械特征。在这项研究中,我们通过利用功能性磁共振成像(fMRI)比较了DNN和人类中白盒和黑盒对抗示例的视觉表示。我们发现人类和DNN的不同类型(即白盒与黑盒)对抗性示例的表示模式存在微小但显著的差异。然而,与DNN不同的是,人类在分类判断上的表现不会因噪音而降低,无论噪音的类型如何。这些结果表明,对抗性的例子可能在人类视觉系统中表现不同,但无法影响感知体验。
2019-05-07 cs.AI cs.CV q-bio.NC
BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning
University of Seoul(首尔大学);Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
BlackVIP提出黑盒视觉提示方法,通过协调器和SPSA-GC在不访问预训练模型参数的情况下实现高效鲁棒迁移学习。
2023-07-08 cs.AI cs.CV cs.LG
CREPE: Learnable Prompting With CLIP Improves Visual Relationship Prediction
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本研究针对视觉关系预测任务,基于UVTransE框架结合CLIP设计表示方案,提出带对比训练策略的CREPE方法,在Visual Genome基准上取得了性能提升,验证了视觉语言模型在该任务的有效性。
2023-07-19 cs.CV cs.LG
UniTAB: Unifying Text and Box Outputs for Grounded Vision-Language Modeling
Microsoft Cloud and AI(微软云与人工智能部门)
我们提出了统一文本和框输出接地视觉语言(VL)建模的UniTAB。接地VL任务(如接地字幕)需要模型生成文本描述并将预测的单词与对象区域对齐。为了实现这一点,模型必须一起生成所需的文本和框输出,同时指示单词和框之间的对齐。与现有的使用多个单独模块进行不同输出的解决方案相比,UniTAB用共享的标记序列表示文本和框输出,并引入了一个特殊的<obj>标记来自然地指示序列中的单词框对齐。因此,UniTAB可以提供一个更全面和可解释的图像描述,通过自由接地生成的单词对象区域。在接地字幕方面,UniTAB提供了一个简单的解决方案,只有一个输出头,并且在接地和字幕评估方面都明显优于现有技术。在具有不同期望输出格式的一般VL任务上(即,文本、框或它们的组合),具有单个网络的UniTAB实现了比任务特定的最新技术水平更好或相当的性能。实验涵盖7个VL基准,包括接地字幕、视觉接地、图像描述和视觉问答。此外,UniTAB的统一多任务网络和任务无关的输出序列设计使模型参数有效,并可推广到新的任务。
2022-07-27 cs.CV
Interpreting Undesirable Pixels for Image Classification on Black-Box Models
Korea University(高丽大学)
为了解释黑箱模型,近年来进行了开发解释方法的研究。大多数研究都试图识别对分类器的预测至关重要的输入像素。虽然这种方法对于分析黑盒模型的特性是有意义的,但是研究干扰预测的像素也很重要。为了解决这个问题,在本文中,我们提出了一种解释方法,可视化不需要的区域分类的图像作为一个目标类。具体来说,我们将不期望区域的概念分为两个术语:(1)目标类的因素,这会阻碍黑盒模型识别目标类的内在特征;(2)非目标类的因素,这是图像被分类为其他类的重要区域。我们在热图上可视化这些不期望的区域,以定性地验证所提出的方法。此外,我们还提出了一个评估指标,以在ImageNet上提供定量结果。
2019-12-16 cs.CV
Attention-Guided Black-box Adversarial Attacks with Large-Scale Multiobjective Evolutionary Optimization
Anhui University(安徽大学);Anqing Normal University(安庆师范大学)
由于深度神经网络(DNN)的结构先验知识总是未知的,因此使用黑盒优化来欺骗DNN已经成为一种流行的对抗攻击方式。然而,最近的黑盒对抗攻击在处理高分辨率图像时可能难以平衡其攻击能力和生成的对抗示例(AE)的视觉质量。在本文中,我们提出了一个注意力引导的黑盒对抗攻击的基础上大规模多目标进化优化,称为LMOA。通过考虑图像的空间语义信息,我们首先利用注意图来确定扰动像素。利用注意力机制减少受干扰的像素,而不是攻击整个图像,可以帮助避免臭名昭著的维数灾难,从而提高攻击的性能。其次,采用大规模多目标进化算法遍历显著区域中的约简像素。受益于其特性,生成的AE有可能欺骗目标DNN,同时被人类视觉感知。大量的实验结果验证了所提出的LMOA在ImageNet数据集上的有效性。更重要的是,与现有的黑盒对抗攻击相比,它在生成具有更好视觉质量的高分辨率AE方面更具竞争力。
2022-01-13 cs.CV
Prompting the Unseen: Detecting Hidden Backdoors in Black-Box Models
本研究提出了一种基于视觉提示的黑盒模型级后门检测方法BProm,通过利用类子空间不一致性和存在后门时提示模型低分类准确率的现象,有效识别可疑模型中的隐藏后门。
2025-04-07 cs.AI cs.CV cs.LG
Visualizing Color-wise Saliency of Black-Box Image Classification Models
SenseTime Japan(日本商汤科技);Kyoto University(京都大学)
基于机器学习的图像分类正被广泛使用。然而,通过包括深度学习的高级方法给出的分类结果通常难以解释。这个可解释性问题是在安全关键系统中部署训练模型的主要障碍之一。已经提出了几种技术来解决这个问题;其中之一是RISE,它通过热图解释分类结果,称为显着图,它解释了每个像素的重要性。我们提出了MC-RISE(多色RISE),这是一个增强的RISE考虑到颜色信息的解释。我们的方法不仅像原始RISE那样显示给定图像中每个像素的显着性,而且还显示每个像素的颜色分量的重要性;具有颜色信息的显着性图特别适用于颜色信息重要的领域(例如,交通标志识别)。我们实现了MC-RISE,并使用两个数据集(GTSRB和ImageNet)对其进行评估,以证明我们的方法与现有技术相比的有效性,用于解释图像分类结果。
2020-10-06 cs.CV cs.LG
The Open Images Dataset V4: Unified image classification, object detection, and visual relationship detection at scale
我们提出了Open Images V4,这是一个包含920万张图像的数据集,具有用于图像分类、目标检测和视觉关系检测的统一注释。这些图片有一个知识共享署名许可证,允许分享和改编材料,它们是从Flickr收集的,没有预先定义的类名或标签列表,从而产生自然的类统计数据,避免了最初的设计偏见。Open Images V4提供了跨多个维度的大规模:3010万个图像级标签用于1980万个概念,1540万个边界框用于600个对象类,以及3750万个涉及57个类的视觉关系注释。特别是对于目标检测,我们提供的边界框比下一个最大的数据集(190万张图像上的1540万个框)多15倍。图像通常显示具有多个对象的复杂场景(平均每个图像8个注释对象)。我们标注了它们之间的视觉关系,这支持视觉关系检测,一个新兴的任务,需要结构化推理。我们提供了关于数据集的深入全面的统计数据,我们验证了注释的质量,我们研究了几种现代模型的性能如何随着训练数据的增加而变化,我们展示了两种应用程序,它们可以通过在同一图像中共存多种类型的统一注释来实现。我们希望Open Images V4的规模、质量和多样性将促进进一步的研究和创新,甚至超越图像分类、目标检测和视觉关系检测的领域。
2020-02-21 cs.CV
Weakly Supervised Visual Semantic Parsing
Columbia University(哥伦比亚大学)
场景图生成(SGG)的目的是从图像中提取实体、谓词及其语义结构,实现对视觉内容的深入理解,具有视觉推理和图像检索等多种应用。然而,现有的SGG方法需要数百万个手动注释的边界框来进行训练,并且计算效率低下,因为它们穷尽地处理所有对的对象建议以检测谓词。在本文中,我们首先提出了一个广义的SGG,即视觉语义解析,它解开实体和谓词识别,并使次二次性能的制定解决这两个限制。然后,我们提出了视觉语义解析网络,VSPNet,基于一个动态的,基于注意力的,二分消息传递框架,共同推断图形节点和边缘,通过迭代过程。此外,我们提出了第一个基于图的弱监督学习框架,基于一种新的图对齐算法,它使训练没有限界框注释。通过大量的实验,我们证明了VSPNet的性能显著优于弱监督基线,接近完全监督性能,同时速度快了好几倍。我们公开发布我们方法的源代码。
2020-03-31 cs.CV
Visual and Semantic Knowledge Transfer for Large Scale Semi-supervised Object Detection
LIRIS, École Centrale de Lyon(里昂中央理工学院LIRIS实验室);The University of Sheffield(谢菲尔德大学);Istituto Italiano di Tecnologia(意大利理工学院)
基于深度CNN的目标检测系统在几个大规模目标检测基准测试中取得了显著的成功。然而,训练这样的检测器需要大量的标记边界框,这比图像级注释更难获得。以前的工作通过将图像级分类器转换为对象检测器来解决这个问题。这是通过对具有图像级和限界框注释的类别上的两者之间的差异进行建模,并将该信息传递到将分类器转换为不具有限界框注释的类别的检测器来完成的。我们改进了以前的工作,将知识的对象相似性从视觉和语义域在传输过程中。我们所提出的方法背后的直觉是,视觉和语义相似的类别应该表现出比不同类别更常见的可转移属性,例如,通过将狗分类器和狗检测器之间的差异转换到猫类上,而不是从小提琴类转换,可以得到更好的检测器。在具有挑战性的ILSVRC 2013检测数据集上的实验结果表明,我们提出的每一种基于对象相似性的知识传递方法都优于基线方法。我们发现了强有力的证据表明,视觉相似性和语义相关性对于任务是互补的,当结合起来时,可以显着提高检测,在半监督环境中实现最先进的检测性能。
2018-03-13 cs.CV
Perception Improvement for Free: Exploring Imperceptible Black-box Adversarial Attacks on Image Classification
University of British Columbia(不列颠哥伦比亚大学)
深度神经网络容易受到对抗攻击的攻击。白盒对抗攻击可以用小的对抗性扰动欺骗神经网络,特别是对于大尺寸图像。然而,保持成功的对抗性扰动不可感知对于基于传输的黑盒对抗攻击尤其具有挑战性。通常,由于其令人不快的视觉质量,这种对抗性示例可以很容易地被发现,这在实践中损害了对抗攻击的威胁。在这项研究中,为了提高图像质量的黑盒对抗性的例子感知,我们提出了结构感知的对抗攻击通过生成基于心理感知模型的对抗性图像。具体来说,我们允许对感知无关紧要的区域进行更高的扰动,而对视觉敏感区域分配较低或无扰动。除了提出的空间约束对抗扰动,我们还提出了一种新的结构感知的频率对抗攻击方法在离散余弦变换(DCT)域。由于所提出的攻击是独立的梯度估计,他们可以直接与现有的基于梯度的攻击。实验结果表明,与可比的攻击成功率(ASR),所提出的方法可以产生对抗性的例子,大大提高了视觉质量的免费。在感知质量相当的情况下,所提出的方法实现了更高的攻击成功率:特别是对于频率结构感知攻击,平均ASR比基线攻击提高了10%以上。
2020-10-30 cs.CR cs.CV cs.LG