Homogeneous Low-Resolution Face Recognition Method based Correlation Features
Yanching Institute of Technology(燕京理工学院)
人脸识别技术已被广泛应用于身份识别、门禁控制、移动终端接入等关键任务场景,安防监控是人脸识别技术的典型应用场景。由于监控视频和图像的低分辨率特点,使得高分辨率人脸识别算法难以提取有效的特征信息,应用于高分辨率人脸识别的算法难以直接迁移到低分辨率场合。随着安全监控中的人脸识别在密集城市化时代变得越来越重要,开发能够在处理低分辨率监控摄像机生成的视频帧时提供令人满意的性能的算法至关重要。本文研究了基于相关系数的人脸识别方法(CoFFaR),该方法适用于均匀低分辨率的监控视频,详细阐述了其原理、实验细节和实验结果。实验结果验证了相关特征方法在监控安防场景中提高同质人脸识别准确率的有效性。
2021-11-25 cs.CV
About Face: A Survey of Facial Recognition Evaluation
我们调查了1976年至2019年间构建的100多个人脸数据集,其中包括来自各种来源、人口统计数据和条件的1700多万名受试者的1.45亿张图像。我们的历史调查显示,这些数据集是根据上下文信息,由政治动机,技术能力和当前规范的变化所塑造的。我们讨论了这些影响如何掩盖具体的做法(其中一些实际上可能是有害的或有问题的),并提出了明确的沟通这些细节的情况下,以建立一个更接地的理解技术在现实世界中的功能。
2021-02-01 cs.AI cs.CV
Deep Learning Based Single Sample Per Person Face Recognition: A Survey
Hohai University(河海大学);Harbin Engineering University(哈尔滨工程大学)
人脸识别长期以来一直是人工智能领域的一个活跃研究领域,特别是自近年来深度学习兴起以来。在某些实际情况下,每个身份只有一个可用于训练的样本。这种情况下的人脸识别被称为单样本人脸识别,对深度模型的有效训练提出了重大挑战。因此,近年来,研究者们试图释放更多的深度学习潜力,提高单样本情况下的模型识别性能。虽然已经对传统的单样本人脸识别方法进行了几次全面的调查,但这些评论很少涉及新兴的基于深度学习的方法。因此,本文重点研究了基于深度学习的方法,将其分为虚拟样本方法和通用学习方法。在前一类中,生成虚拟图像或虚拟特征以有利于深度模型的训练。在后者中,使用额外的多样本通用集。有三种类型的通用学习方法:结合传统方法和深层特征,改善损失函数,改善网络结构,所有这些都在我们的分析中涵盖。此外,我们回顾了通常用于评估单样本人脸识别模型的人脸数据集,并继续比较不同类型模型的结果。此外,我们讨论了现有的单样本人脸识别方法中存在的问题,包括虚拟样本方法中的身份信息保持,通用学习方法中的域适应。此外,我们认为发展无监督的方法是一个很有前途的未来方向,并指出语义鸿沟是一个重要的问题,需要进一步考虑。
2022-08-10 cs.CV cs.LG eess.IV
Deep Affordance-grounded Sensorimotor Object Recognition
Centre for Research and Technology Hellas(希腊研究与科技中心);University of Thessaly(色萨利大学)
认知神经科学已经确立,人类对物体的感知构成了一个复杂的过程,其中物体外观信息与关于所谓的物体“启示”的证据相结合,即人类在与它们交互时通常执行的动作类型。这一事实最近激发了“感觉运动”方法来完成具有挑战性的自动对象识别任务,其中两个信息源被融合以提高鲁棒性。在这项工作中,上述范式被采用,超越目前的局限性的感觉运动物体识别研究。具体来说,深度学习范式首次被引入到这个问题中,开发了许多新颖的神经生物学和神经生理学启发的架构,这些架构利用最先进的神经网络以多种方式融合可用的信息源。所提出的方法进行评估,使用一个大型的RGB-D语料库,这是专门收集的感觉运动对象识别的任务,并公开提供。实验结果表明,效用的启示信息的对象识别,实现了高达29%的相对误差减少其列入。
2017-04-10 cs.CV
Spatially Grounded Concept-Based Image Classification
Faculty of Engineering Bar-Ilan University(巴伊兰大学工程学院)
提出SEG-MIL-CBM,通过概念引导区域和注意力聚合实现空间基础的概念瓶颈模型,提升最差组准确率并保持标准识别竞争力。
2026-06-23 cs.CV cs.LG
From Semantics, Scene to Instance-awareness: Distilling Foundation Model for Grounded Open-vocabulary Situation Recognition
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学);The Hong Kong Polytechnic University(香港理工大学)
针对传统GSR模型泛化能力不足、MLLMs资源消耗大的问题,本文提出Ov-GSR任务与MIPD框架,通过从MLLM蒸馏知识增强小型模型性能,在Ov-SWiG和HICO-DET数据集上取得优异结果。
2025-11-11 cs.CV
AffectReveal: Event-Grounded Emotion Recognition Beyond Visual Appearances
South China University of Technology(华南理工大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Tsinghua University(清华大学)
针对视觉情感识别中仅凭表象证据不足的问题,提出事件锚定情感识别EGER及无需微调的AffectReveal框架,通过恢复并验证决定情感的事件,显著提升识别准确率。
2026-09-30 cs.CV
A Proposal-Free Query-Guided Network for Grounded Multimodal Named Entity Recognition
本文提出无提案查询引导网络,通过文本引导和跨模态交互统一多模态推理与解码,提升开放域场景下的命名实体识别精度与鲁棒性。
2026-03-19 cs.CV
Grounded Human-Attributed Description and Activity Recognition in Videos
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊公司)
本研究提出GHADAR任务,构建基于AVA-Actions的新数据集,提出约束VLMs交叉注意力掩码的方法,优于SOTA VLMs,还提出基于VLMs的整体评估方案,为该领域研究奠定基础。
2026-10-16 cs.CV
Seeing Beyond Classes: Zero-Shot Grounded Situation Recognition via Language Explainer
Zhejiang University(浙江大学);Finvolution Group(Finvolution集团);The Hong Kong University of Science and Technology(香港科技大学)
本文提出基于语言解释器(LEX)的零样本接地情境识别方法,通过动词、接地和名词三个辅助解释器增强模型对动词/名词类别的理解,解决动词概念模糊、角色定位不准和名词预测缺乏上下文感知的问题,在SWiG数据集上验证了其有效性。
2024-04-24 cs.CV
Recurrent Models for Situation Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
这项工作提出了递归神经网络(RNN)模型来预测结构化的“图像情况”-动作和名词实体履行与动作相关的语义角色。与依赖于条件随机场(CRF)的先前工作相比,我们使用专门的动作预测网络,然后使用RNN进行名词预测。我们的系统在最近具有挑战性的imSitu数据集上获得了最先进的准确性,击败了基于CRF的模型,包括使用额外数据训练的模型。此外,我们表明,从情况预测学习的专门功能可以转移到图像描述的任务,以更准确地描述人与物体的相互作用。
2017-08-04 cs.CV
Action Recognition based on Cross-Situational Action-object Statistics
National University of Singapore(新加坡国立大学);Indiana University(印第安纳大学);Northeastern University(东北大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉动作识别的机器学习模型通常在来自动作与某些对象相关联的特定情况的数据上进行训练和测试。训练集中的动作对象关联如何影响模型在训练情况之外的泛化能力,这是一个悬而未决的问题。我们着手确定训练数据的属性,这些属性导致动作识别模型具有更强的泛化能力。为了做到这一点,我们从一种称为跨情境学习的认知机制中获得灵感,该机制指出人类学习者通过观察不同情境中相同概念的实例来提取概念的含义。我们进行控制实验与各种类型的动作对象的关联,并确定关键属性的动作对象共现的训练数据,导致更好的分类。鉴于这些属性在计算机视觉文献中通常用于训练动作分类器的数据集中缺失,我们的工作为我们如何最好地构建数据集以有效地训练更好的泛化提供了有用的见解。
2022-08-15 cs.CV
Rethinking the Two-Stage Framework for Grounded Situation Recognition
Tencent AI Lab(腾讯人工智能实验室)
Grounded Situation Recognition(GSR),即识别图像中的显著活动(或动词)类别(例如,购买)并检测所有相应的语义角色(例如,代理和货物),是迈向“类人”事件理解的重要一步。由于每个动词都与一组特定的语义角色相关联,所有现有的GSR方法都采用两阶段框架:在第一阶段预测动词,在第二阶段检测语义角色。然而,这两个阶段都存在明显的缺陷:1)由于日常活动中类内差异大、类间相似度高,广泛使用的用于对象识别的交叉熵损失(XE)在动词分类中存在不足。2)所有语义角色都是以自回归的方式检测的,这无法对不同角色之间的复杂语义关系进行建模。为此,我们提出了一种新的SituFormer的GSR,它包括一个粗到细的动词模型(CFVM)和一个基于转换器的名词模型(TNM)。CFVM是一个两步动词预测模型:用XE损失训练的粗粒度模型首先提出一组动词候选,然后用三重损失训练的细粒度模型用增强的动词特征(不仅是可分离的,而且是可区分的)对这些候选进行重新排序。TNM是一个基于转换器的语义角色检测模型,它检测所有的角色。由于Transformer解码器的全局关系建模能力和灵活性,TNM可以充分探索角色的统计依赖性。在具有挑战性的SWiG基准测试上进行的广泛验证表明,SituFormer在各种指标下都实现了新的最先进的性能,并取得了显着的收益。代码可在https://github.com/…
2021-12-10 cs.CV
ALGO: Object-Grounded Visual Commonsense Reasoning for Open-World Egocentric Action Recognition
Auburn University(奥本大学)
ALGO框架结合神经符号提示与基于能量的符号模式理论,利用知识库常识在有限监督下实现第一人称视频的开放世界动作识别。
2024-06-09 cs.CV
Collaborative Transformers for Grounded Situation Recognition
POSTECH(浦项科技大学)
接地的情况识别是预测的主要活动,在活动中扮演某些角色的实体,并在给定的图像中的实体的边界框接地的任务。为了有效地处理这一具有挑战性的任务,我们引入了一种新的方法,其中活动分类和实体估计的两个过程是交互和互补的。为了实现这一想法,我们提出了协作的一瞥,凝视变换器(CoFormer),由两个模块组成:活动分类的一瞥Transformer和凝视Transformer实体估计。Glance Transformer借助分析实体及其关系的Gaze Transformer预测主要活动,而Gaze Transformer通过仅关注与Glance Transformer预测的活动相关的实体来估计接地实体。我们的CoFormer在SWiG数据集上的所有评估指标上都达到了最先进的水平。训练代码和模型权重可在https://github.com/jhcho99/CoFormer上获得。
2022-03-30 cs.AI cs.CV cs.LG
Grounded Situation Recognition with Transformers
POSTECH(浦项科技大学)
基于情境的识别(Grounded Situation Recognition,GSR)是一种不仅对显著动作(动词)进行分类,而且预测与语义角色相关的实体(名词)及其在给定图像中的位置的任务。受Transformers在视觉任务中取得的巨大成功的启发,我们提出了一个基于Transformer编码器-解码器架构的GSR模型。该模型的注意力机制能够有效地捕捉图像的高层语义特征,实现动词的准确分类,并能灵活地处理实体间复杂的、依赖于图像的关系,提高名词的分类和定位能力。我们的模型是GSR的第一个Transformer架构,并在SWiG基准测试的每个评估指标上达到了最先进的水平。我们的代码可在https://github.com/jhcho99/gsrtr上获得。
2021-11-19 cs.AI cs.CV cs.LG
ClipSitu: Effectively Leveraging CLIP for Conditional Predictions in Situation Recognition
本文提出ClipSitu XTF,一种基于CLIP视觉令牌的交叉注意力Transformer模型,通过有效利用CLIP的视觉-语言知识进行条件预测,在imSitu数据集的语义角色标注和情境定位任务上大幅超越现有最先进方法。
2023-09-11 cs.CV
Grounded Video Situation Recognition
IIIT Hyderabad(海得拉巴国际信息技术研究所)
密集视频理解需要回答几个问题,例如谁对谁做了什么,用了什么,如何,为什么和在哪里。最近,视频情景识别(VidSitu)被构造为一个任务,用于结构化预测多个事件,它们的关系,动作和各种动词-角色对附加到描述性实体。这项任务在识别、消歧和跨多个动词-角色对的共指实体方面提出了一些挑战,但也面临一些评估挑战。在这项工作中,我们提出了增加时空接地的结构化预测任务的一个重要组成部分,在弱监督设置,并提出了一种新的三阶段Transformer模型,VideoWhisperer,这是授权进行联合预测。在第一阶段,我们学习视频特征的上下文嵌入,同时学习视频片段中出现的关键对象,以实现细粒度的时空推理。第二阶段看到动词角色查询参加和池信息从对象嵌入,本地化的问题所提出的行动的答案。最后一个阶段生成这些答案作为字幕来描述视频中存在的每个动词-角色对。我们的模型同时对一组事件(剪辑)进行操作,并预测动词、动词-角色对、它们的名词及其动态接地。当在VidSitu数据集的接地增强版本上进行评估时,我们观察到实体字幕准确性的大幅提高,以及在训练时无需接地注释即可定位动词角色的能力。
2022-10-19 cs.CV
VIVA: A Benchmark for Vision-Grounded Decision-Making with Human Values
The Hong Kong Polytechnic University(香港理工大学);Case Western Reserve University(凯斯西储大学)
该研究提出名为VIVA的人类价值观驱动视觉落地决策基准,含1240张现实场景图与人工标注决策,实验发现大型视觉语言模型在此类多模态决策上存在局限,并指出利用行动后果与预测价值观的潜在价值。
2024-10-10 cs.CL cs.CV
AgroGround: What Grounding Fine-Tuning Changes in Agricultural Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
AgroGround提出大规模接地农业识别数据集,通过自动化标注和联合识别定位指令微调,显著提升模型在身份、区域及健康图像弃权上的性能,并建立基准。
2026-11-20 cs.AI cs.CV
Situation Recognition with Graph Neural Networks
The Chinese University of Hong Kong(香港中文大学);University of Toronto(多伦多大学);Uber Advanced Technologies Group(优步先进技术集团);Youtu Lab, Tencent(腾讯优图实验室);Vector Institute(向量学院)
我们解决了识别图像中的情况的问题。给定一幅图像,任务是预测最突出的动词(动作),并填充其语义角色,如谁在执行动作,动作的来源和目标是什么等。不同的动词有不同的角色(例如攻击有武器),每个角色可以采取许多可能的值(名词)。我们提出了一个基于图神经网络的模型,使我们能够使用图上定义的神经网络有效地捕获角色之间的联合依赖关系。不同的图形连接的实验表明,我们的方法,传播角色之间的信息显着优于现有的工作,以及多个基线。在预测整个情况方面,我们比以前的工作提高了大约3-5%。我们还提供了一个全面的定性分析我们的模型和不同的角色在动词的影响。
2017-08-14 cs.CV
E2E-GMNER: End-to-End Generative Grounded Multimodal Named Entity Recognition
Dalian Maritime University(大连海事大学);Dalian University of Technology(大连理工大学)
本文提出E2E-GMNER,通过端到端生成框架统一实体识别、语义类型预测和视觉定位,采用链式推理和GRBP提升鲁棒性,实验证明其在多模态命名实体识别任务中表现优异。
2026-04-19 cs.CL cs.CV
Effectively Leveraging CLIP for Generating Situational Summaries of Images and Videos
Centre for Frontier AI Research(前沿人工智能研究中心);Institute of High-Performance Computing(高性能计算研究所);Agency for Science, Technology and Research(新加坡科技研究局)
本文提出 ClipSitu 及 ClipSitu XTF,利用 CLIP 嵌入和交叉注意力实现图像情境识别、定位与摘要,并扩展至视频任务。
2025-03-18 cs.CV
Logo-VGR: Visual Grounded Reasoning for Open-world Logo Recognition
VCIP, CS, Nankai University(南开大学计算机科学与技术学院)
针对开放世界品牌 Logo 识别,本文提出 Logo-VGR 基准与比较式视觉扎根推理框架,通过领域知识注入和标识引导推理提升未见过品牌的泛化性能。
2025-09-30 cs.CV cs.LG
SAFER: Situation Aware Facial Emotion Recognition
Purdue University(普渡大学)
本研究提出情境感知的面部情绪识别系统SAFER,融合上下文信息适配开放场景,在CAER-S数据集上达91.4%准确率,还探究了口罩的影响并推出新型数据集,可用于人机交互、安防等领域。
2023-06-14 cs.CV
Vocabulary-free Fine-grained Visual Recognition via Enriched Contextually Grounded Vision-Language Model
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学)
本文提出E-FineR方法,无需词汇实现细粒度视觉识别,提供高可解释性和在零样本和少样本分类中的高性能。
2025-07-30 cs.CV
AgriScope: Pixel-Grounded Multimodal Understanding for Agricultural Images
Khalifa University of Science and Technology(哈利法科学技术大学)
针对农业图像理解缺乏像素级定位的问题,提出统一框架AgriScope,结合生物语义编码与密集空间定位,并构建含50万图像、1100万样本的AgriGround数据集,在多项任务上验证了有效性。
2026-09-18 cs.CV
CLIP goes 3D: Leveraging Prompt Tuning for Language Grounded 3D Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 CG3D 框架,通过点云、渲染图像与文本三元组及提示调优,将 CLIP 的零样本视觉-语言能力迁移到 3D 识别。
2023-04-18 cs.CV
One Identity, Many Roles: Multimodal Entity Coreference for Enhanced Video Situation Recognition
CVIT, IIIT Hyderabad, India(IIIT海得拉尔学院计算机视觉研究所,印度);Amazon Prime Video, Seattle(亚马逊Prime视频,西雅图)
本文提出多模态实体指代(MEC)方法,通过结合文本和视频信息提升视频情境识别的准确性和一致性,实验结果显示在描述和视觉定位方面均取得显著提升。
2026-04-25 cs.CV
Semantically Grounded Visual Embeddings for Zero-Shot Learning
Istituto Italiano di Tecnologia(意大利技术研究院)
零样本学习方法依赖于固定的视觉和语义嵌入,这些嵌入是从独立的视觉和语言模型中提取的,两者都是为其他大规模任务预先训练的。这是当前零样本学习框架的弱点,因为这种不相交的嵌入无法将视觉和文本信息充分关联到它们共享的语义内容。因此,我们建议通过在代理任务上使用双流网络计算联合图像和文本模型来学习语义接地和丰富的视觉信息。为了改善图像和文本表示之间的这种对齐,由属性提供,我们利用辅助标题来提供接地的语义信息。我们的方法,被称为联合嵌入zero-shot学习的几个基准数据集进行评估,提高现有的国家的最先进的方法在标准($+1.6$ \%上aPY,$+2.6\%$ FLO)和广义($+2.1\%$上AWA $2$,$+2.2\%$上CUB)zero-shot识别的性能。
2022-04-10 cs.CV
Grounded Language Acquisition From Object and Action Imagery
GE Aerospace(通用电气航空);GE Vernova(通用电气 Vernova);GE HealthCare(通用电气医疗)
本文通过在指代游戏和对比学习环境中训练涌现语言编码器/解码器,探索视觉数据表示的私有语言,利用神经机器翻译和随机森林分类将符号转换为类标签,并通过Grad-CAM和t-SNE方法解释符号语义和嵌入。
2023-09-12 cs.AI cs.CV
VASR: Visual Analogies of Situation Recognition
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
人类认知的一个核心过程是类比映射:在不同情况下识别相似关系结构的能力。我们引入了一个新的任务,视觉类比的情况下识别,适应经典的词类比任务到视觉领域。给定一组图像,任务是选择一个图像候选B'来完成类比(A到A'就像B到什么?)。与以前的工作视觉类比,专注于简单的图像变换,我们解决复杂的类比需要理解的场景。我们利用情景识别注释和CLIP模型来生成一个大的500k候选类比集。对数据样本的众包注释表明,人类同意数据集标签的概率约为80%(概率水平为25%)。此外,我们使用人工注释创建了一个包含3,820个验证类比的黄金标准数据集。我们的实验表明,最先进的模型在随机选择干扰项时表现良好(约86%),但与精心选择的干扰项相比(约53%,而人类准确率为90%)。我们希望我们的数据集将鼓励新的类比模型的开发。网址:https://vasr-dataset.github.io/
2022-12-08 cs.AI cs.CL cs.CV
LLMs as Bridges: Reformulating Grounded Multimodal Named Entity Recognition
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Mathematics, Taiyuan University of Technology(太原理工大学数学学院);Tianjin University of Science and Technology(天津科技大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);University of Copenhagen(哥本哈根大学)
本文提出RiVEG框架,利用大型语言模型作为桥梁,将基于多模态命名实体识别重构为联合任务,统一视觉接地与实体接地,在三个子任务上分别取得10.65%、6.21%和8.83%的绝对领先。
2024-05-29 cs.CL cs.CV
From Photo Streams to Evolving Situations
University of California, Irvine(加利福尼亚大学欧文分校);Northwestern Polytechnical University(西北工业大学);Mahidol University(玛希隆大学)
照片正在成为自发的、客观的和普遍的信息来源。本文使用来自不同来源的照片流结合深度学习的进步开发了不断发展的情况识别。利用照片中的视觉概念以及空间和时间信息,我们将情况检测制定为半监督学习框架,并提出新的基于图的模型来解决问题。为了扩展未知情况下的方法,我们引入了一个软标签的方法,使传统的半监督学习框架,以准确地预测预定义的标签,以及有效地形成新的集群。为了克服噪声数据降低图形质量,导致识别效果不佳的问题,利用两种噪声鲁棒范数消除视觉概念中离群点的不利影响,提高态势识别的准确率。最后,我们展示了雅虎Flickr创意共享1亿的想法和所提出的模型的有效性。
2017-02-20 cs.CV cs.MM
Overview Of Satellite Image Recognition Models
Plekhanov Russian University of Economics(俄罗斯普列汉诺夫经济大学)
本文对现有的卫星图像识别模型进行了分析,对作为信息源的卫星图像识别领域存在的问题进行了思考和分析,对深度学习方法进行了比较,并对现有的图像识别方法进行了分析。所获得的结果将用作根据卫星图像开发火灾识别模型的基础,并将识别结果用作根据模糊认知图预测宏观经济形势的认知模型的输入数据。
2022-12-07 cs.CV
GSRFormer: Grounded Situation Recognition Transformer with Alternate Semantic Attention Refinement
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
接地情况识别(GSR)的目的是生成结构化的语义摘要的图像“类人”的事件理解。具体地说,GSR任务不仅检测显著活动动词(如购买),而且预测所有相应的语义角色(如代理和商品)。受目标检测和图像描述任务的启发,现有方法通常采用两阶段框架:1)检测活动动词,然后2)基于检测到的动词预测语义角色。显然,这种不合逻辑的框架构成了语义理解的巨大障碍。首先,仅预先检测没有语义角色的动词不可避免地无法区分许多相似的日常活动(例如,提供和给予,购买和销售)。其次,以封闭的自回归方式预测语义角色很难利用动词和角色之间的语义关系。为此,在本文中,我们提出了一个新的两阶段框架,重点是利用这种双向关系的动词和角色。在第一阶段,而不是预先检测动词,我们推迟检测步骤,并假设一个伪标签,其中每个相应的语义角色的中间表示是从图像中学习。在第二阶段,我们利用Transformer层来挖掘动词和语义角色之间的潜在语义关系。在一组支持图像的帮助下,设计了一种替代学习方案来同时优化结果:使用与图像对应的名词更新动词,并使用支持图像中的动词更新名词。在具有挑战性的SWiG基准测试上进行的大量实验结果表明,我们改造后的框架在各种指标下的性能优于其他最先进的方法。
2022-11-28 cs.AI cs.CL cs.CV
Scene-Text Grounding for Text-Based Video Question Answering
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
针对现有TextVideoQA决策不透明、依赖场景文本识别的问题,本文提出带定位的TextVideoQA任务与T2S-QA模型,构建ViTXT-GQA数据集,实验表明现有技术存在局限,场景文本识别是主要挑战。
2025-05-19 cs.CV cs.MM
Commonly Uncommon: Semantic Sparsity in Situation Recognition
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院);University of Virginia(弗吉尼亚大学)
语义稀疏性是结构化视觉分类问题中的一个常见挑战;当输出空间复杂时,绝大多数可能的预测很少出现在训练集中。本文研究了语义稀疏的情况下识别,产生结构化的总结图像中发生了什么,包括活动,对象和对象在活动中扮演的角色的任务。对于这个问题,我们发现经验,大多数对象-角色的组合是罕见的,目前最先进的模型显着表现不佳,在这种稀疏的数据制度。我们避免了许多这样的错误,通过(1)引入一个新的张量组合函数,学习在角色-名词组合之间共享示例,以及(2)使用Web数据自动收集很少观察到的输出示例,在语义上增强我们的训练数据。当集成在一个完整的基于CRF的结构化预测模型中时,基于张量的方法在前5名动词和名词角色准确度上分别比现有的最先进的方法提高了2.11%和4.40%。使用我们的语义增强技术添加500万张图像,在前5名动词和名词角色准确率上进一步相对提高了6.23%和9.57%。
2016-12-03 cs.AI cs.CV
Grounded Textual Entailment
University of Malta(马耳他大学);University of Trento(特伦托大学)
捕捉句子之间的语义关系,如蕴涵,是计算语义学的一个长期挑战。基于逻辑的模型根据可能的世界(解释或情况)来分析蕴涵,其中前提P蕴涵假设H当且仅当在所有P为真的世界中,H也为真。统计模型认为这种关系的概率,解决它在人类是否可能推断H从P.在本文中,我们希望弥合这两个角度来看,通过争论的文本蕴涵任务的视觉接地版本。具体来说,我们问的是,如果除了P和H之外,还有一个图像(对应于相关的“世界”或“情境”),模型是否能表现得更好。我们使用SNLI数据集的多模态版本(Bowman等人,2015),我们比较了文本蕴涵的“盲”和视觉增强模型。我们表明,视觉信息是有益的,但我们也进行了深入的错误分析,揭示了当前的多模态模型没有以最佳方式执行“接地”。
2018-06-14 cs.CL cs.CV
Handwritten Text Recognition Lives in the High-Pixel Variance Subspace
University of Alicante(阿利坎特大学)
本研究证明手写文本识别中判别信号集中于高像素方差子空间,因此像素重建自监督方法优于对比方法,并在多语言基准上实现最优性能。
2026-10-19 cs.CV cs.LG
Multi-Grained Query-Guided Set Prediction Network for Grounded Multimodal Named Entity Recognition
School of Artificial Intelligence, Sun Yat-sen University(中山大学人工智能学院);School of Atmospheric Sciences, Sun Yat-sen University(中山大学大气科学学院);School of Electronics and Communication Engineering, Sun Yat-sen University(中山大学电子与通信工程学院);State Key Laboratory of Intelligent Game, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所智能游戏国家重点实验室);Pazhou Lab(琶洲实验室)
提出MQSPN统一框架,通过可学习查询对齐文本与视觉区域,将GMNER重构为集合预测,解决模糊实体区分和曝光偏差问题,在基准上达到最先进性能。
2025-01-25 cs.AI cs.CL cs.CV
Integrating Human Gaze into Attention for Egocentric Activity Recognition
University of Michigan(密歇根大学)
众所周知,人类凝视携带关于视觉注意的重要信息。然而,在将凝视数据并入深度神经网络的注意力机制中存在三个主要困难:1)凝视注视点可能由于眨眼和快速眼球运动而具有测量误差; 2)不清楚凝视数据何时以及多少与视觉注意力相关;以及3)凝视数据在许多真实世界情况下并不总是可用的。在这项工作中,我们引入了一个有效的概率方法来整合人类的目光时空注意力自我中心的活动识别。具体来说,我们表示的凝视固定点的位置作为结构化的离散潜变量来模拟其不确定性。此外,我们使用变分法的凝视固定的分布模型。在训练过程期间学习注视分布,使得在测试情况下不再需要注视位置的地面实况注释,因为它们是从学习的注视分布预测的。预测的注视位置用于提供信息性注意线索以提高识别性能。我们的方法优于所有以前的国家的最先进的方法EGTEA,这是一个大规模的数据集,为自我中心的活动识别提供凝视测量。我们还进行了消融研究和定性分析,以证明我们的注意力机制是有效的。
2020-11-08 cs.CV
Alignment Free and Distortion Robust Iris Recognition
University of Chinese Academy of Sciences(中国科学院大学);CRIPAC CASIA(中国科学院自动化研究所模式识别国家重点实验室(CRIPAC));NLPR CASIA(中国科学院自动化研究所国家模式识别实验室)
虹膜识别是一种可靠的个人身份识别方法,但其准确性仍有很大的提高空间,特别是在约束较少的情况下。例如,头部姿势的自由移动可能导致虹膜图像之间的大的旋转差异。光照变化会引起虹膜纹理的不规则变形。为了鲁棒地匹配具有头部旋转的类内虹膜图像,现有的解决方案通常需要在虹膜图像预处理中通过确定范围内的穷举搜索或在虹膜特征匹配中通过最小汉明距离的暴力搜索来进行精确的对准操作。在野外环境下,虹膜旋转的不确定性比在约束条件下大得多,在一定范围内进行穷举搜索是不可行的。本文提出了一个统一的特征级解决方案,在野外的对齐自由和失真鲁棒虹膜识别。提出了一种新的基于深度学习的方法--无对齐虹膜网络(AFINet),该方法使用可训练的VLAD(局部聚集描述符向量)编码器NetVLAD来解耦局部表示与其空间位置之间的相关性。同时采用可变形卷积算法,通过自适应密集采样克服虹膜纹理失真。在三个公开的虹膜图像数据库和模拟退化数据库上进行的大量实验结果表明,AFINet的识别性能明显优于现有的虹膜识别方法。
2019-12-01 cs.CV
CamChoreo: Benchmarking Temporally Grounded Compositional Camera Motion Understanding for Vision Language Models
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本研究提出CamDistill方法,通过几何知识蒸馏实现时序锚定的组合式相机运动理解,推出含4229个片段的CamChoreo基准,提升了相机运动识别的细粒度与效率。
2026-11-13 cs.AI cs.CV
Advancing Grounded Multimodal Named Entity Recognition via LLM-Based Reformulation and Box-Based Segmentation
College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学);NJUST(南京理工大学);College of Mathematics, Taiyuan University of Technology(数学学院,太原科技大学);Tianjin University of Science and Technology(天津科技大学)
针对GMNER任务实体难接地、粒度不匹配等问题,提出RiVEG框架以LLM为桥重构任务,还构建SMNER任务与数据集,用SAM赋能分割,在多任务多数据集上性能超SOTA。
2025-08-30 cs.CL cs.CV cs.MM
LaViP:Language-Grounded Visual Prompts
Monash University(莫纳什大学);Australian National University(澳大利亚国立大学)
本研究提出LaViP语言锚定视觉提示方法,通过调整视觉编码器输入实现参数高效适配,可在黑盒场景运行,在多数据集上提升适配准确率与速度,增强基类到新类的泛化能力。
2023-12-18 cs.CL cs.CV cs.LG
InsightVQA: High-Dimensional Emotion-Cognitive Visual Question Answering Benchmark
East China Normal University(东华师范大学)
为解决现有基准仅关注情感识别而缺乏深层认知推理的问题,提出大规模层次化视觉问答数据集InsightVQA,包含725K问答对,并构建评估基准InsightVQA-Bench和基线模型InsightNet。
2026-06-01 cs.CV
Open Scene Understanding: Grounded Situation Recognition Meets Segment Anything for Helping People with Visual Impairments
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学)
本文提出 OpenSU 系统,将 GSR 与 SAM 结合,用像素级分割和纯 Transformer 骨干增强视障场景理解,并在 SWiG 上达到最优性能。
2023-07-15 cs.CV cs.HC cs.RO
Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation
NASK National Research Institute(NASK国家研究院)
针对现有英语中心视觉-语言模型在文化理解上的不足,推出波兰语单文化视觉-语言基准 PoVisLE,含1117张图像与2366对标注VQA样本,可评估深层文化多模态理解。
2026-08-11 cs.CL cs.CV
Grassmannian learning mutual subspace method for image set recognition
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究所 (AIST));University of Tsukuba(筑波大学)
本文讨论了给定一组图像作为输入的对象识别问题(例如,多个摄像机源和视频帧)。基于卷积神经网络(CNN)的框架不能有效地利用这些集合,处理所观察到的模式,不捕获底层特征分布,因为它不考虑集合中图像的方差。为了解决这个问题,我们提出了格拉斯曼学习互子空间方法(G-LMSM),这是一个嵌入在CNN之上的NN层作为分类器,可以更有效地处理图像集,并且可以以端到端的方式进行训练。图像集由一个低维输入子空间表示,该输入子空间与参考子空间通过它们的正则角的相似性进行匹配,这是一个可解释且易于计算的度量。G-LMSM的关键思想是将参考子空间作为Grassmann流形上的点来学习,并使用黎曼随机梯度下降进行优化。这种学习是稳定的,有效的,理论上是有根据的。我们证明了我们所提出的方法的有效性,手形识别,人脸识别,面部表情识别。
2021-11-08 cs.CV
Object Recognition with and without Objects
Johns Hopkins University(约翰斯·霍普金斯大学)
虽然最近的深度神经网络在对象识别方面取得了很好的性能,但它们隐含地依赖于整个图像的视觉内容。在本文中,我们训练深度神经网络分别对图像的前景(对象)和背景(上下文)区域。考虑到人类在相同情况下的识别,在没有对象的纯背景上训练的网络实现了高度合理的识别性能,如果只给定上下文,则可以大幅击败人类。然而,人类仍然优于纯对象可用的网络,这表明网络和人类在理解图像方面有不同的机制。此外,我们直接将多个经过训练的网络结合起来,以探索不同网络学习到的不同视觉线索。实验结果表明,该框架可以显式地分别学习有用的视觉提示,然后将其组合起来,从而获得更高的性能,验证了该框架的优越性。
2017-05-25 cs.CV
Evaluation of Audio-Visual Alignments in Visually Grounded Speech Models
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
该研究针对视觉接地语音模型的视听对齐能力,提出形式化对齐框架、系统评估指标及带跨模态注意力的新模型,实验证实其在检索和对齐任务上均有显著提升。
2021-07-05 cs.CL cs.CV cs.LG
The Demon is in Ambiguity: Revisiting Situation Recognition with Single Positive Multi-Label Learning
School of Advanced Technology Xi'an Jiaotong-Liverpool University Suzhou, China(先进技术学院 西安交通大学利物浦大学 苏州,中国);Data Science Research Center Duke Kunshan University Suzhou, China(数据科学研究中心 狄尔克森大学 苏州,中国)
本文指出情境识别中的动词分类本质上是多标签问题,提出SPMLL建模、多标签评估基准及GE-VerbMLP,实现超过3%的MAP提升。
2025-08-29 cs.AI cs.CV
Visual7W: Grounded Question Answering in Images
Stanford University(斯坦福大学);Dresden University of Technology(德累斯顿工业大学)
我们已经在基本的感知任务中看到了巨大的进步,例如物体识别和检测。然而,由于缺乏更深层次的推理能力,人工智能模型在高级视觉任务中仍然无法与人类相匹配。最近,视觉问答(QA)的新任务已被提出来评估模型的深度图像理解的能力。以前的作品已经建立了一个松散的,全球性的QA句子和图像之间的关联。然而,在实践中,许多问题和答案涉及图像中的局部区域。我们建立了一个文本描述和图像区域之间的语义联系,对象层次的接地。除了以前工作中使用的文本答案外,它还可以使用视觉答案进行新型QA。我们研究了视觉QA任务在接地设置与大量收集的7W多项选择QA对。此外,我们评估人的表现和几个基线模型的QA任务。最后,我们提出了一种新的具有空间注意力的LSTM模型来解决7W QA任务。
2016-04-09 cs.CV cs.LG cs.NE