Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur(印度理工学院焦特布尔分校);University of Rouen(鲁昂大学);Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
具有视觉和场景文本内容的图像在日常生活中无处不在。然而,当前的图像判读系统大多局限于仅使用视觉特征,而忽略了利用场景文本内容。在本文中,我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索,而且还建模它们的相互作用,以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像,场景文本内容,以证明其有效性。在检索框架中,我们增加了我们学到的文本视觉语义表示与场景文本线索,以减轻词汇失误,可能发生在语义嵌入。为了处理场景文本的不相关或错误识别,我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法,涉及视觉语义和场景文本,提高了最先进的。
2019-12-04 cs.CV
Exploring Interpretability for Visual Prompt Tuning with Cross-layer Concepts
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Microsoft Research Asia(微软亚洲研究院);School of Telecommunication and Engineering, Xidian University(西安电子科技大学电信与工程学院)
本文提出可解释视觉提示调优框架,通过跨层概念原型提升视觉提示的可解释性与性能。
2026-02-22 cs.CV
Exploring and Improving Mobile Level Vision Transformers
The Chinese University of Hong Kong(香港中文大学);SmartMore
本文研究了视觉Transformer结构在移动层的应用,发现其性能下降很大。本文分析了造成这种现象的原因,并提出了一种新的不规则块嵌入模块和自适应块融合模块来提高图像的性能。我们推测视觉Transformer块(由多头注意力和前馈网络组成)更适合处理高层信息而不是低层特征。不规则块嵌入模块提取具有不同感受野的包含丰富高级信息的块。Transformer块可以从这些不规则的面片中获得最有用的信息。然后,处理后的补丁通过自适应补丁合并模块,以获得最终的分类器的功能。通过我们提出的改进,传统的统一视觉Transformer结构,可以达到最先进的结果,在移动级。我们在移动级设置下将DeiT基线提高了9%以上,并大大超过了Swin和CoaT等其他Transformer架构。
2021-08-30 cs.CV
Exploring Explicit and Implicit Visual Relationships for Image Captioning
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
图像描述是人工智能中最具挑战性的任务之一,其目的是为图像自动生成文本句子。用于图像描述的最新方法遵循将图像中的显著区域的序列变换成自然语言描述的编码器-解码器框架。然而,这些模型通常缺乏对反映在对象之间的各种视觉关系上的上下文交互的全面理解。在本文中,我们探索显式和隐式的视觉关系,以丰富区域级表示的图像描述。具体地说,我们在对象对上构建语义图,并利用门控图卷积网络(Gated GCN)选择性地聚合局部邻居的信息。隐含地,我们绘制全局之间的相互作用检测到的对象通过基于区域的双向编码器表示从Transformers(区域BERT)没有额外的关系注释。为了评估我们所提出的方法的有效性和优越性,我们进行了广泛的实验在Microsoft COCO基准,并取得显着的改善相比,强大的基线。
2021-05-06 cs.CV
Exploring Implicit Visual Misunderstandings in Multimodal Large Language Models through Attention Analysis
Pengfei Wang(王鹏飞);Guohai Xu(徐国海);Weinong Wang(王文龙);Junjie Yang(杨俊杰);Jie Lou(娄杰);Yunhua Xue(许云华)
针对多模态大语言模型可能未真正理解视觉输入却答对的问题,提出隐式视觉误解概念,通过注意力分析解耦模态,引入注意力准确率指标和新基准,实现可靠评估并具泛化性。
2025-05-23 cs.CV
The NeRFect Match: Exploring NeRF Features for Visual Localization
NVIDIA(英伟达);Technical University of Munich(慕尼黑工业大学);Technion(以色列理工学院)
本文提出利用神经辐射场内部特征进行视觉定位,通过引入NeRFMatch匹配函数,在剑桥地标基准上实现了最先进的定位性能。
2024-08-21 cs.CV
Exploring the Diversity and Invariance in Yourself for Visual Pre-Training Task
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司)
近年来,自监督学习方法在视觉预训练任务中取得了显著的成功。通过简单地将每个图像的不同增强视图拉在一起或其他新颖的机制,它们可以学习许多无监督的知识,并显着提高预训练模型的传输性能。然而,这些工作仍然无法避免表示坍塌问题,即,它们只关注有限的区域,或者在每个图像内完全不同的区域上提取的特征几乎相同。通常,这个问题使得预训练模型不能充分描述图像内部的多粒度信息,这进一步限制了其传输性能的上限。为了解决这个问题,本文介绍了一个简单而有效的机制,称为探索自己的电子DIY的多样性和不变性。通过简单地将每个增强视图中最不同的区域推开,E-DIY可以保留提取的区域级特征的多样性。通过从同一图像的不同增强视图中提取最相似的区域,E-DIY可以确保区域级特征的鲁棒性。基于上述多样性和不变性的探索机制,电子DIY最大限度地提取了图像内部的多粒度视觉信息。对下游任务的大量实验证明了我们提出的方法的优越性,例如,与COCO上的强基线BYOL相比,有2.1%的改进,同时使用R50-C4主干和1X学习时间表微调Mask R-CNN。
2021-06-01 cs.CV
Story3D-Agent: Exploring 3D Storytelling Visualization with Large Language Models
The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)(香港中文大学(深圳));Kuaishou Technology(快手科技);ARC Lab, Tencent PCG(腾讯PCG ARC实验室)
针对现有视觉故事叙述局限于2D或过度简化的问题,提出Story3D-Agent,利用大型语言模型结合程序化建模,将叙事转化为支持多角色动作控制与逻辑推理扩展的动态3D渲染可视化,为3D故事表示提供了基础框架。
2024-08-21 cs.CV
Exploring The Visual Feature Space for Multimodal Neural Decoding
University of Cambridge(剑桥大学)
针对现有脑解码缺乏细节的问题,提出零样本多模态解码方法,利用MLLM视觉特征空间,并构建MG-BrainDub基准,提升解码精度。
2025-05-21 cs.CV
There is no SAMantics! Exploring SAM as a Backbone for Visual Understanding Tasks
School of Engineering, University of Edinburgh(爱丁堡大学工程学院)
本文通过多阶段实验发现SAM缺乏语义辨别能力,并提出一种免训练方法,借助DINOv2特征增强SAM的语义理解与实例级分类能力。
2024-11-22 cs.CV
StreetStyle: Exploring world-wide clothing styles from millions of photos
Cornell University(康奈尔大学)
每天有数十亿张照片被上传到照片共享服务和社交媒体平台。这些图像包含了世界各地人们如何生活的信息。在本文中,我们利用这些丰富的数据来了解全球时尚和风格趋势。我们提出了一个大规模视觉发现的框架,分析了世界各地数百万人的服装和时尚图像,并跨越了几年。我们引入了一个大规模的带有服装属性注释的照片数据集,并使用该数据集通过深度学习来训练属性分类器。我们还提出了一种方法来发现视觉上一致的风格集群,捕捉有用的视觉相关性,在这个庞大的数据集。使用这些工具,我们分析了数百万张照片,以获得视觉洞察力,对全球和每个城市的时尚选择和时空趋势进行了首次分析。
2017-06-06 cs.CV
Exploring Robust Features for Improving Adversarial Robustness
Brookhaven National Laboratory(布鲁克海文国家实验室);Stony Brook University(石溪大学)
本文提出一种特征解耦模型,将鲁棒特征与非鲁棒特征及领域特定特征分离,有效提升了模型的对抗鲁棒性,并实现了无额外计算成本的对抗样本检测,同时避免了干净图像准确率的下降。
2023-09-09 cs.CV
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs
New York University(纽约大学);FAIR, Meta(Meta FAIR实验室);UC Berkeley(加州大学伯克利分校)
研究揭示多模态LLM存在系统性视觉缺陷,构建MMVP基准暴露GPT-4V等模型在基本视觉模式上的不足,提出特征混合方法增强视觉基础能力。
2024-04-25 cs.CV
Exploring Part-Informed Visual-Language Learning for Person Re-Identification
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
针对现有基于视觉语言学习的行人重识别方法忽略细粒度部件特征监督的问题,提出即插即用的$\pi$-VL方法,通过人体解析引导的提示调优与分层对齐增强局部特征一致性,在多个基准上取得优异性能。
2025-03-21 cs.CV
Exploring Human-like Attention Supervision in Visual Question Answering
Zhejiang University(浙江大学)
注意力机制在视觉问答(VQA)任务中得到了广泛的应用,因为它们有助于关注视觉和文本信息的感兴趣区域。为了正确回答这些问题,模型需要选择性地针对图像的不同区域,这表明基于注意力的模型可能会受益于明确的注意力监督。在这项工作中,我们的目标是解决问题的注意力监督VQA模型。由于缺乏人类注意力数据,我们首先提出了一个人类注意力网络(HAN)来生成类似人类的注意力地图,并在最近发布的人类注意力数据集(VQA-HAT)上进行训练。然后,我们在VQA v2.0数据集上应用预训练的HAN,为所有图像-问题对自动生成类似人类的注意力图。为VQA v2.0数据集生成的类人注意力地图数据集被命名为类人注意力(HLAT)数据集。最后,我们将类似人类的注意力监督应用于基于注意力的VQA模型。实验结果表明,加入类人监督可以获得更准确的注意力和更好的性能,显示了类人注意力监督在VQA中的广阔前景。
2017-09-19 cs.CV
HypeVPR: Exploring Hyperbolic Space for Perspective to Equirectangular Visual Place Recognition
Yonsei University(延世大学);Kookmin University(韩国庆熙大学);Korea Institute of Science and Technology (KIST)(韩国科学技术院)
HypeVPR通过在超球面空间中利用分层嵌入框架,提升视角到等距投影的视觉位置识别的精度与效率。
2026-03-05 cs.CV
Exploring Factors for Improving Low Resolution Face Recognition
ITU(伊斯坦布尔技术大学);EPFL(洛桑联邦理工学院)
最先进的深度人脸识别方法在流行的基准测试中报告了近乎完美的性能,例如,《荒野中的脸》然而,当它们应用于低质量图像时,例如由监控摄像机获取的图像,它们的性能显着恶化。用于监控应用的低分辨率面部识别的另一个挑战是将记录的低分辨率探头面部图像与高分辨率参考图像进行匹配,这可能是监视列表场景中的情况。在本文中,我们已经解决了这些问题,并研究了在不匹配条件下应用于低分辨率人脸识别时,影响最先进的深度人脸识别模型识别性能的因素。我们已经观察到以下因素以积极的方式影响性能:训练数据集的外观变化和分辨率分布,图库和探测图像之间的分辨率匹配,以及探测图像中包含的信息量。通过利用这些信息,我们利用了在MS-Celeb-1 M上训练的深度人脸模型,并在VGGFace 2数据集上进行了微调,并在SCFace和ICB-RW基准测试中实现了最先进的精度,即使没有使用这些基准测试数据集的任何训练数据。
2019-07-25 cs.CV
Exploring CNN-based models for image's aesthetic score prediction with using ensemble
Iwate Prefectural University(岩手县立大学)
本文构建了基于不同CNN架构的图像美学评估模型框架,通过集成方法提升评分预测性能,分析模型关注区域与图像主体的一致性,实验验证了方法有效性,发现模型学习到潜在摄影原则。
2022-10-11 cs.CV
Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models
Stanford University(斯坦福大学)
本文研究小型多模态模型中感知与推理能力的瓶颈,通过分析LLM容量下降对多模态能力的影响,提出视觉提取调优方法,提升效率与性能。
2026-03-20 cs.CV
Towards Exploring Fairness in Visual Transformer based Natural and GAN Image Detection Systems
University of Calicut(卡利卡特大学);University of Southampton(南安普顿大学)
本文研究基于视觉Transformer的自然图像与GAN图像检测模型中的公平性问题,通过构建偏置评估语料库分析性别、种族、情感及交叉偏置,并发现图像压缩会放大GAN类别预测中的偏置。
2024-11-16 cs.CV
Exploring Diagnostic Prompting Approach for Multimodal LLM-based Visual Complexity Assessment: A Case Study of Amazon Search Result Pages
本研究通过对比诊断提示与传统提示方法,发现其在提升多模态大语言模型对亚马逊搜索结果页面视觉复杂性评估的可靠性方面有显著改进,但仍有待进一步优化。
2025-11-26 cs.CV
Exploring Data Aggregation and Transformations to Generalize across Visual Domains
Sapienza - University of Rome(罗马第一大学)
由于深度学习的进步、快速和可扩展的硬件解决方案以及结构化图像数据的大量可用性,计算机视觉近年来蓬勃发展。卷积神经网络在具有反向传播的监督任务上进行训练,学习自动从原始像素中提取有意义的表示,并在图像理解中超越浅层方法。虽然方便,但数据驱动的特征学习容易出现数据集偏差:网络仅从训练信号中学习其参数,如果训练和测试分布不同,则通常表现不佳。为了缓解这一问题,对领域泛化(DG)、领域自适应(DA)及其变体的研究日益增多。本文通过提出新颖有效的方法来解决各种环境下的数据集偏差问题,为这些研究课题做出了贡献。我们提出了新的框架领域泛化和领域自适应,利用特征聚合策略和视觉转换,通过数据增强和多任务集成的自我监督。我们还设计了一个算法,使目标检测模型在测试时适应任何分布样本。通过实验,我们展示了我们提出的解决方案如何在既定的DG和DA基准中优于竞争对手的最先进的方法。
2021-08-20 cs.CV
Exploring Visual Interpretability for Contrastive Language-Image Pre-training
The Hong Kong University of Science and Technology(香港科技大学);University of Technology Sydney(悉尼科技大学)
对比图像预训练(CLIP)通过对自然语言的现成监督来学习丰富的表示。它提高了下游视觉任务的性能,包括但不限于zero-shot、长尾、分割、检索、字幕和视频。然而,CLIP的视觉可解释性研究很少,特别是对于原始特征图。为了提供其预测的视觉解释,我们提出了图像-文本相似性图(ITSM)。在此基础上,我们惊讶地发现,CLIP喜欢的背景区域比前景,并显示错误的可视化结果对人类的理解。这种现象在视觉Transformer和卷积网络中都是普遍存在的,这表明这个问题是独特的,而不是由于特定的网络。通过实验,我们发现问题出在池化部分,不适当的池化方法会导致一种称为语义转换的现象。针对这个问题,我们提出了可解释的对比图像预训练(ECLIP),它通过Masked Max Pooling来纠正可解释性。具体来说,为了避免语义转移,我们用max pooling代替了原来的注意力池,专注于自信的前景,并在训练过程中得到自由注意力的指导。在三个数据集上的实验表明,ECLIP大大提高了CLIP的可解释性,并在很大程度上超过了以前的可解释性方法。代码将在稍后发布。
2022-11-27 cs.CV
Mixture-of-Visual-Thoughts: Exploring Context-Adaptive Reasoning Mode Selection for General Visual Reasoning
Fudan University(复旦大学);Alibaba Group Holding Limited(阿里巴巴集团控股有限公司);Future Living Lab of Alibaba(阿里巴巴未来生活实验室);University of Southern California(南加州大学);Shanghai Innovation Institute(上海创新研究院)
本文提出MoVT框架,通过AdaVaR实现多模式统一学习与上下文自适应选择,提升通用视觉推理能力。
2026-05-14 cs.AI cs.CV
PSVMA+: Exploring Multi-granularity Semantic-visual Adaption for Generalized Zero-shot Learning
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学)
针对广义零样本学习中属性与实例多样性导致的视觉-语义对应不足问题,提出多粒度渐进语义-视觉自适应网络PSVMA+,通过双语义-视觉变换器模块重塑属性并聚合视觉区域,结合选择性跨粒度学习融合多粒度特征,持续优于现有方法。
2024-10-15 cs.CV
Exploring Visual Engagement Signals for Representation Learning
Cornell University(康奈尔大学);Facebook AI(脸书人工智能研究院);Fudan University(复旦大学)
社交媒体平台中的视觉参与包括与照片帖子的交互,包括评论、分享和喜欢。在本文中,我们利用这种视觉参与线索作为表示学习的监督信号。然而,从参与信号中学习并不是微不足道的,因为目前还不清楚如何弥合低级视觉信息和高级社交互动之间的差距。我们提出了VisE,一种弱监督学习方法,它将社交图像映射到由聚类参与信号导出的伪标签。然后,我们研究了以这种方式训练的模型如何使主观的下游计算机视觉任务受益,例如情感识别或政治偏见检测。通过广泛的研究,我们经验证明了VisE在超出传统识别范围的各种分类任务中的有效性。
2021-08-14 cs.CV cs.LG
Exploring Content-based Artwork Recommendation with Metadata and Visual Features
Pontificia Universidad Catolica de Chile(智利天主教大学);Modul University(模都尔大学)
与其他领域相比,尽管艺术品市场不断增长,但艺术品推荐却很少受到关注。以前的研究依赖于评级和元数据来进行艺术品推荐,以及使用深度神经网络(DNN)提取的视觉特征。然而,这些功能没有直接的解释,明确的视觉特征(如亮度,纹理),这可能会妨碍解释和用户接受。在这项工作中,我们研究了艺术品元数据以及视觉功能(基于DNN和基于吸引力)的物理艺术品推荐的影响,使用来自UGallery在线艺术品商店的图像和交易数据。我们的研究结果表明:(i)视觉特征比手动策划的数据表现得更好,(ii)基于DNN的视觉特征比基于吸引力的视觉特征表现得更好,以及(iii)混合方法进一步提高了性能。我们的研究可以为依赖于不同内容数据的新艺术品收藏家的发展提供信息。
2017-10-23 cs.CV cs.IR
Exploring Convolutional Networks for End-to-End Visual Servoing
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
目前基于图像的视觉伺服方法依赖于从图像中提取手工制作的视觉特征。选择正确的功能集非常重要,因为它直接影响任何方法的性能。受最近数据驱动方法在识别和定位任务上的性能突破的启发,我们的目标是学习适用于非结构化和未知环境中伺服任务的视觉特征表示。在本文中,我们提出了一个端到端的学习为基础的方法,视觉伺服在不同的场景中,相机参数和场景几何的知识是不可用的先验。这是通过在具有同步相机姿态的彩色图像上训练卷积神经网络来实现的。通过在模拟和四旋翼上进行的实验,我们证明了我们的方法在室内和室外环境中的各种相机姿势的有效性和鲁棒性。
2017-06-10 cs.CV cs.RO
The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training
Sun Yat-Sen University(中山大学);Imperial College London(帝国理工学院)
尽管目前的深度学习技术在各种计算机视觉任务上都取得了优异的性能,但它们仍然容易受到对抗性示例的影响。对抗性训练及其变体已被证明是防御对抗性示例的最有效方法。这些方法通常正则化对抗样本和其对应的自然样本的输出概率之间的差异。但是,如果模型对自然样本进行错误分类,则可能会产生负面影响。为了解决这个问题,我们提出了一种新的对抗训练方案,鼓励模型为对抗示例及其“逆对抗”对应物产生类似的输出。生成这些样本以最大化自然样本邻域中的可能性。在各种视觉数据集和架构上进行的大量实验表明,我们的训练方法具有最先进的鲁棒性和自然准确性。此外,使用逆对抗示例的通用版本,我们以较低的计算成本提高了单步对抗训练技术的性能。
2022-11-01 cs.CV cs.LG
Exploring Visual Culture Awareness in GPT-4V: A Comprehensive Probing
Huazhong University of Science and Technology(华中科技大学);University of Copenhagen(哥本哈根大学)
该研究使用MaRVL基准数据集,通过三项视觉任务全面探测了GPT-4V的视觉文化意识,发现其虽在低资源语言上表现较弱,但在图像描述中比原人工标注更具文化相关性。
2024-02-15 cs.CL cs.CV
Exploring Emerging Trends and Research Opportunities in Visual Place Recognition
Democritus University of Thrace(色雷斯德谟克利特大学);Queensland University of Technology(昆士兰科技大学);University of Maryland, College Park(马里兰大学帕克分校)
本文指出视觉位置识别对机器人导航和SLAM至关重要,并总结指出受自然语言处理启发,研究人员正转向视觉-语言模型以提升识别的准确性与鲁棒性。
2024-11-18 cs.CV cs.RO
Exploring Cluster Analysis in Nelore Cattle Visual Score Attribution
Universidade Católica Dom Bosco(多姆博斯科天主教大学);Kerow Soluções de Precisao(凯罗精准解决方案公司);Universidade Estadual de Mato Grosso do Sul(南马托格罗索州立大学);Embrapa Beef Cattle(巴西农牧业研究院肉牛研究中心);Universidade Federal de Mato Grosso do Sul(南马托格罗索联邦大学)
针对精准牛育种中人工目视评估牛生物型的场景,研究内洛尔牛人工评分与图像等测量值的相关性,并利用k-means算法基于高相关测量值实现牛群聚类新方法。
2024-03-11 cs.CV cs.LG eess.IV
On Exploring Undetermined Relationships for Visual Relationship Detection
Key Laboratory of Complex Systems Modeling and Simulation(复杂系统建模与仿真重点实验室);Hangzhou Dianzi University(杭州电子科技大学);University of Sydney(悉尼大学)
在视觉关系检测中,人类标记的关系可以被视为确定关系。然而,仍然存在大量未标记的数据,例如具有不太重要的关系甚至没有关系的对象对。我们将这些未标记但可能有用的数据称为未确定的关系。虽然大量的文献存在,很少有方法利用这些不确定的关系的视觉关系检测。在本文中,我们探讨了视觉关系检测的未确定的关系的有益影响。我们提出了一种新的基于多模态特征的不确定关系学习网络(MF-URLN),并在关系检测方面取得了很大的进步。详细地说,我们的MF-URLN自动生成不确定的关系,通过比较对象对与人类标注的数据,根据设计的标准。然后,MF-URLN提取和融合三个互补的情态动词:视觉,空间和语言情态动词的对象对的特征。此外,MF-URLN提出了两个相关的子网络:一个子网络决定确定的信心,和其他预测的关系。我们在两个数据集上评估MF-URLN:视觉关系检测(VRD)和视觉基因组(VG)数据集。与现有方法相比,实验结果验证了未确定关系的显著改进,例如,在VRD数据集上,前50个关系检测召回率从19.5%提高到23.9%。
2019-05-05 cs.CV cs.LG
Exploring Visual Embedding Spaces Induced by Vision Transformers for Online Auto Parts Marketplaces
Baylor University(贝勒大学)
本研究探索视觉Transformer(ViT)生成在线汽车配件市场图像视觉嵌入的能力,通过单模态数据提取嵌入、UMAP降维可视化、K-Means聚类分类,评估其检测非法活动模式的潜力,为相关欺诈检测提供基础。
2025-02-09 cs.CV cs.LG
Exploring Visual Pre-training for Robot Manipulation: Datasets, Models and Methods
ByteDance Research(字节跳动研究院);Southeast University(东南大学);Tsinghua University(清华大学)
本文系统研究了预训练数据集、模型架构和训练方法对机器人操作的影响,并提出结合对比自监督与监督学习的视觉预训练方案Vi-PRoM,在仿真和真实机器人实验中验证了其优越性。
2023-08-07 cs.CV cs.RO
Exploring Deep Learning for Joint Audio-Visual Lip Biometrics
Tianjin University(天津大学);National Institute of Informatics(日本国立信息学研究所)
视听(AV)唇生物特征识别技术是一种很有前途的认证技术,它充分利用了语音通信中的音频和视觉模式的优点。以前的工作已经证明了AV唇生物识别的有用性。然而,缺乏一个相当大的AV数据库阻碍了基于深度学习的视听嘴唇生物识别的探索。为了解决这个问题,我们使用现有的公共数据库编译一个中等大小的数据库。同时,我们建立了DeepLip AV嘴唇生物识别系统,该系统由基于卷积神经网络(CNN)的视频模块、基于时延神经网络(TDNN)的音频模块和多模态融合模块实现。我们的实验表明,DeepLip在上下文建模方面优于传统的说话人识别模型,与我们最好的单一模态基线相比,实现了超过50%的相对改进,在测试数据集上的相等出错率分别为0.75%和1.11%。
2021-04-17 cs.CV cs.MM cs.SD
Exploring the Application of Visual Question Answering (VQA) for Classroom Activity Monitoring
Banking Academy of Vietnam(越南银行学院);Dublin City University(都柏林城市大学)
本研究探索VQA模型在课堂行为监测中的应用,构建真实课堂场景的BAV-Classroom-VQA数据集,测试四款主流开源VQA模型性能,验证其在课堂分析与干预系统中的应用潜力。
2025-09-02 cs.AI cs.CV
VisualRWKV: Exploring Recurrent Neural Networks for Visual Language Models
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
本研究提出VisualRWKV,首次将线性RNN应用于多模态学习,通过数据依赖递归、三明治提示和2D图像扫描机制增强建模能力,在多基准上性能媲美LLaVA-1.5,且推理速度提升3.98倍,GPU内存节省54%。
2024-12-19 cs.CL cs.CV cs.LG
ControlVAR: Exploring Controllable Visual Autoregressive Modeling
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出 ControlVAR 框架,通过联合建模图像与像素级条件、下一尺度 AR 预测及教师强制引导,实现比主流条件扩散模型更灵活高效的可控视觉生成。
2024-10-02 cs.AI cs.CV
Visually Wired NFTs: Exploring the Role of Inspiration in Non-Fungible Tokens
University of Calabria(卡拉布里亚大学)
本文利用 Vision Transformers 与图建模分析 NFT 视觉灵感网络,揭示其结构特征、与资产业绩及加密市场的关系和自我调节机制。
2025-03-17 cs.AI cs.CV cs.SI
Exploring Visual Complaints through a test battery in Acquired Brain Injury Patients: A Detailed Analysis of the DiaNAH Dataset
Gonçalo Hora de Carvalho(独立研究者)
本研究使用DiaNAH数据集分析948名获得性脑损伤患者的视觉主诉,采用AutoML处理缺失数据,发现患者主观视觉主诉与客观视觉感知测试间几乎无直接关联。
2025-03-19 cs.CV q-bio.NC q-bio.QM
A Co-analysis Framework for Exploring Multivariate Scientific Data
Zhejiang University(浙江大学)
在复杂的多变量数据集中,不同的特征通常包括与不同变量的不同关联,并且不同的变量在不同的区域内相关联。因此,探索局部变量和体素之间的关联对于更好地理解潜在的现象是必要的。在本文中,我们提出了一个基于双聚类的协同分析框架,双聚类是具有密切标量值关系的变量和体素的两个子集,用于指导可视化探索多变量数据的过程。我们首先自动提取所有有意义的双聚类,每个双聚类只包含在变量子集上具有相似标量值模式的体素。这些biclusters组织根据其变量集,并在每个变量集中的biclusters进一步分组的相似性度量,以减少冗余和支持多样性在视觉探索。双聚类在协调视图中以视觉方式表示,以促进基于双聚类之间的相似性和标量值与不同变量的相关性的多变量数据的交互式探索。几个有代表性的多元科学数据集上的实验表明,我们的框架在探索数据中的变量,双聚类和标量值之间的局部关系的有效性。
2019-08-19 cs.CL cs.CV
Exploring to learn visual saliency: The RL-IAC approach
Thales SIX(泰雷兹SIX);ENSTA Paristech(巴黎高等科技学院);INRIA(法国国家信息与自动化研究所);U2IS(U2IS实验室);Université Paris-Saclay(巴黎萨克雷大学);Thales(泰雷兹)
自主移动机器人的目标定位与识别问题是一个非常活跃的研究课题。在这种情况下,我们解决了直接在机器人上学习视觉显着性模型的问题。在机器人探索过程中学习和改进的这个模型为在其环境中定位相关对象提供了有效的工具。拟议的办法包括两个相互交织的组成部分。一方面,我们描述了一种学习和增量更新模型的视觉显着性从基于深度的对象检测器的方法。该显著性模型还可以用于在感兴趣的对象周围产生限界框建议。另一方面,我们研究了一种自主探索技术,以有效地学习这样的显着性模型。所提出的探索,称为强化学习-智能自适应Currency(RL-IAC)是能够驱动机器人的探索,使机器人选择的样本有可能改善当前的显着性模型。然后,我们证明了直接在机器人上学习的这种显着性模型优于几种最先进的显着性技术,并且RL-IAC可以大大减少学习可靠显着性模型所需的时间。
2018-04-02 cs.CV cs.RO
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide(阿德莱德大学);Amazon(亚马逊);Idiap Research Institute(Idiap研究所)
干净和多样的标记数据的可用性是训练模型进行复杂任务(如视觉问答(VQA))的主要障碍。对大型视觉和语言模型的大量研究表明,自监督学习对于预训练多模态交互是有效的。在这份技术报告中,我们专注于视觉表现。我们审查和评估自我监督方法,以利用未标记的图像并预训练模型,然后在自定义VQA任务上进行微调,以允许受控的评估和诊断。我们比较了基于能量的模型(EBM)和对比学习(CL)。虽然循证医学越来越受欢迎,但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示,从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中,我们发现CL表示也提高了系统的泛化能力,甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而,我们发现循证医学是难以训练,因为不稳定性和高变异性,在他们的结果。虽然EBM被证明对OOD检测有用,但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说,合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
Exploring Textual Semantics Diversity for Image Transmission in Semantic Communication Systems using Visual Language Model
School of Computer Science and Engineering, Macau University of Science and Technology(计算机科学与工程学院,澳门科技大学)
针对语义通信中图像语义特征不足导致重建精度低的问题,提出基于VLM的Multi-SC系统,通过分块提取多文本信息并结合分割标签恢复图像,显著提升重建精度。
2025-07-30 cs.CV eess.SP
Exploring Self-Attention for Visual Odometry
K. N. Toosi University of Technology(K. N. 图西理工大学)
视觉里程计网络通常使用预训练的光流网络,以便导出连续帧之间的自我运动。由这些网络提取的特征表示帧之间所有像素的运动。然而,由于场景中存在动态对象和无纹理表面,由于动态对象在推导位置的增量变化中的无效性,每个图像区域的运动信息对于推断测距可能是不可靠的。最近在这方面的工作缺乏注意力机制,在他们的结构,以促进动态重新加权的特征图提取更精细的自运动信息。本文探讨自我注意在视觉里程计中的有效性。我们报告了SOTA方法的定性和定量结果。此外,基于显著性的研究和专门设计的实验被用来研究自我注意对VO的影响。我们的实验表明,与缺乏这种结构的网络相比,使用自我注意力可以提取更好的特征,同时实现更好的里程计性能。
2020-11-17 cs.CV cs.LG cs.RO
Exploring Predicate Visual Context in Detecting Human-Object Interactions
The Australian National University(澳大利亚国立大学);Microsoft Research Asia(微软亚洲研究院)
针对现有两阶段Transformer HOI检测器缺乏细粒度上下文、难识别复杂交互的问题,提出融合谓词视觉上下文的PViC模型,通过交叉注意力重引入图像特征,在HICO-DET、V-COCO基准上取得SOTA性能且训练成本低。
2023-11-07 cs.AI cs.CV cs.LG
Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training
Graphcore Research(Graphcore研究院)
最近的研究致力于提高图像分类的训练和推理效率。这项工作通常集中在显式地提高理论效率,通常以每FLOP的ImageNet验证准确度来衡量。然而,这些理论上的节省在实践中被证明是具有挑战性的,特别是在高性能训练加速器上。在这项工作中,我们专注于提高最先进的EfficientNet模型在一类新的加速器Graphcore IPU上的实际效率。我们通过以下方式扩展这一系列模型来做到这一点:(i)将dependency卷积推广到组卷积;(ii)添加代理归一化激活,以匹配批量归一化性能与批量无关统计数据;(iii)通过降低训练分辨率和以更高分辨率进行廉价微调来减少计算。我们发现这三种方法都提高了训练和推理的实际效率。代码可在https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient获得。
2021-08-26 cs.CV cs.LG stat.ML
Multi-Agent VQA: Exploring Multi-Agent Foundation Models in Zero-Shot Visual Question Answering
University of Pennsylvania(宾夕法尼亚大学)
本文提出自适应多智能体系统 Multi-Agent VQA,通过将专门化智能体作为工具克服基础模型在目标检测与计数上的局限,探索其在零样本视觉问答任务中的性能表现,并展示初步实验结果与失败案例以指明未来研究方向。
2024-03-21 cs.AI cs.CL cs.CV
Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding
Tel Aviv University(特拉维夫大学)
该研究提出VLU任务集与Stroop零样本探测法,验证了视觉-语言预训练能让文本编码器获得视觉推理能力,在隐含视觉推理的纯文本任务中表现更优,为多模态学习中文本编码器的选择提供参考。
2023-11-02 cs.CL cs.CV cs.LG
Exploring Advanced Techniques for Visual Question Answering: A Comprehensive Comparison
Toronto Metropolitan University(多伦多都会大学);Yeates School of Graduate and Postdoctoral Studies(耶茨研究生及博士后学院)
本文分析了视觉问答(VQA)任务的数据集偏差与推理泛化等挑战,详细研究了原始VQA数据集及基线模型,并对ABC-CNN、KICNLE、Masked Vision and Language Modeling、BLIP-2和OFA五种先进模型应对这些挑战的不同方法进行了全面比较。
2025-03-04 cs.AI cs.CV cs.ET
Exploring Long Tail Visual Relationship Recognition with Large Vocabulary
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);IIT Roorkee(印度理工学院鲁尔基分校);Stanford University(斯坦福大学);Baidu(百度);NTU Singapore(新加坡南洋理工大学)
在最近的文献中已经提出了几种方法来缓解长尾问题,主要是在对象分类任务中。本文首次对长尾视觉关系识别(LTVRR)任务进行了大规模的研究。LTVRR旨在改善来自长尾的结构化视觉关系的学习(例如,“兔子吃草”)。在这个设置中,subject、relation和object类都遵循长尾分布。为了开始我们的研究并为社区制定未来的基准,我们引入了两个与LTVRR相关的基准,称为VG 8 K-LT和GQA-LT,它们基于广泛使用的Visual Genome和GQA数据集。我们使用这些基准来研究几个国家的最先进的长尾模型的LTVRR设置的性能。最后,我们提出了一种基于语言的无中心(VilHub)损失和一种适用于LTVRR设置的Mixup增强技术,称为RelMix。VilHub和RelMix都可以很容易地集成在现有模型之上,尽管很简单,但我们的结果表明它们可以显着提高性能,特别是在尾部类上。基准、代码和模型已在https://github.com/Vision-CAIR/LTVRR上提供。
2021-09-25 cs.CV cs.LG stat.ML
Improving Lesion Detection by exploring bias on Skin Lesion dataset
Microsoft(微软);Cupertino High School(库比蒂诺高中);Inglemoor High School(英格尔穆尔高中)
所有数据集都包含一些偏差,通常是无意的,这是由于它们是如何获得和注释的。这些偏见扭曲了机器学习模型的性能,产生了虚假的相关性,模型可以不公平地利用,或者相反地破坏了模型可以学习的明确相关性。随着深度学习模型的普及,自动皮肤病变分析开始在黑色素瘤的早期检测中发挥重要作用。ISIC Archive是最常用的皮肤病变来源之一,用于对基于深度学习的工具进行基准测试。Bissoto等人使用不同的基于边界框的掩模进行了实验,结果表明,深度学习模型可以对输入数据中没有临床意义信息的皮肤病变图像进行分类。他们的发现似乎令人困惑,因为消融区域(随机矩形框)并不显著。病变的形状是皮肤病变临床表征的关键因素。在这种情况下,我们进行了一组实验,生成形状保持掩模,而不是基于矩形边界框的掩模。在这些保持形状的掩码图像上训练的深度学习模型并不比在没有临床意义信息的图像上训练的模型更好。这强烈暗示了指导模型的虚假相关性。我们建议使用一般对抗网络(GAN)来减轻潜在的偏见。
2020-10-04 cs.CV cs.LG eess.IV
Exploring Object Status Recognition for Recipe Progress Tracking in Non-Visual Cooking
Carnegie Mellon University(卡内基梅隆大学);Singapore Management University(新加坡管理学院)
本文提出OSCAR流程,通过物体状态识别结合食谱解析、视觉对齐与时间因果建模,实现非视觉烹饪中的实时食谱进度追踪,并在真实盲人烹饪数据上验证其有效性。
2025-07-04 cs.AI cs.CV cs.HC