Beyond Visual Cues: CoT-Enhanced Reasoning for Semi-supervised Medical Image Segmentation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education(教育部新一代人工智能技术及其跨学科应用重点实验室);Nanjing University of Science and Technology(南京理工大学)
提出CERS框架,通过集成链式思维推理和语义参考选择策略,解决半监督医学图像分割中的视觉-语义不匹配问题,在边界模糊和语义不一致场景下优于现有方法。
2026-06-17 cs.CV cs.LG
Visual Relationship Detection with Internal and External Linguistic Knowledge Distillation
University of Maryland, College Park(马里兰大学帕克分校)
理解视觉关系涉及识别主题、对象以及与它们相关的谓词。我们利用谓词和(subj,obj)对(语义和空间)之间的强相关性来预测以主语和宾语为条件的谓词。对这三个实体联合建模更准确地反映了它们的关系,但是由于视觉关系的语义空间巨大并且训练数据有限,特别是对于具有很少实例的长尾关系,因此使学习复杂化。为了克服这个问题,我们使用语言统计学的知识来规范视觉模型学习。我们通过从训练注释(内部知识)和公开文本中挖掘来获得语言知识,例如,Wikipedia(外部知识),计算给定(subj,obj)对的谓词的条件概率分布。然后,我们将知识提取到深层模型中,以实现更好的泛化。我们在视觉关系检测(VRD)和视觉基因组数据集上的实验结果表明,通过这种语言知识蒸馏,我们的模型显著优于最先进的方法,特别是在预测看不见的关系(例如,在VRD zero-shot测试集上,召回率从8.45%提高到19.17%)。
2017-08-03 cs.CV
Geometry Enhancements from Visual Content: Going Beyond Ground Truth
Tal-Aviv University(特拉维夫大学)
这项工作提出了一种新的循环架构,从图像中提取高频模式,并重新插入它们作为几何特征。这个过程使我们能够提高低成本深度传感器的分辨率,一方面捕捉精细的细节,另一方面忠于扫描的真值。我们为深度超分辨率任务提供了最先进的结果,以及视觉上有吸引力的增强生成的3D模型。
2022-03-05 cs.CV
Image Captioning and Visual Question Answering Based on Attributes and External Knowledge
Australian Centre for Visual Technologies(澳大利亚视觉技术中心);The University of Adelaide(阿德莱德大学)
视觉到语言问题的最新进展是通过卷积神经网络(CNN)和递归神经网络(RNN)的组合实现的。这种方法并不显式地表示高级语义概念,而是寻求直接从图像特征到文本的进展。在本文中,我们首先提出了一种方法,将高层次的概念成功的CNN-RNN方法,并表明它实现了显着的改进,在最先进的图像描述和视觉问答。我们进一步表明,相同的机制可以用来将外部知识,这是至关重要的回答高层次的视觉问题。具体来说,我们设计了一个视觉问答模型,结合了图像内容的内部表示与从一般知识库中提取的信息,以回答广泛的基于图像的问题。它特别允许对图像的内容提出问题,即使图像本身不包含完整的答案。我们的最终模型在几个基准数据集上的图像描述和视觉问答上都取得了最好的报告结果。
2016-12-16 cs.CV
Beyond standard benchmarks: Parameterizing performance evaluation in visual object tracking
University of Ljubljana(卢布尔雅那大学)
物体到摄像机的运动会产生各种明显的运动模式,这些模式会显著影响短期视觉跟踪器的性能。尽管对于设计健壮的跟踪器至关重要,但由于定义较弱,有偏见和重叠的属性注释,它们的影响在标准基准测试中很少被探索。在本文中,我们建议超越预先记录的基准与事后注释,提出了一种方法,利用全向视频生成逼真的,一致的注释,短期跟踪场景与精确参数化的运动模式。我们已经创建了一个评估系统,构建了一个全方位视频和典型运动模式的生成器的完全注释的数据集。我们提供了一个深入的分析,主要的跟踪范式,这是补充标准的基准,并确认我们的评价方法的表达能力。
2017-03-25 cs.CV
Food recognition and recipe analysis: integrating visual content, context and external knowledge
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所中国科学院智能信息处理重点实验室)
食物在我们个人和社会生活中的核心作用,再加上最近的技术进步,激发了人们对有助于更好地监测饮食习惯以及探索和检索食物相关信息的应用程序越来越感兴趣。我们回顾视觉内容,上下文和外部知识可以有效地集成到面向食品的应用程序,特别注重食谱分析和检索,食品推荐,和餐厅的背景下,作为新兴的方向。
2018-01-22 cs.CV cs.MM
Lens3D: Target-Conditioned Visual Foveation for Fine-Grained 3D Understanding
Zhejiang University(浙江大学);LIGHTSPEED
Lens3D通过外部视觉辅助和知识迁移,提升3D大语言模型对细粒度目标的理解,显著改善描述能力并保持原有性能。
2026-10-06 cs.CV
Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);University of Arizona(亚利桑那大学)
针对KB-VQA现有检索范式忽略实体语义对齐的缺陷,提出首个MLLM嵌入检索器KBMR,结合语义判别器与连续语义蒸馏目标,在Recall@1和VQA准确率上较CLIP基线实现显著提升。
2026-08-25 cs.CV
Beyond Accuracy: Metrics that Uncover What Makes a 'Good' Visual Descriptor
Cornell University(康奈尔大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出两种基于对齐的度量(全局对齐和CLIP相似度),从表示能力和与预训练数据关系两个维度系统分析视觉描述符质量,超越准确率评估。
2025-07-09 cs.CV
Beyond Visual Semantics: Exploring the Role of Scene Text in Image Understanding
IIT Jodhpur(印度理工学院焦特布尔分校);University of Rouen(鲁昂大学);Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
具有视觉和场景文本内容的图像在日常生活中无处不在。然而,当前的图像判读系统大多局限于仅使用视觉特征,而忽略了利用场景文本内容。在本文中,我们提出了联合使用场景文本和视觉通道强大的图像语义解释。我们不仅提取和编码视觉和场景文本线索,而且还建模它们的相互作用,以生成具有更丰富语义的上下文联合嵌入。因此产生的上下文嵌入应用于检索和分类任务的多媒体图像,场景文本内容,以证明其有效性。在检索框架中,我们增加了我们学到的文本视觉语义表示与场景文本线索,以减轻词汇失误,可能发生在语义嵌入。为了处理场景文本的不相关或错误识别,我们还将基于查询的注意力应用于我们的文本通道。我们展示了如何多通道的方法,涉及视觉语义和场景文本,提高了最先进的。
2019-12-04 cs.CV
Ask Me Anything: Free-form Visual Question Answering Based on Knowledge from External Sources
The University of Adelaide(阿德莱德大学)
我们提出了一种视觉问答的方法,它结合了内部表示的内容的图像与信息提取的一般知识库,以回答广泛的基于图像的问题。这使得更复杂的问题可以使用占主导地位的基于神经网络的方法来回答,而不是以前可能的。它特别允许对图像的内容提出问题,即使图像本身并不包含全部答案。该方法构建了图像的语义内容的文本表示,并将其与来自知识库的文本信息合并,以更深入地理解所查看的场景。用这种组合信息和提交的问题启动循环神经网络,导致非常灵活的视觉问答方法。我们特别能够回答用自然语言提出的问题,这些问题涉及图像中不包含的信息。我们在两个公开的数据集Toronto COCO-QA和MS COCO-VQA上证明了我们的模型的有效性,并表明它在这两种情况下都产生了最好的报告结果。
2016-04-14 cs.CV
Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning
Sangfor Technologies;The Australian National University(澳大利亚国立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出 Vision-EKIPL 强化学习框架,通过引入外部辅助模型生成的高质量动作指导策略优化,扩展探索空间并加速收敛,在视觉推理基准上较 SOTA 最高提升 5%。
2025-09-27 cs.CV
Agent Skills Should Go Beyond Text: The Case for Visual Skills
Peking University(北京大学);University of Wisconsin(威斯康星大学);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
针对现有技能学习方法仅存储文本经验导致视觉任务瓶颈的问题,提出多模态技能范式,结合文本逻辑与视觉支持,通过自动系统将经验转化为可复用的视觉技能,在GUI等视觉任务中显著优于纯文本技能。
2026-05-31 cs.CV
Incorporating External Knowledge to Answer Open-Domain Visual Questions with Dynamic Memory Networks
Tsinghua University(清华大学)
视觉问答(VQA)由于能够深入研究图像多模态分析与自然语言之间的关系而备受关注。目前的算法大多无法回答需要在图像内容之外进行推理的开放域问题。为了解决这个问题,我们提出了一个新的框架,该框架通过利用动态记忆网络的大量外部知识来赋予模型回答更复杂问题的能力。具体而言,问题以及相应的图像触发一个过程,以检索外部知识库中的相关信息,这些信息通过保留实体关系结构嵌入到连续向量空间中。然后,我们使用动态记忆网络来处理知识图谱和图像中的大量事实,然后对这些事实进行推理以生成相应的答案。大量的实验表明,该模型不仅在视觉问答任务中达到了最先进的性能,而且能够利用外部知识有效地回答开放域问题。
2017-12-03 cs.CL cs.CV
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
University of Bonn(波恩大学)
姿态估计和地图构建是自主机器人的核心组成部分,通常依赖于传感器数据的配准。在本文中,我们研究了一种新的度量注册的图像,建立在光度误差的想法。我们的方法结合了梯度方向为基础的度量与幅度相关的缩放项。我们集成到立体声估计以及视觉里程计系统,并显示出明显的优势,典型的差距和直接图像配准任务时,使用我们提出的度量。我们的实验评估表明,我们的度量导致更强大,更准确的估计场景深度以及相机轨迹。因此,该度量提高了相机姿态估计,进而提高了移动机器人的映射能力。我们相信,一系列现有的视觉里程计和视觉SLAM系统可以受益于本文报道的研究结果。
2020-04-08 cs.CV
Transformer Interpretability Beyond Attention Visualization
Tel Aviv University(特拉维夫大学);Facebook AI Research (FAIR)(Facebook AI研究院)
自注意技术,特别是Transformers,在文本处理领域占据主导地位,并且在计算机视觉分类任务中变得越来越流行。为了可视化图像的部分,导致一定的分类,现有的方法要么依赖于所获得的注意力图或采用启发式传播沿注意力图。在这项工作中,我们提出了一种新的方法来计算Transformer网络的相关性。该方法基于深度泰勒分解原理分配局部相关性,然后通过层传播这些相关性分数。这种传播涉及注意层和跳过连接,这对现有方法提出了挑战。我们的解决方案是基于一个特定的配方,显示保持跨层的总相关性。我们基准我们的方法在最近的视觉Transformer网络,以及文本分类问题,并证明了现有的可解释性方法的明显优势。
2021-04-05 cs.CV
EVCap: Retrieval-Augmented Image Captioning with External Visual-Name Memory for Open-World Comprehension
The University of Tokyo(东京大学);National Institute of Informatics(情报学研究科)
本文提出 EVCap,通过可低成本更新的外部视觉-名称记忆检索物体名称并提示 LLM,以轻量模型实现开放世界图像描述。
2024-04-07 cs.CV
Iterative Visual Reasoning Beyond Convolutions
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
我们提出了一个新的框架迭代视觉推理。我们的框架超越了目前的识别系统,这些系统缺乏超越卷积堆栈的推理能力。该框架由两个核心模块组成:一个本地模块,使用空间记忆存储以前的信念与并行更新;和一个全球图形推理模块。我们的图模块有三个组件:a)一个知识图谱,我们将类表示为节点,并构建边来编码它们之间不同类型的语义关系; b)当前图像的区域图,其中图像中的区域是节点,这些区域之间的空间关系是边; c)一个分配图,将区域分配给类。本地模块和全局模块都迭代地推出,并相互交叉提供预测以改进估计。最后的预测是通过结合最好的两个模块与注意力机制。我们表现出强大的性能超过普通的ConvNets,\eg实现了$8.4\%$绝对改善ADE测量每类的平均精度。分析还表明,该框架是弹性的推理缺失区域。
2018-03-29 cs.CV
EMA-VIO: Deep Visual-Inertial Odometry with External Memory Attention
National University of Defense Technology(国防科技大学)
准确和鲁棒的定位是移动代理的基本需求。视觉惯性里程计(VIO)算法利用来自相机和惯性传感器的信息来估计位置和平移。最近基于深度学习的VIO模型吸引了人们的注意,因为它们以数据驱动的方式提供姿态信息,而不需要设计手工制作的算法。现有的基于学习的VIO模型依赖于递归模型来融合多模态数据和处理传感器信号,训练困难且效率不高。我们提出了一种新的基于学习的VIO框架与外部记忆的注意力,有效地和高效地结合了视觉和惯性特征的状态估计。我们提出的模型能够准确和鲁棒地估计姿态,即使在具有挑战性的场景中,例如,在阴天和积水的地面上,这是传统的VIO算法难以提取的视觉特征。实验结果表明,该算法在不同场景下的性能均优于传统的VIO基线和基于学习的VIO基线。
2022-09-18 cs.CV cs.RO
Beyond Accuracy: Evaluating Visual Grounding In Multimodal Medical Reasoning
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心);Cohere Labs(Cohere实验室);Eisai Inc.(艾伯维公司);Indian Institute of Science, Bangalore(班加罗尔印度科学研究院)
该研究提出反事实评估框架,通过测量视觉依赖性得分和幻觉视觉推理率,揭示仅文本强化学习在多模态医学推理中降低视觉依赖性的问题。
2026-03-03 cs.CV
Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking
Linköping University(林雪平大学)
判别相关滤波器(DCF)在视觉目标跟踪中表现出了优异的性能。他们成功的关键是能够通过包括训练样本的所有转换版本来有效地利用可用的负面数据。然而,底层的DCF公式仅限于单分辨率特征图,大大限制了其潜力。在本文中,我们超越了传统的DCF框架,并介绍了一种新的配方训练连续卷积滤波器。我们采用了一个隐式插值模型,提出了在连续空间域的学习问题。我们提出的公式可以有效集成多分辨率深度特征图,从而在三个对象跟踪基准上获得优异的结果:OTB-2015(平均OP为+5.1%),Temple-Color(平均OP为+4.6%)和VOT 2015(故障率相对降低20%)。此外,我们的方法是能够亚像素定位,准确的特征点跟踪的任务至关重要。我们还证明了我们的学习配方在广泛的特征点跟踪实验的有效性。代码和补充材料可在http://www.cvl.isy.liu.se/research/objrec/visualtracking/conttrack/index.html上获得。
2016-08-29 cs.CV
Beyond Intermediate States: Explaining Visual Redundancy through Language
Tongji University(同济大学);CUHK(香港中文大学);Tencent Hunyuan Team(腾讯混元团队)
本研究提出一种基于令牌中心与上下文中心双视角的视觉令牌冗余识别方法,通过上下文无关条件训练冗余原型,在剪枝80%-90%视觉令牌时保持90%-110%性能,显著提升MLLMs效率。
2025-03-26 cs.CV
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
视觉问答(VQA)在其理想的形式,让我们研究在视觉和语言的联合空间的推理,并作为一个代理的人工智能任务的场景理解。然而,到目前为止,大多数VQA基准测试都集中在简单计数、视觉属性和目标检测等问题上,这些问题不需要超出图像内容的推理或知识。在本文中,我们解决了基于知识的视觉问答的任务,并提供了一个基准,称为OK-VQA,其中的图像内容是不足以回答的问题,鼓励依赖于外部知识资源的方法。我们的新数据集包括超过14,000个需要外部知识才能回答的问题。我们表明,在这种新的设置中,最先进的VQA模型的性能急剧下降。我们的分析表明,我们的基于知识的VQA任务是多样的,困难的,和以前的基于知识的VQA数据集相比大。我们希望这个数据集能够使研究人员在这一领域的研究开辟新的途径。请访问http://okvqa.allenai.org下载并浏览数据集。
2019-09-04 cs.CL cs.CV
Beyond Tracking: Selecting Memory and Refining Poses for Deep Visual Odometry
Peking University(北京大学);AVIC(中国航空工业集团有限公司);Beijing Changcheng Aviation Measurement and Control Institute(北京长城航空测控技术研究所)
大多数基于学习的视觉里程计(VO)方法将VO视为纯跟踪问题。相比之下,我们提出了一个VO框架,通过合并两个额外的组件,称为内存和精炼。Memory组件通过采用自适应和高效的选择策略来保存全局信息。改进组件通过采用时空注意力机制进行特征提取来改进存储在存储器中的上下文的先前结果。在KITTI和TUM-RGBD基准数据集上的实验表明,我们的方法大大优于最先进的基于学习的方法,并且与经典的单目VO方法相比具有竞争力。特别是,我们的模型在具有挑战性的场景中,如纹理较少的区域和突然的运动,经典的VO算法往往会失败,实现出色的性能。
2019-04-05 cs.CV
Beyond Visual Field of View: Perceiving 3D Environment with Echoes and Vision
Tampere University(坦佩雷大学);Tsinghua University(清华大学)
本文提出融合多方向回声与RGB图像进行超越视野的稠密深度估计,并应用于机器人导航,在Replica和Matterport3D环境中验证了有效性。
2024-02-09 cs.CV
Beyond Zooming: Learning Multi-Tool Visual Reasoning for Ultra-High-Resolution Remote Sensing
National University of Defense Technology(国防科技大学);Wuhan University(武汉大学);Tsinghua University(清华大学)
针对超高分辨率遥感图像给多模态大语言模型带来的挑战,提出GeoMTVR数据集,结合监督微调与以工具注意力为重点的强化学习算法开发GeoLens,实验证明其在多工具视觉推理方面优于直接推理和单工具放大基线。
2026-07-29 cs.CV
MoVie: Revisiting Modulated Convolutions for Visual Counting and Beyond
Facebook AI Research (FAIR)(Facebook人工智能研究(FAIR))
本文主要研究视觉计数,其目的是预测给定自然图像和查询(例如问题或类别)的出现次数。与大多数使用显式符号模型的现有作品不同,这些模型在计算上是昂贵的,并且在泛化上是有限的,我们提出了一种简单有效的替代方案,通过重新访问调制卷积,将查询和图像局部融合。在剩余瓶颈的设计之后,我们称我们的方法为MoVie,调制卷积瓶颈的缩写。值得注意的是,Movie的推理是隐式和整体的,在推理过程中只需要一次向前传递。尽管如此,MoVie展示了强大的计数性能:1)在更高效的同时推进了特定于计数的VQA任务的最新技术; 2)在COCO等常见对象计数的困难基准上优于现有技术; 3)当作为通用VQA模型中的“数字”相关问题的模块集成时,帮助我们获得了2020年VQA挑战赛的第一名。最后,我们证明了调制卷积,如Movie可以作为一个通用的推理机制,超越计数的任务。
2020-10-07 cs.CV
Beyond Detection: Visual Realism Assessment of Deepfakes
University of Ljubljana(卢布尔雅那大学)
针对深度伪造技术带来的安全隐私问题,提出基于Eva和ConvNext卷积神经网络集成的深度伪造视频视觉真实度评估方法,在IJCB 2023同期的DFGC竞赛中获第三名。
2023-06-09 cs.CV
Gaze Beyond the Frame: Forecasting Egocentric 3D Visual Span
Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学);Reality Labs Research at Meta(Meta现实实验室)
本文提出EgoSpanLift方法,通过将自聚焦视觉跨度预测从2D转换到3D,实现对三维环境未来视觉聚焦的高效预测,并构建了大规模基准测试集。
2025-11-23 cs.CV
Uncovering Grounding IDs: How External Cues Shape Multi-Modal Binding
本文提出地面ID概念,揭示外部线索通过增强多模态绑定的注意力机制,提升跨模态定位精度并减少幻觉。
2026-10-16 cs.AI cs.CV
Beyond Average: Individualized Visual Scanpath Prediction
University of Minnesota(明尼苏达大学)
本文提出个性化扫描路径预测方法,通过观察者编码器、以观察者为中心的特征整合和自适应注视优先级机制,解决个体注意力差异,适用于多种数据集和任务,并经实验验证有效。
2024-04-19 cs.CV
The role of object-centric representations, guided attention, and external memory on generalizing visual relations
National Center for Artificial Intelligence(国家人工智能中心);University of Bristol(布里斯托尔大学)
本研究针对视觉关系泛化问题,在“同-异”判断任务中系统评估了整合槽注意力等机制的深度神经网络,发现无模型能全面泛化该关系,证实抽象视觉推理仍是未解决的挑战。
2023-04-14 cs.AI cs.CV
Exploring External Knowledge for Accurate modeling of Visual and Language Problems
Stony Brook University(石溪大学)
人工智能(AI)及其应用的兴趣在过去几年中出现了前所未有的增长。这一成功可以部分归功于人工智能子领域的深度神经网络的进步,如计算机视觉(CV)和自然语言处理(NLP)。本论文的研究重点是视觉和语言理解,这涉及到许多具有挑战性的任务,即,分类、检测、分割、机器翻译和字幕等。解决这些问题的现有方法通常只涉及两个部分:源数据和目标标签,这是相当不够的,特别是当数据集很小时。同时,许多外部工具或资源可以提供额外的有用信息(外部知识),有助于提高这些方法的性能。例如,检测模型已经被应用于提供比用于图像描述模型的最新ResNet更好的对象特征。受此启发,我们开发了一种方法,首先提取外部知识,然后将其与原始模型集成。外部知识必须从数据集中提取,或者可以直接来自外部,例如,语法规则或场景图。我们将这种方法应用于不同的人工智能任务,包括机器翻译和图像描述,并大幅改进了原始的最先进的模型。
2023-01-27 cs.CL cs.CV
Beyond Static Visual Tokens: Structured Sequential Visual Chain-of-Thought Reasoning
本文提出结构化顺序视觉推理方法,通过构建视觉重要性图谱并按判别顺序进行推理,提升多模态模型的视觉认知能力。
2026-09-01 cs.AI cs.CV
Questions beyond Pixels: Integrating Commonsense Knowledge in Visual Question Generation for Remote Sensing
Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑分校);University of Tübingen(图宾根大学);Conservatoire National des Arts et Métiers(法国国立高等美术学院)
本文提出KRSVQG模型,通过整合常识知识和图像内容,生成丰富的问题以提升遥感图像的语义理解和应用。
2026-02-22 cs.CV
Seeing Beyond Redundancy: Task Complexity's Role in Vision Token Specialization in VLLMs
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本研究探讨了任务复杂性对VLLMs视觉令牌专业化的影响,发现高复杂度视觉数据对提升模型在复杂视觉任务上的性能至关重要。
2026-02-06 cs.CV
Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR
University of Science and Technology of China(中国科学技术大学);Pecking University(北京大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文提出轨迹引导强化学习(TGRL),通过专家推理轨迹引导策略模型整合视觉证据进行精细推理,提升多模态推理性能,弥合视觉感知与逻辑推理间的差距。
2026-03-27 cs.CV
Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images
ZGCA(中钢集团自动化研究院);NTU(国立.ntu);HKUST(香港科技大学);HKU(香港大学);ZGCI(中钢集团信息院)
ViEBench 是一个用于评估视觉语言模型图像推理能力的基准,通过细粒度视觉证据和双轴矩阵评估模型在不同任务复杂度下的推理表现。
2026-01-14 cs.CV
Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models
AppliedML, Cerebras(应用机器学习,Cerebras)
本文研究多模态大语言模型过度依赖语言先验而忽视视觉输入的问题,提出增强视觉理解并引导语言生成的技术,在视觉依赖token预测和视觉挑战性任务上取得显著提升。
2025-07-02 cs.AI cs.CV
Beyond Bag-of-Patches: Learning Global Layout via Textual Supervision for Late-Interaction Visual Document Retrieval
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出通过文本监督学习文档全局布局,改进视觉文档检索的晚期交互架构,提升检索性能。
2026-05-08 cs.CV
Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding
The University of Hong Kong(香港大学)
研究旨在提升多模态大语言模型的空间理解能力,提出ViPS框架,通过高效先验代理和动态先验融合机制,整合不同模型的视觉先验,经实验验证该框架能协调多样先验,在多基准测试中取得新的最优性能。
2026-07-17 cs.CV
Beyond Quantity: Distribution-Aware Labeling for Visual Grounding
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
提出分布感知标注框架DAL,通过双驱动标注和分布感知过滤扩展语义覆盖并提升数据质量,在三个基准上取得最先进结果。
2025-09-25 cs.CV
VRR-QA: Visual Relational Reasoning in Videos Beyond Explicit Cues
Institute of Artificial Intelligence, University of Central Florida, USA(美国中佛罗里达大学人工智能研究所)
VRR-QA通过精心 curated 的创意视频数据集,评估视频问答模型在隐含关系推理上的表现,揭示现有模型对显性视觉线索的依赖及隐含推理的难度。
2026-03-29 cs.CV
Visual-Word Tokenizer: Beyond Fixed Sets of Tokens in Vision Transformers
Predictive Analytics Lab, University of Sussex, UK(苏塞克斯大学预测分析实验室);University of Surrey, UK(塞夫尔大学);Basque Center for Applied Mathematics, Spain(巴斯克应用数学中心);Monash University, Indonesia(墨尔本大学)
本文提出视觉-词标记器,通过将高频视觉子词分组以降低视觉变换器的能耗,同时保持性能,适用于高效在线推理。
2025-11-27 cs.CV
Beyond Text: Frozen Large Language Models in Visual Signal Comprehension
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
本研究提出V2T Tokenizer,将图像转换为LLM词表中的离散词元,使冻结大语言模型无需微调即可完成视觉理解及图像去噪修复等多类任务,并通过多项实验验证了方法有效性。
2024-03-12 cs.CV
Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs
Inha University(延世大学)
提出SPARE方法,将令牌剪枝重构为子空间重建问题,通过迭代选择投影残差大的令牌进行剪枝,并引入反相关性机制保留上下文信息,在LLaVA上剪枝94%令牌仍保持95%性能。
2026-07-27 cs.CV
Beyond Text Prompts: Visual-to-Visual Generation as A Unified Paradigm
City University of Hong Kong(香港城市大学);City University of Hong Kong (Dongguan)(香港城市大学(东莞));The Hong Kong University of Science and Technology(香港科学与技术大学);The Chinese University of Hong Kong(香港中文大学);Celia Research HK(Celia研究香港);Great Bay University(大湾大学);Lingnan University(岭南大学)
提出视觉到视觉(V2V)生成范式及无需训练的V2V-Zero框架,通过利用视觉页面隐藏状态替代文本条件,在多个任务上达到或接近优化后的文本到图像性能。
2026-05-26 cs.CV
Beyond Academic Benchmarks: Critical Analysis and Best Practices for Visual Industrial Anomaly Detection
Valeo(法雷奥);Intel(英特尔)
本文批判性分析视觉工业异常检测,强调真实数据基准与实用指标,提出三项贡献以弥合学术与工业差距。
2025-03-30 cs.CV
Envisioning Beyond the Pixels: Benchmarking Reasoning-Informed Visual Editing
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Wuhan University(武汉大学);Tongji University(同济大学);Princeton University(普林斯顿大学)
为解决大型多模态模型在复杂视觉编辑中的推理缺陷,研究提出首个评估推理信息驱动视觉编辑的基准 RISEBench,涵盖四类推理并评估九大模型,揭示当前最强模型准确率仅28.8%,为该领域未来研究指明方向。
2025-05-27 cs.CV
Beyond Visual Safety: Jailbreaking Multimodal Large Language Models for Harmful Image Generation via Semantic-Agnostic Inputs
State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(网络与交换技术国家重点实验室,北京邮电大学);School of Cyberspace Security, Beijing University of Posts and Telecommunications(网络安全学院,北京邮电大学)
本文提出BVS框架,通过语义无关输入对多模态大语言模型进行有害图像生成的劫持,揭示其视觉安全边界的脆弱性。
2026-01-22 cs.AI cs.CV
AffectReveal: Event-Grounded Emotion Recognition Beyond Visual Appearances
South China University of Technology(华南理工大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Tsinghua University(清华大学)
针对视觉情感识别中仅凭表象证据不足的问题,提出事件锚定情感识别EGER及无需微调的AffectReveal框架,通过恢复并验证决定情感的事件,显著提升识别准确率。
2026-09-30 cs.CV
Beyond Token Accuracy: Prioritizing What Matters for Visual Reconstruction
Zhejiang University(浙江大学)
针对现有视觉令牌通信静态策略无法适应图像内容与信道条件的问题,提出AdapToC自适应框架,协同设计令牌数量、不等保护与可靠性感知恢复,在匹配通信成本下实现4.20 dB峰值PSNR增益,达到最先进性能。
2026-10-06 cs.CV
Beyond First-Order: Learning Riemannian Geometries for Invariant Visual Place Recognition
The Hong Kong University of Science and Technology, Hong Kong, China(香港科技大学);University of Macau, Macau, China(澳门大学);University of Science and Technology Beijing, Beijing, China(北京科技大学)
本文提出RIA框架,通过在对称正定流形上建模二阶场景结构,提升视觉地点识别在极端环境变化下的鲁棒性与准确性。
2026-05-15 cs.CV
A Visual Self-attention Mechanism Facial Expression Recognition Network beyond Convnext
Jiangnan University(江南大学);Shanghai Jiao Tong University(上海交通大学)
针对面部表情识别中数据集分布不均、表情类别相似及同一类别内差异等挑战,本文提出基于截断ConvNeXt(Conv-cut)的视觉面部表情信号特征处理网络,提升复杂条件下FER准确率并在RAF-DB和FERPlus数据集上取得最优性能。
2025-04-12 cs.CV