Intrinsically Motivated Learning of Visual Motion Perception and Smooth Pursuit
Hong Kong University of Science and Technology(香港科技大学);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
我们扩展的框架,有效的编码,这已被用来模拟孤立的感官处理的发展,建模的感知/动作周期的发展。我们的扩展结合了稀疏编码和强化学习,使感官处理和行为共同发展,以优化共享的内在动机信号:在资源限制下感官输入的神经编码的保真度。应用这个框架的模型系统组成的一个活跃的眼睛在随时间变化的环境中的行为,我们发现,这种通用的原则导致同时发展的平滑的追求行为和模型神经元的属性是相似的初级视觉皮层神经元选择不同方向的视觉运动。我们认为,这一一般原则可能形成一个统一的和综合的解释,许多感知/动作回路的基础。
2014-02-25 cs.CV q-bio.NC
Texture Interpolation for Probing Visual Perception
Albert Einstein College of Medicine(阿尔伯特·爱因斯坦医学院);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学)
纹理合成模型是理解视觉处理的重要工具。特别是,基于神经相关特征的统计方法有助于理解视觉感知和神经编码的各个方面。新的基于深度学习的方法进一步提高了合成纹理的质量。然而,目前还不清楚为什么深度纹理合成表现如此出色,并且这种新框架在探索视觉感知方面的应用很少。在这里,我们证明了纹理的深度卷积神经网络(CNN)激活的分布可以很好地用椭圆分布来描述,因此,根据最优传输理论,约束它们的均值和协方差足以生成新的纹理样本。然后,我们提出的自然测地线(即两点之间的最短路径)所产生的最佳运输度量任意纹理之间的插值。与其他基于CNN的方法相比,我们的插值方法似乎更接近纹理感知的几何形状,我们的数学框架更适合研究其统计性质。我们应用我们的方法,通过测量人类观察者的感知尺度与插值参数,和猕猴的视觉皮层的不同区域的神经敏感性。
2020-10-22 cs.CV q-bio.NC
Towards Computational Models and Applications of Insect Visual Systems for Motion Perception: A Review
School of Mechanical and Electrical Engineering, Guangzhou University(广州大学机电工程学院);Machine Life and Intelligence Research Centre, Guangzhou University(广州大学机器生命与智能研究中心);Computational Intelligence Lab, School of Computer Science, University of Lincoln(林肯大学计算机科学学院计算智能实验室);Lincoln Centre for Autonomous Systems, University of Lincoln(林肯大学林肯自治系统中心)
运动感知是决定昆虫生活的各个方面的关键能力,包括躲避捕食者,觅食等。在昆虫的视觉通路中已经发现了大量的运动探测器。这些运动检测器的计算建模不仅为人工智能提供了有效的解决方案,而且有利于理解复杂的生物视觉系统。这些生物机制经过数百万年的进化发展,将形成坚实的模块,为未来的智能机器构建动态视觉系统。本文综述了近年来在昆虫视觉系统生物学研究中提出的运动感知计算模型。这些运动感知模型或神经网络包括蝗虫的小叶巨运动检测器(LGMD)的隐显敏感神经元模型、果蝇、蜜蜂和蝗虫的方向选择神经元(DSN)的平移敏感神经系统以及蜻蜓和悬停蝇的小目标运动检测器(STMD)。我们还回顾了这些模型在机器人和车辆中的应用。通过这些建模研究,我们总结的方法,产生不同的方向和大小的选择性运动感知。最后,我们讨论了这些仿生运动感知模型的多系统集成和硬件实现。
2019-04-03 cs.CV q-bio.NC
Visual Perception and Modelling in Unstructured Orchard for Apple Harvesting Robots
视觉感知和建模是非结构化果园机器人采摘的基本任务。本文开发了一个框架的视觉感知和建模的机器人收获水果的果园环境。开发的框架包括视觉感知,场景映射,水果建模。视觉感知模块利用深度学习模型在工作场景中执行多用途视觉感知任务;场景映射模块应用CIMap来表示环境中的多类对象或元素;水果建模模块估计对象的几何属性并估计每个水果的正确访问姿势。开发的框架在苹果园实施和评估。实验结果表明,视觉感知和建模算法可以准确地检测和定位水果,并在真实的果园环境中建模的工作场景。视觉感知模块联合对水果检测和分割的$F_{1}$评分和平均交集分别为0.833和0.852。在中心定位和姿态估计方面的水果建模的准确度分别为0.955和0.923。总体而言,本文提出了一种准确的视觉感知和建模算法。
2019-12-29 cs.CV
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University(同济大学)
人车协同驾驶技术减轻了人类驾驶员的工作负担,已成为自动驾驶的关键技术。然而,复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力,提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法,将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明,合作视觉感知能更准确地反映冲突最危险区域,预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法,为规划和控制提供准确的数据。
2022-04-21 cs.CV
PerceptionGPT: Effectively Fusing Visual Perception into LLM
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
PerceptionGPT通过将LLM令牌嵌入作为空间信息载体,结合轻量级视觉编码器与解码器,实现端到端视觉感知,以更少参数和数据高效完成检测、分割等任务。
2023-11-11 cs.CL cs.CV
Introducing Visual Perception Token into Multimodal Large Language Model
National University of Singapore(新加坡国立大学)
提出视觉感知令牌机制,赋予多模态大语言模型自主控制视觉感知的能力,通过区域选择令牌和视觉重编码令牌提升空间推理与细粒度理解,平均性能提升23.6%。
2025-02-24 cs.CV cs.LG
RayFusion: Ray Fusion Enhanced Collaborative Visual Perception
Zhejiang University(浙江大学);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所)
针对相机协同感知缺乏深度信息导致预测不准的问题,提出基于射线占用融合的RayFusion方法,减少冗余与误检,显著提升3D检测性能。
2025-10-09 cs.CV
Predicting city safety perception based on visual image content
Universidad Nacional de Colombia - UnSecureLab Research Group(哥伦比亚国立大学 - UnSecureLab研究组);Universidad Nacional de Colombia(哥伦比亚国立大学)
安全感知测量已经成为世界上许多城市感兴趣的主题。这是因为它的社会相关性,以及它对一些地方经济活动的影响。尽管人们的安全感是一个主观的话题,但有时在有限的地理和社会文化背景下,还是有可能找到共同的模式。本文提出了一种方法,利用图像处理和机器学习技术,以高精度检测城市环境模式,可能会影响市民的安全感知。
2019-02-19 cs.CV
PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models
Moonshot AI(登月人工智能)
介绍用于评估多模态大语言模型原子视觉感知能力的PerceptionBench基准,通过自下而上方法构建错误分类法及相关问题,测试16个前沿模型,发现原子感知待解决,该基准为衡量MLLM视觉感知边界提供标准。
2026-07-29 cs.CV
Convolutional Visual Prompt for Robust Visual Perception
Columbia University(哥伦比亚大学)
提出卷积视觉提示(CVP)方法,通过结构化设计减少可训练参数至标准提示的1%以下,实现无标签测试时适应,有效对抗过拟合并提升大规模模型在OOD任务上的鲁棒性达5.87%。
2023-10-26 cs.CV cs.LG
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University(莫纳什大学)
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题,研究用前沿人体感知跟踪模型优化Pepper机器人视觉,通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
MVP-Bench: Can Large Vision--Language Models Conduct Multi-level Visual Perception Like Humans?
National University of Singapore(新加坡国立大学)
本研究推出首个评估大型视觉-语言模型多层次视觉感知的基准MVP-Bench,通过自然与合成图像测试12款LVLM,发现现有模型高层级感知能力薄弱,且对合成图像语义理解的泛化性不足。
2024-10-06 cs.AI cs.CV
VisionReasoner: Unified Reasoning-Integrated Visual Perception via Reinforcement Learning
CUHK(香港中文大学);SmartMore(SmartMore公司);HKUST(香港理工大学)
VisionReasoner通过强化学习实现统一的推理集成视觉感知,其在检测、分割和计数任务中均取得优于基线模型的性能。
2026-02-08 cs.CV
Bridging Visual Perception with Contextual Semantics for Understanding Robot Manipulation Tasks
University of Alberta(阿尔伯塔大学)
理解操作场景允许智能机器人计划适当的动作以成功完成操作任务。智能机器人必须通过对实体、关系和属性的结构化描述来对操作知识进行语义解释。在本文中,我们提出了一个实现框架,以产生高层次的概念动态知识图谱从视频剪辑。结合视觉语言模型和本体系统,结合视觉感知和上下文语义,用语义-关系-实体(E-R-E)和语义-属性-值(E-A-V)元组表示机器人操作知识。所提出的方法是灵活和熟练的。使用该框架,我们提出了一个案例研究,机器人在厨房环境中执行操作动作,桥接视觉感知与上下文语义使用生成的动态知识图谱。
2020-07-26 cs.CV
Graphical Perception of Saliency-based Model Explanations
Vanderbilt University(范德堡大学)
本文通过对齐评估实验考察可视化设计、对齐类型和显著性图质量如何影响人类对视觉识别模型显著性解释的感知。
2024-06-11 cs.CV
Unifying Visual Perception by Dispersible Points Learning
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院)
我们提出了一种概念简单、灵活和通用的视觉感知头,用于不同的视觉任务,例如,分类、目标检测、实例分割和姿态估计,以及不同的框架,例如一级或二级流水线。我们的方法有效地识别图像中的对象,同时生成高质量的限界框或基于轮廓的分割掩模或关键点集。该方法称为UniHead,通过Transformer编码器架构将不同的视觉感知任务视为分散点学习。给定一个固定的空间坐标,UniHead自适应地将其分散到不同的空间点,并通过Transformer编码器推理它们之间的关系。它直接以多个点的形式输出最终的一组预测,让我们可以在不同的框架中用相同的头部设计执行不同的视觉任务。我们对ImageNet分类和COCO挑战套件的所有三个轨道进行了广泛的评估,包括目标检测,实例分割和姿态估计。UniHead可以通过一个单一的视觉头设计来统一这些视觉任务,并且与为每个任务开发的专家模型相比,可以实现相当的性能。我们希望我们简单而通用的UniHead可以作为一个坚实的基线,并有助于促进普遍的视觉感知研究。代码和模型可在https://github.com/Sense-X/UniHead上获得。
2022-09-12 cs.CV
The Heart of an Image: Quantum Superposition and Entanglement in Visual Perception
KASK and Conservatory(卡斯克艺术学院与音乐学院)
我们分析了“整体大于部分之和”这一原则如何通过视觉现象来体现。在这项研究中,我们使用了来自量子认知的见解和技术,更具体地说,我们受到了这一原理与人类认知中的合取效应现象的对应关系的启发。我们确定实体的意义内的人工制品的视觉感知和依赖于这些实体是如何建模的语料库的文本,如万维网的网页,我们的研究,他们如何出现在现象的视觉感知。我们具体识别了视觉伪像中的连接效应,并以一张照片为例分析了它的结构。我们还分析了在视觉感知的人工制品的意义的不同方面之间的量子纠缠。我们确认它的存在表明,精心挑选的实验图像检索相应的谷歌图像产生的概率和期望值违反Clauser霍恩Shimony霍尔特版本的贝尔不等式。我们指出,这种方法可以导致一个数学描述的意义内容的视觉人工制品,如照片。
2018-01-31 cs.CV quant-ph
The Shape of Sight: A Homological Framework for Unifying Visual Perception
Department of Computer Science, University at Albany(计算机科学系,阿尔巴尼大学)
本文提出基于同调框架的视觉感知模型,通过偶维和奇维同调结构区分静态支架与动态流动,统一解决视觉感知的核心问题。
2025-11-22 cs.CV
Surround-View Cameras based Holistic Visual Perception for Automated Driving
TECHNISCHE UNIVERSITÄT ILMENAU(伊尔梅瑙工业大学)
眼睛的形成导致了进化的大爆炸。这种动力学从原始生物等待食物接触到吃的食物被视觉传感器所寻找。人类的眼睛是进化过程中最复杂的发展之一,但它仍然有缺陷。人类已经进化出了一种生物感知算法,能够驾驶汽车,操作机器,驾驶飞机和导航船舶数百万年。自动化计算机的这些功能对于各种应用至关重要,包括自动驾驶汽车,增强现实和建筑测量。自动驾驶汽车背景下的近场视觉感知可以感知车辆周围$0-10$米范围内的环境,并实现360°覆盖。它是开发更安全的自动驾驶的关键决策组件。计算机视觉和深度学习的最新进展,结合相机和激光雷达等高质量传感器,推动了成熟的视觉感知解决方案。到目前为止,远场感知一直是主要焦点。另一个重要问题是可用于开发实时应用程序的有限处理能力。由于这个瓶颈,经常需要在性能和运行时效率之间进行权衡。我们集中在以下问题,以解决这些问题:1)开发高性能和低计算复杂性的近场感知算法的各种视觉感知任务,如几何和语义任务,使用卷积神经网络。2)使用多任务学习,通过在任务之间共享初始卷积层并开发平衡任务的优化策略来克服计算瓶颈。
2022-06-11 cs.CV
MR-MLLM: Mutual Reinforcement of Multimodal Comprehension and Vision Perception
School of Computer Science, Peking University(北京大学计算机学院);Shanghai AI Lab(上海人工智能实验室)
针对多模态大语言模型细粒度视觉理解弱、视觉感知模型易受开放世界分布偏移影响的问题,提出MR-MLLM框架,通过三类机制协同增强两类能力,在相关任务上取得更优表现。
2024-06-22 cs.CV
A Study on Visual Perception of Light Field Content
Trinity College Dublin(都柏林圣三一学院)
视觉计算系统的有效设计在很大程度上依赖于视觉注意的预期,或显着性。虽然传统的2D图像和视频的视觉注意力得到了很好的研究,但它仍然是新兴的沉浸式媒体的一个非常活跃的研究领域。特别是,光场(由相机或微透镜的网格捕获的场景的光线)的视觉注意力最近才成为研究的焦点。由于它们可以以各种方式被渲染和消费,因此出现的主要挑战是光场内容的视觉感知应该是什么的定义。在这项工作中,我们提出了一个视觉注意的光场内容的研究。我们进行了感知实验,以各种方式向用户展示它们,并收集相应的视觉注意数据。我们的分析突出了光场成像应用中的用户行为特征。本文提供了光场数据集和注意力数据。
2020-08-07 cs.CV eess.IV
Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs
Microsoft Research India(微软印度研究院)
该研究提出‘你看见我’基准,评估多模态大语言模型的视觉感知能力,发现其在复杂任务中表现远低于人类。
2025-12-10 cs.CV
Comparative Analysis Of Color Models For Human Perception And Visual Color Difference
School of Information Technology and Engineering(信息技术与工程学院);Kazakh-British Technical University(哈萨克斯坦-英国技术大学)
本文对比分析了RGB、HSV、HSL、XYZ、CIELAB和CIELUV等颜色模型在准确反映视觉色差和主色调提取方面与人类视觉感知的契合度,为图像处理和数字设计等应用提供了参考。
2024-06-27 cs.CV
Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);iFLYTEK AI Research(iFLYTEK人工智能研究院);Hong Kong University of Science and Technology(香港科学与技术大学)
Perception-R1通过引入视觉感知奖励提升多模态大语言模型的多模态推理能力
2026-03-03 cs.AI cs.CV cs.LG
Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"
Microsoft Applied Sciences Group (ASG)(微软应用科学集团);Microsoft Research AI(微软人工智能研究院)
视觉推理任务,如视觉问答(VQA)需要一个相互作用的视觉感知与推理的问题语义的基础上的看法。然而,这一领域的最新进展仍然主要由感知改进(例如场景图生成)而不是推理驱动。神经模块网络等神经符号模型为VQA带来了组合推理的好处,但它们仍然与视觉表示学习纠缠在一起,因此神经推理很难自行改进和评估。为了解决这个问题,我们提出了(1)一个框架,以隔离和评估VQA的推理方面独立于其感知,(2)一种新的自上而下的校准技术,允许模型回答推理问题,即使有不完美的感知。为此,我们引入了一个可微的一阶逻辑形式主义的VQA,明确地从视觉感知的问答。在具有挑战性的GQA数据集上,该框架用于在知名的VQA模型之间进行深入的、分解的比较,从而获得有关参与模型和任务的信息性见解。
2020-08-25 cs.AI cs.CV cs.LG
LOCUS: Local Visual Cue Search for Enhancing Fine-Grained Perception in Multimodal Large Language Models
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
提出LOCUS训练框架,通过可验证的局部线索搜索代理任务,使MLLM内化细粒度证据选择,提升定位敏感视觉理解而不改变推理接口。
2026-07-30 cs.CV
Replaying the Movie in Your Mind Decoding Dynamic Visual Perception and Recall from EEG
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
该研究推出PAIR脑电基准数据集,通过对比感知与回忆的解码性能,揭示动态视觉场景内部回放时的神经表征特性。
2026-10-12 cs.CV
Artemis: Structured Visual Reasoning for Perception Policy Learning
NJUST IMAG(南京理工大学图像所);YZU(宜春大学);SUTD IMPL(新加坡科技设计大学智能感知实验室);Adelaide AIML(阿德莱德人工智能实验室);Data61;CSIRO(澳大利亚联邦科学与工业研究组织);ZJU(浙江大学);UNSW Sydney(新南威尔士大学悉尼分校);SenseTime Research(商汤科技研究院)
提出Artemis方法,通过结构化视觉推理(中间步骤表示为(标签,边界框)对)替代语言推理,提升视觉感知策略的性能,并统一处理多种感知任务。
2026-05-27 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications(北京邮电大学)
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中,我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节,以及一些实验结果。在比赛中,我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving
Zhejiang University(浙江大学);Intelligent Learning(智能学习);Sichuan University(四川大学);Tsinghua University(清华大学)
CogFlow通过知识内化连接感知与推理,提升视觉数学问题解决能力。
2026-02-24 cs.AI cs.CV
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences(中国科学院)
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力,以更好地识别。采用长短期记忆递归神经网络(LSTM-RNN)作为主要的分类结构。首先,软注意力机制对齐音频和视频流。其次,添加7个情感嵌入向量,这是对应于每一个分类的情感类型,定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明,本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所)
提出DiCoBench,一个包含765个样本的高分辨率多图像基准,通过差异性和共性视觉线索评估多模态大模型的细粒度感知能力,发现顶尖模型与人类准确率(98.3%)差距显著。
2026-06-26 cs.CV
Illusions in Humans and AI: How Visual Perception Aligns and Diverges
本文通过比较人类与AI对视觉错觉的反应,揭示二者感知机制的对齐差距及AI特有的像素级敏感性和幻觉等脆弱性,为构建更稳健且与人类对齐的视觉系统提供依据。
2025-08-17 cs.CV
CodePercept: Code-Grounded Visual STEM Perception for MLLMs
MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University(人工智能大模型重点实验室,人工智能学院,计算机科学学院,上海交通大学);Qwen Team(通义实验室);Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学);Zhejiang University(浙江大学)
本文发现多模态大模型在STEM视觉推理中感知能力是瓶颈,提出通过代码作为感知媒介,构建ICC-1M数据集和STEM2Code-Eval基准来增强和评估感知能力。
2026-06-23 cs.CV
From Attenuation to Attention: Variational Information Flow Manipulation for Fine-Grained Visual Perception
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院(ICT/CAS));State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(人工智能安全国家重点实验室,计算技术研究所,中国科学院(ICT/CAS));University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出变分信息流框架,通过建模问题-答案对相关的视觉显著性作为潜在分布,解决多模态大语言模型在细粒度感知任务中的信息衰减问题,提升模型表现。
2026-04-14 cs.CV
Active Visual Perception: Opportunities and Challenges
College of Computer Science and Engineering, Guilin University of Technology(桂林理工大学计算机科学与工程学院);New Engineering Industry College, Putian University(莆田大学新工程产业学院)
本文探讨了主动视觉感知在复杂环境中的应用与挑战,分析了其在机器人、自动驾驶等领域的潜力及面临的实时处理与多模态整合问题。
2026-10-16 cs.CV
VisAlign: Dataset for Measuring the Degree of Alignment between AI and Humans in Visual Perception
KAIST(韩国科学技术院);Seoul National University Bundang Hospital(首尔国立大学盆唐医院);Seoul National University(首尔国立大学);MIT(麻省理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);Kangwon National University Hospital(江原国立大学医院)
本文提出VisAlign数据集,通过包含必须行动、必须弃权和不确定三类样本及标准人类标签,测量AI与人类在图像分类任务上的视觉感知对齐程度,并评估了五种视觉模型和七种弃权方法的对齐性与可靠性。
2023-10-20 cs.CV
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals
Microsoft Research Asia(微软亚洲研究院)
针对EEG噪声大、时序动态且难解码的问题,本文提出NeuroImagen流水线,通过多层级感知信息解码和潜在扩散模型,从便携脑电信号重建高分辨率视觉刺激图像。
2023-08-16 cs.AI cs.CV cs.MM
VideoChat-R1.5: Visual Test-Time Scaling to Reinforce Multimodal Reasoning by Iterative Perception
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究所)
本文提出视觉测试时扩展(VTTS)方法,通过迭代感知机制在推理时逐步聚焦高置信度时空区域,并配以VTTS-80K数据集,使VideoChat-R1.5模型在15+基准上平均提升超5%。
2025-09-25 cs.CV
Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis
Amazon.com, Inc.(亚马逊公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文在HCI、心理学和认知科学背景下,以视觉感知为案例,提出无标注分析框架评估多模态大语言模型作为认知助手的效用,为量化其可解释性及应用于提升人类推理、揭示数据偏差奠定基础。
2025-04-16 cs.AI cs.CV cs.HC
Multi-Modal Perception Attention Network with Self-Supervised Learning for Audio-Visual Speaker Tracking
Key Laboratory of Machine Perception, Peking University, Shenzhen Graduate School(北京大学深圳研究生院机器感知重点实验室);Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
多模态融合被证明是提高说话人跟踪准确性和鲁棒性的有效方法,特别是在复杂场景下。然而,如何将异构信息融合起来,充分利用多模态信号的互补性,仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的多模态感知跟踪器(MPT)的扬声器跟踪使用音频和视觉模态。具体而言,一种新的声学地图的基础上的时空全局相干场(stGCF)的异构信号融合,它采用摄像机模型映射到定位空间的音频线索与视觉线索一致。然后引入多模态感知注意力网络,推导出感知权重,用于度量受噪声干扰的间歇性音频和视频流的可靠性和有效性。此外,一个独特的跨模态自监督学习方法,提出了利用不同模态之间的互补性和一致性来建模的音频和视频观察的信心。实验结果表明,该算法在标准和遮挡数据集上的跟踪准确率分别达到98.6%和78.3%,表明了该算法在恶劣条件下的鲁棒性,优于现有方法.
2021-12-14 cs.CV
Evaluating Graphical Perception Capabilities of Vision Transformers
Viscom Group, Institute of Media Informatics, Ulm University(Viscom集团,媒体信息学研究所,乌尔姆大学);ViRVIG Group, Universitat Politècnica de Catalunya - BarcelonaTech(ViRVIG集团,巴塞罗那技术大学-加泰罗尼亚理工大学);Ulm University(乌尔姆大学)
本研究评估了视觉变换器在图形感知任务中的表现,发现其在可视化领域的人类样感知能力有限,揭示了应用中的关键感知差距。
2026-02-20 cs.CV
ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
本文提出ArmorOCR两阶段训练框架,结合OPSD与GRPO,推出含390幅图像的AdvSpot基准,可提升对抗性OCR感知能力并保留通用OCR性能
2026-08-21 cs.CV
Adversarial Attacks on Multi-task Visual Perception for Autonomous Driving
Valeo R&D Egypt(法雷奥研发埃及);Valeo DAR Germany(法雷奥DAR德国);Technische Universität Ilmenau(伊尔梅瑙工业大学);Valeo Ireland(法雷奥爱尔兰)
近年来,深度神经网络(DNN)在各种应用中取得了令人印象深刻的成功,包括自动驾驶感知任务。另一方面,当前的深度神经网络很容易被对抗攻击愚弄。此漏洞引起了严重的关注,特别是在安全关键型应用程序中。因此,攻击和防御DNN的研究已经得到了很多报道。在这项工作中,详细的对抗攻击被应用于距离估计、语义分割、运动检测和目标检测等多种多任务视觉感知深度网络。实验考虑了针对目标和非目标情况的白盒和黑盒攻击,同时攻击一个任务并检查对所有其他任务的影响,以及检查应用简单防御方法的效果。最后,我们通过比较和讨论的实验结果,提出见解和未来的工作本文。攻击的可视化可在https://youtu.be/6AixN90budY上获得。
2021-11-07 cs.CV
Efficient Egocentric Visual Perception Combining Eye-tracking, a Software Retina and Deep Learning
University of Glasgow(格拉斯哥大学)
我们目前正在进行的工作,利用生物学方法来实现高效的自我中心的感知相结合的空间变化的成像架构的哺乳动物视网膜与深度学习方法。通过预处理通过眼动追踪眼镜收集的图像来控制软件视网膜模型的固定位置,我们证明了我们可以将DCNN的输入减少3倍,减少所需的训练次数,并在9个对象类的26,000多幅图像的数据库上训练和验证系统时获得超过98%的分类率。
2018-09-05 cs.CV
Embodied Learning for Lifelong Visual Perception
Lund University(隆德大学);RISE Research Institutes of Sweden(瑞典RISE研究院);Google Research(谷歌研究院)
我们在一个具体的设置中研究终身视觉感知,在那里我们开发新的模型,并比较在建筑物中导航的各种代理,偶尔请求注释,这些注释反过来又被用来完善他们的视觉感知能力。智能体的目的是在结合探索和主动视觉学习的过程结束时识别整个建筑中的对象和其他语义类。当我们在终身学习的背景下研究这项任务时,智能体应该使用在以前访问过的环境中获得的知识,以指导他们在连续访问过的建筑物中的探索和主动学习策略。我们使用语义分割性能作为一般视觉感知的代理,并研究了几种探索和注释方法,从使用启发式主动学习的前沿探索基线到完全可学习的方法。对于后者,我们引入了一个基于深度强化学习(RL)的智能体,它可以联合学习导航和主动学习。一个点的目标导航制定,再加上一个全球性的计划,供应的目标,被集成到RL模型,以提供进一步的激励系统的探索新的场景。通过在Matterport3D数据集上进行广泛的实验,我们展示了所提出的代理如何在探索新场景时利用先前探索过的场景中的知识,例如,通过粒度较小的探索和不太频繁的注释请求。结果还表明,基于学习的代理能够更有效地利用其先验视觉知识比启发式的替代品。
2021-12-28 cs.CV
KG-ViP: Bridging Knowledge Grounding and Visual Perception in Multi-modal LLMs for Visual Question Answering
University of Science and Technology of China(中国科学技术大学);Data Darkness Lab, MIRACLE Center, USTC(数据黑暗实验室,MIRACLE中心,中国科学技术大学);School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院)
提出KG-ViP框架,通过检索与融合场景图和常识图,统一外部知识与细粒度视觉细节,缓解多模态大语言模型在视觉问答中的知识幻觉和视觉感知不足问题。
2026-05-27 cs.CV
Starve to Perceive: Taming Lazy Perception in VLMs with Constrained Visual Bandwidth
Hong Kong University of Science and Technology(香港科学与技术大学);Technology University of Waterloo(滑铁卢大学)
本文提出了一种新的训练方法,通过限制视觉带宽迫使视觉语言模型主动感知,从而提升其在高分辨率视觉环境中的表现。
2026-07-07 cs.CV
Do VLMs Perceive or Recall? Probing Visual Perception vs. Memory with Classic Visual Illusions
Stanford University(斯坦福大学);University of Strasbourg(斯特拉斯堡大学);Technical University of Munich(慕尼黑工业大学)
本文通过经典视觉错觉研究视觉语言模型的感知与记忆机制,提出VI-Probe框架,揭示不同模型对视觉变化的响应来源,挑战单一原因观点。
2026-03-31 cs.CV
Align and Surpass Human Camouflaged Perception: Visual Refocus Reinforcement Fine-Tuning
Technische Universität München(慕尼黑技术大学);ByteDance(字节跳动);Zhejiang University(浙江大学);Australian National University(澳大利亚国立大学)
本文提出视觉重聚焦强化微调框架,通过策略优化使多模态模型在回答前逐步重聚焦,以对齐并超越人类伪装感知,实验显示在伪装物体分类与检测上优于SFT基线。
2025-05-26 cs.AI cs.CV
Visual Bridge: Universal Visual Perception Representations Generating
针对扩散模型“单任务单模型”范式限制多任务泛化性的问题,提出基于流匹配的通用视觉感知框架Visual Bridge,以图像补丁令牌到任务特定表示的通用流匹配统一任务,在多任务中取得优效,推动通用视觉建模。
2025-11-11 cs.CV
Visual Perception Model for Rapid and Adaptive Low-light Image Enhancement
Yunnan University(云南大学);Peking University(北京大学);Wuhan University(武汉大学);Tsinghua University(清华大学)
弱光图像增强是解决弱光环境下人类视觉系统(HVS)感知信息灵敏度不足的一种有效方法。以往的基于Retinex的图像增强方法都是通过估计光照强度来完成增强任务。然而,单一光强模型难以准确模拟视觉感知信息,导致视觉光敏性不平衡和适应性弱的问题。为了解决这些问题,我们探索了光源与视觉感知之间的精确关系,并提出了视觉感知模型(VP),以获得视觉感知的精确数学描述。VP模型的核心是将光源分解为光强和光的空间分布来描述人眼视觉系统的感知过程,提供光照度和反射率的精细估计。为了降低估计过程的复杂性,我们引入了快速和自适应的$\mathbfβ$和$\mathbfγ$函数来构建照明和反射率估计方案。最后,我们提出了一个最佳的确定策略,包括一个\emph{cycle operation}和一个\emph{comparator}。具体地,\emph{comparator}负责通过实现\emph{cycle operation}从多个增强结果中确定最优增强结果。通过协调所提出的VP模型,光照和反射率估计方案,以及最佳的确定策略,我们提出了一个快速和自适应的框架,用于低光图像增强。大量的实验结果表明,该方法取得了更好的性能,在视觉比较,定量评估,和计算效率,与目前的国家的艺术相比。
2020-05-15 cs.CV eess.IV
VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
Tsinghua University(清华大学);Tencent Youtu Lab(腾讯优图实验室);Nanjing University(南京大学)
VIVAS通过统一标记空间和密集结构语义视觉分词器,在预训练中对视觉与语言内容进行统一自回归监督,以增强细粒度视觉感知,在12.4T标记上训练后于7项任务和39个多模态基准上达到最先进性能。
2026-09-24 cs.CV