PerceptionGPT: Effectively Fusing Visual Perception into LLM
The Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）
PerceptionGPT通过将LLM令牌嵌入作为空间信息载体，结合轻量级视觉编码器与解码器，实现端到端视觉感知，以更少参数和数据高效完成检测、分割等任务。
2023-11-11 cs.CL cs.CV
Introducing Visual Perception Token into Multimodal Large Language Model
National University of Singapore（新加坡国立大学）
提出视觉感知令牌机制，赋予多模态大语言模型自主控制视觉感知的能力，通过区域选择令牌和视觉重编码令牌提升空间推理与细粒度理解，平均性能提升23.6%。
2025-02-24 cs.CV cs.LG
RayFusion: Ray Fusion Enhanced Collaborative Visual Perception
Zhejiang University（浙江大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）
针对相机协同感知缺乏深度信息导致预测不准的问题，提出基于射线占用融合的RayFusion方法，减少冗余与误检，显著提升3D检测性能。
2025-10-09 cs.CV
PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models
Moonshot AI（登月人工智能）
介绍用于评估多模态大语言模型原子视觉感知能力的PerceptionBench基准，通过自下而上方法构建错误分类法及相关问题，测试16个前沿模型，发现原子感知待解决，该基准为衡量MLLM视觉感知边界提供标准。
2026-07-29 cs.CV
Convolutional Visual Prompt for Robust Visual Perception
Columbia University（哥伦比亚大学）
提出卷积视觉提示（CVP）方法，通过结构化设计减少可训练参数至标准提示的1%以下，实现无标签测试时适应，有效对抗过拟合并提升大规模模型在OOD任务上的鲁棒性达5.87%。
2023-10-26 cs.CV cs.LG
Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University（莫纳什大学）
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题，研究用前沿人体感知跟踪模型优化Pepper机器人视觉，通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
VisionReasoner: Unified Reasoning-Integrated Visual Perception via Reinforcement Learning
CUHK（香港中文大学）；SmartMore（SmartMore公司）；HKUST（香港理工大学）
VisionReasoner通过强化学习实现统一的推理集成视觉感知，其在检测、分割和计数任务中均取得优于基线模型的性能。
2026-02-08 cs.CV
Bridging Visual Perception with Contextual Semantics for Understanding Robot Manipulation Tasks
University of Alberta（阿尔伯塔大学）
理解操作场景允许智能机器人计划适当的动作以成功完成操作任务。智能机器人必须通过对实体、关系和属性的结构化描述来对操作知识进行语义解释。在本文中，我们提出了一个实现框架，以产生高层次的概念动态知识图谱从视频剪辑。结合视觉语言模型和本体系统，结合视觉感知和上下文语义，用语义-关系-实体（E-R-E）和语义-属性-值（E-A-V）元组表示机器人操作知识。所提出的方法是灵活和熟练的。使用该框架，我们提出了一个案例研究，机器人在厨房环境中执行操作动作，桥接视觉感知与上下文语义使用生成的动态知识图谱。
2020-07-26 cs.CV
MVP-Bench: Can Large Vision--Language Models Conduct Multi-level Visual Perception Like Humans?
National University of Singapore（新加坡国立大学）
本研究推出首个评估大型视觉-语言模型多层次视觉感知的基准MVP-Bench，通过自然与合成图像测试12款LVLM，发现现有模型高层级感知能力薄弱，且对合成图像语义理解的泛化性不足。
2024-10-06 cs.AI cs.CV
Unifying Visual Perception by Dispersible Points Learning
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）
我们提出了一种概念简单、灵活和通用的视觉感知头，用于不同的视觉任务，例如，分类、目标检测、实例分割和姿态估计，以及不同的框架，例如一级或二级流水线。我们的方法有效地识别图像中的对象，同时生成高质量的限界框或基于轮廓的分割掩模或关键点集。该方法称为UniHead，通过Transformer编码器架构将不同的视觉感知任务视为分散点学习。给定一个固定的空间坐标，UniHead自适应地将其分散到不同的空间点，并通过Transformer编码器推理它们之间的关系。它直接以多个点的形式输出最终的一组预测，让我们可以在不同的框架中用相同的头部设计执行不同的视觉任务。我们对ImageNet分类和COCO挑战套件的所有三个轨道进行了广泛的评估，包括目标检测，实例分割和姿态估计。UniHead可以通过一个单一的视觉头设计来统一这些视觉任务，并且与为每个任务开发的专家模型相比，可以实现相当的性能。我们希望我们简单而通用的UniHead可以作为一个坚实的基线，并有助于促进普遍的视觉感知研究。代码和模型可在https://github.com/Sense-X/UniHead上获得。
2022-09-12 cs.CV
The Shape of Sight: A Homological Framework for Unifying Visual Perception
Department of Computer Science, University at Albany（计算机科学系，阿尔巴尼大学）
本文提出基于同调框架的视觉感知模型，通过偶维和奇维同调结构区分静态支架与动态流动，统一解决视觉感知的核心问题。
2025-11-22 cs.CV
Surround-View Cameras based Holistic Visual Perception for Automated Driving
TECHNISCHE UNIVERSITÄT ILMENAU（伊尔梅瑙工业大学）
眼睛的形成导致了进化的大爆炸。这种动力学从原始生物等待食物接触到吃的食物被视觉传感器所寻找。人类的眼睛是进化过程中最复杂的发展之一，但它仍然有缺陷。人类已经进化出了一种生物感知算法，能够驾驶汽车，操作机器，驾驶飞机和导航船舶数百万年。自动化计算机的这些功能对于各种应用至关重要，包括自动驾驶汽车，增强现实和建筑测量。自动驾驶汽车背景下的近场视觉感知可以感知车辆周围$0-10$米范围内的环境，并实现360°覆盖。它是开发更安全的自动驾驶的关键决策组件。计算机视觉和深度学习的最新进展，结合相机和激光雷达等高质量传感器，推动了成熟的视觉感知解决方案。到目前为止，远场感知一直是主要焦点。另一个重要问题是可用于开发实时应用程序的有限处理能力。由于这个瓶颈，经常需要在性能和运行时效率之间进行权衡。我们集中在以下问题，以解决这些问题：1）开发高性能和低计算复杂性的近场感知算法的各种视觉感知任务，如几何和语义任务，使用卷积神经网络。2)使用多任务学习，通过在任务之间共享初始卷积层并开发平衡任务的优化策略来克服计算瓶颈。
2022-06-11 cs.CV
MR-MLLM: Mutual Reinforcement of Multimodal Comprehension and Vision Perception
School of Computer Science, Peking University（北京大学计算机学院）；Shanghai AI Lab（上海人工智能实验室）
针对多模态大语言模型细粒度视觉理解弱、视觉感知模型易受开放世界分布偏移影响的问题，提出MR-MLLM框架，通过三类机制协同增强两类能力，在相关任务上取得更优表现。
2024-06-22 cs.CV
Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs
Microsoft Research India（微软印度研究院）
该研究提出‘你看见我’基准，评估多模态大语言模型的视觉感知能力，发现其在复杂任务中表现远低于人类。
2025-12-10 cs.CV
The Heart of an Image: Quantum Superposition and Entanglement in Visual Perception
KASK and Conservatory（卡斯克艺术学院与音乐学院）
我们分析了“整体大于部分之和”这一原则如何通过视觉现象来体现。在这项研究中，我们使用了来自量子认知的见解和技术，更具体地说，我们受到了这一原理与人类认知中的合取效应现象的对应关系的启发。我们确定实体的意义内的人工制品的视觉感知和依赖于这些实体是如何建模的语料库的文本，如万维网的网页，我们的研究，他们如何出现在现象的视觉感知。我们具体识别了视觉伪像中的连接效应，并以一张照片为例分析了它的结构。我们还分析了在视觉感知的人工制品的意义的不同方面之间的量子纠缠。我们确认它的存在表明，精心挑选的实验图像检索相应的谷歌图像产生的概率和期望值违反Clauser霍恩Shimony霍尔特版本的贝尔不等式。我们指出，这种方法可以导致一个数学描述的意义内容的视觉人工制品，如照片。
2018-01-31 cs.CV quant-ph
Comparative Analysis Of Color Models For Human Perception And Visual Color Difference
School of Information Technology and Engineering（信息技术与工程学院）；Kazakh-British Technical University（哈萨克斯坦-英国技术大学）
本文对比分析了RGB、HSV、HSL、XYZ、CIELAB和CIELUV等颜色模型在准确反映视觉色差和主色调提取方面与人类视觉感知的契合度，为图像处理和数字设计等应用提供了参考。
2024-06-27 cs.CV
LOCUS: Local Visual Cue Search for Enhancing Fine-Grained Perception in Multimodal Large Language Models
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出LOCUS训练框架，通过可验证的局部线索搜索代理任务，使MLLM内化细粒度证据选择，提升定位敏感视觉理解而不改变推理接口。
2026-07-30 cs.CV
Replaying the Movie in Your Mind Decoding Dynamic Visual Perception and Recall from EEG
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
该研究推出PAIR脑电基准数据集，通过对比感知与回忆的解码性能，揭示动态视觉场景内部回放时的神经表征特性。
2026-10-12 cs.CV
Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；iFLYTEK AI Research（iFLYTEK人工智能研究院）；Hong Kong University of Science and Technology（香港科学与技术大学）
Perception-R1通过引入视觉感知奖励提升多模态大语言模型的多模态推理能力
2026-03-03 cs.AI cs.CV cs.LG
Artemis: Structured Visual Reasoning for Perception Policy Learning
NJUST IMAG（南京理工大学图像所）；YZU（宜春大学）；SUTD IMPL（新加坡科技设计大学智能感知实验室）；Adelaide AIML（阿德莱德人工智能实验室）；Data61；CSIRO（澳大利亚联邦科学与工业研究组织）；ZJU（浙江大学）；UNSW Sydney（新南威尔士大学悉尼分校）；SenseTime Research（商汤科技研究院）
提出Artemis方法，通过结构化视觉推理（中间步骤表示为（标签，边界框）对）替代语言推理，提升视觉感知策略的性能，并统一处理多种感知任务。
2026-05-27 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications（北京邮电大学）
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中，我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节，以及一些实验结果。在比赛中，我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
提出DiCoBench，一个包含765个样本的高分辨率多图像基准，通过差异性和共性视觉线索评估多模态大模型的细粒度感知能力，发现顶尖模型与人类准确率（98.3%）差距显著。
2026-06-26 cs.CV
Illusions in Humans and AI: How Visual Perception Aligns and Diverges
本文通过比较人类与AI对视觉错觉的反应，揭示二者感知机制的对齐差距及AI特有的像素级敏感性和幻觉等脆弱性，为构建更稳健且与人类对齐的视觉系统提供依据。
2025-08-17 cs.CV
CodePercept: Code-Grounded Visual STEM Perception for MLLMs
MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能大模型重点实验室，人工智能学院，计算机科学学院，上海交通大学）；Qwen Team（通义实验室）；Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
本文发现多模态大模型在STEM视觉推理中感知能力是瓶颈，提出通过代码作为感知媒介，构建ICC-1M数据集和STEM2Code-Eval基准来增强和评估感知能力。
2026-06-23 cs.CV
From Attenuation to Attention: Variational Information Flow Manipulation for Fine-Grained Visual Perception
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（智能信息处理重点实验室，计算技术研究所，中国科学院（ICT/CAS））；State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)（人工智能安全国家重点实验室，计算技术研究所，中国科学院（ICT/CAS））；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）
本文提出变分信息流框架，通过建模问题-答案对相关的视觉显著性作为潜在分布，解决多模态大语言模型在细粒度感知任务中的信息衰减问题，提升模型表现。
2026-04-14 cs.CV
CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving
Zhejiang University（浙江大学）；Intelligent Learning（智能学习）；Sichuan University（四川大学）；Tsinghua University（清华大学）
CogFlow通过知识内化连接感知与推理，提升视觉数学问题解决能力。
2026-02-24 cs.AI cs.CV
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences（中国科学院）
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力，以更好地识别。采用长短期记忆递归神经网络（LSTM-RNN）作为主要的分类结构。首先，软注意力机制对齐音频和视频流。其次，添加7个情感嵌入向量，这是对应于每一个分类的情感类型，定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明，本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
Active Visual Perception: Opportunities and Challenges
College of Computer Science and Engineering, Guilin University of Technology（桂林理工大学计算机科学与工程学院）；New Engineering Industry College, Putian University（莆田大学新工程产业学院）
本文探讨了主动视觉感知在复杂环境中的应用与挑战，分析了其在机器人、自动驾驶等领域的潜力及面临的实时处理与多模态整合问题。
2026-10-16 cs.CV
VisAlign: Dataset for Measuring the Degree of Alignment between AI and Humans in Visual Perception
KAIST（韩国科学技术院）；Seoul National University Bundang Hospital（首尔国立大学盆唐医院）；Seoul National University（首尔国立大学）；MIT（麻省理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Kangwon National University Hospital（江原国立大学医院）
本文提出VisAlign数据集，通过包含必须行动、必须弃权和不确定三类样本及标准人类标签，测量AI与人类在图像分类任务上的视觉感知对齐程度，并评估了五种视觉模型和七种弃权方法的对齐性与可靠性。
2023-10-20 cs.CV
VideoChat-R1.5: Visual Test-Time Scaling to Reinforce Multimodal Reasoning by Iterative Perception
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）
本文提出视觉测试时扩展（VTTS）方法，通过迭代感知机制在推理时逐步聚焦高置信度时空区域，并配以VTTS-80K数据集，使VideoChat-R1.5模型在15+基准上平均提升超5%。
2025-09-25 cs.CV
Vision and Language: from Visual Perception to Content Creation
JD AI Research（京东人工智能研究院）
视觉和语言是人类智能的两个基本能力。人类通常通过视觉和语言之间的相互作用来执行任务，这支持了人类独特的能力，即谈论他们所看到的东西或对自然语言描述产生幻觉。语言与视觉如何相互作用的问题促使我们研究者不断拓展计算机视觉的研究领域。特别是，“视觉到语言”可能是过去五年中最受欢迎的话题之一，出版物数量和广泛应用都有显着增长，例如，字幕、视觉问答、视觉对话、语言导航等。这些任务通过更全面的理解和多样化的语言表示来增强视觉感知。超越“视觉到语言”的进展，语言还可以促进视觉理解，并为视觉内容创造提供新的可能性，即，“语言到视觉。“这个过程就像一个棱镜，通过它来创建对语言输入的视觉内容调节。本文从“视觉到语言”和“语言到视觉”两个维度对近年来的研究进展进行了综述。“具体来说，前者主要集中在图像/视频描述的发展，以及典型的编码器-解码器结构和基准，而后者则总结了视觉内容创作的技术。并详细阐述了视觉和语言的实际部署或服务。
2019-12-26 cs.CV
Multi-Modal Perception Attention Network with Self-Supervised Learning for Audio-Visual Speaker Tracking
Key Laboratory of Machine Perception, Peking University, Shenzhen Graduate School（北京大学深圳研究生院机器感知重点实验室）；Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
多模态融合被证明是提高说话人跟踪准确性和鲁棒性的有效方法，特别是在复杂场景下。然而，如何将异构信息融合起来，充分利用多模态信号的互补性，仍然是一个具有挑战性的问题。在本文中，我们提出了一种新的多模态感知跟踪器（MPT）的扬声器跟踪使用音频和视觉模态。具体而言，一种新的声学地图的基础上的时空全局相干场（stGCF）的异构信号融合，它采用摄像机模型映射到定位空间的音频线索与视觉线索一致。然后引入多模态感知注意力网络，推导出感知权重，用于度量受噪声干扰的间歇性音频和视频流的可靠性和有效性。此外，一个独特的跨模态自监督学习方法，提出了利用不同模态之间的互补性和一致性来建模的音频和视频观察的信心。实验结果表明，该算法在标准和遮挡数据集上的跟踪准确率分别达到98.6%和78.3%，表明了该算法在恶劣条件下的鲁棒性，优于现有方法.
2021-12-14 cs.CV
ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
本文提出ArmorOCR两阶段训练框架，结合OPSD与GRPO，推出含390幅图像的AdvSpot基准，可提升对抗性OCR感知能力并保留通用OCR性能
2026-08-21 cs.CV
Adversarial Attacks on Multi-task Visual Perception for Autonomous Driving
Valeo R&D Egypt（法雷奥研发埃及）；Valeo DAR Germany（法雷奥DAR德国）；Technische Universität Ilmenau（伊尔梅瑙工业大学）；Valeo Ireland（法雷奥爱尔兰）
近年来，深度神经网络（DNN）在各种应用中取得了令人印象深刻的成功，包括自动驾驶感知任务。另一方面，当前的深度神经网络很容易被对抗攻击愚弄。此漏洞引起了严重的关注，特别是在安全关键型应用程序中。因此，攻击和防御DNN的研究已经得到了很多报道。在这项工作中，详细的对抗攻击被应用于距离估计、语义分割、运动检测和目标检测等多种多任务视觉感知深度网络。实验考虑了针对目标和非目标情况的白盒和黑盒攻击，同时攻击一个任务并检查对所有其他任务的影响，以及检查应用简单防御方法的效果。最后，我们通过比较和讨论的实验结果，提出见解和未来的工作本文。攻击的可视化可在https://youtu.be/6AixN90budY上获得。
2021-11-07 cs.CV
Efficient Egocentric Visual Perception Combining Eye-tracking, a Software Retina and Deep Learning
University of Glasgow（格拉斯哥大学）
我们目前正在进行的工作，利用生物学方法来实现高效的自我中心的感知相结合的空间变化的成像架构的哺乳动物视网膜与深度学习方法。通过预处理通过眼动追踪眼镜收集的图像来控制软件视网膜模型的固定位置，我们证明了我们可以将DCNN的输入减少3倍，减少所需的训练次数，并在9个对象类的26，000多幅图像的数据库上训练和验证系统时获得超过98%的分类率。
2018-09-05 cs.CV
Embodied Learning for Lifelong Visual Perception
Lund University（隆德大学）；RISE Research Institutes of Sweden（瑞典RISE研究院）；Google Research（谷歌研究院）
我们在一个具体的设置中研究终身视觉感知，在那里我们开发新的模型，并比较在建筑物中导航的各种代理，偶尔请求注释，这些注释反过来又被用来完善他们的视觉感知能力。智能体的目的是在结合探索和主动视觉学习的过程结束时识别整个建筑中的对象和其他语义类。当我们在终身学习的背景下研究这项任务时，智能体应该使用在以前访问过的环境中获得的知识，以指导他们在连续访问过的建筑物中的探索和主动学习策略。我们使用语义分割性能作为一般视觉感知的代理，并研究了几种探索和注释方法，从使用启发式主动学习的前沿探索基线到完全可学习的方法。对于后者，我们引入了一个基于深度强化学习（RL）的智能体，它可以联合学习导航和主动学习。一个点的目标导航制定，再加上一个全球性的计划，供应的目标，被集成到RL模型，以提供进一步的激励系统的探索新的场景。通过在Matterport3D数据集上进行广泛的实验，我们展示了所提出的代理如何在探索新场景时利用先前探索过的场景中的知识，例如，通过粒度较小的探索和不太频繁的注释请求。结果还表明，基于学习的代理能够更有效地利用其先验视觉知识比启发式的替代品。
2021-12-28 cs.CV
KG-ViP: Bridging Knowledge Grounding and Visual Perception in Multi-modal LLMs for Visual Question Answering
University of Science and Technology of China（中国科学技术大学）；Data Darkness Lab, MIRACLE Center, USTC（数据黑暗实验室，MIRACLE中心，中国科学技术大学）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）
提出KG-ViP框架，通过检索与融合场景图和常识图，统一外部知识与细粒度视觉细节，缓解多模态大语言模型在视觉问答中的知识幻觉和视觉感知不足问题。
2026-05-27 cs.CV
Multimodal LLM Augmented Reasoning for Interpretable Visual Perception Analysis
Amazon.com, Inc.（亚马逊公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文在HCI、心理学和认知科学背景下，以视觉感知为案例，提出无标注分析框架评估多模态大语言模型作为认知助手的效用，为量化其可解释性及应用于提升人类推理、揭示数据偏差奠定基础。
2025-04-16 cs.AI cs.CV cs.HC
Starve to Perceive: Taming Lazy Perception in VLMs with Constrained Visual Bandwidth
Hong Kong University of Science and Technology（香港科学与技术大学）；Technology University of Waterloo（滑铁卢大学）
本文提出了一种新的训练方法，通过限制视觉带宽迫使视觉语言模型主动感知，从而提升其在高分辨率视觉环境中的表现。
2026-07-07 cs.CV
Do VLMs Perceive or Recall? Probing Visual Perception vs. Memory with Classic Visual Illusions
Stanford University（斯坦福大学）；University of Strasbourg（斯特拉斯堡大学）；Technical University of Munich（慕尼黑工业大学）
本文通过经典视觉错觉研究视觉语言模型的感知与记忆机制，提出VI-Probe框架，揭示不同模型对视觉变化的响应来源，挑战单一原因观点。
2026-03-31 cs.CV
Compute-first optical detection for noise-resilient visual perception
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
本文提出计算优先光学检测概念，通过在检测前用线性变换器对光学信号进行空间重分布，提升视觉感知任务在噪声环境下的鲁棒性，并在MNIST分类和非相干成像系统中验证了其有效性。
2024-03-14 cs.CV cs.LG eess.IV
Visual Bridge: Universal Visual Perception Representations Generating
针对扩散模型“单任务单模型”范式限制多任务泛化性的问题，提出基于流匹配的通用视觉感知框架Visual Bridge，以图像补丁令牌到任务特定表示的通用流匹配统一任务，在多任务中取得优效，推动通用视觉建模。
2025-11-11 cs.CV
VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；Nanjing University（南京大学）
VIVAS通过统一标记空间和密集结构语义视觉分词器，在预训练中对视觉与语言内容进行统一自回归监督，以增强细粒度视觉感知，在12.4T标记上训练后于7项任务和39个多模态基准上达到最先进性能。
2026-09-24 cs.CV
ColorSense: A Study on Color Vision in Machine Visual Recognition
IBM Research（IBM研究院）
为探究色觉对机器视觉识别的影响，构建多用途数据集ColorSense（含11万条人类注释），通过颜色辨别水平分析其对模型性能的影响，发现色觉偏差影响显著且现有缓解技术效果有限。
2025-02-13 cs.CV
ControlLoc: Physical-World Hijacking Attack on Visual Perception in Autonomous Driving
University of California, Irvine（加州大学欧文分校）；Wuhan University（武汉大学）
ControlLoc提出一种物理世界对抗补丁攻击，通过两阶段定位与生成方法劫持自动驾驶视觉感知中的目标位置和形状，平均攻击成功率约98.1%，并在真实车辆和系统级测试中验证了其有效性。
2024-06-09 cs.CV
VisReflect: Latent Visual Reflection for Fine-Grained Perception in Long Visual Context
King Abdullah University of Science and Technology（卡布斯大学）
针对长视觉上下文中细粒度感知的挑战，提出VisReflect框架，通过潜在空间中的连续视觉反射选择性强调相关区域，无需显式定位或额外前向传播，在图像和视频基准上分别提升4.1%和1.8%，并减少约44%推理时间。
2026-06-29 cs.CV
Human De-occlusion: Invisible Perception and Recovery for Humans
School of EIC, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；ByteDance Inc（字节跳动公司）
在本文中，我们解决的问题，人体去遮挡的原因被遮挡的分割掩模和不可见的外观内容的人。特别是，提出了一个两阶段的框架来估计不可见的部分，并恢复里面的内容。在掩模完成阶段，设计了一种堆叠网络结构，从一般的实例分割模型中细化不准确的掩模，同时预测集成掩模。此外，从人类解析和典型的姿势掩模的指导被用来带来先验信息。对于内容恢复阶段，一个新的解析引导注意力模块被应用到隔离身体部位和捕获上下文信息在多个尺度。此外，收集了一个非模态的人类感知数据集（AHP），以解决人类去遮挡的任务。层次分析法具有提供来自真实世界场景的注释的优点，并且人类的数量相对于其他非模态感知数据集而言较大。基于此数据集，实验表明，我们的方法在掩码完成和内容恢复这两个任务中的最先进的技术。我们的AHP数据集可在\url{https://sydney0zq.github.io/ahp/}上获得。
2021-03-22 cs.CV
Visual Semantic Information Pursuit: A Survey
University of Surrey（萨里大学）
视觉语义信息包括两个重要部分：每个视觉语义单位的意义和这些视觉语义单位所传达的连贯的视觉语义关系。从本质上讲，前者是一个视觉感知任务，而后者对应于视觉上下文推理。由于深度学习的成功，视觉感知取得了显著的进步。而视觉语义信息追踪是一种结合视觉感知和视觉上下文推理的视觉场景语义解释任务，目前还处于初级阶段。它是许多不同的计算机视觉应用的核心任务，如目标检测，视觉语义分割，视觉关系检测或场景图生成。由于它有助于提高解释的准确性和一致性，视觉上下文推理通常与视觉感知结合在当前的深度端到端视觉语义信息追踪方法中。然而，对这一令人兴奋的领域的全面审查仍然缺乏。在本次调查中，我们为所有这些方法提供了统一的理论范式，然后概述了每个潜在方向的主要发展和未来趋势。介绍了常用的基准数据集、评价指标以及相应方法的比较。
2019-03-13 cs.CV
Align and Surpass Human Camouflaged Perception: Visual Refocus Reinforcement Fine-Tuning
Technische Universität München（慕尼黑技术大学）；ByteDance（字节跳动）；Zhejiang University（浙江大学）；Australian National University（澳大利亚国立大学）
本文提出视觉重聚焦强化微调框架，通过策略优化使多模态模型在回答前逐步重聚焦，以对齐并超越人类伪装感知，实验显示在伪装物体分类与检测上优于SFT基线。
2025-05-26 cs.AI cs.CV
Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
提出Perceive-to-Reason (P2R)框架，将细粒度视觉推理解耦为感知和推理两阶段，并引入PRA-GRPO强化学习策略，在多个高分辨率基准上显著提升性能。
2026-07-02 cs.CV
Vispi: Automatic Visual Perception and Interpretation of Chest X-rays
Wayne State University（韦恩州立大学）；Northwest University（西北大学）
医学成像包含用于做出诊断和治疗决策的基本信息。检查（视觉感知）和解释图像以生成报告对于放射科医生来说是繁琐的临床例程，其中自动化预期将大大减少工作量。尽管自然图像描述的快速发展，计算机辅助医学图像视觉感知和解释仍然是一项具有挑战性的任务，这主要是由于缺乏高质量的注释图像报告对和定制的生成模型，用于充分提取和利用局部语义特征，特别是与异常相关的语义特征。为了应对这些挑战，我们提出了Vispi，一个自动医学图像判读系统，它首先通过在视觉支持下对常见胸部疾病进行分类和定位来注释图像，然后从细心的LSTM模型生成报告。分析一个开放的IU X射线数据集，我们证明了Vispi在疾病分类，定位和报告生成使用自动性能评估指标ROUGE和CIDER的优越性能。
2020-05-29 cs.CL cs.CV
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals
Microsoft Research Asia（微软亚洲研究院）
针对EEG噪声大、时序动态且难解码的问题，本文提出NeuroImagen流水线，通过多层级感知信息解码和潜在扩散模型，从便携脑电信号重建高分辨率视觉刺激图像。
2023-08-16 cs.AI cs.CV cs.MM
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大量的文献表明，基于学习的视觉感知模型是敏感的对抗性噪声，但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此，我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响，摄像机运动对机器人的感知。具体而言，我们提出了一种运动平滑技术，任意图像分类模型，其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证，使其适用于广泛的机器人应用。据我们所知，这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作，这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图，为整个房间，MetaRoom，介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验，以验证认证方法，通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内，该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性，在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
IFTR: An Instance-Level Fusion Transformer for Visual Collaborative Perception
Zhejiang University（浙江大学）；Institute of Automation of Chinese Academy of Sciences（中国科学院自动化研究所）
针对当前协同感知多依赖激光雷达、视觉方法研究不足的问题，提出实例级融合Transformer IFTR，通过实例特征聚合、跨域查询适配等提升纯相机协同检测性能，在多个数据集上实现显著性能提升并优化带宽效率。
2024-07-13 cs.CV
