Dysca: A Dynamic and Scalable Benchmark for Evaluating Perception Ability of LVLMs
Institute of Computing Technology, Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；China University of Geosciences（中国地质大学）
针对现有基准的数据泄漏和场景单一问题，提出基于合成图像的动态可扩展基准Dysca，涵盖51种风格、20个子任务，评估26个LVLMs，揭示其感知缺陷。
2025-02-24 cs.CV
4DP-QA: Scalable QA for 4D Perception in Vision Language Models
NVIDIA（英伟达）；Yale University（耶鲁大学）；KAIST AI（韩国科学技术院人工智能学院）
针对视觉语言模型难以理解动态场景的问题，提出一种关注运动场景理解的问答生成流水线，通过真运动追踪解耦物体与相机运动，生成大规模数据集4DP-QA和基准4DP-QA-Bench，训练现有模型在外部基准上取得性能提升。
2026-06-11 cs.CV
Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning
Southern University of Science and Technology（南方科技大学）；The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei Cloud Project（华为云项目）
本文提出RAPID方法，通过解耦多模态模型的感知与推理模块，利用强化学习优化感知输出，使模型能与任意强大文本推理模型配合，实现无需重新训练的性能提升。
2026-03-23 cs.CV
UrbanTwin: Building High-Fidelity Digital Twins for Sim2Real LiDAR Perception and Evaluation
Department of Civil, Environmental and Construction Engineering, University of Central Florida（土木、环境与建设工程系，中央佛罗里达大学）
针对激光雷达感知数据标注昂贵的问题，本文提出构建高保真数字孪生的可复现工作流程，并发布三个合成数据集，在感知任务上优于真实数据训练的基线。
2025-10-14 cs.CV
STAMP: Scalable Task And Model-agnostic Collaborative Perception
Texas A&M University（德克萨斯农工大学）；UCLA（加利福尼亚大学洛杉矶分校）；UC Riverside（加利福尼亚大学河滨分校）；Purdue University（普渡大学）；UT Austin（德克萨斯大学奥斯汀分校）
提出STAMP，一种面向异构智能体的可扩展任务与模型无关协作感知流水线，通过轻量级适配器-还原器对转换BEV特征，实现高效特征共享与融合，在降低计算开销的同时保持高准确率。
2025-01-24 cs.AI cs.CV cs.RO
CPPO: Contrastive Perception Policy Optimization for VLM Agents
Huawei Technologies Canada Co. Ltd.（华为技术加拿大有限公司）；Huawei Cloud（华为云）
提出一种自监督的对比感知策略优化方法CPPO，通过对比感知损失增强视觉语言模型的视觉基础能力，无需额外模型或标注，在感知关键任务中优于现有方法。
2026-05-26 cs.CV
SIRA: Scalable Inter-frame Relation and Association for Radar Perception
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Mitsubishi Electric Corporation（三菱电机公司）
针对雷达感知中低分辨率、噪声和运动模糊等问题，提出SIRA方法，通过扩展时域关系和运动一致性伪轨迹，在Radiate数据集上显著提升了检测和跟踪性能。
2024-11-04 cs.CV cs.LG
DiG: Differential Grounding for Enhancing Fine-Grained Perception in Multimodal Large Language Model
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
本文提出DiG框架，通过学习相似图像对的差异识别提升多模态大语言模型的细粒度感知能力，实验表明其在多个视觉感知基准上表现优异。
2026-03-17 cs.AI cs.CV
SynthDrive: Scalable Real2Sim2Real Sensor Simulation Pipeline for High-Fidelity Asset Generation and Driving Data Synthesis
Horizon Robotics；Tsinghua University（清华大学）
针对自动驾驶传感器模拟中现有方法缺乏多样性和通用性的问题，提出SynthDrive系统，利用3D生成实现资产挖掘、生成和稀有案例数据合成的自动化，以可扩展方式提升感知训练数据质量。
2025-09-08 cs.CV
RSRWKV: A Linear-Complexity 2D Attention Mechanism for Efficient Remote Sensing Vision Task
Harbin Institute of Technology（哈尔滨工业大学）；School of Electronic and Communication Engineering, Guangzhou University（广州大学电子与通信工程学院）
针对高分辨率遥感分析中全局上下文建模效率低的问题，提出RSRWKV模型，通过2D-WKV扫描机制实现线性复杂度的各向同性上下文聚合，并在分类、检测和分割任务上超越CNN和Transformer基线。
2025-03-26 cs.CV
WhisperNet: A Scalable Solution for Bandwidth-Efficient Collaboration
School of Computer Science and Technology, Tianjin University（计算机科学与技术学院，天津大学）；School of Cybersecurity, Tianjin University（网络安全学院，天津大学）
WhisperNet通过引入以接收器为中心的全局协调框架，实现了带宽高效协作，提升协同感知性能。
2026-03-02 cs.CV
Artemis: Structured Visual Reasoning for Perception Policy Learning
NJUST IMAG（南京理工大学图像所）；YZU（宜春大学）；SUTD IMPL（新加坡科技设计大学智能感知实验室）；Adelaide AIML（阿德莱德人工智能实验室）；Data61；CSIRO（澳大利亚联邦科学与工业研究组织）；ZJU（浙江大学）；UNSW Sydney（新南威尔士大学悉尼分校）；SenseTime Research（商汤科技研究院）
提出Artemis方法，通过结构化视觉推理（中间步骤表示为（标签，边界框）对）替代语言推理，提升视觉感知策略的性能，并统一处理多种感知任务。
2026-05-27 cs.CV
Scalable Active Learning for Object Detection
NVIDIA（英伟达）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
以完全监督的方式训练的深度神经网络是基于感知的自动驾驶系统中的主导技术。虽然收集大量未标记的数据已经是一项重大任务，但由于高质量注释所需的工作，只有其中的一部分可以由人类标记。因此，找到正确的数据进行标记已成为一个关键挑战。主动学习是提高监督学习方法的数据效率的强大技术，因为它旨在选择尽可能小的训练集以达到所需的性能。我们为自动驾驶领域的主动学习建立了一个可扩展的生产系统。在本文中，我们描述了由此产生的高层次设计，勾勒出一些挑战和他们的解决方案，目前我们的结果规模，并简要描述了开放的问题和未来的发展方向。
2020-04-09 cs.CV
DeepSTEP -- Deep Learning-Based Spatio-Temporal End-To-End Perception for Autonomous Vehicles
Technical University of Munich（慕尼黑工业大学）
提出DeepSTEP端到端感知架构，融合相机、激光雷达和雷达数据，通过深度融合网络和自注意力机制实现检测与定位一体化，提升自动驾驶感知性能。
2023-05-11 cs.CV
Certifiably Optimal Outlier-Robust Geometric Perception: Semidefinite Relaxations and Scalable Global Optimization
Massachusetts Institute of Technology（麻省理工学院）
我们提出了第一个通用的和可扩展的框架来设计可验证的算法，在存在离群值的情况下，鲁棒的几何感知。我们的第一个贡献是表明，估计使用常见的鲁棒成本，如截断最小二乘（TLS），最大共识，Geman-McClure，Tukey的biwight等，可以重新制定为多项式优化问题（POP）。通过关注TLS成本，我们的第二个贡献是利用POP中的稀疏性，并提出一个稀疏半定规划（SDP）松弛，它比标准的Lasserre层次结构小得多，同时保持经验精确性，即，SDP利用最优性证书恢复非凸POP的优化器。我们的第三个贡献是解决SDP松弛在一个前所未有的规模和准确性，提出STRIDE，求解器，融合了全局下降的凸SDP与快速局部搜索的非凸POP。我们的第四个贡献是六个几何感知问题，包括单次和多次旋转平均，点云和网格配准，绝对姿态估计，以及类别级对象姿态和形状估计。我们的实验表明，（i）我们的稀疏SDP松弛是经验上精确的，在应用程序中有高达60%-90%的离群值;（ii）虽然仍然远离实时，但STRIDE在中等规模问题上比现有的SDP求解器快100倍，并且是唯一可以解决具有数十万约束的大规模SDP的高精度求解器;（iii）STRIDE保障现有快速算法的可靠估计（例如，RANSAC或渐变非凸性），即，如果启发式估计是最优的，则它证明全局最优性，或者当启发式估计是次优的时，它检测并允许逃避局部最优。
2022-05-29 cs.CV cs.RO math.OC
VVC+M: Plug and Play Scalable Image Coding for Humans and Machines
Simon Fraser University（西蒙弗雷泽大学）
针对面向人类与机器的可扩展图像编码中机器端率失真性能次优的问题，提出利用 VVC 等视频编解码器的残差编码能力构建即插即用的可扩展编解码器，提升了机器任务性能且不产生质量耦合。
2023-05-17 cs.CV eess.IV
Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs
Microsoft Research India（微软印度研究院）
该研究提出‘你看见我’基准，评估多模态大语言模型的视觉感知能力，发现其在复杂任务中表现远低于人类。
2025-12-10 cs.CV
PairWise Image Finder: An Open-source Tool for Finding Visually Aligned Street-Level Image Pairs for Urban Perception Studies
Digital Geography Lab, Department of Geosciences and Geography, University of Helsinki（赫尔辛基大学地球科学与地理系数字地理实验室）
提出PairWise图像查找工具，集成特征检测与匹配及语义分割掩码，量化不同时期图像的视觉对齐度，输出匹配特征比例、距离、覆盖率和语义掩码对齐度，支持过滤高质量图像对，用于纵向变化研究和减少人工工作量。
2026-06-07 cs.CV
GenKOL: Modular Generative AI Framework For Scalable Virtual KOL Generation
University of Science, VNU-HCM（越南胡志明市科学大学）；Vietnam National University - Ho Chi Minh（越南国家大学-胡志明市）；University of Dayton（代顿大学）
GenKOL提出一个模块化生成式AI交互系统，集成服装生成、妆容迁移、背景合成和发型编辑等可互换服务，以可扩展方式高效生成虚拟KOL图像，从而降低品牌营销成本并加速内容生产流程。
2025-09-18 cs.CV
Dual-Latent Collaborative Decoding for Fidelity-Perception Balanced Image Compression
School of Information and Communication Engineering and the State Key Laboratory of Media Convergence and Communication, Communication University of China（信息与通信工程学院和媒体融合与通信国家重点实验室，中国通信大学）；School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（信息科学与电子工程学院，上海交通大学）；Department of Computer Science, City University of Hong Kong（计算机科学系，香港城市大学）；State Key Laboratory of Multimedia information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学）
本文提出MoDE框架，通过双潜变量协作解码平衡保真度与感知质量，实验表明在宽比特率范围内优于现有基线方法。
2026-05-14 cs.CV
G1: Bootstrapping Perception and Reasoning Abilities of Vision-Language Model via Reinforcement Learning
Peking University（北京大学）；UCAS（中国科学院大学）；Moonshot AI
针对视觉语言模型在交互式视觉环境中决策能力不足的问题，研究团队构建VLM-Gym强化学习环境，通过感知增强冷启动结合强化学习训练出G1模型，其性能超越顶尖专有模型，且发现感知与推理能力在训练中相互促进。
2025-05-19 cs.CV
Augmenting Lane Perception and Topology Understanding with Standard Definition Navigation Maps
Cornell University（康奈尔大学）；NVIDIA（英伟达）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
针对自动驾驶依赖HD地图扩展性差的问题，提出整合SD地图的在线地图预测框架与基于Transformer的SMERF编码器，利用SD地图先验提升车道检测和拓扑预测性能最高达60%，可适配同类方法。
2023-11-07 cs.CV
Vision Pretraining for Dense Spatial Perception
针对现有视觉基础模型牺牲空间细节理解的问题，提出以边界为中心的掩码边界建模自监督预训练范式，提升稠密空间感知能力与下游任务性能。
2026-07-07 cs.CV
Towards Scalable Human-aligned Benchmark for Text-guided Image Editing
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）
针对文本引导图像编辑缺乏标准评估方法的问题，提出了大规模、全自动的人类对齐基准HATIE，通过结合多维度评分对齐人类感知，实现对多种最先进模型可靠且全方位的评估。
2025-05-01 cs.CV
Visual Point Cloud Forecasting enables Scalable Autonomous Driving
OpenDriveLab；Shanghai AI Lab（上海人工智能实验室）
本文提出视觉点云预测预训练任务及ViDAR模型，通过历史视觉输入预测未来点云，协同学习语义、3D结构和时间动态，显著提升3D检测、运动预测和规划性能。
2023-12-29 cs.CV
Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（通用人工智能国家重点实验室，北京大学深圳研究生院）；Sony R&D Center（索尼研发中心）；Nanyang Technological University（南洋理工大学）
针对人体运动分析范式碎片化问题，提出Superman统一框架，通过视觉引导运动分词器创建跨模态运动词汇，训练单一MLLM架构处理多任务，实验表明该方法在运动任务中性能领先或具竞争力，为运动分析提供高效可扩展路径。
2026-07-08 cs.CV
Guided Diffusion for the Extension of Machine Vision to Human Visual Perception
Waseda University（早稻田大学）
本研究提出一种基于引导扩散的方法，以面向机器的图像编码输出引导扩散模型从噪声生成人类可感知图像，实现机器视觉到人类视觉的无额外比特率开销转换，经实验验证其压缩性能可与同类可扩展编码方法对比。
2025-03-23 cs.CV eess.IV
Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images
Tsinghua University（清华大学）；Beijing University of Technology（北京工业大学）
本文提出 TTSP 框架，通过测试时扩展感知解决图像推理中的 grounding 困境，通过生成多个感知轨迹并过滤不可靠轨迹来提升细粒度视觉推理能力。
2026-08-04 cs.CV
High-Fidelity Digital Twins for Bridging the Sim2Real Gap in LiDAR-Based ITS Perception
Department of Civil, Environmental and Construction Engineering, University of Central Florida（土木、环境与建设工程系，中央佛罗里达大学）
针对基于激光雷达的智能交通系统感知中的Sim2Real差距问题，提出融合真实背景几何、车道级拓扑与传感器参数的高保真数字孪生框架，可生成域内合成数据，训练的检测模型性能超真实数据训练模型4.8%，有效降低域偏移。
2025-09-03 cs.CV
Scalable Face Image Coding via StyleGAN Prior: Towards Compression for Human-Machine Collaborative Vision
Communication University of China（中国传媒大学）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
利用StyleGAN先验构建三层可扩展编码，通过逐层熵变换器减少冗余，实现极低比特率下优于VVC的人机协同人脸图像压缩。
2023-12-25 cs.AI cs.CV cs.MM
Improving Reasoning in Vision-Language Models via Perception Verified Self-Training
Malaviya National Institute of Technology Jaipur（马拉维亚国家理工学院斋浦尔分校）；IBM Research（IBM研究院）
提出感知验证自训练框架，通过解耦感知与推理的CoT模板和无监督评估方法PerceptEval，结合两阶段课程学习，提升视觉-语言模型在视觉推理中的准确性并减少幻觉。
2026-07-01 cs.CV
Modality Forcing for Scalable Spatial Generation
Carnegie Mellon University（卡内基梅隆大学）；World Labs
提出Modality Forcing方法，通过为每个模态分配独立噪声水平，实现单DiT的联合图像-深度生成，利用稀疏深度数据训练，继承T2I预训练的可扩展性，在深度估计上取得竞争性能。
2026-06-12 cs.CV
3DMedAgent: Unified Perception-to-Understanding for 3D Medical Analysis
National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）；TUD Dresden University of Technology（德累斯顿技术大学）；University of Oxford（牛津大学）
3DMedAgent通过统一框架实现2D MLLMs在3D医学分析中的高效处理，无需3D特定微调，提升3D医学图像的感知与理解能力。
2026-03-08 cs.CV
Towards Coding for Human and Machine Vision: A Scalable Image Coding Approach
Peking University（北京大学）
在过去的几十年里，大数据时代的图像和视频编码技术得到了快速发展。然而，信号一致性驱动的编码流水线设计限制了现有图像/视频编码框架满足机器和人类视觉需求的能力。在本文中，我们提出了一种新的图像编码框架，利用压缩和生成模型，以支持机器视觉和人类感知任务联合。给定一幅输入图像，首先应用特征分析，然后采用生成模型来执行具有特征和附加参考像素的图像重建，其中在这项工作中提取紧凑的边缘图，以可伸缩的方式连接两种视觉。紧凑的边缘图作为机器视觉任务的基本层，参考像素作为一种增强层，以保证人类视觉的信号保真度。通过引入先进的生成模型，我们训练一个灵活的网络，从紧凑的特征表示和参考像素重建图像。实验结果表明，我们的框架在人类视觉质量和面部标志检测的优越性，这对新兴的标准化工作的MPEG VCM（视频编码机器）提供了有用的证据。
2020-01-10 cs.CV
Human-level 3D shape perception emerges from multi-view learning
本文提出了一种基于多视角学习的框架，通过自然视觉数据预测人类三维形状推断，首次实现了与人类表现一致的准确率，揭示了模型动态与人类感知的自然对应关系。
2026-03-31 cs.CV
A Survey on Deep Domain Adaptation for LiDAR Perception
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Research Center for Information Technology (FZI)（信息技术研究中心）
可扩展的自动驾驶系统必须可靠地应对开放世界的环境。这意味着，感知系统会受到剧烈的领域变化的影响，例如天气条件、时间依赖性方面或地理区域的变化。用注释数据覆盖所有域是不可能的，因为域的变化无穷无尽，注释过程既耗时又昂贵。此外，系统的快速开发周期还引入了硬件变化，例如传感器类型和车辆设置，以及来自仿真的所需知识转移。因此，为了实现可扩展的自动驾驶，以稳健和有效的方式解决这些领域的转变至关重要。在过去的几年里，大量不同的领域自适应技术的发展。已经存在许多关于相机图像上的领域自适应的调查论文，然而，缺少关于LiDAR感知的调查。然而，LiDAR是自动驾驶的重要传感器，可提供车辆周围环境的详细3D扫描。为了促进未来的研究，本文提出了一个全面的审查最近的进展，领域自适应方法，并制定了有趣的研究问题，专门针对激光雷达感知。
2021-06-07 cs.AI cs.CV cs.LG
Darwin's Neural Network: AI-based Strategies for Rapid and Scalable Cell and Coronavirus Screening
Columbia University（哥伦比亚大学）；Columbia University Medical Center（哥伦比亚大学医学中心）
机器感知，计算机视觉和生物医学工程的跨学科科学领域的最新进展支持了一系列机器学习算法，这些算法具有破译显微镜和纳米图像内容的卓越能力。机器学习算法正在通过与生物成像模式结合使用来改变显微镜和纳米镜成像数据的解释和分析。这些进步使研究人员能够进行以前被认为在计算上不可能的实时实验。在这里，我们采用计算机视觉和机器感知领域的优胜劣汰理论，引入多类实例分割深度学习的新框架，达尔文神经网络（DNN），对体内收集的COVID 19和MERS CoV以及体外收集的多种哺乳动物细胞类型进行形态计量分析和分类。
2020-07-22 cs.CV cs.LG eess.IV
DriveTransformer: Unified Transformer for Scalable End-to-End Autonomous Driving
Sch. of Computer Science & Sch. of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院与人工智能学院，上海交通大学）
提出DriveTransformer框架，通过任务并行、稀疏表示和流式处理解决端到端自动驾驶中的累积误差与计算挑战，在Bench2Drive和nuScenes基准上达到SOTA。
2025-07-11 cs.CV cs.LG cs.RO
Perception-R1: Pioneering Perception Policy with Reinforcement Learning
Huazhong University of Science and Technology（华中科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；StepFun（阶跃星辰）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出Perception-R1框架，通过基于规则的强化学习与GRPO优化MLLM感知策略，揭示感知复杂度与奖励设计的关键作用，并在多个视觉任务上取得显著提升。
2025-04-10 cs.CL cs.CV
Scalable Vision-Based 3D Object Detection and Monocular Depth Estimation for Autonomous Driving
Electronic and Computer Engineering（电子与计算机工程）
该论文围绕自动驾驶视觉3D感知，改进单目与立体3D检测，融合2D/3D标注训练，并提出无监督单目深度估计流程。
2024-03-04 cs.CV cs.RO
What Matters for Scalable and Robust Learning in End-to-End Driving Planners?
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Max-Planck-Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC）
本文研究了端到端驾驶规划器中可扩展性和鲁棒性学习的关键因素，提出BevAD架构在Bench2Drive基准上达到72.7%的成功率，展示了纯模仿学习的数据扩展能力。
2026-03-16 cs.AI cs.CV cs.RO
Test-Time Canonicalization by Foundation Models for Robust Perception
University of Michigan（密歇根大学）
提出FOCAL测试时框架，利用基础模型先验将输入图像变换为最典型视角，无需重训或改架构即显著提升CLIP和SAM等模型在多种变换下的鲁棒性。
2025-09-15 cs.CV cs.LG
VTPerception-R1: Enhancing Multimodal Reasoning via Explicit Visual and Textual Perceptual Grounding
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Shenzhen University（深圳大学）；University of Science and Technology of China（中国科学技术大学）
针对 MLLM 推理缺乏感知证据支撑的问题，本文提出两阶段框架 VTPerception-R1，通过感知增强微调及含视觉、文本与一致性奖励的强化学习，提升多模态推理的准确性与鲁棒性。
2025-09-29 cs.AI cs.CV
Spatially Visual Perception for End-to-End Robotic Learning
ZhiCheng AI（智诚人工智能）；Peking University（北京大学）；Harvard University（哈佛大学）；Zhejiang University（浙江大学）
针对模仿学习在多样化挂载相机观测中泛化能力不足的问题，提出集成AugBlender图像增强技术与单目深度估计模型的视频空间感知框架，显著提升不同相机曝光下的成功率，推动端到端机器人学习稳健性发展。
2024-11-26 cs.AI cs.CV cs.RO
See What You Need: Query-Aware Visual Intelligence through Reasoning-Perception Loops
College of Computer, National University of Defense Technology（计算机学院，国防科技大学）
针对长视频问答系统推理与感知解耦的局限，提出无需训练的闭环框架CAVIA，通过分层推理引导帧定位、跨模态语义桥接目标提取及置信度驱动迭代合成，在EgoSchema等三个基准上取得性能提升。
2025-08-25 cs.AI cs.CV
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大量的文献表明，基于学习的视觉感知模型是敏感的对抗性噪声，但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此，我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响，摄像机运动对机器人的感知。具体而言，我们提出了一种运动平滑技术，任意图像分类模型，其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证，使其适用于广泛的机器人应用。据我们所知，这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作，这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图，为整个房间，MetaRoom，介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验，以验证认证方法，通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内，该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性，在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
ProgressLabeller: Visual Data Stream Annotation for Training Object-Centric 3D Perception
University of Michigan（密歇根大学）；Robotics Institute（机器人研究所）
视觉感知任务通常需要大量的标记数据，包括3D姿态和图像空间分割掩模。创建这样的训练数据集的过程可能证明难以或时间密集地扩展到一般用途的功效。考虑刚性物体的姿态估计任务。基于深度神经网络的方法在大型公共数据集上训练时表现出良好的性能。然而，使这些网络适应其他新对象，或针对不同环境微调现有模型，需要大量的时间投资来生成新标记的实例。为此，我们建议ProgressLabeller作为一种方法，更有效地产生大量的6D姿态训练数据，从彩色图像序列的自定义场景中的可扩展的方式。ProgressLabeller还旨在支持透明或半透明对象，对于这些对象，以前基于深度密集重建的方法将失败。我们通过快速创建超过100万个样本的数据集来证明ProgressLabeller的有效性，我们使用该数据集微调了最先进的姿态估计网络，以显着提高下游机器人抓取成功率。ProgressLabeller在https://github.com/huijieZH/ProgressLabeller上是开源的。
2022-08-01 cs.CV cs.RO
Masked Depth Modeling for Spatial Perception
LingBot-Depth通过遮蔽深度建模和自动化数据整理流水线，在深度精度和像素覆盖上优于顶级RGB-D相机，提供跨RGB和深度模态的对齐潜在表示。
2026-01-25 cs.CV cs.RO
TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models
Huawei Inc.（华为公司）
针对现有多模态大语言模型难适配文档类细粒度感知任务的问题，本文提出TextHawk模型，通过四个专用组件及新构建的指令微调数据集，在文档与通用基准上均超越现有最优方法。
2024-04-14 cs.AI cs.CV
VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
Princeton University（普林斯顿大学）；New York University（纽约大学）
本文提出VisionFoundry，通过任务关键词生成合成数据，提升VLMs在空间理解和视角识别等视觉感知任务上的性能，构建了包含10k图像-问题-答案三元组的VQA数据集，并在多个基准测试中取得显著提升。
2026-10-01 cs.AI cs.CL cs.CV
Development and Testing for Perception Based Autonomous Landing of a Long-Range QuadPlane
Graduate Student, Mechanical Engineering Department（机械工程系研究生）；Undergraduate Student, Mechanical Engineering Department（机械工程系本科生）；Associate Professor, Mechanical Engineering Department（机械工程系副教授）；Assistant Professor, Mechanical Engineering Department（机械工程系助理教授）
本文提出了一种轻量级四旋翼系统，用于高效的基于视觉的自主着陆和视觉惯性里程计，适用于长距离四旋翼任务。
2025-12-11 cs.CV cs.RO
Towards Scalable Spatial Intelligence via 2D-to-3D Data Lifting
Durham University（杜ham大学）；DAMO Academy, Alibaba Group（达摩院，阿里集团）；Tsinghua University（清华大学）；UCAS-Terminus AI Lab（北航-terminate人工智能实验室）
本文提出将单视图2D图像自动提升为尺度真实3D表示的可扩展流水线，发布COCO-3D与Objects365-v2-3D，并验证其可提升多种3D感知与MLLM推理任务。
2025-07-24 cs.AI cs.CV
HueManity: Probing Fine-Grained Visual Perception in MLLMs
Google（谷歌）；Waymo
HueManity 通过细粒度视觉感知基准测试揭示 MLLMs 在捕捉细粒度视觉细节方面的显著缺陷。
2026-01-31 cs.AI cs.CV cs.LG
Scalable RF Simulation in Generative 4D Worlds
University of Pennsylvania（宾夕法尼亚大学）
提出WaveVerse框架，通过语言引导的4D世界生成器和物理信号模拟器实现可扩展的射频信号仿真，在相位敏感基准上表现高保真度，并有效提升下游任务性能。
2026-05-27 cs.AI cs.CV eess.SP
