Controlling a Robotic Stereo Camera Under Image Quantization Noise
Duke University（杜克大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们解决的问题，控制下的图像量化噪声的移动立体摄像机。假设一组目标的一对图像可用，相机移动通过下一最佳视图（NBV）的序列，即，最小化目标累积状态协方差的轨迹的视图序列，使用捕获图像量化噪声的立体装置的真实模型和将观测历史与新信息融合的卡尔曼滤波器（KF）构造。该算法将控制分解为两个阶段：首先在摄像机相对坐标系中计算NBV，然后在固定的全局坐标系中移动摄像机实现该视图。这种分解允许相机驱动到一个新的姿态，该姿态有效地实现了相机坐标中的NBV，同时满足全局坐标中的视场约束，这是一项使用复杂感测模型特别具有挑战性的任务。我们提供模拟和真实的实验，说明所提出的移动相机系统的能力，以准确地定位目标集。我们还提出了一种新的数据驱动的技术来表征未建模的不确定性，如校准误差，在像素级，并表明这种方法可以确保KF的稳定性。
2018-01-14 cs.RO
Evaluating a GAN for enhancing camera simulation for robotics
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
鉴于生成对抗网络（GANs）的多功能性，我们试图了解使用现有的GAN来增强模拟图像并减少模拟与真实差距所带来的好处。我们进行分析的背景下，模拟机器人的性能和基于图像的感知。具体来说，我们量化了GAN的能力，以减少机器人图像感知的模拟到真实的差异。使用语义分割，我们分析了模拟训练和测试中的模拟与真实的差异，使用标称和增强的模拟城市环境。作为次要应用，我们考虑使用GAN来增强室内环境。对于该应用，使用目标检测来分析训练和测试中的增强。结果表明，使用GAN时，模拟到真实的差距减少量化，并说明了其使用的好处。
2022-09-14 cs.RO
FuseGrasp: Radar-Camera Fusion for Robotic Grasping of Transparent Objects
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute（T Stone 机器人研究所）
FuseGrasp提出首个雷达-相机融合系统，利用毫米波雷达穿透特性与深度神经网络融合，提升透明物体深度重建与抓取成功率，并实现材料识别以调节抓力。
2025-02-28 cs.RO
Applications of Uncalibrated Image Based Visual Servoing in Micro- and Macroscale Robotics
Johns Hopkins University（约翰斯·霍普金斯大学）；Sanaria, Inc.（Sanaria公司）
本文提出一种无需手眼标定和相机标定的无标记图像视觉伺服方法，利用双相机结合经典图像处理与深度学习检测特征，在微尺度蚊虫解剖和宏观尺度螺丝紧固任务中实现了类似人类的操作精度。
2023-04-17 cs.RO
A Vision-based Sensing Approach for a Spherical Soft Robotic Arm
ETH Zurich（苏黎世联邦理工学院）
针对软体机械臂外部感知受限场景下的本体感受需求，提出一种集成相机的织物波纹管致动器视觉感知方案，通过卷积神经网络从图像预测姿态角，实现约1度精度的实时姿态估计，并经闭环控制验证了可靠性。
2020-12-11 cs.RO
Periscope: A Robotic Camera System to Support Remote Physical Collaboration
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Idiap Research Institute（Idiap研究所）
本文设计并评估 Periscope 机器人摄像系统，提出由远程帮助者、本地工人与机器人共同负责视角的共享摄像机控制方法，并通过12个二人组装配任务验证其有效性。
2023-09-25 cs.HC cs.RO
OC-VLA++: Monocular Geometry-Guided Cross-View Consistency for Viewpoint-Robust Robotic Manipulation
该研究针对相机覆盖有限时机器人操作的视点泛化问题，提出OC-VLA++模型，通过几何引导的配对视图监督和跨视图动作等变目标提升未见视点泛化能力，性能优于原模型。
2026-08-04 cs.RO
Autonomous Field-of-View Adjustment Using Adaptive Kinematic Constrained Control with Robot-Held Microscopic Camera Feedback
Department of Mechanical Engineering, the University of Tokyo（东京大学机械工程系）；Department of Electrical and Electronic Engineering, the University of Manchester（曼彻斯特大学电子与电气工程系）
提出一种基于机器人持显微镜相机反馈的自适应运动学约束控制方法，通过将相机外参纳入运动学模型并结合U-Net工具跟踪进行实时调整，有效提升了毫米级操作中相机视场保持的准确性与时间占比。
2024-03-29 cs.RO
Towards vision-based robotic skins: a data-driven, multi-camera tactile sensor
ETH Zurich（苏黎世联邦理工学院）
本文介绍了一种多摄像头光学触觉传感器的设计，提供有关的接触力分布施加到其软表面的信息。这些信息包含在表面内散布的球形颗粒的运动中，当受到力时，这些颗粒会变形。小型嵌入式摄像机捕获不同颗粒图案的图像，然后通过机器学习架构将其映射到三维接触力分布。本文提出的设计具有更大的接触表面和更薄的结构比大多数现有的基于摄像头的触觉传感器，而不使用额外的反射元件，如镜子。一个模块化的学习架构的实现进行了讨论，有利于更大的表面，如机器人皮肤的可扩展性。
2020-06-23 cs.CV cs.RO
CEASE: Collision-Evaluation-based Active Sense System for Collaborative Robotic Arms
State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械与动力工程学院机械系统与振动国家重点实验室）
针对协作机械臂固定视觉碰撞检测范围受限的问题，提出带旋转摄像头的主动感知系统CEASE，通过状态置信包络表征障碍物、马尔可夫决策过程优化观测序列，显著提升动态障碍物观测覆盖率与机械臂安全性。
2024-03-09 cs.RO
Multi-Camera Hand-Eye Calibration for Human-Robot Collaboration in Industrial Robotic Workcells
University of Padova（帕多瓦大学）
本文针对工业机器人工作单元中人机协作的多相机手眼标定问题，提出一种融合标定板到末端执行器变换和相机间相对变换约束的鲁棒标定方法，在 METRIC 数据集和真实工业数据上以少于 10 张图像即可超越现有最先进技术，并开源了算法实现。
2024-06-17 cs.CV cs.RO
Single RGB-D Camera Teleoperation for General Robotic Manipulation
University of California San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一个遥操作系统，使用一个单一的RGB-D相机作为人体运动捕捉设备。我们的系统可以执行一般的操作任务，如折布，锤击和3 mm间隙钉孔。我们建议使用非笛卡尔倾斜坐标系，动态运动缩放和重新定位的操作框架，以增加我们的遥操作系统的灵活性。我们假设，降低遥操作的进入门槛将允许更广泛地部署监督自治系统，这将反过来生成现实的数据集，释放机器学习的潜力，用于机器人操作。我们的系统演示可在https://sites.google.com/view/manipulation-teleop-with-rgbd上获得
2021-10-09 cs.AI cs.RO
Vision-based Obstacle Removal System for Autonomous Ground Vehicles Using a Robotic Arm
North Carolina State University（北卡罗来纳州立大学）；Indian Institute of Technology Patna（印度理工学院巴特那分校）；Zhejiang University（浙江大学）
在过去的几年里，用于数据汇集和视觉监控应用的配备摄像头的机器人平台的使用呈指数级增长。有许多物体的杂乱建筑工地（例如，砖、管道等）地面上的环境对于移动无人驾驶地面车辆（UGV）导航是具有挑战性的环境。为了解决这个问题，本研究提出了一种移动UGV配备了一个立体摄像机和一个机械臂，可以清除沿UGV的路径障碍物。为了实现这一目标，周围的环境是由立体摄像机捕获和障碍物检测。通过机器人操作系统（ROS）将障碍物相对于UGV的位置发送到机械臂模块。然后，机械臂拾起并移除障碍物。该方法将大大提高施工监测的自动化程度和数据汇集频率。该系统通过两个案例进行了验证。结果成功地证明了障碍物的检测和清除，作为开发具有各种施工操作应用的自主UGV的有利因素之一。
2019-01-24 cs.RO
EsaacSim: A Multimodal Event Camera Add-on for NVIDIA Isaac Sim
Leibniz Universität Hannover（莱布尼茨汉诺威大学）；L3S Research Center（L3S研究中心）；University of Southern Denmark（南丹麦大学）；University of Chile（智利大学）
本文提出适用于NVIDIA Isaac Sim的多模态事件相机附加组件EsaacSim，可实现多模态事件相机在线仿真，在多种分辨率下具备高效性能，支持机器人研究的多模态仿真与合成数据生成。
2026-08-12 cs.RO
Active Vapor-Based Robotic Wiper
Osaka University（大阪大学）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）
本文提出一种利用超声波加湿器在镜面或透明表面喷洒水蒸气形成漫反射区域，通过相机视点调整估计表面法线，并实现接触力调节的机器人擦拭清洁方法。
2024-11-06 cs.RO
Robotic Tool Tracking under Partially Visible Kinematic Chain: A Unified Approach
University of California San Diego（加州大学圣迭戈分校）
任何时候，通过视觉反馈控制机器人操纵器，机器人和摄像机框架之间的转换必须是已知的。然而，在摄像机只能捕获机器人操纵器的一部分以便更好地感知与之交互的环境的情况下，对基座到摄像机变换的校准中的误差存在更大的敏感度。机器人控制期间不确定性的第二个来源是关节角度测量的不准确性，这可能是由定位偏差和复杂的传动效应（如反冲和电缆拉伸）引起的。在这项工作中，我们把这两组未知参数到一个统一的问题制定时，运动链是部分可见的相机视图。我们证明了这些参数是不可识别的，这意味着显式估计它们是不可行的。为了克服这一点，我们推导出一组较小的参数，我们称之为集总误差，因为它将校准和关节角度测量的误差集中在一起。粒子滤波方法，并在模拟和两个现实世界的机器人估计集中误差，并显示此参数减少的效率进行了测试。
2021-09-06 cs.RO
AnyviewMeter: Adapting Robotic Reward Models with Camera Geometry and Multi-View Attention
Nanyang Technological University（南洋理工大学）
提出AnyviewMeter，利用相机几何与多视角注意力适配机器人奖励模型，通过低秩微调和块注意力提升单视图及多视图预测精度，显著降低误差。
2026-09-21 cs.CV cs.RO
ActivePose: Active 6D Object Pose Estimation and Tracking for Robotic Manipulation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学）；Shanghai Jiao Tong University（上海交通大学）；Istituto Italiano di Tecnologia（意大利理工学院）；The Hong Kong Polytechnic University（香港理工大学）；D-Robotics（D-机器人）
ActivePose通过结合视觉-语言模型与机器人想象力，实现主动6D物体姿态估计与跟踪，提升机器人操作的可靠性。
2026-03-07 cs.RO
Rethinking Camera Choice: An Empirical Study on Fisheye Camera Properties in Robotic Manipulation
Shanghai Jiao Tong University（上海交通大学）；Southeast University（东南大学）；USTC（中国科学技术大学）；Shanghai Innovation Institute（上海创新研究院）；Noematrix Ltd.（Noematrix有限公司）
本文通过实证研究发现鱼眼相机在机器人操作中需考虑视场角、环境复杂性和随机尺度增强策略以提升性能。
2026-03-02 cs.CV cs.RO
Predicting the Timing of Camera Movements From the Kinematics of Instruments in Robotic-Assisted Surgery Using Artificial Neural Networks
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
机器人辅助手术使外科医生和患者都受益，然而，外科医生经常需要调整内窥镜摄像机以获得良好的视角。同时控制摄像机和手术器械是不可能的，并且因此，这些摄像机调整重复地中断手术。自主相机控制可以帮助克服这一挑战，但大多数现有系统都是被动的，例如，让摄像机跟随手术器械我们提出了一种预测方法，用于预测何时使用人工神经网络发生摄像机运动。我们使用了手术器械的运动学数据，这些数据是在对猪模型进行机器人辅助手术培训期间记录的。我们将数据分割成片段，并将每个片段标记为紧接在相机移动之前的片段，或者不标记的片段。由于大的类不平衡，我们训练了一个网络集合，每个网络都在训练数据的平衡子集上。我们发现，仪器的运动学数据可以用来预测相机运动何时发生，并评估了不同段持续时间和合奏大小的性能。我们还研究了可以提前多少时间预测即将到来的相机移动，并发现预测相机移动发生前0.25秒，0.5秒和1秒，相对于预测即将到来的相机移动，准确率分别达到98%，94%和84%。这表明，摄像机运动事件可以被预测得足够早，以便留出时间来计算和执行自主摄像机运动，并表明RAMIS的自主摄像机控制器有朝一日可能是可行的。
2022-02-06 cs.CV cs.LG cs.RO
VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对VLA模型部署时相机配置变化导致性能下降的问题，提出相机可配置框架VersaCamVLA，通过解耦相机集表示与动作学习实现稳健操作策略，在多基准及真实机器人上性能优于现有方法。
2026-10-09 cs.CV cs.RO
Leveraging Tactile Sensing to Render both Haptic Feedback and Virtual Reality 3D Object Reconstruction in Robotic Telemanipulation
Queen Mary University of London（伦敦玛丽女王大学）；School of Engineering and Materials Science（工程与材料科学学院）；Humanoid AI（人形人工智能公司）；King’s College London（伦敦国王学院）；School of Biomedical Engineering and Imaging Sciences（生物医学工程与影像科学学院）
本文提出在无相机机器人遥操作中结合触觉3D重建、VR呈现与触觉反馈，使蒙眼用户可完成精确拾取-放置任务。
2024-12-03 cs.RO
Efficient Camera Pose Augmentation for View Generalization in Robotic Policy Learning
Xi'an Jiaotong University（西安交通大学）；Noah's Ark Lab（诺亚方舟实验室）
本文提出GenSplat框架，通过新颖视角渲染实现视角泛化的策略学习，利用3D高斯点云重建和3D先验蒸馏策略，增强策略在空间扰动下的鲁棒性。
2026-03-31 cs.RO
Robust Intrinsic and Extrinsic Calibration of RGB-D Cameras
IT+Robotics（IT+机器人公司）；University of Padua（帕多瓦大学）；Sapienza University of Rome（罗马第一大学）
颜色深度相机（RGB-D相机）已成为大多数机器人系统的主要传感器，从服务机器人到工业机器人应用。典型的消费级RGB-D相机被提供有粗略的内在和外在校准，其通常不满足许多机器人应用所需的精度要求（例如，高精度3D环境重建和映射、高精度对象识别和定位.）。在本文中，我们提出了一个人性化的，可靠的和准确的校准框架，可以很容易地估计一般的颜色深度传感器对的内在和外在参数。我们的方法是基于一个新的两个组件的误差模型。该模型统一了基于不同技术的RGB-D对的误差来源，例如结构光3D相机和飞行时间相机。与其他最先进的系统相比，我们的方法提供了一些重要的优点：它是通用的（即，非常适合不同类型的传感器），基于简单稳定的校准协议，提供了更高的校准精度，并已在ROS机器人框架内实施。我们报告详细的实验验证和性能比较，以支持我们的声明。
2018-10-19 cs.CV cs.RO
Camera simulation for robot simulation: how important are various camera model components?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
为自主机器人仿真建立摄像机模型对于生成具有适当真实感的合成图像以有效评估仿真中的感知算法至关重要。然而，在许多情况下，模拟图像是由传统的渲染技术产生的，这些技术排除或表面上处理实际相机流水线中遇到的处理步骤和方面。这一贡献的目的是量化的程度排除从相机模型的各种图像生成的步骤或方面影响机器人的模拟到真实的差距。我们研究如果忽略与物理相机内的过程相关的方面会发生什么，例如，镜头失真、噪声和信号处理;场景效果，例如，照明和反射;以及渲染质量。该研究的结果表明，从数量上讲，颜色，场景和位置的大规模变化比涉及局部，特征级工件的模型方面的影响要大得多。此外，我们表明，这些场景级方面可以源于镜头失真和信号处理，特别是在考虑白平衡和自动曝光建模时。
2022-11-16 cs.RO
The EventCV Library for Event-Based Robotic Vision
Queensland University of Technology（昆士兰科技大学）
EventCV是一个开源Rust库，提供Python绑定，集成驱动、处理与推理，加速事件相机数据处理，用于机器人视觉，支持实时操作。
2026-09-21 cs.RO
Adaptive Visual Perception for Robotic Construction Process: A Multi-Robot Coordination Framework
Texas A&M University（德克萨斯农工大学）
本研究提出一种多机器人协调框架，通过监督机器人自适应调整姿态优化视觉覆盖，以解决施工中视野遮挡问题，并验证了视点选择方法的有效性与鲁棒性。
2024-12-15 cs.RO
RainbowSight: A Family of Generalizable, Curved, Camera-Based Tactile Sensors For Shape Reconstruction
Massachusetts Institute of Technology（麻省理工学院）
本文提出RainbowSight系列曲面相机触觉传感器，采用彩虹光谱LED照明，实现高分辨率深度重建，简化制造与校准，便于集成于机器人系统。
2024-09-20 cs.RO
Creativity and Visual Communication from Machine to Musician: Sharing a Score through a Robotic Camera
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of California Merced（加利福尼亚大学默塞德分校）
本文在“Guided Harmony”游戏中引入 PTZ 机器人摄像机，使其解读音乐家非语言线索并互动，以探索人机协同创造与直观视觉交流。
2024-10-28 cs.AI cs.CV cs.HC
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大量的文献表明，基于学习的视觉感知模型是敏感的对抗性噪声，但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此，我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响，摄像机运动对机器人的感知。具体而言，我们提出了一种运动平滑技术，任意图像分类模型，其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证，使其适用于广泛的机器人应用。据我们所知，这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作，这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图，为整个房间，MetaRoom，介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验，以验证认证方法，通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内，该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性，在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
Morphology-Agnostic Visual Robotic Control
Facebook AI Research（脸书人工智能研究院）；UC Berkeley（加州大学伯克利分校）
用于视觉机器人控制的现有方法通常需要通过校准相机或执行系统辨识来预先表征机器人。我们提出了MAVRIC，一种方法，它的工作原理与机器人的形态学的先验知识最少，只需要一个摄像机视图包含机器人及其环境和一个未知的控制界面。MAVRIC围绕着一种基于互信息的自我识别方法展开，该方法在探索性交互的几秒钟内发现机器人身体上的视觉“控制点”，然后这些控制点依次用于视觉伺服。MAVRIC可以控制具有不精确致动、没有本体感受反馈、未知形态（包括新颖工具）、未知相机姿势甚至不稳定的手持式相机的机器人。我们展示了我们的方法在视觉引导的3D点到达，轨迹跟踪，和机器人对机器人的模仿。
2019-12-31 cs.CV cs.RO
Microsaccade-inspired Event Camera for Robotics
University of Maryland（马里兰大学）；Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）；Hong Kong University of Science and Technology（香港科技大学）
受人类微跳视启发，提出一种旋转楔形棱镜增强的事件相机系统AMI-EV，通过算法补偿额外运动，在保持低反应时间的同时稳定纹理，提升机器人视觉感知质量。
2024-05-28 cs.CV cs.RO
An Automated Thickness Evaluation Procedure Using an Integrated Structured Light 3D Camera in a Robotic Bioprinting Framework
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出一种利用结构光3D相机和点云处理的全自动方法，用于测量复杂几何形状生物打印构建体的厚度，在仿真中达到0.025-0.057毫米的平均绝对误差，并已在机器人生物打印装置上成功验证。
2026-09-14 cs.RO
Enhanced View Planning for Robotic Harvesting: Tackling Occlusions with Imitation Learning
University of Groningen（格罗宁根大学）
针对机器人采摘中的遮挡问题，提出基于 ACT 模仿学习的 6-DoF 主动视角规划方法，从专家演示学习相机运动策略，并在仿真与真实农业场景中验证其高成功率、效率及跨作物泛化能力。
2025-03-13 cs.RO
RoboSeg: Online Part-Level Semantic Reconstruction for Robotic Manipulation via a Single Eye-in-Hand Camera
School of Mechanical Engineering and Automation, Beihang University（北京航空航天大学机械工程及自动化学院）
RoboSeg是无需CAD模型的部件级语义重建系统，结合VLM、TSDF融合与SAM3，实现机器人操作的部件语义索引，在24次物理试验中21次完成综合任务。
2026-08-11 cs.RO
Demonstration of real-time event camera to collaborative robot communication
University of Coimbra（科英布拉大学）；Politecnico di Torino（都灵理工大学）
本文演示了利用事件相机的高频轻量数据实时获取挥手位置并作为运动命令控制协作机器人，实测总延迟110毫秒，验证了事件相机用于实时机器人系统的可行性。
2024-07-16 cs.RO
Improving Robotic Manipulation: Techniques for Object Pose Estimation, Accommodating Positional Uncertainty, and Disassembly Tasks from Examples
本论文利用触觉传感结合时间特征估计物体姿态，并通过带触觉碰撞的强化学习减少抓取尝试，同时借鉴人类示例加速拆卸任务训练。
2025-06-18 cs.RO
Triple Regression for Camera Agnostic Sim2Real Robot Grasping and Manipulation Tasks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
针对机器人操作的Sim2Real现实差距问题，提出三重回归Sim2Real框架，通过三个回归模型分别校正视角投影误差与控制差异，仅用RGB输入就在六自由度抓取任务中达到SOTA成功率。
2024-10-31 cs.RO
"Dear LLaVA, Please Drive": A Depth-Aware Vision-Language Agent for Closed-Loop Robotic Control
Munich University of Applied Sciences（慕尼黑应用科学大学）
该研究提出一种基于命令式学习和LoRA的深度感知视觉语言智能体，仅用立体深度观测即可生成无碰撞路径，在更新不到1%参数的情况下实现高效闭环导航。
2026-09-22 cs.RO
A 4D Radar Camera Extrinsic Calibration Tool Based on 3D Uncertainty Perspective N Points
School of Automation and Intelligent Sensing, Institute of Medical Robotics, Shanghai Jiao Tong University（自动化与智能感知学院、医疗机器人研究院、上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai 200240（系统控制与信息处理重点实验室、中华人民共和国教育部、上海200240）；Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（瑞金医院、上海交通大学医学院）；Renji hospital, Shanghai Jiao Tong University School of Medicine（仁济医院、上海交通大学医学院）
本文提出3DUPnP标定框架，通过建模雷达球坐标噪声传播并补偿非零误差期望，实现4D毫米波雷达与相机的高精度外参标定，实验证明其优于CPnP基线。
2025-07-26 cs.RO
Enabling Mammography with Co-Robotic Ultrasound
Johns Hopkins University（约翰斯·霍普金斯大学）
针对乳腺超声检查可重复性差、依赖医师技能及厂商设备难整合的问题，研究提出搭载UR5机械臂的协作机器人超声平台，通过PID力控制等实现自主扫描，经模型验证可提升乳腺筛查诊断的精准度与可重复性，且适配多数钼靶设备。
2023-12-16 cs.RO
Noise Analysis and Modeling of the PMD Flexx2 Depth Camera for Robotic Applications
ETH Zürich（苏黎世联邦理工学院）
本文针对 PMD Flexx2 深度相机，提出轴向与横向噪声的高斯分布模型，精确量化非系统性噪声，有效缩小基于学习的机器人控制中的仿真到现实差距。
2024-12-19 cs.RO eess.IV
Active Vision Might Be All You Need: Exploring Active Vision in Bimanual Robotic Manipulation
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出AV-ALOHA双臂遥操作系统，通过额外7自由度机器人手臂携带立体相机并由人类演示学习主动视觉策略，动态优化相机视点，实验证明其在可见性受限任务中显著优于固定相机。
2025-03-08 cs.RO
Place Recognition with Event-based Cameras and a Neural Implementation of SeqSLAM
Queensland University of Technology（昆士兰科技大学）；Imperial College（帝国理工学院）；University of Edinburgh（爱丁堡大学）
基于事件的相机为机器人和计算机视觉领域提供了很大的潜力，部分原因是它们的大动态范围和极高的“帧速率“。这些属性使它们至少在理论上特别适合在具有挑战性的照明条件下在高速机器人平台上实现导航和绘图等任务，这对于传统算法和相机传感器来说是特别具有挑战性的任务。然而，在这些任务变得可行之前，必须在适应和创新当前基于RGB相机的算法以与基于事件的相机一起工作方面取得进展。在本文中，我们提出了正在进行的研究调查两种不同的方法，将基于事件的摄像机机器人导航：合适的地方识别/闭环技术的调查，并开发有效的神经实现的地方识别技术，使地方识别的可能性，使用基于事件的摄像机在非常高的帧速率使用类脑计算硬件。
2015-05-18 cs.CV cs.RO
Robotic Endoscope Control via Autonomous Instrument Tracking
KU Leuven（鲁汶大学）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）
许多锁孔介入手术依赖于双手操作手术器械，迫使主刀医生依赖第二名外科医生作为摄像助手。除了过度涉及手术人员的负担之外，这可能导致图像稳定性降低、任务完成时间增加以及有时由于任务的单调性而导致的错误。由一组基本指令控制的机器人内窥镜支架已被提出作为替代方案，但其不自然的操作可能会增加（单独）外科医生的认知负荷，这阻碍了其临床接受。如果机器人内窥镜保持器经由语义丰富的指令与手术外科医生协作，则将实现手术工作流程中的更多无缝集成，所述语义丰富的指令非常类似于否则将向人类摄像机助手发出的指令，例如“聚焦在我的右手器械上”。作为概念验证，本文提出了一种新的系统，为外科医生和机器人内窥镜支架之间的协同互动铺平了道路。所提出的平台允许外科医生执行双手协调和导航任务，而机器人臂自主执行内窥镜定位任务。在我们的系统中，我们提出了一种新的工具提示定位方法的基础上手术工具分割和一种新的视觉伺服方法，确保顺利和适当的运动的内窥镜摄像头。我们验证了我们的视觉管道，并运行该系统的用户研究。通过使用经欧洲妇科外科学会验证的腹腔镜练习（涉及双手协调和导航），确保了本研究的临床相关性。我们提出的系统的成功应用为机器人内窥镜支架的更广泛临床应用提供了一个有希望的起点。
2022-02-23 cs.RO
A Robotic Line Scan System with Adaptive ROI for Inspection of Defects over Convex Free-form Specular Surfaces
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Applied Science and Technology Research Institute（香港应用科技研究院）
在本文中，我们提出了一种新的机器人系统，执行缺陷检测任务的自由曲面镜面。自主程序是由一个六自由度的机械手，配备了线扫描相机和高强度照明系统。我们的方法首先使用对象的CAD网格模型来实现K均值无监督学习算法，该算法将对象的表面分割成具有相似曲率的区域。然后，通过使用自适应算法来计算扫描路径，该自适应算法调整相机的ROI以适当地观察具有不规则形状的区域。针对深度传感器捕获的镜面目标存在的盲点问题，提出了一种新的基于迭代最近点的投影配准方法，该方法能够在机器人坐标系中鲁棒地定位目标。最后，图像处理流水线自动检测所捕获的高分辨率图像中的表面缺陷。详细的实验研究与视觉引导的机器人扫描系统的报告，以验证所提出的方法。
2020-08-25 cs.RO
3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation
Queensland University of Technology（昆士兰科技大学）
在本文中，我们提出了一种新的方法，视觉伺服的机器人，被称为3D移动到看到（3DMTS）的基础上，找到下一个最好的看法，使用3D相机阵列和机器人机械手从不同的角度获得多个样本的场景的原则。该方法使用语义视觉和应用于每个视角的目标函数来采样表示下一个最佳视图的方向的梯度。该方法在模拟和一个真正的机器人平台上进行了演示，该平台包含一个自定义的3D相机阵列，用于在高度闭塞和非结构化的环境中进行机器人收获的挑战性场景。在一个真实的机器人平台上显示，通过使用目标函数的梯度移动末端执行器，即使在遮挡之间，也会导致感兴趣对象的局部最佳视图。与使用单个RGB-D相机的基线方法相比，3DMTS方法的总体性能获得了目标尺寸平均增加29.3%，基线方法获得了9.17%。结果表明，定性和定量的3DMTS方法在大多数情况下表现更好，并产生三倍的目标大小相比，基线方法。在最终视图中增加的目标尺寸将改善对感兴趣对象的关键特征的检测，以用于进一步操纵，例如抓取和收获。
2018-09-21 cs.RO
Assessing the Robustness of LiDAR, Radar and Depth Cameras Against Ill-Reflecting Surfaces in Autonomous Vehicles: An Experimental Study
ETH Zurich（苏黎世联邦理工学院）
本文通过实验评估弱反射表面对LiDAR、雷达和深度相机三种测距传感器的影响，发现LiDAR性能降至标称条件的33%，而雷达和深度相机保持100%，并在1:10自动驾驶赛车上验证了弱反射对下游任务的不利影响，强调鲁棒距离感知的必要性。
2023-09-19 cs.RO
Acquisition of high-quality images for camera calibration in robotics applications via speech prompts
RWTH Aachen University（亚琛工业大学）；Bosch Corporate Research（博世企业研究部门）；Bosch Center for AI（博世人工智能中心）
针对机器人视觉应用中相机校准需高质量图像的问题，提出基于语音提示的校准图像获取技术，利用带逐词时间戳的语音转文本模型实现精确触发，提升图像质量与校准效率，可成功校准复杂多相机系统。
2025-04-15 cs.CV cs.RO
A Cranial-Feature-Based Registration Scheme for Robotic Micromanipulation Using a Microscopic Stereo Camera System
The University of Tokyo（东京大学）
针对小鼠颅骨开窗等显微操作中标本形态差异导致的自主操作难题，提出集成线性深度感知MSCS与基于CNN的颅骨特征约束彩色配准方案，并验证了其三维重建与配准精度。
2024-10-24 cs.CV cs.RO
Depth Camera Based Particle Filter for Robotic Osteotomy Navigation
RWTH Aachen（亚琛工业大学）；Uniklinik RWTH Aachen（亚琛工业大学医院）
主动手术机器人在临床实践中缺乏接受度，因为它们不提供多用途所需的灵活性和可用性：系统需要较大的安装空间或复杂的配准步骤，其中术前计划与患者对齐并转换到机器人的基础框架。在本文中，机器人截骨术的导航系统的设计，它使用的原始深度图像从安装在一个轻量级的机器人手臂的凸缘上的摄像头。因此，该系统不需要任何刚性连接的机器人或基准骨和耗时的注册步骤被消除。相反，仅需要粗略初始化，这提高了手术中的可用性。髂嵴骨的全六维姿态用粒子滤波器以90 Hz的最大速率估计。所提出的方法是强大的，对不断变化的照明条件，血液或组织的骨表面和部分闭塞所造成的外科医生。在尸体研究中成功提供了临床环境中可用性的证据，其中外科医生使用了增强现实截骨模板，该模板通过粒子滤波器姿势估计与骨骼对齐，用于从髂嵴切除移植物。
2019-10-24 cs.CV cs.RO
UniScale: Unified Scale-Aware 3D Reconstruction for Multi-View Understanding via Prior Injection for Robotic Perception
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）
UniScale通过整合几何先验实现多视角下的统一尺度感知3D重建，适用于机器人感知任务。
2026-02-26 cs.CV cs.RO
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习（RL）从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而，仅从视觉输入执行细粒度的运动控制是具有挑战性的，特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置，其中代理接收视觉反馈，从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的，但以自我为中心的相机使机器人能够主动控制其视觉，以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息，我们还建议使用具有交叉视图注意力机制的Transformers，该机制将空间注意力从一个视图建模到另一个视图（反之亦然），并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习，并成功地转移到一组具有挑战性的操作任务，在一个真实的机器人上，未校准的相机，无法访问状态信息，以及高度的任务可变性。在锤子操作任务中，我们的方法在75%的试验中成功，而对于多视图和单视图基线，分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
1000 Rallies: An Event-Camera Dataset and Real-Time Learned Ball-State Estimation for Robotic Table Tennis
Sony AI, Zurich（索尼AI，苏黎世）
针对机器人乒乓球中高速球状态估计的实时性需求，构建首个大规模事件相机数据集（1000次对打），提出联合估计球位置与速度的CNN，结合卡尔曼滤波将弹跳点预测误差降低36%，并实现事件驱动的人机实时对打。
2026-06-25 cs.CV cs.RO eess.IV
