ClothPPO: A Proximal Policy Optimization Enhancing Framework for Robotic Cloth Manipulation with Observation-Aligned Action Spaces
East China Normal University（华东师范大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出 ClothPPO 框架，将布料操作建模为 POMDP，并通过监督预训练与 PPO 在观测对齐的百万级动作空间中增强策略，提升机器人布料展开性能。
2024-05-05 cs.AI cs.CV cs.RO
LangOcc: Self-Supervised Open Vocabulary Occupancy Estimation via Volume Rendering
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Münster（明斯特大学）
本文提出LangOcc，一种仅依赖相机图像的自监督开放词汇占用估计方法，通过可微体渲染将CLIP知识蒸馏到3D占用模型，在开放词汇和自监督语义占用估计任务上均超越LiDAR监督方法并取得SOTA。
2024-07-25 cs.CV
Z-SASLM: Zero-Shot Style-Aligned SLI Blending Latent Manipulation
Sapienza University of Rome（罗马大学）
提出Z-SASLM流水线，利用超球面测地线上的SLI混合非线性潜在空间表示，实现无需微调的高保真多风格混合，并引入新指标验证了其增强且鲁棒的风格对齐效果。
2025-03-29 cs.CV
Cortex: A Bidirectionally Aligned Embodied Agent Framework for Long-horizon Manipulation
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Peking University（北京大学）；USTC（中国科学技术大学）
针对现有VLA模型长视距任务短板及分层方法语义-运动鸿沟问题，提出双向对齐框架Cortex，标准化技能原语、优化数据与采样策略，提升长视距操作性能与零样本泛化能力。
2026-07-07 cs.AI cs.CV cs.RO
Action Map Policy: Learning 3D Closed-loop Manipulation via Pixel Classification
Northeastern University（东北大学）；Stanford University（斯坦福大学）；Brown University（布朗大学）
研究针对机器人学习中动作空间的挑战，提出动作映射策略（AMP），将3D闭环操作策略学习转为图像空间分类问题，通过投影动作到图像平面，以像素为类别控制维度，实现高精度、快速推理，实验证明其优于基线。
2026-07-14 cs.AI cs.CV cs.LG
Future Success Prediction in Open-Vocabulary Object Manipulation Tasks Based on End-Effector Trajectories
Keio University（庆应义塾大学）
提出通过对齐自然语言指令、操作前图像与末端执行器轨迹来提前预测开放词汇操作成败的方法，并用 Trajectory Encoder 建模时序与交互，在基于 RT-1 的数据集上超过基线。
2025-01-08 cs.CV cs.RO
Progressive Gaussian Transformer with Anisotropy-aware Sampling for Open Vocabulary Occupancy Prediction
The Hong Kong University of Science and Technology (HKUST)（香港科学与技术大学）；ZEEKR Automobile R&D Co., Ltd（ZEKR汽车研发有限公司）
提出PG-Occ渐进式高斯Transformer框架，通过在线致密化和各向异性感知采样实现开放词汇3D占据预测，mIoU相对提升14.3%。
2025-10-08 cs.AI cs.CV
HomeRobot Open Vocabulary Mobile Manipulation Challenge 2023 Participant Report (Team KuzHum)
Ukrainian Catholic University（乌克兰天主教大学）
本文介绍 KuzHum 队对 HomeRobot OVMM 强化学习基线的改进，通过语义分割、放置策略和高层启发式提升成功率，并在仿真与真实赛道均获第三名。
2024-01-22 cs.CV cs.RO
ABot-M0.5: Unified Mobility-and-Manipulation World Action Model
AMAP CV Lab（AMAP CV实验室）
针对移动操作任务中VLA策略缺乏世界建模、动作空间耦合及训练-推理不一致的问题，提出ABot-M0.5模型，通过三级对齐（时间粒度、动作空间、训练-测试一致性）实现细粒度控制，在长时域任务成功率和控制精度上达到最优。
2026-07-07 cs.CV cs.RO
Zero-Shot Open-Vocabulary Human Motion Grounding with Test-Time Training
本文提出ZOMG框架，通过语言语义分区和软掩码优化，在无需标注或微调的情况下实现零样本开放词汇的人体运动接地，提升了运动理解的性能和效率。
2025-11-19 cs.CV
Affordance RAG: Hierarchical Multimodal Retrieval with Affordance-Aware Embodied Memory for Mobile Manipulation
Keio University（keio大学）；Keio AI Research Center（keio人工智能研究中心）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出Affordance RAG框架，通过构建具有可操作性的具身记忆，提升机器人在开放词汇移动操作中的检索性能和任务成功率。
2025-12-22 cs.CL cs.CV cs.RO
Learning Generalizable Feature Fields for Mobile Manipulation
UC San Diego（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；MIT（麻省理工学院）
针对移动操作中物体与场景统一表示的问题，提出可实时运行的场景级可泛化神经特征场GeFF，通过新视角合成预训练与CLIP特征蒸馏实现导航与操作统一，在四足机器人上验证其优于基线的性能。
2024-11-26 cs.CV cs.LG cs.RO
Monocular Open Vocabulary Occupancy Prediction for Indoor Scenes
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究提出了一种基于几何的监督方法，用于单目开放词汇室内场景的占用预测，通过引入一种基于Poisson的透明度感知方法和逐步温度衰减调度，提高了几何和语义对齐的稳定性与精度，实验结果显示在Occ-ScanNet数据集上取得了较高的IoU和mIoU指标。
2026-05-18 cs.CV
Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Multimodal Foundation Models
Keio University（庆应义塾大学）
本文针对开放词汇操作指令下的目标分割问题，提出基于最优传输多边形匹配的损失函数，并结合多模态基础模型生成分割掩码，在自建数据集上相比代表性多边形方法提升16.32%。
2024-07-01 cs.CV cs.RO
LOTUS: Continual Imitation Learning for Robot Manipulation Through Unsupervised Skill Discovery
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）
LOTUS通过无监督技能发现和元控制器组合技能，使机器人仅凭少量演示即可持续学习新操作任务，成功率比现有最佳方法高11%以上。
2024-11-23 cs.CV cs.LG cs.RO
KM-ViPE: Online Tightly Coupled Vision-Language-Geometry Fusion for Open-Vocabulary Semantic SLAM
Biomechatronics and Energy-Efficient Robotics (BE2R) Lab（生物机电学与节能机器人实验室）；ITMO University（ITMO大学）；SBERRoboticsCenter（SBERRobotics中心）
KM-ViPE通过在线紧密耦合视觉-语言-几何融合，实现开放词汇语义SLAM，适用于动态环境和未校准单目相机。
2025-12-01 cs.CV
Splat-MOVER: Multi-Stage, Open-Vocabulary Robotic Manipulation via Editable Gaussian Splatting
Stanford University（斯坦福大学）
提出Splat-MOVER模块化机器人技术栈，利用高斯泼溅的可编辑性，通过ASK-Splat提取语义与抓取可供性、SEE-Splat实时编辑场景数字孪生、Grasp-Splat生成候选抓取，实现了开放词汇的多阶段机器人操作任务。
2024-09-26 cs.CV cs.RO
Spot-Compose: A Framework for Open-Vocabulary Object Retrieval and Drawer Manipulation in Point Clouds
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）
提出Spot-Compose框架，结合3D重建的开放词汇实例分割与抓取姿态估计，实现点云中动态目标拾取和抽屉打开，真实实验中分别达到51%和82%成功率。
2024-04-18 cs.CV cs.RO
Spatial Intention Maps for Multi-Agent Mobile Manipulation
Princeton University（普林斯顿大学）；Google（谷歌）；Columbia University（哥伦比亚大学）
传达意图的能力使分散的多智能体机器人能够在执行物理任务时进行协作。在这项工作中，我们提出了空间意图地图，一种新的意图表示多智能体基于视觉的深度强化学习，提高分散的移动机械手之间的协调。在这种表示中，每个代理的意图被提供给其他代理，并呈现为与视觉观察对齐的开销2D地图。这与最近提出的空间动作地图框架协同作用，在该框架中，状态和动作表示在空间上对齐，提供诱导偏差，鼓励需要空间协调的紧急合作行为，例如将对象传递给彼此或避免碰撞。在各种多智能体环境，包括异构机器人团队具有不同的能力（提升，推动，或投掷）的实验表明，将空间意图地图提高性能，为不同的移动操作任务，同时显着增强合作行为。
2021-03-23 cs.AI cs.CV cs.LG
Reflective VLM Planning for Dual-Arm Desktop Cleaning: Bridging Open-Vocabulary Perception and Precise Manipulation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；College of Aeronautics & Engineering, Kent State University（肯特州立大学航空与工程学院）
本文提出一个结合反射式VLM规划与双臂执行的层次化框架，通过结构化场景表示和记忆增强实现桌面清洁，在模拟中达到87.2%任务完成率，显著优于基线。
2025-06-19 cs.RO
OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation
Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Physical Automation, Inc.（Physical Automation 公司）
OpenEgo是一个大规模多模态自我中心操作数据集，含1107小时视频、290个任务，提供标准化手部姿态和动作原语，用于降低灵巧操作模仿学习门槛并支持可复现研究。
2025-09-05 cs.AI cs.CV cs.RO
Language-Conditioned Open-Vocabulary Mobile Manipulation with Pretrained Models
Harbin Institute of Technology（哈尔滨工业大学）
本文提出融合 LLM 与 VLM 的语言条件框架 LOVMM，使机器人依据自然语言指令完成家庭环境中的开放词汇移动操作，并在仿真和桌面任务中展现出优异的零样本泛化与成功率。
2025-07-23 cs.RO
Trustworthy Visual Predicates for Robust Manipulation Understanding under Degradation
University of Tehran（德黑兰大学）
提出谓词级可靠性框架，通过结构化谓词词汇表、置信度感知估计和可靠性度量，分析模糊、遮挡等退化对操作理解中视觉谓词的影响，实验表明接触敏感和动态谓词更脆弱。
2026-06-06 cs.CV
Detector Confidence Signals Presence Rather Than Occlusion in Cluttered Manipulation
School of Computer Science & Informatics, Cardiff University（计算机科学与信息学院，卡迪夫大学）
研究开放词汇检测器在物体被遮挡时的表现，通过与几何分割预言机配对审核其对遮挡的反映，发现其置信度与可见性无关，会误判，基于置信度的指标和门控有问题，还将效应与校准错误等联系起来并给出建议。
2026-10-30 cs.CV
Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Midea Group（美的集团）；The Hong Kong University of Science and Technology（香港科技大学）
本文针对家庭场景开放词汇移动操作的目标定位问题，提出整合Semantic-3DGS的具身多模态框架，经50次真实机器人试验，在长 horizon、杂乱场景等任务中优于PointVLA等基线方法，提升了操作鲁棒性。
2026-08-12 cs.CV cs.RO
UniTeam: Open Vocabulary Mobile Manipulation Challenge
Bielefeld University（比勒费尔德大学）；IIIT-A（印度阿拉哈巴德信息技术学院）；ABV-IIIT-M（ABV印度管理信息技术学院）
针对HomeRobot开放词汇移动操作挑战赛的需求，研究者提出改进的UniTeam智能体，通过优化感知、导航、抓取、放置模块提升基线性能，推动具身AI跨领域研究。
2023-12-14 cs.AI cs.RO
Context-based Motion Retrieval using Open Vocabulary Methods for Autonomous Driving
Munich University of Applied Sciences（慕尼黑应用科学大学）；Intelligent Vehicles Lab (IVL)（智能车辆实验室）
针对自动驾驶安全关键场景中罕见人类行为检索的挑战，提出结合SMPL动作序列与视频帧的上下文感知动作检索框架，并构建WayMoCo数据集，在动作-上下文检索准确率上最高提升27.5%。
2025-08-12 cs.CL cs.CV cs.IR
PLAF: Pixel-wise Language-Aligned Feature Extraction for Efficient 3D Scene Understanding
Pengcheng Laboratory（鹏城实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
PLAF通过像素级语言对齐特征提取，实现2D场景中密集且准确的语义对齐，同时提升3D场景理解的开放词汇表达能力与效率。
2026-04-23 cs.CV cs.RO
Sound-Guided Semantic Image Manipulation
Korea University（高丽大学）；NVIDIA Corporation（英伟达公司）；KAIST（韩国科学技术院）
最近生成模型的成功表明，利用多模态嵌入空间可以使用文本信息操纵图像。然而，由于源的动态特性，利用其他源而不是文本（诸如声音）来操纵图像是不容易的。特别是声音可以传达真实世界的生动情感和动态表情。在这里，我们提出了一个框架，直接将声音编码到多模态（图像-文本）嵌入空间，并从空间中操纵图像。我们的音频编码器经过训练，从音频输入中产生一个潜在的表示，该表示被迫与多模态嵌入空间中的图像和文本表示对齐。我们使用一个直接潜在的优化方法的基础上对齐嵌入的声音引导图像操作。我们还表明，我们的方法可以混合文本和音频形式，丰富了各种图像修改。我们验证了我们的声音引导图像处理的有效性定量和定性。我们还表明，我们的方法可以混合不同的方式，即，文本和音频，丰富了图像修改的多样性。在zero-shot音频分类和语义级图像分类上的实验表明，我们提出的模型优于其他文本和声音引导的最先进的方法。
2021-11-30 cs.CV cs.GR cs.LG
OVAL-Prompt: Open-Vocabulary Affordance Localization for Robot Manipulation through LLM Affordance-Grounding
University of Michigan（密歇根大学）；J.P. Morgan AI Research（摩根大通AI研究院）
OVAL-Prompt利用VLM和LLM实现RGB-D图像中的开词汇可供性定位，无需微调即可达到监督基线精度，支持机器人操作。项目页面：https://ekjt.github.io/OVAL-Prompt/
2024-05-25 cs.RO
VoLo: A Physical Orchestrator for Open-Vocabulary Long-Horizon Manipulation
NVIDIA（英伟达）；University of Michigan（密歇根大学）
提出VoLoAgent，利用VLM将VLA/WAM作为可中断工具进行物理编排，实现开放词汇长时程操控，并在新基准RoboVoLo上显著优于现有系统。
2026-06-05 cs.RO
MobiGuide: Vocabulary-Guided Online Recovery for Mobile Manipulation
UQMM Lab, The University of Queensland（昆士兰大学UQMM实验室）；Robotics and Autonomous Systems Group, CSIRO（CSIRO机器人与自主系统组）
本文提出AnchorVLA，一种基于扩散的VLA策略，通过锚定扩散头在局部去噪以保留多模态动作生成，减少推理成本并提高移动操作的稳定性和鲁棒性。
2026-10-15 cs.RO
Affordance-Guided Coarse-to-Fine Exploration for Base Placement in Open-Vocabulary Mobile Manipulation
本文提出了一种基于 affordance 的粗到细探索方法，通过结合视觉语言模型的语义理解和几何可行性，提升开放词汇移动操控中基座放置的成功率。
2026-01-03 cs.AI cs.RO
KUDA: Keypoints to Unify Dynamics Learning and Visual Prompting for Open-Vocabulary Robotic Manipulation
Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
本文提出 KUDA，利用关键点连接 VLM 视觉提示与神经动力学规划，将语言指令转化为可优化代价函数，提升复杂开放词汇机器人操作能力。
2025-03-13 cs.AI cs.RO
Open-Vocabulary Mobile Manipulation Based on Double Relaxed Contrastive Learning with Dense Labeling
Keio University（庆应义塾大学）
本研究提出RelaX-Former模型，通过双重松弛对比学习从正样本、无标签正样本和负样本中学习鲁棒表示，解决家庭服务机器人在开放词汇指令下从大量图像中检索目标物品和容器的挑战，零样本迁移物理实验成功率达75%。
2024-12-24 cs.CL cs.CV cs.RO
TiPToP: A Modular Open-Vocabulary Robot Manipulation System That Plans
TiPToP是一种模块化开放式词汇规划系统，结合预训练视觉模型与任务规划器，通过自然语言指令和RGB图像直接解决多步骤操作任务，实现实时高效的操作规划。
2026-07-30 cs.RO
Rethinking Intermediate Representation for VLM-based Robot Manipulation
CUHK（香港中文大学）；Amazon（亚马逊）；UNC（北卡罗来纳大学教堂山分校）
本文提出SEAM表示方法，通过分解中间表示为词汇和语法，提升VLM在机器人操作中的可理解和通用性，结合检索增强的少样本学习策略实现高效操作，并在动作通用性和VLM可理解性上展示出优于主流方法的性能。
2025-11-24 cs.RO
Dynamic Open-Vocabulary 3D Scene Graphs for Long-term Language-Guided Mobile Manipulation
Beihang University（北京航空航天大学）；City University of Hong Kong（香港城市大学）；Minzu University of China（中央民族大学）；Afanti Tech LLC（阿凡提科技有限公司）
针对动态环境下移动机器人长期任务执行的难题，提出基于动态开放词汇3D场景图与语言引导规划的DovSG框架，支持局部场景图更新，经真实环境验证在长期任务中性能优越。
2025-03-19 cs.RO
BINDER: Instantly Adaptive Mobile Manipulation with Open-Vocabulary Commands
Seoul National University（首尔国立大学）；ECE, ASRI and IPAI in SNU（SNU的电子工程系、先进机器人研究所和智能感知与人工智能实验室）
BINDER通过分离战略规划与连续环境监控，结合多模态大语言模型和视频大语言模型，实现动态环境下的高效移动操作，提升鲁棒性和适应性。
2026-04-14 cs.AI cs.RO
RealAppliance: Let High-fidelity Appliance Assets Controllable and Workable as Aligned Real Manuals
Peking University（北京大学）；Jingdong Technology Information Technology Co., Ltd（京东科技信息技术有限公司）
RealAppliance通过高保真家电资产和对齐手册的基准测试，推动家电操控技术的发展。
2025-11-29 cs.AI cs.CV cs.RO
OVIR-3D: Open-Vocabulary 3D Instance Retrieval Without Training on 3D Data
Rutgers University（罗格斯大学）
本研究提出无需3D数据训练的OVIR-3D方法，通过2D文本对齐区域提议的多视图3D融合实现开放词汇3D实例检索，效率高且经实验验证可用于机器人导航与操作。
2023-11-06 cs.CV cs.RO
Preference Aligned Visuomotor Diffusion Policies for Deformable Object Manipulation
KTH Royal Institute of Technology（皇家理工学院）；INCAR Robotics AB（INCAR机器人有限公司）
本文提出RKO方法，通过偏好对齐提升机器人对可变形物体操作的个性化性能。
2026-02-10 cs.RO
Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints
CLAP通过任务分解、VLM微调和3D感知表示，提升机器人操作在新指令和环境下的泛化能力，实现更高的样本效率和操作精度。
2026-02-21 cs.RO
SenseFuse: Label-Free Fusion of Image and Shape Encoders for Open-Vocabulary 3D Instance Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
SenseFuse提出一种无标签融合方法，结合2D图像与3D形状编码器，通过自适应权重优化开放词汇3D实例分割的掩码标注，显著提升准确性与鲁棒性。
2026-09-18 cs.CV cs.RO
AffordGrasp: In-Context Affordance Reasoning for Open-Vocabulary Task-Oriented Grasping in Clutter
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）
提出开放词汇抓取框架AffordGrasp，利用VLMs从隐式指令推理可供性并定位部件级区域生成抓取姿态，在仿真和真实场景中实现最先进的任务导向抓取性能。
2025-03-02 cs.RO
Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis
State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）；Zhejiang University（浙江大学）
针对现有开放词汇3D理解方法忽略对象关系的问题，提出RelGraphOV框架，通过3D场景图与自适应门控双流式图注意力网络，提升场景理解性能与泛化性。
2026-07-07 cs.CV cs.RO
DISCO: Language-Guided Manipulation with Diffusion Policies and Constrained Inpainting
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Smart Systems Institute, NUS（NUS智能系统研究所）
DISCO框架利用现成视觉语言模型将自然语言指令转化为3D关键帧，并通过约束修复与优化策略引导扩散策略，在零样本开放词汇机器人操作中实现优于微调方法的泛化性能。
2025-08-19 cs.RO
HERO: Learning Humanoid End-Effector Control for Visual Whole-Body Open-Vocabulary Object Grasping
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究提出HERO方法，通过结合大视觉模型和模拟训练，实现了视觉全身体对象抓取任务中末端执行器的高精度控制和场景理解，显著提升了抓取精度和泛化能力。
2026-10-15 cs.CV cs.RO
HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation
Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心）；Xi’an Jiaotong University（西安交通大学）；Nankai University（南开大学）；Peking University（北京大学）
HEX通过引入人形对齐的通用状态表示和混合专家统一本体预测器，实现了对全尺寸双足人形机器人全身体操作的协调控制，展示了在任务成功率和泛化能力上的最新成果。
2026-10-23 cs.RO
Representation-Aligned Tactile Grounding for Contact-Rich Robotic Manipulation
Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院智能信息处理上海市重点实验室）；College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；Lenovo CTO Organization（联想首席技术官组织）；Nanyang Technological University（南洋理工大学）；TeleAl, China Telecom（中国电信天翼人工智能公司）
研究接触丰富的机器人操作中，针对VLA策略不同表示作用下触觉监督应用位置不明的问题，通过线性探针分析找到可预测未来触觉状态的中间动作专家特征，引入LTP，实验证明表示对齐的触觉基础效果更佳。
2026-07-17 cs.RO
PACE: Stage-Consistent Long-Horizon Robot Manipulation via Progress-Aligned Context for Execution
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
针对长时程机器人操作中的阶段混淆问题，提出PACE方法，利用进度对齐上下文和因果执行记忆，在多个基准上将成功率显著提升。
2026-10-07 cs.RO
From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation
University of São Paulo（圣保罗大学）；Instituto Israelita de Ensino e Pesquisa Albert Einstein（以色列爱因斯坦教育与研究机构）；Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）
研究针对工业环境中机器人操作难题，提出共享自主性框架，利用RGB-D摄像头、视觉语言模型等，经GPU加速控制器等实现操作，在四足移动操纵器上验证，在多项任务中表现良好，展示了该框架的有效性。
2026-07-21 cs.CV cs.HC cs.RO
DynaMem: Online Dynamic Spatio-Semantic Memory for Open World Mobile Manipulation
New York University（纽约大学）；Meta Inc.（Meta公司）；Hello Robot Inc.（Hello Robot公司）
针对静态环境假设限制开放世界移动操作的问题，提出DynaMem，利用动态空间-语义3D点云记忆结合多模态LLM实现环境持续更新与目标定位，非静止物体操作成功率达70%，较静态系统提升超2倍。
2025-05-29 cs.LG cs.RO
RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出RoboDexVLM框架，结合VLM任务规划与语言引导的零样本灵巧抓取算法，解决长程复杂操作任务，实现开放词汇的灵巧机器人操作。
2025-03-03 cs.RO
