机器人 / 具身智能

RoboGene: Boosting VLA Pre-training via Diversity-Driven Agentic Framework for Real-World Task Generation

RoboGene: 通过多样性驱动的代理框架提升VLA预训练以生成现实任务

Yixue Zhang, Kun Wu, Zhi Gao, Zhen Zhao, Pei Ren, Zhiyuan Xu, Fei Liao, Xinhua Wang, Shichao Fan, Di Wu, Qiuxuan Feng, Meng Li, Zhengping Che, Chang Liu, Jian Tang

机构 * Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） ； The School of Advanced Manufacturing and Robotics, Peking University（北京大学先进制造与机器人学院） ； Beijing Institute of Technology（北京理工大学） ； The School of Mechanical Engineering and Automation, Beihang University（北航机械工程与自动化学院） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室） 纠错

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 RoboGene通过多样性驱动的代理框架生成多样化、物理合理的机器人操作任务，提升VLA预训练效果。

Learning Human-Like Badminton Skills for Humanoid Robots

为人类机器人学习人类般的羽毛球技能

Yeke Chen, Shihao Dong, Xiaoyu Ji, Jingkai Sun, Zeren Luo, Liu Zhao, Jiahui Zhang, Wanyue Li, Ji Ma, Bowen Xu, Yimin Han, Yudong Zhao, Peng Lu

专题命中 机器人数据与评测 ：robotics(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.LG

AI总结 本文提出Imitation-to-Interaction框架，通过强化学习使机器人从模仿者发展为具备击球能力的智能体，实现了拟人化羽毛球技能的模拟到现实的零样本迁移。

Comments 10 pages, 4 figures

STEMNIST: Spiking Tactile Extended MNIST Neuromorphic Dataset

STEMNIST：基于事件的神经形态触觉数据集

Anubhab Tripathi, Li Gaishan, Zhengnan Fu, Chiara Bartolozzi, Bert E. Shi, Arindam Basu

专题命中 机器人数据与评测 ：robotics(abstract)；manipulation(abstract)；robotic(abstract)

AI总结 STEMNIST是一个扩展至35个字母数字类别的神经形态触觉数据集，用于评估基于事件的触觉识别性能。

Break Out the Silverware -- Semantic Understanding of Stored Household Items

拿出银器——对存储家居物品的语义理解

Michaela Levi-Richter, Reuth Mirsky, Oren Glickman

机构 * Bar Ilan University, Computer Science Department（巴伊兰大学计算机科学系） ； Tufts University, Department of Computer Science（塔夫茨大学计算机科学系） 纠错

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 本研究提出NOAM模型，通过结合结构化场景理解和大语言模型推理，实现对家庭物品存储位置的语义理解，显著提升预测准确率并接近人类水平。

Comments Poster presented at the Israeli Seminar on Computational Linguistics 2025

Continuous Vision-Language-Action Co-Learning with Semantic-Physical Alignment for Behavioral Cloning

具有语义-物理对齐的连续视觉-语言-动作共学用于行为克隆

Xiuxiu Qi, Yu Yang, Jiannong Cao, Luyao Bai, Chongshan Fan, Chengtai Cao, Hongpeng Wang

专题命中 机器人数据与评测 ：embodied AI(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 本文提出CCoL框架，通过连续共学视觉、语言和动作，解决行为克隆中的语义-物理不一致问题，提升动作执行的准确性和鲁棒性。

Comments Accepted at AAAI 2026, the Project website is available at https://qhemu.github.io/CCoL/

PhyBlock: A Progressive Benchmark for Physical Understanding and Planning via 3D Block Assembly

PhyBlock：通过3D积木组装实现物理理解和规划的渐进性基准

Liang Ma, Jiajun Wen, Min Lin, Rongtao Xu, Xiwen Liang, Bingqian Lin, Jun Ma, Yongxin Wang, Ziming Wei, Haokun Lin, Mingfei Han, Meng Cao, Bokui Chen, Ivan Laptev, Xiaodan Liang

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） ； Shenzhen Campus of Sun Yat-sen University（孙中山大学深圳校区） ； Spatialtemporal AI（时空人工智能） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 机器人数据与评测 ：embodied agent(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

AI总结 PhyBlock通过3D积木组装任务评估VLMs在物理理解和规划能力，揭示其在复杂任务中的局限性。

MotIF: Motion Instruction Fine-tuning

Minyoung Hwang, Joey Hejna, Dorsa Sadigh, Yonatan Bisk

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

NEBULA: Do We Evaluate Vision-Language-Action Agents Correctly?

Jierui Peng, Yanyan Zhang, Yicheng Duan, Tuo Liang, Vipin Chaudhary, Yu Yin

机构 * Department of Computer & Data Sciences（计算机与数据科学系） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 机器人数据与评测 ：embodied agent(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Homepage: https://vulab-ai.github.io/NEBULA-Alpha/

Humanoid Policy ~ Human Policy

Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David J. Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, Xiaolong Wang

机构 * UC San Diego（加州大学圣地亚哥分校） ； CMU（卡内基梅隆大学） ； Apple（苹果公司） ； University of Washington（华盛顿大学） ； MIT（麻省理工学院） 纠错

专题命中 机器人数据与评测 ：robot learning(abstract)；manipulation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Code and data: https://human-as-robot.github.io/

LatticeWorld: A Multimodal Large Language Model-Empowered Framework for Interactive Complex World Generation

Yinglin Duan, Zhengxia Zou, Tongwei Gu, Wei Jia, Zhan Zhao, Luyi Xu, Xinzhu Liu, Yenan Lin, Hao Jiang, Kang Chen, Shuang Qiu

机构 * NetEase, Inc.（网易公司） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； City University of Hong Kong（香港城市大学） ； Independent Researcher & Technical Artists（独立研究者及技术艺术家） 纠错

专题命中 机器人数据与评测 ：embodied AI(abstract)；world model(abstract)；分类 cs.AI、cs.CV、cs.LG

TrajEvo: Trajectory Prediction Heuristics Design via LLM-driven Evolution

Zhikai Zhao, Chuanbo Hua, Federico Berto, Kanghoon Lee, Zihan Ma, Jiachen Li, Jinkyoo Park

专题命中 机器人数据与评测 ：robotics(abstract)；navigation(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments arXiv admin note: substantial text overlap with arXiv:2505.04480

Online Human Action Detection during Escorting

Siddhartha Mondal, Avik Mitra, Chayan Sarkar

机构 * TCS Research（TCS研究院） ； Yale University（耶鲁大学） 纠错

专题命中 机器人数据与评测 ：navigation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments Accepted in IEEE RO-MAN '25

Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence

Pranay Gupta, Henny Admoni, Andrea Bajcsy

机构 * The Robotics Institute, Carnegie Mellon University, United States（卡内基梅隆大学机器人研究所） 纠错

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments 15 pages, 11 figures

Tactile MNIST: Benchmarking Active Tactile Perception

Tim Schneider, Guillaume Duret, Cristiana de Farias, Roberto Calandra, Liming Chen, Jan Peters

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

Improving Trajectory Stitching with Flow Models

Reece O'Mahoney, Wanming Yu, Ioannis Havoutis

机构 * Oxford Robotics Institute（牛津机器人研究所） ； University of Oxford（牛津大学） 纠错

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

ControlTac: Force- and Position-Controlled Tactile Data Augmentation with a Single Reference Image

Dongyu Luo, Kelin Yu, Amir-Hossein Shahidzadeh, Cornelia Fermüller, Yiannis Aloimonos, Ruohan Gao

机构 * University of Maryland, College Park（马里兰大学学院 Park） 纠错

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments 22 pages, 11 figures, 7 tables

SynRES: Towards Referring Expression Segmentation in the Wild via Synthetic Data

Dong-Hee Kim, Hyunjee Song, Donghyun Kim

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.AI、cs.CV、cs.LG

TrajLearn: Trajectory Prediction Learning using Deep Generative Models

Amirhossein Nadiri, Jing Li, Ali Faraji, Ghadeer Abuoda, Manos Papagelis

专题命中 机器人数据与评测 ：robotics(abstract)；navigation(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments Accepted at ACM Transactions on Spatial Algorithms and Systems

PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos

Hanxiao Jiang, Hao-Yu Hsu, Kaifeng Zhang, Hsin-Ni Yu, Shenlong Wang, Yunzhu Li

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Project Page: https://jianghanxiao.github.io/phystwin-web/

ECBench: Can Multi-modal Foundation Models Understand the Egocentric World? A Holistic Embodied Cognition Benchmark

Ronghao Dang, Yuqian Yuan, Wenqi Zhang, Yifei Xin, Boqiang Zhang, Long Li, Liuyi Wang, Qinyang Zeng, Xin Li, Lidong Bing

专题命中 机器人数据与评测 ：embodied agent(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

Zero-Shot Peg Insertion: Identifying Mating Holes and Estimating SE(2) Poses with Vision-Language Models

Masaru Yajima, Kei Ota, Asako Kanezaki, Rei Kawakami

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Under submission

A Novel Framework for Learning Stochastic Representations for Sequence Generation and Recognition

Jungsik Hwang, Ahmadreza Ahmadi

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments 14 pages, 6 figures

Multi-modal Situated Reasoning in 3D Scenes

Xiongkun Linghu, Jiangyong Huang, Xuesong Niu, Xiaojian Ma, Baoxiong Jia, Siyuan Huang

专题命中 机器人数据与评测 ：embodied AI(abstract)；navigation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Accepted by NeurIPS 2024 Datasets and Benchmarks Track. Project page: https://msr3d.github.io/

How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation

Joseph A. Vincent, Haruki Nishimura, Masha Itkina, Paarth Shah, Mac Schwager, Thomas Kollar

专题命中 机器人数据与评测 ：manipulation(abstract)；robot policy(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments This work has been submitted to the IEEE for possible publication

Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers

Lirui Wang, Xinlei Chen, Jialiang Zhao, Kaiming He

专题命中 机器人数据与评测 ：robot learning(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments See the project website (https://liruiw.github.io/hpt/) for code and videos

Journal ref Neurips 2024

RaggeDi: Diffusion-based State Estimation of Disordered Rags, Sheets, Towels and Blankets

Jikai Ye, Wanze Li, Shiraz Khan, Gregory S. Chirikjian

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

专题命中 机器人数据与评测 ：robotics(abstract)；robot learning(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments RSS 2024

Follow Anything: Open-set detection, tracking, and following in real-time

Alaa Maalouf, Ninad Jadhav, Krishna Murthy Jatavallabhula, Makram Chahine, Daniel M. Vogt, Robert J. Wood, Antonio Torralba, Daniela Rus

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG

Comments Project webpage: https://github.com/alaamaalouf/FollowAnything Explainer video: https://www.youtube.com/watch?v=6Mgt3EPytrw

Creative Robot Tool Use with Large Language Models

Mengdi Xu, Peide Huang, Wenhao Yu, Shiqi Liu, Xilun Zhang, Yaru Niu, Tingnan Zhang, Fei Xia, Jie Tan, Ding Zhao

专题命中 机器人数据与评测 ：robotics(abstract)；robotic(abstract)；分类 cs.RO、cs.AI、cs.LG

Comments 19 pages, 14 figures, 2 tables

Generalizable Long-Horizon Manipulations with Large Language Models

Haoyu Zhou, Mingyu Ding, Weikun Peng, Masayoshi Tomizuka, Lin Shao, Chuang Gan

专题命中 机器人数据与评测 ：manipulation(abstract)；robotic(abstract)；分类 cs.RO、cs.CV、cs.LG