机器人 / 具身智能

MindJourney: Test-Time Scaling with World Models for Spatial Reasoning

Yuncong Yang, Jiageng Liu, Zheyuan Zhang, Siyuan Zhou, Reuben Tan, Jianwei Yang, Yilun Du, Chuang Gan

机构 * UMass Amherst（马萨诸塞大学阿默斯特分校） ； JHU（约翰·霍普金斯大学） ； HKUST（香港科技大学） ； Microsoft Research（微软研究院） ； Harvard（哈佛大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；manipulation(abstract)；navigation(abstract)；分类 cs.RO、cs.AI、cs.CV

Comments Project Page: https://umass-embodied-agi.github.io/MindJourney

How Far Are Surgeons from Surgical World Models? A Pilot Study on Zero-shot Surgical Video Generation with Expert Assessment

Zhen Chen, Qing Xu, Jinlin Wu, Biao Yang, Yuhao Zhai, Geng Guo, Jing Zhang, Yinlu Ding, Nassir Navab, Jiebo Luo

机构 * Yale University（耶鲁大学） ； University of Nottingham（诺丁汉大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Department of Neurosurgery, The First Hospital, Shanxi Medical University（山西医科大学第一医院神经外科部） ； Department of Gastrointestinal Surgery, The Second Qilu Hospital, Shandong University（山东大学第二齐鲁医院胃肠外科部） ； Technical University of Munich（慕尼黑技术大学） ； University of Rochester（罗切斯特大学） 纠错

专题命中 具身推理 ：world model(title,abstract)；分类 cs.AI、cs.CV

Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks

Xu Zheng, Zihao Dongfang, Lutao Jiang, Boyuan Zheng, Yulong Guo, Zhenquan Zhang, Giuliano Albanese, Runyi Yang, Mengjiao Ma, Zixin Zhang, Chenfei Liao, Dingcheng Zhen, Yuanhuiyi Lyu, Yuqian Fu, Bin Ren, Linfeng Zhang, Danda Pani Paudel, Nicu Sebe, Luc Van Gool, Xuming Hu

专题命中 具身推理 ：embodied AI(abstract)；navigation(abstract)；分类 cs.CV

TESGNN: Temporal Equivariant Scene Graph Neural Networks for Efficient and Robust Multi-View 3D Scene Understanding

Quang P. M. Pham, Khoi T. N. Nguyen, Lan C. Ngo, Truong Do, Dezhen Song, Truong-Son Hy

机构 * Department of Robotics（机器人学系） ； Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎伊德人工智能大学） ； College of Engineering and Computer Science（工程与计算机科学学院） ； VinUniversity（文大学） ； Department of Computer Science（计算机科学系） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） 纠错

专题命中 具身推理 ：robotics(abstract)；分类 cs.CV、cs.LG

Comments arXiv admin note: text overlap with arXiv:2407.00609

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

Xiaoyu Zhan, Wenxuan Huang, Hao Sun, Xinyu Fu, Changfeng Ma, Shaosheng Cao, Bohan Jia, Shaohui Lin, Zhenfei Yin, Lei Bai, Wanli Ouyang, Yuanqi Li, Jie Guo, Yanwen Guo

机构 * Nanjing University（南京大学） ； Xiaohongshu Inc.（小红书公司） ； East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Oxford（牛津大学） 纠错

专题命中 具身推理 ：robotics(abstract)；分类 cs.CV