Microsoft（微软）

CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models

CAIRN：使用拓扑感知大型多模态模型进行跨房间3D场景理解

He Liang, Chenyang Ma, Yiming Zhang, Sangyun Shin, Andrew Markham, Niki Trigoni, Yuhang He

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） ； Simon Fraser University（西蒙弗雷泽大学） 纠错

AI总结 研究针对现有3D-LLMs不能处理多房间场景问题，提出拓扑感知3D-LLM即CAIRN。其将Transformer注意力与场景层次对齐，通过多种方式增强模型能力。在新基准CAIRN-MR上实验，CAIRN在多房间任务中大幅超越前人，单房间任务也具竞争力。

Comments Project Page: https://oceansdepp.github.io/cairn_web/

Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers

弥合潜在推理与显式推理之间的差距：循环Transformer

Ying Fan, Anej Svete, Kangwook Lee

机构 * UW-Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； ETH Zürich（苏黎世联邦理工学院） ； KRAFTON（魁匠团） ； Ludo Robotics 纠错

AI总结 提出LOTUS方法，利用循环Transformer在潜在空间进行多步推理，通过并行监督潜在块上的CoT令牌，首次在3B规模弥合与显式CoT的差距，并将推理延迟降低2.5-6.9倍。

Hierarchical and Holistic Open-Vocabulary Functional 3D Scene Graphs for Indoor Spaces

层次化和整体化的开放词汇功能3D场景图用于室内空间

Xinggang Hu, Chenyangguang Zhang, Alexandros Delitzas, Xiangkui Zhang, Marc Pollefeys, Francis Engelmann, Xiangyang Ji

机构 * Tsinghua University（清华大学） ； ETH Zürich（苏黎世联邦理工学院） ； MPI for Informatics（信息研究所） ； Dalian University of Technology（大连理工大学） ； Microsoft（微软） ； Stanford University（斯坦福大学） ； University of Lugano（卢加诺大学） 纠错

AI总结 本文提出一种开放词汇管道，结合2D视觉定位和3D图优化，解决小规模密集相似实例的场景图推理问题，通过时间图优化和全局层次塑造提升室内空间的功能3D场景图生成能力。

EmbodiSkill: Skill-Aware Reflection for Self-Evolving Embodied Agents

EmbodiSkill：基于技能的反思以实现自我进化的具身智能体

Ruofei Ju, Xinrui Wang, Xin Ding, Yifan Yang, Hao Wu, Shiqi Jiang, Qianxi Zhang, Hao Wen, Xiangyu Li, Weijun Wang, Kun Li, Yunxin Liu, Haipeng Dai, Wei Wang, Ting Cao

机构 * Nanjing University（南京大学） ； Huazhong University of Science and Technology（华中科技大学） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft Research（微软研究院） ； Institute for AI Industry Research (AIR) Tsinghua University（清华大学人工智能产业研究院） 纠错

AI总结 本文提出EmbodiSkill，一种无需训练的具身技能自我进化框架，通过技能感知反思和针对性修订提升任务成功率。

Rare Event Analysis via Stochastic Optimal Control

基于随机最优控制的稀有事件分析

Yuanqi Du, Jiajun He, Dinghuai Zhang, Eric Vanden-Eijnden, Carles Domingo-Enrich

机构 * Microsoft Research New England（微软研究院新英格兰分部） ； Cornell University（康奈尔大学） ； University of Cambridge（剑桥大学） ； Courant Institute of Mathematical Sciences, NYU（纽约大学Courant数学科学研究所） 纠错

AI总结 提出将稀有事件分析中的committor函数估计转化为随机最优控制问题，通过反馈控制引导轨迹采样，并开发两种损失函数及处理亚稳态的方法，在基准系统上获得更准确的结果。

What Matters in RL-Based Methods for Object-Goal Navigation? An Empirical Study and A Unified Framework

基于强化学习的目标导航方法中什么重要？实证研究与统一框架

Hongze Wang, Boyang Sun, Jiaxu Xing, Fan Yang, Marco Hutter, Dhruv Shah, Davide Scaramuzza, Marc Pollefeys

机构 * Computer Vision and Geometry Group, ETH Zurich, Switzerland（苏黎世联邦理工学院计算机视觉与几何组） ； Robotics and Perception Group, University of Zurich, Switzerland（苏黎世大学机器人与感知组） ； Robotic Systems Lab, ETH Zurich, Switzerland（苏黎世联邦理工学院机器人系统实验室） ； Princeton Robotic Intelligence and SysteMs group, Princeton University, USA（普林斯顿大学机器人智能与系统组） ； Microsoft, Switzerland（微软公司） 纠错

AI总结 研究目标导航中基于强化学习方法各组件影响，通过分解导航管道为感知、策略和测试时增强三组件进行实证研究，引入统一框架，构建增强系统达领先性能，提供见解与建议，凸显当前智能体与人类导航差距。

On Occlusions in Video Action Detection: Benchmark Datasets And Training Recipes

关于视频动作检测中的遮挡：基准数据集和训练方法

Rajat Modi, Vibhav Vineet, Yogesh Singh Rawat

机构 * CRCV, University of Central Florida（计算机视觉研究中心、中央佛罗里达大学） ； Microsoft Research（微软研究院） 纠错

AI总结 研究视频动作检测中遮挡的影响，引入新基准数据集，发现神经网络有趣现象，得出有效训练方法，提升模型在遮挡下性能，如在O-UCF、O-JHMDB和Real-OUCF上vMAP指标分别提升32.3%、32.7%和2.6%。

Comments NeurIPS 2023