Improving Visual Perception of a Social Robot for Controlled and In-the-wild Human-robot Interaction
Monash University（莫纳什大学）
针对深度学习视觉模型高计算量对社交机器人交互表现与用户体验影响不明的问题，研究用前沿人体感知跟踪模型优化Pepper机器人视觉，通过两类实验评估其多人员场景下的用户跟随效果。
2024-03-05 cs.CV cs.RO
ReStory: VLM-augmentation of Social Human-Robot Interaction Datasets
Cornell Tech（康奈尔科技学院）
本文提出ReStory方法，利用视觉语言模型在人工监督下将现有人机交互数据增强为故事板形式的可解释交互场景，以缓解自然交互数据稀缺问题。
2024-12-30 cs.HC cs.RO
A Service Robot in the Wild: Analysis of Users Intentions, Robot Behaviors, and Their Impact on the Interaction
Dalle Molle Institute for Artificial Intelligence (IDSIA)（戴尔·莫勒人工智能研究所）
本文研究服务机器人通过预测用户意图并主动执行递送手势对交互的影响，基于1777名用户的真实世界数据发现主动发起交互能提高用户参与度，并公开数据集以促进复现。
2024-10-04 cs.RO
REACT: Two Datasets for Analyzing Both Human Reactions and Evaluative Feedback to Robots Over Time
Yale University（耶鲁大学）
本研究构建了包含协作游戏与摄影场景的REACT人机交互数据集，分析发现交互历史会影响人类对机器人的反应，提出未来HRI隐性反馈解读模型需考虑该因素，为相关研究提供数据支撑。
2024-01-31 cs.HC cs.RO
Hey, robot! An investigation of getting robot's attention through touch
Università di Bergamo（贝加莫大学）；Czech Technical University in Prague（捷克布拉格技术大学）；Comenius University Bratislava（布拉迪斯拉发夸美纽斯大学）；Central European University（中欧大学）
触觉是人与人之间交互和交流的关键部分，但在人机交互中的探索仍然很少。在这项工作中，参与者被要求接近并触摸人形机器人的手（Nao - 26参与者; Pepper - 28参与者）以引起其注意。我们为机器人设计了反应行为，包括四种不同的手臂运动组合，触摸的手向前或向后移动，另一只手向前移动或保持原位，同时向后倾斜，然后看着参与者。我们研究了人们认为机器人的哪种反应最合适，以及他们选择的原因是什么。对于两个机器人来说，机器人手被触摸的首选反应是向后移动。另一方面，没有任何运动被评为最自然的胡椒，而它的运动前进的瑙。研究发现，参与者人格特质的焦虑子量表与机器人反应的被动到主动/攻击性质之间存在相关性。大多数参与者注意到了后倾并对其进行了积极评价。一些参与者在非结构化的评论中对观察参与者给予了积极的评价。我们还分析了参与者自发触摸机器人的位置和方式。总之，这里设计的触摸反应行为是更普遍地部署在社交机器人中的良好候选者，可能包括拥挤环境中的偶然触摸。机器人的大小是影响机器人反应的一个重要因素。
2023-02-09 cs.HC cs.RO
Training Models to Detect Successive Robot Errors from Human Reactions
Cornell University（康奈尔大学）
本研究利用机器学习从人类反应中识别机器人连续失败阶段，最佳模型错误检测准确率93.5%，连续失败分类准确率84.1%，提升了人机交互中的错误检测能力。
2025-10-10 cs.AI cs.HC cs.RO
Faulty Coffees: Barriers to Adoption of an In-the-wild Robo-Barista
Heriot-Watt University（赫瑞斯学院大学）；University of Edinburgh（爱丁堡大学）；CereProc Ltd.（CereProc有限公司）
研究通过在养老社区部署机器人咖啡师，探讨任务叙事对长期机器人交互影响，发现低重复互动、技术故障和社会动态等障碍影响实际应用。
2026-03-17 cs.RO
Towards Unified Interactive Visual Grounding in The Wild
ByteDance Research（字节跳动研究院）
本文提出端到端交互式视觉定位系统TiO，通过统一视觉对话与定位的公式化方法，在公开数据联合训练下实现卓越泛化能力，并在GuessWhat?!和InViG基准及真实机器人平台上取得新高成功率。
2024-02-18 cs.RO
Safe Coordination of Human-Robot Firefighting Teams
Georgia Institute of Technology（佐治亚理工学院）
野火具有破坏性，对受害者的生命和自然资源造成大规模、不可逆转的损害。研究人员提议委托无人机（无人机）为消防员提供实时跟踪信息;然而，这些无人机无法推理火灾的轨迹，包括当前位置、测量结果和不确定性以及传播情况。我们提出了一个模型预测，概率安全的分布式控制算法，人机协作在野火战斗。所提出的算法克服了现有工作的局限性，明确估计潜在的火灾传播动力学，使智能，时间延长的无人机协调支持地面人类消防员。我们推导出一个新的分析界限，使无人机分配他们的资源，并提供了一个概率保证人类的安全，同时保持无人机的能力，以涵盖整个火灾。
2019-03-16 cs.AI cs.HC cs.MA
Field Notes on Deploying Research Robots in Public Spaces
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；Ulm University（乌尔姆大学）
本文分享了2022至2023年夏季在曼哈顿和布鲁克林公共广场通过Wizard-of-Oz协议部署垃圾桶服务机器人进行人机交互研究的实地经验与最佳实践，以鼓励更多真实环境下的机器人研究。
2024-04-29 cs.RO
REFLEX Dataset: A Multimodal Dataset of Human Reactions to Robot Failures and Explanations
KTH Royal Institute of Technology（皇家理工学院）；Lancaster University（兰卡斯特大学）
本文构建多模态数据集 REFLEX，通过标注人类在协作场景中对不同机器人故障、解释层次及策略变化的反应，支持长期人机交互动态研究。
2025-02-20 cs.RO
Robot Error Awareness Through Human Reactions: Implementation, Evaluation, and Recommendations
Johns Hopkins University（约翰斯·霍普金斯大学）
针对传统机器人错误检测方法灵活性不足、响应慢的问题，本研究结合用户行为信号、反馈与错误上下文构建主动检测系统，实验证明其检测更可靠快速、用户评价更优，为HRI系统的机器人错误感知提供建议。
2025-01-13 cs.HC cs.RO
The Bystander Affect Detection (BAD) Dataset for Failure Detection in HRI
Cornell Tech（康奈尔科技学院）；Accenture Labs（埃森哲实验室）
对于机器人来说，要修复自己的错误，它必须首先知道自己犯了错误。人们发现错误的一种方式是从旁观者的隐含反应中--他们的困惑、傻笑或咯咯的笑声暗示我们发生了意想不到的事情。为了使机器人能够检测到旁观者对任务失败的反应并采取行动，我们开发了一种新的方法来引起旁观者对人类和机器人错误的反应。使用46个不同的刺激视频，具有各种各样的人类和机器的任务失败，我们收集了来自54名参与者的2452个网络摄像头视频的人类反应。为了测试所收集数据的可行性，我们使用旁观者反应数据集作为深度学习模型BADNet的输入，以预测故障发生。我们测试了不同的数据标记方法，并了解了它们如何影响模型性能，实现了90%以上的精度。我们讨论的策略，以模拟旁观者的反应和预测失败，以及如何将这种方法可以用于在现实世界中的机器人部署，以检测错误和提高机器人的性能。作为这项工作的一部分，我们还贡献了旁观者反应的“旁观者影响检测”（BAD）数据集，支持开发更好的预测模型。
2023-03-08 cs.HC cs.RO
On-the-fly Detection of User Engagement Decrease in Spontaneous Human-Robot Interaction, International Journal of Social Robotics, 2019
Telecom ParisTech（巴黎高等电信学院）
在本文中，我们考虑检测的参与度下降的用户自发地与社会辅助机器人在公共空间中进行交互。我们首先描述了UE-HRI数据集，该数据集收集自发的人机交互，遵循情感计算研究社区提供的指南来收集“野外”数据。然后，我们分析了用户的行为，重点是在与机器人交互过程中的表情，凝视，头部运动，面部表情和语音。最后，我们研究了深度学习技术（递归和深度神经网络）的使用，以实时检测用户参与度的下降。这项工作的结果突出，特别是考虑到用户的行为的时间动态的相关性。允许1到2秒作为缓冲延迟提高了对用户参与做出决定的性能。
2020-04-20 cs.HC cs.RO
Gaze-based Object Detection in the Wild
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）
在人机协作中，一个具有挑战性的任务是教机器人新的未知物体，使其能够与它们交互。因此，凝视可以包含有价值的信息。我们调查，如果它是可能的检测对象（对象或没有对象）仅仅从凝视数据，并确定其限界框参数。为此，我们探索了不同大小的时间窗口，这是计算热图的基础，即，凝视数据的空间分布。此外，我们分析了这些热图的不同网格大小，并使用不同的机器学习技术在概念证明中演示了功能。我们的方法的特点是其速度和资源效率相比，传统的对象检测器。为了生成所需的数据，我们对五名可以自由移动的受试者进行了一项研究，从而转向任意物体。这样，我们为数据汇集选择了一个尽可能真实的场景。由于受试者在面对物体时移动，热图还包含注视数据轨迹，使检测和参数回归复杂化。我们将我们的数据集公开提供给研究社区下载。
2023-01-25 cs.HC cs.LG cs.RO
Are We Generalizing from the Exception? An In-the-Wild Study on Group-Sensitive Conversation Design in Human-Agent Interactions
Cologne Cobots Lab, TH Köln - University of Applied Sciences（科隆机器人实验室，TH Köln应用科学大学）；KI Park e.V. & FAU - Friedrich-Alexander University of Erlangen-Nuremberg（KI Park协会与弗赖堡-艾森纳赫大学）
该研究针对两款社交交互智能体验证群体敏感对话设计的效果，虽未发现对满意度的显著影响，为多群体人机交互对话适配提供了洞见。
2025-06-12 cs.RO
Full-Body Collision Detection and Reaction with Omnidirectional Mobile Platforms: A Step Towards Safe Human-Robot Interaction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们开发的估计和控制方法，快速反应的全向移动平台和他们的环境之间的碰撞。为了实现对外力的全身检测，我们使用了位于机器人传动系统中的扭矩传感器。使用基于模型的技术，我们估计，具有良好的精度，碰撞力的位置，方向和大小，我们开发了一个导纳控制器，实现了低有效质量的反应。对于实验测试，我们使用的设施包含一个校准的碰撞假人和我们的完整的移动平台。我们随后探讨碰撞与假人碰撞对一个固定的基地和基地碰撞对一个固定的假人。总的来说，我们实现了快速反应时间和减少冲击力。概念验证实验展示了移动平台的各个部分，包括车轮，与人类安全碰撞。
2015-01-20 cs.RO
Developing a Data-Driven Categorical Taxonomy of Emotional Expressions in Real World Human Robot Interactions
情绪是可以通过各种社会信号表达的反应。例如，愤怒可以通过皱眉、眯起眼睛、长时间凝视或许多其他表情来表达。当试图在人机交互中识别人类的表情时，这种复杂性是有问题的：HRI中使用的分类情感模型通常只使用几个原型类，并且不覆盖野生动物中的各种表情。我们提出了一种数据驱动的方法，以增加人类与机器人交互中存在的已知情感类的数量，达到28类或更多。该方法包括使用视频流自动分割成短（<10秒）视频，并使用大量广泛理解的表情符号作为类别进行注释。在这项工作中，我们使用一个大型的野外HRI数据集（UE-HRI）展示了我们的初步结果，其中61个片段从数据集中随机抽样，用28个不同的表情符号标记。特别是，我们的研究结果表明，“怀疑”表情符号是我们数据集中的一种常见表情，这在典型的情感分类中并不常见。这是开发丰富的情感表达分类的第一步，这些情感表达可以在未来用作训练机器学习模型的标签，以实现机器人对人类更准确的感知。
2021-03-07 cs.RO
A Data-Driven Approach for Contact Detection, Classification and Reaction in Physical Human-Robot Collaboration
Roma Tre University（罗马第三大学）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）
本文考虑的情况下，机器人和人类操作员共享相同的工作空间，机器人都能够进行自主任务，并与人类进行物理交互，以实现共同的目标。在这种情况下，由于任务和环境的复杂性，人类行为的不确定性以及对彼此行为的典型缺乏意识，可能会发生人与机器人之间的有意和意外接触。在这里，基于递归神经网络（RNN）的两阶段策略被设计为检测有意和意外接触：在第一阶段检测与人的接触的发生，而在第二阶段执行有意和意外之间的分类。然后分别由机器人执行准入控制策略或回避动作。该方法也适用于机器人同时与人类和环境交互的情况，其中后者的交互扳手通过高斯混合模型（GARCH）建模。控制障碍函数（CBF）包括，在控制级，以保证满足机器人和任务的约束，同时执行适当的交互策略。该方法已被验证的一个真正的设置组成的Kinova的1002机器人。
2021-06-12 cs.RO
Towards Learning How to Properly Play UNO with the iCub Robot
University of Hamburg（汉堡大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
在与另一个人互动时，我们的反应和行为在很大程度上受到互动时间背景下的情绪变化的影响。我们内在的情感评价包括感知、自我评价和具有类似社会经历的情感记忆，这些情感评价将在互动中驱动特定的反应，在大多数情况下，这些反应被视为适当的反应。本文提出了多模态研究的发展路线图，其目的是使机器人能够在人机交互（HRI）场景中提供适当的社会响应。
2019-08-02 cs.AI cs.HC cs.RO
Embodiment-Aware Inference-Time Search for Human Reaction Selection in Humanoid Retargeting
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）
本研究针对人形机器人重定向的反应选择问题，提出推理时反应搜索框架，通过生成式反应模型采样并结合交互与具身可行性评估，提升重定向反应可行性且无需重训，具身依赖性显著。
2026-10-14 cs.RO
Quantifying Uncertainties of Contact Classifications in a Human-Robot Collaboration with Parallel Robots
Leibniz University Hannover（汉诺威莱布尼茨大学）
针对并联机器人人机协作中碰撞与夹持误分类可能加剧危险的问题，提出基于物理特征和前馈神经网络的分类不确定性量化方法，以区分可靠预测并选择安全反应。
2023-08-18 cs.RO cs.SY eess.SY
Safe Collision and Clamping Reaction for Parallel Robots During Human-Robot Collaboration
Leibniz University Hannover（汉诺威莱布尼茨大学）
针对并联机器人在人机协作中的碰撞与夹挤风险，提出基于外力估计、阻抗回缩及双FNN识别夹挤链并张开结构的安全反应策略，实验表明可在130 ms内终止接触。
2023-08-18 cs.RO cs.SY eess.SY
Feeding the Coffee Habit: A Longitudinal Study of a Robo-Barista
Heriot-Watt University（赫瑞-瓦特大学）
本文通过一项“野外”实验纵向研究了用户与机器人咖啡师交互的演变，发现感知信任和先验态度是影响其实用性、适应性和吸引力的重要因素，结合交互特征与用户属性可预测用户满意度，为社交机器人的长期设计提供了经验教训。
2023-09-06 cs.RO
Reacting like Humans: Incorporating Intrinsic Human Behaviors into NAO through Sound-Based Reactions to Fearful and Shocking Events for Enhanced Sociability
Sharif University of Technology（谢里夫理工大学）；University of Padova（帕多瓦大学）
本文提出并实现了一个集成声音分类、LSTM-MDN动作生成和YOLO物体检测的恐惧模块，使NAO机器人能对突发巨响做出类人恐惧反应并定位声源，实验证明其能提升机器人社交性，且非专家期望更高。
2024-06-05 cs.AI cs.LG cs.RO
GloPro: Globally-Consistent Uncertainty-Aware 3D Human Pose Estimation & Tracking in the Wild
Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国学院）
GloPro首次融合视觉线索与运动模型，预测包含形状、姿态和根姿态的3D人体网格不确定性分布，在严重遮挡下仍能实时实现高精度全局一致的人体轨迹估计与跟踪。
2023-09-20 cs.CV cs.RO
Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
本研究提出通用操作接口UMI框架，通过手持夹爪收集野外人类演示数据，结合推理延迟匹配、相对轨迹动作表示实现硬件无关的机器人策略学习，可零样本泛化到新场景新物体，已开源软硬件系统。
2024-03-06 cs.RO
Trust and Acceptance of Multi-Robot Systems "in the Wild". A Roadmap exemplified within the EU-Project BugWright2
CNRS（法国国家科学研究中心）；Georgia Institute of Technology（佐治亚理工学院）；Trier University（特里尔大学）；GeorgiaTech Lorraine（佐治亚理工洛林分校）
本文基于欧盟BugWright2项目经验，提出通过构建更新共享心智模型、配套相关策略与合理UI来校准多机器人系统信任度的路线图，聚焦船舶检测维护场景。
2023-12-13 cs.HC cs.RO
Long-Term, in-the-Wild Study of Feedback about Speech Intelligibility for K-12 Students Attending Class via a Telepresence Robot
New Mexico State University（新墨西哥州立大学）；San Jose State University（圣何塞州立大学）；University of Southern California（南加州大学）
远程呈现机器人为远程用户提供了存在，体现和移动性，使其成为在家K-12学生的有前途的选择。然而，机器人操作员很难知道他们在遥远和嘈杂的教室环境中被听到的程度。一种解决方案是估计操作者对他们的听众的语音可懂度，以便向操作者提供关于它的反馈。这项工作有助于第一次评估的语音清晰度反馈系统在家K-12学生远程上课。在我们的四次长期野外部署中，我们发现学生以不同的音量说话，而不是调整机器人的音量，并且需要详细的音频校准和网络延迟反馈。我们还贡献了第一个发现的类型和频率的多模态理解线索给在家的学生在课堂上的听众。通过对700多条线索的注释和分类，我们发现最常见的线索形式是会话的话轮时间和言语内容。会话轮时间线索发生更频繁的整体，而口头内容线索包含更多的信息，可能是最常见的形式为负面线索。我们的工作为远程呈现系统提供了建议，这些系统可以进行干预，以确保远程用户被听到。
2021-08-24 cs.HC cs.RO
EgoWild2Dex: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience
The University of Hong Kong（香港大学）；Kinetix AI
EgoWild2Dex利用真实世界以自我为中心的人类数据，通过GeoFormer对齐视点和动作，实现双臂灵巧操作，在真实机器人上达到96.7%成功率，并发布538.9小时数据集。
2026-09-22 cs.RO
Implementation Of Wildlife Observation System
REVA University（雷瓦大学）
针对近距离观察野生动物的安全风险，本文设计一种由 Android 手机、Wi-Fi 模块、计算机和驱动电机构成的机器人车辆系统，实现实时监视与隐蔽、有目的的运动控制。
2025-01-08 cs.RO
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）
针对机器人操作中音频数据来源受限的问题，提出ManiWAV音视频采集设备与对应策略接口，从真实场景人类演示学习操作策略，可完成多类接触任务并泛化到新环境。
2024-11-04 cs.AI cs.CV cs.RO
Human-to-Robot Imitation in the Wild
Carnegie Mellon University（卡内基梅隆大学）
我们通过观察野外的人类来探讨学习的问题。虽然模仿和强化学习中的传统方法在现实世界中的学习中很有前途，但它们要么是样本效率低下，要么局限于实验室环境。与此同时，在处理被动的、非结构化的人类数据方面取得了很多成功。我们建议通过一个有效的一次性机器人学习算法来解决这个问题，该算法以第三人称视角为中心。我们称这种方法为WHIRL：在野外模仿人类的机器人学习。WHIRL提取了一个优先于人类演示者的意图，使用它来初始化我们的代理的策略。我们介绍了一个有效的现实世界的策略学习计划，提高使用的互动。我们的主要贡献是一个简单的基于采样的策略优化方法，一个新的目标函数对齐人类和机器人的视频，以及探索方法，以提高样本效率。我们展示了在现实世界中的一次性泛化和成功，包括野外20种不同的操作任务。视频和谈话https://human2robot.github.io
2022-07-19 cs.AI cs.CV cs.LG
Runtime Learning of Quadruped Robots in Wild Environments
Engineering Technology Division, Wayne State University（韦恩州立大学工程技术系）；Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；School of Engineering and Design, Technical University of Munich（慕尼黑技术大学工程与设计学院）；School of Electrical Engineering and Computer Science, Washington State University（华盛顿州立大学电气与计算机科学学院）
本文提出四足机器人运行时学习框架，通过高性能DRL学生与高保证物理模型教师交互学习，在野外环境中实现安全自适应运动。
2025-09-19 cs.RO
Recognizing Objects In-the-wild: Where Do We Stand?
TU Wien（维也纳技术大学）；Italian Institute of Technology（意大利理工学院）
识别物体的能力是机器人系统在人类居住环境中工作的基本技能。尽管机器人和视觉研究界几十年来一直在努力，但机器人仍然缺乏良好的视觉感知系统，这阻碍了自主智能体在现实世界中的应用。由于缺乏能够准确代表机器人在野外感知的世界的测试平台，进展缓慢。为了填补这一空白，我们引入了一个大规模的，多视图对象数据集收集与安装在移动机器人上的RGB-D相机。该数据集嵌入了机器人在现实应用中面临的挑战，并为验证对象识别算法提供了有用的工具。除了描述数据集的特征外，本文还评估了一系列成熟的深度卷积网络在新数据集上的性能，并分析了深度表示从Web图像到机器人数据的可移植性。尽管使用这种表示方法获得了有希望的结果，但实验表明，使用现实生活中的机器人数据进行对象分类远未解决。最后，我们提供了一个比较研究，分析和突出机器人视觉的开放性挑战，解释性能的差异。
2018-05-22 cs.CV cs.RO
Text Detection & Recognition in the Wild for Robot Localization
University of Waterloo（滑铁卢大学）
标识无处不在，机器人应该能够利用标识来帮助它定位（包括视觉位置识别（VPR））和地图。由于姿态、不规则文本、光照和遮挡等因素，在野外进行鲁棒的文本检测和识别具有挑战性。我们提出了一个端到端的场景文本定位模型，同时输出的文本字符串和边界框。该模型更适合于VPR。我们的主要贡献是引入了一个端到端的场景文本定位框架，以充分捕捉不规则和遮挡的文本区域在不同的挑战性的地方。为了评估我们提出的架构的VPR的性能，我们进行了几个具有挑战性的自我收集的文本位置（SCTP）基准数据集的实验。初步的实验结果表明，该方法优于SOTA方法的精度和召回方面测试时，在这个基准。
2022-05-19 cs.CV cs.RO
Vector Detection Network: An Application Study on Robots Reading Analog Meters in the Wild
Northeastern University（东北大学）；The Chinese University of Hong Kong（香港中文大学）；T-Stone Robotics Institute（T-Stone机器人研究所）
配备有一个或多个指针的模拟仪表被广泛用于监控工业现场中的重要设备的状态以用于安全考虑。自主地读取这些传统仪表{ \bi}仍然是一个开放的问题，因为在野外施加的成像阻尼因子下估计指针原点和方向可能是具有挑战性的。然而，高精度，灵活性和实时性能的要求。在这项工作中，我们提出了矢量检测网络（VDN），以检测模拟仪表的指针给出他们的图像，消除障碍，自主读取这些仪表使用智能代理，如机器人。我们将指针处理为二维向量，其初始点与尖端重合，方向是沿着尾到尖端。该网络估计置信度图，其中峰值像素被视为向量的初始点，以及两层标量图，其在每个峰值处的像素值形成坐标轴方向上的标量分量。由于目前没有类似的数据集，我们建立了由真实世界模拟仪表图像组成的Pointer-10 K数据集来评估我们的方法。在数据集上的实验表明，我们的方法可以很好地推广到各种仪表，对苛刻的成像因素具有鲁棒性，并且可以实时运行。
2021-05-30 cs.RO
Masquerade: Learning from In-the-wild Human Videos using Data-Editing
Stanford University（斯坦福大学）
提出Masquerade方法，通过编辑真实世界第一人称人类视频（估计3D手部姿态、修复手臂、叠加渲染双臂机器人）弥合视觉具身差距，并利用编辑后的视频预训练视觉编码器、微调扩散策略头，在三个长时程双臂厨房任务中实现比基线高5-6倍的泛化性能。
2025-08-13 cs.RO
CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception
Cornell University（康奈尔大学）；Horace Mann School（霍拉曼学校）
CLAMP通过开源设备收集大规模真实场景触觉数据集，训练多模态触觉编码器，实现材料识别和机器人操作任务的泛化能力。
2026-01-12 cs.RO
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation
Technical University of Munich（慕尼黑工业大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软公司）
VidBot利用野外人类视频学习3D可供性，通过从粗到细的模型生成交互轨迹，实现零样本机器人操作，在13个任务中显著优于现有方法。
2025-03-27 cs.CV cs.RO
FeasibleCap: Real-Time Embodiment Constraint Guidance for In-the-Wild Robot Demonstration Collection
Tsinghua University（清华大学）
FeasibleCap通过实时执行性指导提升机器人自由捕捉的效率和成功率。
2026-03-08 cs.RO
Robot Operating System 2: Design, Architecture, and Uses In The Wild
Samsung Research America（三星美国研究院）；Open Robotics（开放机器人组织）
机器人革命的下一章正在顺利进行，机器人将被部署到广泛的商业用例中。即使在无数的应用和环境中，机器人也有一个共同的组件词汇表-需要模块化，可扩展和可靠的架构;传感;规划;移动性;和自主性。机器人操作系统（ROS）是最后一章的一个组成部分，它使用免费提供的组件和模块化框架，大大加快了机器人研究的速度。然而，ROS 1并没有设计许多必要的生产级功能和算法。ROS 2及其相关项目已经重新设计，以满足现代机器人系统在各种规模的新领域和探索领域提出的挑战。在这篇评论中，我们强调了ROS 2的哲学和架构变化，为机器人革命的新篇章提供动力。我们还通过案例研究的影响ROS 2和它的采用加速真正的机器人系统可靠的部署在各种各样的挑战性的环境。
2022-11-14 cs.RO
Reinforcement Learning from Wild Animal Videos
LAAS-CNRS；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）
本文提出RLWAV方法，通过训练视频分类器识别野生动物视频中的动作，并以分类分数为奖励训练多技能策略，实现四足机器人在无参考轨迹下学习行走、跳跃等技能。
2024-12-05 cs.CV cs.LG cs.RO
Perception-Aware Communication-Free Multi-UAV Coordination in the Wild
Department of Cybernetics, Czech Technical University in Prague（控制系，捷克技术大学）
本研究提出了一种无需通信的多无人机协同方法，利用3D激光雷达进行SLAM和障碍物检测，实现复杂环境中的安全导航。
2026-03-09 cs.RO
Robot-Assisted Social Dining as a White Glove Service
University of Michigan（密歇根大学）；Leiden University（莱顿大学）
本研究通过参与设计和AI工具，提出机器人辅助社交用餐的白手套服务理念，强调多模态输入、情境敏感行为及角色扩展，以提升残疾人在野外社交用餐中的独立性和尊严。
2026-02-17 cs.AI cs.HC cs.RO
WildLMa: Long Horizon Loco-Manipulation in the Wild
UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
WildLMa 面向四足机器人在真实环境中的长时程移动操作，结合 VR 遥操作底层控制、可泛化视觉运动技能库和 LLM 技能规划接口，以少量演示实现跨物体泛化并验证了清理、关节操作等实际任务。
2025-03-08 cs.CV cs.LG cs.RO
Robot-Powered Data Flywheels: Deploying Robots in the Wild for Continual Data Collection and Foundation Model Adaptation
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究机构）
机器人驱动的数据飞轮通过部署机器人收集真实世界数据，提升基础模型在复杂环境中的适应能力，减少人工干预并提高多语言OCR性能。
2025-11-24 cs.AI cs.RO
Tracking Snake-like Robots in the Wild Using Only a Single Camera
University of California San Diego（加州大学圣地亚哥分校）
本文提出结合可微渲染与 Kalman filter 的单相机无标记跟踪方法，可在静止或移动相机下同时估计蛇形机器人位姿、关节角及不确定性。
2023-09-27 cs.RO
EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
本文提出EgoHumanoid框架，通过结合大量眼示范数据和少量机器人数据共同训练视觉-语言-动作策略，使机器人能够执行多样化的现实环境中的移动- manipulation任务，实验表明无机器人数据显著提升了性能，尤其在未见过的环境中表现更优。
2026-06-04 cs.RO
"Why the face?": Exploring Robot Error Detection Using Instrumented Bystander Reactions
Cornell University, Cornell Tech（康奈尔大学，康奈尔科技）；Cornell University（康奈尔大学）；Accenture Labs（埃森哲实验室）
本文提出通过颈部装置捕捉面部表情，开发NeckNet-18模型实现机器人错误检测，提升社交互动能力。
2025-11-29 cs.HC cs.RO
Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets
University of California, Berkeley（加州大学伯克利分校）
提出Robo2VLM框架，利用大规模野外机器人轨迹数据生成VQA数据集Robo2VLM-1，以增强和评估VLM的空间与交互推理能力。
2025-06-18 cs.AI cs.CL cs.LG
WildOS: Open-Vocabulary Object Search in the Wild
Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）；Swiss Federal Institute of Technology（瑞士联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；FieldAI Inc.（FieldAI公司）；Stanford University（斯坦福大学）；University of California Berkeley（加州大学伯克利分校）
WildOS通过结合安全几何探索与语义视觉推理，实现野外环境中的开放词汇物体搜索，显著提升导航效率和自主性。
2026-11-02 cs.CV cs.RO
EgoWalk: A Multimodal Dataset for Robot Navigation in the Wild
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）；Sber Robotics Center（Sber机器人中心）
本文提出EgoWalk数据集，包含50小时人类在多样化环境中的导航数据，提供多模态数据及自动化子集生成流程，展示其在机器人导航中的应用价值。
2026-04-19 cs.RO
Demonstrating Mobile Manipulation in the Wild: A Metrics-Driven Approach
Toyota Research Institute (TRI)（丰田研究所）
提出通用移动操作系统，在实际杂货店购物场景中进行为期18个月的六周现场测试，通过日志提取客观指标驱动系统改进，证明端到端系统级测试对机器人研究的现实检验价值。
2024-01-03 cs.RO
