The World According to a Social Robot -- Augmenting Human-Robot Dialogue With Vision Language Models
Institute of Information Systems, University of Lübeck（信息系统研究所，吕贝克大学）
研究探讨如何用视觉语言模型增强人机对话，通过将米斯特拉尔人工智能语言模型与胡椒机器人结合用于人机交互对话，并研究视觉信息对响应时间的影响，发现纳入视觉信息可增添对话背景，且使用欧洲托管的语言模型便于实际应用。
2026-07-21 cs.HC cs.RO
"Can you do this?" Self-Assessment Dialogues with Autonomous Robots Before, During, and After a Mission
Tufts University（塔夫茨大学）
具有复杂功能的自主机器人可能使人类教练难以评估其能力和专业知识。因此，重要的是未来的机器人有能力：反思他们的能力和评估他们的任务性能。内省允许机器人确定它可以完成什么，自我评估允许机器人估计它将完成给定任务的可能性。我们介绍了一个一般的框架内省和自我评估，使机器人有任务和性能为基础的对话之前，期间和之后的任务。然后，我们实现的认知机器人DIARC架构的框架方面，最后显示一个Nao机器人的概念验证演示，显示其自我评估能力之前，期间和之后的指示任务。
2020-06-08 cs.HC cs.RO
A Survey on Dialogue Management in Human-Robot Interaction
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Delft University of Technology（代尔夫特理工大学）
本文综述了人机交互（HRI）中对话管理（DM）的应用，分析了对话管理器类型、功能、评估方法及挑战，指出需采用结构性方法结合HRI与DM以实现流畅交互，并识别了相关科学前沿。
2023-07-20 cs.HC cs.RO
Balancing Efficiency and Coverage in Human-Robot Dialogue Collection
U.S. Army Research Laboratory（美国陆军研究实验室）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Tufts University（塔夫茨大学）
我们描述了一个多阶段的绿野仙踪的方法来收集人与机器人的对话，在协作搜索和导航任务。这些数据正被用于训练一个初始的自动化机器人对话系统，以支持协作探索任务。在第一阶段，一个向导自由地键入机器人的话语给人类参与者。在第二阶段，这些数据用于设计GUI，其中包括用于最常见通信的按钮，以及用于具有不同参数的通信的模板。在这些阶段收集的数据的比较表明，GUI实现了更快的对话速度，同时仍然保持适当的响应的高覆盖率，使更有效的有针对性的数据汇集，并使用GUI收集的数据在自然语言理解方面的改进。作为一个有前途的第一步，互动学习，这项工作表明，我们的方法，使有用的训练数据收集基于导航的HRI任务。
2018-10-07 cs.HC cs.RO
Improving User's Sense of Participation in Robot-Driven Dialogue
Tokyo Denki University（东京电机大学）
在面向任务的共生机器人对话中，机器人通常在对话进程和话题选择中占据主动。在这种机器人驱动的对话中，因为在讲话的时间和内容上的自由度受到限制，所以用户对对话的参与感降低，结果，用户对作为对话伙伴的机器人的熟悉度和信任度以及对话满意度降低。本研究以提升对话参与感为重点，建构旅行社对话系统。在对话开始时，机器人告诉用户即将进行的对话的目的，并表示它负责协助用户做出决策。此外，在用户被要求陈述他们的偏好的情况下，机器人鼓励他们用行动表达他们的意图，以及口头语言回应。此外，我们试图通过设计一个定时控制机器人的详细动作和面部表情，以减少对机器人的不适感。
2022-10-18 cs.RO
A Research Platform for Multi-Robot Dialogue with Humans
U.S. Army Research Laboratory（美国陆军研究实验室）
本文提出了一个研究平台，支持口语对话互动与多个机器人。演示展示了我们精心制作的MultiBot测试场景，其中用户可以向两个机器人队友口头发出搜索，导航和遵循指令：一个模拟地面机器人和一个空中机器人。这种灵活的语言和机器人平台利用现有的语音识别和对话管理工具，与新的领域兼容，并实现了一个智能体通信协议（战术行为规范），其中口头指令被编码为任务分配给适当的机器人。
2019-10-12 cs.CL cs.HC cs.RO
Knowing When to Ask: Resolving Uncertainty in Human-Robot Joint Planning via Explicit Dialogue and Implicit Intent Cues
Department of Electrical and Computer Engineering, George Washington University（电气与计算机工程系，乔治华盛顿大学）；Department of Mechanical and Aerospace Engineering, George Washington University（机械与航空航天工程系，乔治华盛顿大学）；Department of Electrical and Computer Engineering, Northeastern University（电气与计算机工程系，东北大学）
本文提出一种双模式人机联合规划系统，通过缓解不确定性与推断意图，提升人机协作效率。
2026-08-11 cs.HC cs.RO
A Dialogue Robot System to Improve Credibility in Sightseeing Spot Recommendations
Doshisha University（同志社大学）
已经对支持人类的机器人系统进行了各种研究。这些系统多年来已投入实际使用，现在在我们的日常生活中可以看到。特别是与人顺畅沟通的机器人有望在客户服务和指导方面发挥积极作用。在这种情况下，必须确定客户是否对对话机器人满意。然而，由于客户的言语的多样性，要满足客户的所有要求并不容易。在这项研究中，我们开发了一种对话机制，防止对话中断，并通过提供多个场景的机器人来控制对话，让客户满意。我们在一家旅行社的旅行目的地推荐任务中测试了它。
2022-10-20 cs.HC cs.RO
Consequences and Factors of Stylistic Differences in Human-Robot Dialogue
U.S. Army Research Laboratory（美国陆军研究实验室）；USC Institute for Creative Technologies（南加州大学创意技术研究所）
本文确定文体差异，观察到的语料库中的人机对话的提示。详细程度和结构的差异（即，单意图指令与多意图指令）自然出现，而没有关于用户应该如何与机器人说话的限制或先前指导。不同的风格被发现产生不同的错误沟通率，风格差异和个人用户的变化，信任和与机器人的互动体验之间的相关性。理解影响风格的潜在后果和因素可以为对话系统的设计提供信息，这些对话系统对人类用户的自然变化是鲁棒的。
2018-07-21 cs.CL cs.HC cs.RO
Dialogue based Interactive Explanations for Safety Decisions in Human Robot Collaboration
Department of Civil Engineering and Management, Faculty of Science and Engineering, The University of Manchester（曼彻斯特大学科学与工程学院土木工程与管理系）；VRAIN, Universitat Politècnica de València（瓦伦西亚理工大学VRAIN研究所）；Department of Engineering, University of Cambridge（剑桥大学工程系）；Department of Mechanical and Aerospace Engineering, Faculty of Science and Engineering, The University of Manchester（曼彻斯特大学科学与工程学院机械与航空航天工程系）；Center for the Possible Futures, Kyoto Institute of Technology（京都工艺纤维大学未来可能性中心）；Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学新领域创成科学研究科）
本文提出一种基于对话的交互式解释框架，用于人机协作中的安全决策，通过约束基础的安全评估实现解释与决策的紧密耦合，支持因果、对比和反事实查询，提升安全干预的透明度和协作效率。
2026-04-10 cs.HC cs.RO
Human-Robot Dialogue Annotation for Multi-Modal Common Ground
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Vrije Universiteit（自由大学）；Oak Ridge Associated Universities（橡树岭联合大学）；DARPA（国防高级研究计划局）；USC Institute for Creative Technologies（南加州大学创意技术研究所）
本文提出 Dialogue-AMR 和多说话方对话结构标注模式，对人机远程协作对话中的语义、言外之力及视觉上下文进行标注，并基于标注实现支持机器人自主双向对话与导航的系统。
2024-11-19 cs.CL cs.HC cs.RO
Applying the Wizard-of-Oz Technique to Multimodal Human-Robot Dialogue
Columbia University（哥伦比亚大学）
我们的总体计划目标是为士兵提供更自然的方式来与机器人互动和交流，就像今天士兵与其他士兵交流一样。我们描述了如何向导的奥兹（WOZ）方法可以应用到多模态人机对话的协作探索任务。虽然WOz方法可以帮助设计机器人行为，但传统方法将决策负担放在单个向导上。在这项工作中，我们考虑两个向导来代替机器人导航和对话管理软件组件。用于获取数据的场景是一个人类-机器人团队的任务是探索未知环境：人类从远程位置发出口头指令，机器人遵循它们，通过对话澄清可能的误解。我们发现向导之间的劳动分工是可行的，这为未来的软件开发带来了希望。
2017-03-10 cs.AI cs.CL cs.HC
Resolving Ambiguity via Dialogue to Correct Unsynthesizable Controllers for Free-Flying Robots
University of Rochester（罗切斯特大学）
本文提出一种基于符号表示和线性时序逻辑的自然语言交互架构，通过人机对话假设并验证规范修正，以解决自由飞行机器人控制器综合失败问题，并在国际空间站 Astrobee 机器人仿真中验证。
2023-04-11 cs.HC cs.RO
Towards an Extensible Benchmark for Spoken Dialogue with Social Robots
Boise State University（博伊西州立大学）；Semio（Semio公司）；Peerbots（Peerbots公司）；Georgia Institute of Technology（佐治亚理工学院）
该研究提出一个可扩展的社交机器人语音对话基准，涵盖澄清、打断、具身信号和时间约束，并采用实时通信框架Retico以支持人机语音交互。
2026-10-07 cs.RO
Dialogue system with humanoid robot
National Institute of Technology, Asahikawa College（旭川工业高等专门学校）
今天，正如智能扬声器所看到的那样，口语对话技术正在迅速发展，以实现类似人类的交互。然而，当前的对话系统在观看与之说话的人的面部表情的同时，不能不仅关注讲话的内容，而且关注说话的方式以及眼神接触和面部表情。因此，本研究参加了日本的“对话机器人大赛”，为了实现能够自然地与人进行互动的人形机器人，尝试开发不仅控制说话内容，还控制机器人的面部表情和目光的对话系统。
2022-10-18 cs.RO q-fin.CP
Knowledge-Grounded Dialogue Flow Management for Social Robots and Conversational Agents
University of Genoa（热那亚大学）
本文提出了一种基于知识的会话系统，为社会机器人和其他会话代理设计。所提出的系统依赖于一个本体的所有概念，可能是相关的会话主题，以及它们的相互关系的描述。本文重点介绍了对话管理的算法，该算法根据用户的输入选择最合适的对话主题。此外，它讨论了策略，以确保会话流捕捉，尽可能连贯地，用户的意图，以推动对话在特定的方向，同时避免纯粹的反应，用户说什么。为了衡量对话的质量，本文报告了对100名招募的参与者进行的测试，比较了五个对话代理：（i）仅基于语音中的关键字的检测来解决对话流管理的代理，（ii）基于关键字的检测和Google Cloud自然语言的内容分类特征两者的代理，（iii）一个随机选择对话主题的代理，（iv）一个假装是聊天机器人的人，以及（v）世界上最著名的聊天机器人之一：dika。参与者的主观感知通过SASSI（语音系统接口主观评估）工具以及用于测量连贯性主观感知的自定义调查来测量。
2021-08-04 cs.HC cs.RO
A Taxonomy of Conceptual Alignment in Human-Robot Dialogue
College of Design and Innovation, Tongji University（同济大学设计创意学院）；School of Design, Southern University of Science and Technology（南方科技大学设计学院）
提出一种分类法，从触发因素和理解层次两个维度刻画人机对话中的概念对齐过程，并设计对话行为模式作为分析工具，为交互设计提供结构化基础。
2026-06-23 cs.CL cs.HC cs.RO
SCOUT: A Situated and Multi-Modal Human-Robot Dialogue Corpus
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；DARPA（国防高级研究计划局）；Oak Ridge Associated Universities（橡树岭联合大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Vrije Universiteit（阿姆斯特丹自由大学）
本文提出 SCOUT 多模态人机对话语料库，基于 Wizard-of-Oz 协作探索实验构建，含 278 段对话及 AMR、Dialogue-AMR 和 Transactional Units 标注，用于研究人类如何与机器人交谈并推动自主导航对话系统发展。
2024-11-19 cs.CL cs.HC cs.RO
I Was Blind but Now I See: Implementing Vision-Enabled Dialogue in Social Robots
IDLab-AIRO – Ghent University – imec（IDLab-AIRO – 布鲁塞尔自由大学 – imec）
本文提出一种利用大语言模型提升社交机器人对话能力的系统，通过整合视觉输入增强上下文感知，展示六次与Furhat机器人的交互结果，探讨视觉与文本模态融合的未来对话可能性。
2023-11-15 cs.AI cs.HC cs.RO
Laying Down the Yellow Brick Road: Development of a Wizard-of-Oz Interface for Collecting Human-Robot Dialogue
U.S. Army Research Laboratory（美国陆军研究实验室）；USC Institute for Creative Technologies（南加州大学创新技术研究院）；Tufts University（塔夫茨大学）
我们描述了一个图形用户界面的适应和改进，旨在促进绿野仙踪（WoZ）的方法来收集人与机器人的对话数据。收集的数据将用于开发一个机器人导航的对话系统。建立在以前使用的虚拟代理和视频播放的对话系统的开发接口上，我们添加了开放参数的模板，允许向导快速产生各种各样的话语。我们的研究表明，这种数据汇集方法是可行的，作为一个中间步骤，在开发一个对话系统的物理机器人在远程位置从他们的用户-一个域中，人类和机器人需要定期验证和更新的物理环境的共同理解。我们表明，我们的WoZ界面和固定的一组话语和模板，其中提供了一个自然的对话节奏，良好的覆盖范围的导航域。
2017-10-17 cs.AI cs.CL cs.HC
Sympathy Begins with a Smile, Intelligence Begins with a Word: Use of Multimodal Features in Spoken Human-Robot Interaction
Heriot-Watt University（赫瑞-瓦特大学）
从人类面部表情或语音韵律中识别社会信号是人机交互研究中的一个热门研究课题。在口语对话社区中也有一长串的研究，调查与对话特征相关的用户满意度。然而，很少有研究涉及多模态的社会信号和语言功能的组合，在口语面对面的人机交互过程中检测到的用户感知的机器人。在本文中，我们展示了人类用户的不同情感的面部表情，结合人类语音的韵律特征和人机对话的特征，与用户的机器人的印象后，对话。我们发现，在用户的识别面部表情的幸福感强烈相关的机器人的可爱性，而对话相关的功能（如人类的回合数或每机器人话语的句子数）与感知机器人智能。此外，我们表明，面部表情，情感特征和韵律是更好的预测人类评级相关的感知机器人的可爱性和拟人化，而语言和非语言功能更经常预测感知机器人的智能和可解释性。因此，这些特征将来可以用作基于原位强化学习的自适应人机对话系统的在线奖励信号。
2017-06-08 cs.CL cs.HC cs.RO
Why Robots Are Bad at Detecting Their Mistakes: Limitations of Miscommunication Detection in Human-Robot Dialogue
IDLab-AIRO, Ghent University–imec（IDLab-AIRO、根特大学–imec）；Ghent University（根特大学）；LT3, Ghent University（LT3、根特大学）
本研究评估了机器学习模型在检测人机对话中沟通失败的有效性，发现模型和人类评估员在识别诱导性沟通失败时表现均不佳，揭示了用户即使感知到错误也往往不向机器人传达的根本局限。
2025-06-25 cs.CL cs.HC cs.RO
Spoken Dialogue Strategy Focusing on Asymmetric Communication with Android Robots
Tokyo Denki University（东京电机大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
人类很容易意识到Android机器人（AR）行为和话语的微小差异，导致将AR视为非人类，而AR将我们视为人类。因此，AR和人类之间存在不对称的通信。在2022年对话机器人竞赛的系统中，这种不对称性是我们对话策略中的一个重要研究目标。例如，在AR的话语中实验性地使用了一些棘手的短语，如与个人事务有关的问题和强烈的同意请求。我们假设这些增强现实短语将有合理的成功机会，尽管人类可能会犹豫是否使用这些短语。此外，在五分钟的对话中，我们的AR的特征，例如它的语调和句子表达，从机械变成了类似人类的类型，以假装为客户量身定制。本文介绍了本课题组研制的增强现实系统DSML-TDU的特点。
2022-10-18 cs.RO
Preserving HRI Capabilities: Physical, Remote and Simulated Modalities in the SciRoc 2021 Competition
Sapienza University of Rome（罗马第一大学）
在过去的几年里，机器人正在走出研究实验室，进入日常生活。在日常场景中，机器人的能力的基准测试比赛有助于在这条道路上向前迈进一步。事实上，它们促进了能够解决人形场景中人机共存过程中可能发生的问题的健壮架构的开发。其中一个竞赛是SciRoc，在其第二版中，提出了新的基准环境。特别是，SciRoc 2的第1集提出了三种不同的参与方式，同时保留了作为基本基准功能的人机交互（HRI）。用于挑战参赛团队的咖啡店环境代表了一个出色的测试平台，可以对不同的机器人功能进行基准测试，但也是一个提出创新解决方案的绝佳机会，以保证在新冠肺炎大流行的限制下实现真正的人机交互程序。开发的软件公开发布。
2023-03-22 cs.HC cs.RO
An Affective Robot Companion for Assisting the Elderly in a Cognitive Game Scenario
University of Hamburg（汉堡大学）
能够识别人类用户的情感被认为是人机交互（HRI）场景中非常理想的特性。然而，大多数当代的方法很少尝试以主动的方式应用已识别的情感特征来调节机器人决策和对话，以使用户受益。在这份立场文件中，我们提出了一种方法，将识别的情绪纳入一个基于强化学习（RL）的对话管理模块，以适应其对话响应，试图使认知训练任务，如2048益智游戏，更愉快的用户。
2018-07-12 cs.AI cs.HC cs.RO
Towards Dialogue-based Navigation with Multivariate Adaptation driven by Intention and Politeness for Social Robots
University of Hamburg（汉堡大学）；SoftBank Robotics Europe（软银机器人欧洲公司）
服务机器人需要表现出适当的社会行为，以便部署在医疗保健，教育，零售等社会环境中，机器人应该具有的一些主要功能是导航和会话技能。如果这个人不耐烦，他可能希望机器人导航得更快，反之亦然。表明礼貌的语言特征可以提供有关一个人的耐心和不耐烦行为的社会线索。本文提出的新颖之处是动态地将礼貌的机器人对话系统导航。理解用户言语中的礼貌可以用来调节机器人的行为和反应。因此，我们开发了一个对话系统，在室内环境中导航，产生不同的机器人的行为和反应的基础上用户的意图和礼貌程度。我们部署和测试我们的系统与胡椒机器人，适应用户的礼貌的变化。
2018-11-14 cs.AI cs.CL cs.RO
Team Flow at DRC2022: Pipeline System for Travel Destination Recommendation Task in Spoken Dialogue
Nagoya University（名古屋大学）
为了提高对话系统的交互能力，例如，为了适应不同的客户，举办了对话机器人大赛（DRC 2022）。作为其中一个团队，我们构建了一个对话系统，该系统具有包含四个模块的管道结构。自然语言理解（NLU）和自然语言生成（NLG）模块基于GPT-2模型，对话状态跟踪（DST）和策略模块基于手工规则设计。经过初赛，我们发现，低变化的训练样本的NLU和失败的建议，由于所使用的政策可能是有限的系统性能的主要原因。
2022-10-18 cs.AI cs.CL cs.RO
What Can Robots Teach Us About Trust and Reliance? An interdisciplinary dialogue between Social Sciences and Social Robotics
CY Cergy Paris University（赛尔吉巴黎大学）；ENSEA（法国高等电力学院）；CNRS（法国国家科学研究中心）；Université Paris 8（巴黎第八大学）；Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）
本文主张融合社会科学与社会机器人学视角，通过跨学科对话探讨人机交互中信任的形成、检验与显现，以构建更扎实且适应性强的信任理解框架。
2025-07-17 cs.RO
ARDIE: AR, Dialogue, and Eye Gaze Policies for Human-Robot Collaboration
本文提出ARDIE智能体，融合增强现实、对话与眼动注视，基于决策理论制定联合策略，通过AR渲染可视化未来交互，提升人机协作效率。
2023-05-08 cs.RO
Kinova Gemini: Interactive Robot Grasping with Visual Reasoning and Conversational AI
Southern University of Science and Technology（南方科技大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院）
为了促进机器人技术和人工智能的最新进展，实现人类与机器之间的微妙协作，我们提出了Kinova Gemini，这是一种原始的机器人系统，集成了对话式人工智能对话和视觉推理，使Kinova Gen3 lite机器人帮助人们检索物体或完成基于感知的拾取和放置任务。当一个人走到Kinova Gen3 lite面前时，我们的Kinova Gemini能够在三个不同的应用中满足用户的要求：（1）它可以与人开始自然对话，进行交互，并协助人类检索物体并将其逐一交给用户。(2)它使用YOLO v3检测不同的物体，并识别物品的颜色属性，询问人们是否想通过对话抓住它，或者让用户选择需要哪一个。(3)它应用YOLO v3来识别多个对象，并让您选择两个项目进行基于感知的拾取和放置任务，例如“将香蕉放入碗中”，具有视觉推理和会话交互。
2022-09-03 cs.HC cs.RO
PERCY: Personal Emotional Robotic Conversational System
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Universidad Central de Chile（智利中央大学）
针对传统对话机器人缺乏个性化与情感感知、难以维持长期交互的问题，提出基于ROS多模态框架的PERCY系统，融合微调GPT-4与多模态情感分析实现个性化开放域对话，经评估在对话质量与个性化表现上均具优势。
2025-03-04 cs.HC cs.RO
Dialogue Object Search
Brown University（布朗大学）
我们设想机器人可以与人类无缝协作和沟通。这些机器人在与人类互动时，必须决定说什么和如何行动。为此，我们引入了一个新的任务，对话对象搜索：机器人的任务是在人类环境中搜索目标对象（例如叉子）（例如，厨房），同时与具有关于目标位置的附加但不精确的知识的远程人进行“视频通话”。也就是说，机器人与人类进行基于语音的对话，同时共享来自其安装的摄像头的图像。从数据汇集、算法和系统开发到评估，这一任务在多个层面上都具有挑战性。尽管存在这些挑战，但我们认为这样的任务阻碍了实现更智能和协作机器人的道路。在这个扩展的摘要中，我们激励和介绍了对话对象搜索任务，并分析了从试点研究中收集的例子。然后，我们讨论我们的下一步，并总结了我们希望收到反馈的几个挑战。
2021-07-22 cs.AI cs.RO
Talk-to-Resolve: Combining scene understanding and spatial dialogue to resolve granular task ambiguity for a collocated robot
TCS Research（塔塔咨询服务公司研究院）
配置机器人的效用在很大程度上取决于与人类的简单直观的交互机制。如果机器人接受自然语言的任务指令，首先，它必须通过解码指令来理解用户的意图。然而，在执行任务时，由于观察到的场景的变化，机器人可能面临不可预见的情况，因此需要进一步的用户干预。在这篇文章中，我们提出了一个系统，称为谈话解决（TTR），使机器人发起一个连贯的对话交流与教师通过观察现场视觉解决僵局。通过对话，它要么找到一个线索，按照原计划前进，要么找到一个可接受的替代原计划的方案，要么找到一个肯定，完全放弃任务。为了实现可能的僵局，我们利用观察到的场景的密集字幕和给定的指令联合计算机器人的下一个动作。我们评估我们的系统的基础上的数据集的初始指令和情景场景对。我们的系统可以识别僵局，并以82%的准确率通过适当的对话交流解决它们。此外，一项用户研究表明，与最先进的系统（平均3.08）相比，我们系统中的问题更自然（平均4.02，1到5分）。
2022-06-22 cs.AI cs.CV cs.RO
Scratchy: A Lightweight Modular Autonomous Robot for Robotic Competitions
University of Koblenz-Landau（科布伦茨-兰道大学）
我们提出Soccy-一个模块化的，轻量级的机器人建造的低预算的比赛出席。它的底座主要由标准的4040铝型材制成，机器人由四个无刷直流电机驱动的麦克纳姆轮驱动。结合激光测距仪，我们使用估计里程-这是由编码器计算-使用粒子滤波器创建地图。RGB-D相机用于目标检测和姿态估计。此外，还可以选择使用6-DOF手臂从估计的姿势抓取物体或通常用于操纵任务。机器人可以在不到一个小时的时间内组装好，可以装进两件手提行李或一个更大的行李箱。因此，它为参加欧洲机器人联赛或RoboCup等机器人比赛的学生团队提供了巨大的优势。因此，这使得参与所需的资金，这往往是一个很大的障碍，为学生团队克服，低。有关软件和其他硬件的说明，请访问：www.example.com。
2019-05-14 cs.RO
Towards Remote Robotic Competitions: An Internet-Connected Task Board and Dashboard
TU Munich（慕尼黑工业大学）
本文提出基于IoT任务板与Web仪表板的远程机器人竞赛平台，并通过Robothon Grand Challenge验证其可评估、比较并透明共享远程机器人操作性能。
2022-01-24 cs.RO
Hector UI: A Flexible Human-Robot User Interface for (Semi-)Autonomous Rescue and Inspection Robots
Technical University of Darmstadt（德累斯顿技术大学）
本文提出开源且可灵活配置的Hector UI，基于既定准则设计并适配多种机器人，在多次竞赛与评估中验证了其高效性与灵活性。
2025-04-28 cs.HC cs.RO
Dialogue with Robots: Proposals for Broadening Participation and Research in the SLIVAR Community
US Army（美国陆军）；Amazon（亚马逊公司）；DARPA（国防高级研究计划局）；Semio（塞米奥公司）；Xerox PARC（施乐帕洛阿尔托研究中心）
本文回顾了语音对话机器人领域的发展历史，并从教育、基准测试和语言建模三方面提出提案，以扩大SLIVAR社区参与并推动研究。
2024-04-01 cs.CL cs.RO
Analysis of Mutual and Referential Human and Robot Gazes in a Collaborative Word Association Game
Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM)（慕尼黑工业大学慕尼黑机器人与机器智能研究所 (MIRMI)）；Centre for Applied Autonomous Sensor Systems (AASS), Örebro University（厄勒布鲁大学应用自主传感器系统中心 (AASS)）；Robotics Insitute Germany (RIG)（德国机器人研究所 (RIG)）
研究在协作式词语联想游戏中机器人注视对人类视觉注意力的影响及人类是否向机器人寻求确认注视，通过与NAO机器人实验，用多种方式分析互动，发现任务语言方面掩盖注视影响，为相关设计提供见解。
2026-07-15 cs.HC cs.RO
A Summarized History-based Dialogue System for Amnesia-Free Prompt Updates
Doshisha University（同志社大学）
针对信息过载下对话系统难以处理实时或不足信息且难以保持历史完整性的问题，本文提出一种基于摘要历史的新系统，通过保留过去对话历史来记住用户特征，实现无遗忘的提示更新。
2023-12-21 cs.RO
From Wizard-of-Oz Human-Robot Dialogue Collection to a Taxonomy of Robot Response Decisions: A Retrospective Analysis of Assistive Pilot Interactions
Saint Louis University（圣路易斯大学）
本研究通过回顾性分析Wizard-of-Oz辅助驾驶交互数据，提出包含六种响应模式和四种歧义类型的层次分类法，并验证了其标注可靠性及用于训练视觉语言模型的可行性。
2026-09-18 cs.RO
A Simulated Experiment to Explore Robotic Dialogue Strategies for People with Dementia
University of Tennessee（田纳西大学）；Miami University（迈阿密大学）；University of Tennessee Health Science Center（田纳西大学健康科学中心）；University of Iowa（爱荷华大学）
阿尔茨海默病及相关性痴呆（Alzheimer's disease and related dementias，ADRD）患者常表现出重复提问的问题，这给ADRD患者及其照顾者带来了很大的负担。对话机器人有望解决这个问题，从而减轻照顾者的负担。在本文中，我们提出了一个部分可观察马尔可夫决策过程（POMDP）模型，用于重复提问背景下的PwD-机器人交互，并使用Q学习来学习自适应会话策略（即，跟进问题的比率和跟进问题的难度）对不同认知能力和不同参与水平的残疾人。结果表明，Q学习有助于机器人的动作选择。这可能是一个有用的一步，应用会话社交机器人，以应付重复提问的残疾人。
2021-04-18 cs.AI cs.RO
AsyncMLD: Asynchronous Multi-LLM Framework for Dialogue Recommendation System
Doshisha University（同志社大学）
针对对话推荐系统中LLM响应效果与速度不足的问题，提出异步多LLM框架，在机器人说话时并行执行数据库搜索，提升效率与有效性。
2023-12-21 cs.AI cs.HC cs.RO
SAIN: Structure-Aware Interactive Navigation with Active Dialogue Grounding for Mobile Robot
School of Mechanical Engineering and Automation, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）机械工程与自动化学院）；Department of Mechanical Engineering, City University of Hong Kong（香港城市大学机械工程系）
本文提出SAIN零样本框架，将主动对话转化为持久导航状态，在VL-LN IIGN基准上提升了导航成功率与加权成功率，无需特定任务策略训练，验证了对话转状态机制的有效性。
2026-10-08 cs.RO
When Should a Failing Robot Ask? Initiating Corrective Human-Robot Dialogue from Audited Sensor Evidence
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Centific
针对失败机器人是否应询问人类的决策，构建模拟基准并测试视觉语言模型，发现模型行为受提示影响而非证据，提出应依据实测准确率与成本而非置信度来决定询问。
2026-09-21 cs.AI cs.HC cs.RO
OCRTOC: A Cloud-Based Competition and Benchmark for Robotic Grasping and Manipulation
Alibaba AI Labs（阿里巴巴人工智能实验室）；UC San Diego（加州大学圣迭戈分校）；University of Edinburgh（爱丁堡大学）；German Aerospace Center（德国航空航天中心）；University of South Florida（南佛罗里达大学）；Shanghai Jiaotong University（上海交通大学）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们提出了一个基于云的机器人抓取和操作基准，称为OCRTOC基准。基准测试集中于对象重新排列问题，特别是表组织任务。我们提供了一组相同的真实机器人设置，并方便在不同困难的标准化表组织方案的远程实验。在这个工作流程中，用户将他们的解决方案上传到我们的远程服务器，他们的代码在真实的机器人设置上执行并自动评分。每次执行后，OCRTOC团队手动重置实验设置。我们还提供了一个模拟环境，研究人员可以使用它来开发和测试他们的解决方案。通过OCRTOC基准，我们的目标是降低对机器人抓取和操作进行可重复研究的障碍，并加速这一领域的进展。在相同的真实机器人设置上执行标准化场景使我们能够量化算法性能并实现公平的比较。使用这个基准，我们在2020年智能机器人和系统国际会议（IROS 2020）上举办了一场比赛。全球共有59支球队参加了此次比赛。我们介绍了2020年比赛的结果和我们的观察，并讨论了我们为即将到来的OCRTOC 2021比赛所做的调整和改进。OCRTOC竞赛的主页是www.ocrtoc.org，OCRTOC软件包可在https://github.com/OCRTOC/OCRTOC_software_package上获得。
2021-07-18 cs.RO
Disambiguating Affective Stimulus Associations for Robot Perception and Dialogue
University of Hamburg（汉堡大学）
有效地识别并将情感应用于交互是社交机器人非常理想的特性。内隐理解主体如何体验世界上不同种类的动作和物体对于自然的HRI交互至关重要，有可能执行积极的动作并避免消极的动作。在本文中，我们利用NICO机器人的外观和能力，使NICO的能力，感知的听觉刺激和时间异步的情感表达之间的连贯的情感关联模型。这是通过结合视觉和语言的情感效价评估来完成的。NICO使用这些信息来决定何时延长会话，以便在关联的表示不连贯的情况下积累更多的情感信息。我们的主要贡献是提供一个NICO机器人的能力，学习感知的听觉刺激和情感表达之间的情感关联。NICO能够对个体受试者和特定刺激物做到这一点，并借助情感驱动的对话系统来纠正情感表达的不连贯性。然后，机器人能够使用该信息来确定受试者在真实HRI场景中对感知到的听觉刺激的享受。
2021-03-05 cs.CL cs.CV cs.RO
An Edge-Host-Cloud Architecture for Robot-Agnostic, Caregiver-in-the-Loop Personalized Cognitive Exercise: Multi-Site Deployment in Dementia Care
Worcester Polytechnic Institute（沃斯特理工大学）
本文提出了一种分布式机器人交互平台，通过整合护理人员知识、边缘智能和机器人代理，实现个性化认知训练支持。平台通过多模态信号融合实现情感感知，并通过边缘服务器实现低延迟、隐私保护的部署。
2026-04-01 cs.HC cs.RO
DRAGON: A Dialogue-Based Robot for Assistive Navigation with Visual Language Grounding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对视障人士空间理解与导航困难、现有寻路技术功能单一的问题，提出搭载对话系统、具备视觉语言grounding能力的DRAGON辅助导航机器人，可通过对话实现自由描述与地标匹配、提供环境语义信息，用户研究验证其沟通顺畅、引导体验良好。
2024-03-05 cs.AI cs.CL cs.HC
NimbRo Robots Winning RoboCup 2018 Humanoid AdultSize Soccer Competitions
Univ. of Bonn（波恩大学）；Autonomous Intelligent Systems（自主智能系统研究所）
在过去的几年里，人形联盟的规则已经朝着更现实和更具挑战性的比赛环境转变，这鼓励球队提高他们的机器人足球表现。在本文中，我们介绍了导致我们的团队NimbRo赢得AdultSize联赛比赛的软件和硬件设计-包括足球锦标赛，drop in游戏以及2018年蒙特利尔RoboCup的技术挑战。总而言之，这导致NimbRo赢得了最佳人形机器人奖。特别是，我们描述了我们用于视觉感知的深度学习方法和我们新的全3D打印机器人NimbRo-OP 2X。
2019-09-05 cs.RO
A Remote Sim2real Aerial Competition: Fostering Reproducibility and Solutions' Diversity in Robotics Challenges
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Ekumen；University of Science and Technology of China（中国科学技术大学）；University of California, Berkeley（加州大学伯克利分校）
本文介绍2022年IROS上举办的空中仿真到现实机器人竞赛，涵盖任务设计、软件基础设施及参赛方案，旨在促进可复现性与解决方案多样性。
2023-08-31 cs.RO
A Graph-to-Text Approach to Knowledge-Grounded Response Generation in Human-Robot Interaction
Norwegian Computing Center（挪威计算中心）；University of Bamberg（班贝格大学）
本文提出一种基于图到文本机制的人机交互对话模型，通过将持续更新的知识图谱转换为文本提示输入大语言模型生成响应，显著提升了机器人回答的事实性。
2025-04-01 cs.AI cs.RO
Lighter-Than-Air Autonomous Ball Capture and Scoring Robot -- Design, Development, and Deployment
George Mason University（乔治梅森大学）
本文介绍了2023年空中自主机器人竞赛中主要得分智能体的端到端设计，旨在为未来参赛者和机器人初学者提供设计参考，并强调确定最低可行系统以优化时间管理和任务优先级的重要性。
2023-09-12 cs.RO
LLM-MARS: Large Language Model for Behavior Tree Generation and NLP-enhanced Dialogue in Multi-Agent Robot Systems
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究所）
提出 LLM-MARS，利用 Falcon 7B 与双 LoRa 适配器实现行为树生成和机器人问答，在双机器人 Eurobot 2023 实验中验证了较高任务执行与回答性能。
2023-12-14 cs.RO
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University（名古屋大学）
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统，通过构建共同基础和基于文本的轮流发言，提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
