Are Retrials All You Need? Enhancing Large Language Model Reasoning Without Verbalized Feedback
Aarhus University（奥胡斯大学）
针对大型语言模型推理中复杂迭代策略成本高的问题，提出无需反馈的重试机制，让模型识别错误后重新尝试，该简单方法常优于复杂框架，为高效推理提供新方向。
2025-04-17 cs.AI cs.CL cs.LG
"Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks
Nicolaus Copernicus University（哥白尼大学）；UCSI University（UCSI大学）
本研究通过模拟企业中层晋升竞争场景的“道德化”多步越狱提示开展黑盒测试，发现多款主流大语言模型护栏可被绕过生成言语攻击内容，其中Claude 3.5 Sonnet抵抗性更强，同时公开了相关代码以保障研究客观性。
2025-03-20 cs.AI cs.CL cs.CR
On the Effectiveness of Instruction-Tuning Local LLMs for Identifying Software Vulnerabilities
KAIST Cyber Security Research Center（韩国科学技术院网络安全研究中心）
本文提出通过指令微调本地LLM来提升软件漏洞识别效果，替代依赖API的大型模型，实现更高效、安全的漏洞管理。
2025-12-23 cs.AI cs.CR
Controlled Text Generation with Natural Language Instructions
ETH Zürich（苏黎世联邦理工学院）
本文提出 InstructCTG 框架，将文本约束自动提取并表述为自然语言指令及示范来微调语言模型，在不改变解码过程的情况下灵活实现多约束受控生成，并支持少样本适应新约束。
2023-06-08 cs.AI cs.CL cs.LG
EDITH: Teaching Robot to Follow Nonverbal Human Intent from Egocentric Vision and Gaze
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
提出EDITH框架，通过智能眼镜捕捉人类第一人称视角、注视和语言信号，设计分层策略将非语言信号与语言指令结合，实现更自然的人机交互，减少用户表达意图的负担。
2026-10-20 cs.AI cs.RO
Inferring the Goals of Communicating Agents from Actions and Instructions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种多模态贝叶斯逆向规划模型，结合智能体动作与 GPT-3 生成的自然语言指令推断合作团队目标，在多智能体网格世界中与人类判断高度相关（R=0.96），并证明指令能加速目标推断且降低不确定性。
2023-06-28 cs.AI cs.CL cs.RO
An Empirical Design Justice Approach to Identifying Ethical Considerations in the Intersection of Large Language Models and Social Robotics
Leverhulme Centre for the Future of Intelligence, University of Cambridge（勒沃休姆未来智能中心，剑桥大学）
本文通过定性共同设计与交互研究，运用设计正义方法识别人形社交机器人作为 LLM 接口时的伦理风险，并归纳出交互、共同设计、服务条款和关系四个维度。
2024-06-12 cs.AI cs.RO
Aligning Instruction Tuning with Pre-training
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University（北京大学）
本文提出AITP方法，通过识别指令微调数据集的覆盖不足并将预训练数据重写为指令-响应对，弥合指令微调与预训练分布的差距，在8个基准上对3个开源LLMs的评估证明其持续提升了模型性能。
2025-08-11 cs.AI
Instruction Embedding: Latent Representations of Instructions Towards Task Identification
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；Xiaohongshu Inc（小红书科技有限公司）
本文提出指令嵌入概念及基准 IEB，并设计 PIE 方法使表示聚焦任务而非语义，实验证明其在任务识别和下游指令任务中表现优越。
2024-09-29 cs.AI cs.CL
Integrating Disambiguation and User Preferences into Large Language Models for Robot Motion Planning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出一个基于LLMs的机器人运动规划框架，通过歧义分类器与GPT-4机制解决自然语言指令歧义并捕获用户偏好，最终利用线性时序逻辑生成运动规划，提升了系统可靠性与用户体验。
2024-04-22 cs.AI cs.RO cs.SY
Policy Improvement using Language Feedback Models
University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
该研究提出语言反馈模型（LFM），利用大语言模型对视觉轨迹的语言描述反馈识别理想行为，用于指令跟随的模仿学习，在多环境中提升任务完成率，可泛化到新环境，还能提供可解释反馈。
2024-10-10 cs.AI cs.CL cs.LG
ISA-Bench: A Benchmark for Computational Reasoning Across Instruction Set Architectures
IIT Hyderabad（印度理工学院海得拉巴分校）；Microsoft Research, India（微软研究院（印度））
ISA-Bench通过受限指令集的编程游戏基准，评估大型语言模型在陌生计算模型中的推理能力，发现推理模型表现更优，但语法不熟悉是主要失败原因，并引入REG分析揭示策略与表达间的脱节。
2026-09-22 cs.AI
Multimodal Sensing and Machine Learning to Compare Printed and Verbal Assembly Instructions Delivered by a Social Robot
Louisville Automation and Robotics Research Institute (LARRI), University of Louisville（路易斯维尔自动化与机器人研究研究所（LARRI）、路易斯维尔大学）
本文利用BVP和EDA多模态生理信号及CNN/LSTM模型，比较纸质与社交机器人装配指令下的工人负荷，发现CNN结合多模态数据预测效果最佳。
2025-06-01 cs.HC cs.RO
Low-Confidence Gold: Refining Low-Confidence Samples for Efficient Instruction Tuning
Universiti Malaya（马来亚大学）；University of Science and Technology Beijing（北京科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出LCG框架，通过聚类和置信度引导选择精炼低置信度样本，提升指令微调效率与性能，实验显示在MT-bench等指标上表现更优。
2026-04-08 cs.AI cs.CL
One-Shot Learning as Instruction Data Prospector for Large Language Models
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；The University of Sydney（悉尼大学）
针对指令微调中数据质量难以保证的问题，提出Nuggets方法，利用单样本学习评估指令数据对锚点集困惑度的影响来筛选高质量数据，实验证明仅用前1%数据即可超越全量数据微调效果。
2024-06-03 cs.AI cs.CL
Verbal Focus-of-Attention System for Learning-from-Observation
Microsoft（微软）
从观察中学习（LfO）框架旨在将人类演示映射到机器人，以减少编程工作。为此，LfO系统将人类演示编码为机器人的一系列执行单元，这些单元被称为任务模型。虽然以前的研究已经提出了成功的任务模型编码器，很少有讨论如何引导一个任务模型编码器在场景中的时空噪声，如杂乱的物体或无关的人体运动。受言语指令引导观察者视觉注意力的功能的启发，我们提出了一种言语注意力集中（FoA）系统（即，时空滤波器）来引导任务模型编码器。对于对象操作，系统首先从口头指令识别目标对象的名称及其属性。该信息用作何处查看FoA过滤器，以限制演示中存在目标对象的区域。然后，系统检测在过滤区域中发生的抓握和释放的时间。计时用作何时查看FoA过滤器，以限制对象操作的时间。最后，任务模型编码器通过采用FoA过滤器来识别任务模型。我们通过与现有的动作定位网络进行比较，证明了言语FoA在衰减时空噪声方面的鲁棒性。本研究的贡献如下：（1）提出了一个语言的FoA为LfO，（2）设计一个算法来计算FoA过滤器从语言输入，和（3）通过比较它与最先进的视觉系统的语言FoA在定位一个动作的有效性。
2021-03-24 cs.HC cs.RO
Dynosaur: A Dynamic Growth Paradigm for Instruction-Tuning Data Curation
UCLA（加州大学洛杉矶分校）；Peking University（北京大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出Dynosaur动态增长范式，利用现有数据集元数据自动生成指令微调数据，以低成本获得高质量数据，并通过持续学习方案缓解遗忘并提升泛化能力。
2023-10-26 cs.AI cs.CL
SkyVLN: Vision-and-Language Navigation and NMPC Control for UAVs in Urban Environments
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
SkyVLN将视觉-语言导航与非线性模型预测控制结合，利用大语言模型解析指令，提升无人机在城市环境中的导航准确性与鲁棒性。
2025-07-09 cs.AI cs.RO cs.SY
Investigating Instruction Tuning Large Language Models on Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Taiwan University（台湾大学）
本研究构建含79类图任务的指令调优数据集，探究发现JSON格式图表示更利于大语言模型理解图结构，并分析了影响其跨图任务泛化能力的关键因素。
2024-08-10 cs.AI cs.CL
Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
Nanjing University（南京大学）；University of Edinburgh（爱丁堡大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Zurich（苏黎世大学）
针对长上下文指令微调数据构建难成本高的问题，研究发现短上下文指令微调模型可泛化到长上下文，据此提出context synthesis数据合成框架，在LongBench上性能优于现有方法、接近人工标注数据。
2025-02-21 cs.AI cs.CL
CANINE: Coaching Visually Impaired Users for Interactive Navigation with a Robot Guide Dog
School of Computing（computing 学院）；Smart Systems Institute（智能系统研究所）
本文提出CANINE系统，通过个性化适应性语音反馈帮助视觉障碍者学习与机器人导盲犬的交互导航，通过分解复杂协调任务并分层训练提升学习效率和最终导航性能。
2026-05-19 cs.AI cs.RO
Interpreting User Requests in the Context of Natural Language Standing Instructions
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Microsoft Semantic Machines（微软语义机器）
针对自然语言界面用户需重复偏好的问题，提出将长期指令作为对话建模额外语境的方法，构建覆盖17领域的NLSI数据集，实验显示API预测最高精确匹配率44.7%，凸显相关挑战。
2024-03-07 cs.AI cs.CL
CachePrune: Teaching LLMs What Not to Follow via KV-Cache Editing
Adobe Research（Adobe研究院）；University of California San Diego（加州大学圣地亚哥分校）；University of New South Wales（新南威尔士大学）
CachePrune通过KV缓存编辑识别并修剪指令跟随相关神经元，降低间接提示注入攻击成功率，同时保持LLM执行用户指令的能力。
2026-05-08 cs.AI cs.CR
HIINT: Historical, Intra- and Inter- personal Dynamics Modeling with Cross-person Memory Transformer
MIT Media Lab（麻省理工学院媒体实验室）；Carnegie Mellon University（卡内基梅隆大学）
提出CPM-T框架，通过跨人记忆Transformer结合大语言模型显式建模情感动态，利用跨模态与跨人注意力对齐多模态信息与多方交互行为，在三个数据集上显著超越基线模型。
2023-05-21 cs.AI cs.CV cs.LG
GAMA: A Large Audio-Language Model with Advanced Audio Understanding and Complex Reasoning Abilities
University of Maryland（马里兰大学）；Adobe（奥多比公司）
本文提出大型音频-语言模型 GAMA，融合多种音频表示并利用 CompA-R 指令数据与软提示增强复杂推理，在多项音频理解任务上以 1%–84% 的优势超越现有 LALM。
2024-06-17 cs.AI cs.CL cs.SD
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan（名古屋大学）
本文提出一种基于可供性推理的机器人手术助手框架，结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义，并利用双重集合共形预测保障安全，在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning
nwpu.edu.cn（西北工业大学）
提出DataShield方法，通过量化每个样本对模型合规行为的贡献作为安全降级分数，高效识别良性数据集中的安全降级样本，并在多个模型和数据集上验证有效性。
2026-05-29 cs.AI cs.CL cs.CR
Talk2Nav: Long-Range Vision-and-Language Navigation with Dual Attention and Spatial Memory
ETH Zurich（苏黎世联邦理工学院）；K.U Leuven（鲁汶大学）
机器人在社会中的作用不断扩大，带来了与人类互动和交流的必要性。为了保持这种交互的直观性，我们提供了基于口头导航指令的自动寻路。我们的第一个贡献是创建了一个带有口头导航指令的大规模数据集。为此，我们开发了一个基于谷歌街景的交互式视觉导航环境;我们进一步设计了一种注释方法，以突出挖掘锚地标和它们之间的本地方向，以帮助注释者制定典型的，人类的参考。注释任务在AMT平台上众包，以构建具有$10,714$路线的新Talk 2Nav数据集。我们的第二个贡献是一种新的学习方法。灵感来自空间认知研究的心理概念化的导航指令，我们引入了一个软的双重注意力机制定义的分割语言指令，共同提取两个部分指令-一个用于匹配下一个即将到来的视觉地标和其他地方的方向匹配到下一个地标。在类似的线路上，我们还引入了空间记忆方案来编码局部方向转换。我们的工作利用了两条研究路线的进展：口头导航指令的心理形式化和自动寻路训练神经网络代理。大量的实验表明，我们的方法显着优于以前的导航方法。有关演示视频，数据集和代码，请参阅我们的项目页面：https://www.trace.ethz.ch/publications/2019/talk2nav/index.html
2020-10-22 cs.CL cs.CV cs.RO
Pelican Soup Framework: A Theoretical Framework for Language Model Capabilities
University of Southern California（南加州大学）
Pelican Soup框架通过引入知识库和参考意义关联，探讨语言模型在预训练和上下文学习中的能力，并推导出相关理论界。
2026-01-08 cs.AI cs.CL
LESS: Selecting Influential Data for Targeted Instruction Tuning
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
本文提出 LESS 算法，通过适配 Adam 的低秩梯度相似度搜索选择目标指令数据，仅用 5% 数据即可常优于全量训练，并具备跨规模、跨模型家族的可迁移性。
2024-06-13 cs.AI cs.CL cs.LG
Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models
Youtu-Agent Team（YouTu-Agent团队）
针对大语言模型复杂指令遵循能力弱、普通思维链效果不佳的问题，提出RAIF方法，通过可验证奖励强化学习和专家行为克隆激励推理，使1.5B模型性能提升11.74%，媲美8B模型且泛化性良好。
2025-09-30 cs.AI cs.CL cs.CV
Open Challenges on Generating Referring Expressions for Human-Robot Interaction
KTH Royal Institute of Technology（瑞典皇家理工学院）
有效的语言沟通在人机协作中至关重要。当机器人通过口头指令帮助人类伙伴完成任务时，在交互过程中通常会使用指称表达。尽管有许多关于生成指称表达的研究，但有效的互动仍然存在关键的开放性挑战。在这项工作中，我们讨论了其中的一些挑战（即，使用上下文信息、考虑用户的观点、以及以自主的方式处理误解）。
2021-04-19 cs.RO
How Do Your Code LLMs Perform? Empowering Code Instruction Tuning with High-Quality Data
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）
针对代码指令数据泄漏与质量难辨问题，提出基于复杂度、回答质量和多样性的高效数据剪枝策略，并据此训练 LLaMA3 微调模型 XCoder，以更少数据达到新的最优性能。
2024-09-05 cs.AI cs.CL cs.LG
A Research Platform for Multi-Robot Dialogue with Humans
U.S. Army Research Laboratory（美国陆军研究实验室）
本文提出了一个研究平台，支持口语对话互动与多个机器人。演示展示了我们精心制作的MultiBot测试场景，其中用户可以向两个机器人队友口头发出搜索，导航和遵循指令：一个模拟地面机器人和一个空中机器人。这种灵活的语言和机器人平台利用现有的语音识别和对话管理工具，与新的领域兼容，并实现了一个智能体通信协议（战术行为规范），其中口头指令被编码为任务分配给适当的机器人。
2019-10-12 cs.CL cs.HC cs.RO
Advantages of Multimodal versus Verbal-Only Robot-to-Human Communication with an Anthropomorphic Robotic Mock Driver
Centre for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心（AASS））；Örebro University（厄勒布鲁大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；University of Skövde（舍夫德大学）；TU Munich（慕尼黑工业大学）
本文提出拟人化机器人模拟驾驶员ARMoD，通过实验比较多模态与纯语言通信，证明结合注视和手势的多模态方式能提升意图识别、自然注视行为与协作反应速度，并改善人机社会互动。
2023-07-03 cs.RO
A Comparison of Visualisation Methods for Disambiguating Verbal Requests in Human-Robot Interaction
KTH Royal Institute of Technology（瑞典皇家理工学院）
拾取人类用户请求的对象是人机交互中的常见任务。当多个对象匹配用户的口头描述时，机器人需要在执行动作之前澄清用户指的是哪个对象。先前的研究集中在感知用户的多模态行为，以补充口头命令或尽量减少后续问题的数量，以减少任务时间。在本文中，我们提出了一个系统的参考消歧的基础上可视化和比较三种方法来消除歧义的自然语言指令。在YuMi机器人的受控实验中，我们研究了三种条件下的工作空间的实时增强-混合现实，增强现实和监视器作为基线-使用时间和准确性等客观指标，以及参与度，沉浸感和显示干扰等主观指标。在准确性和参与的条件之间的显着差异，但没有发现在任务时间的差异。尽管混合现实条件下的出错率更高，但参与者发现该模式比其他两种更吸引人，但总体上显示出对增强现实条件的偏好，而不是监视器和混合现实条件。
2018-01-26 cs.HC cs.RO
Interactive Task Encoding System for Learning-from-Observation
Microsoft（微软）
提出交互式任务编码系统ITES，通过结合口头指令与视觉演示实现多模态观察学习，使家庭机器人无需编程即可通过少样本人类演示学习操作任务，并在真实机器人上验证了其有效性。
2023-04-28 cs.RO
How Much is too Much: Exploring the Effect of Verbal Route Description Length on Indoor Navigation
TCS Research（塔塔咨询服务研究中心）；Interdepartmental Center for Advances in Robotic Surgery - ICAROS（跨部门机器人外科进展中心（ICAROS））；University of Naples Federico II（那不勒斯费德里科二世大学）
本文研究室内导航中口头路线描述的最佳长度，提出将路线片段与工作记忆组块关联的理论框架并通过实验验证，发现四个路线片段为理想长度，为后续研究奠定基础。
2024-08-27 cs.HC cs.RO
Constrained Robotic Navigation on Preferred Terrains Using LLMs and Speech Instruction: Exploiting the Power of Adverbs
McGill University（麦吉尔大学）
本文提出结合 Whisper、LLM、语义分割与 MPC 的无地图越野导航框架，从语音指令中提取地形、地标和副词并转化为速度约束，实现偏好地形上的受限导航。
2024-04-02 cs.LG cs.RO
Augmented Kinesthetic Teaching: Enhancing Task Execution Efficiency through Intuitive Human Instructions
University of Waterloo（滑铁卢大学）
本文提出一种融合语言、手势、注视和物理引导的增强动觉示教方法及高效PbD框架，使经验有限的用户能通过高层命令直观教机器人执行定制任务，并以倒水任务验证其有效性。
2023-12-01 cs.HC cs.RO
InstructRobot: A Model-Free Framework for Mapping Natural Language Instructions into Robot Motion
University of Campinas（坎皮纳斯大学）；São Paulo State University（圣保罗州立大学）
本文提出InstructRobot无模型框架，通过强化学习联合学习语言表示与逆运动学，将自然语言指令映射为机器人运动，无需大型数据集或先验运动学知识。
2025-02-18 cs.RO
Robotic Visual Instruction
Imperial College London（伦敦帝国理工学院）；Shanghai AI Laboratory（上海人工智能实验室）；UC San Diego（加州大学圣地亚哥分校）；VIVO；South China University of Technology（华南理工大学）
该研究提出 RoVI 手绘视觉指令范式及 VIEW 流程，利用 VLM 将二维符号约束转换为三维机器人动作，并通过 15K 数据集和 11 项任务验证其泛化性能。
2025-07-27 cs.AI cs.CV cs.RO
DYAD: A Multimodal Dataset of Co-Located Human Assistance
Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）；Microsoft Research（微软研究院）
DYAD是一个共处人类协助的多模态数据集，通过链接请求、干预和结果，支持因果理解、模式预测和响应生成等任务。
2026-09-09 cs.RO
NaViRrator: Robot Navigation from Human-Readable Maps through a Learned Visual Route
DGIST（大邱庆北科学技术院）
NaViRRator框架通过SGL-CFM生成路线脚手架，再由视觉语言模型转化为导航指令，实现从人类可读地图到机器人导航，实验证明其成功率与SPL优于现有方法。
2026-09-21 cs.RO
An Attention Transfer Model for Human-Assisted Failure Avoidance in Robot Manipulations
Kent State University（肯特州立大学）
由于现实世界的动态性和硬件的不确定性，机器人不可避免地会在任务执行中失败，导致不期望的甚至危险的执行。为了避免故障并提高机器人性能，在早期阶段识别和纠正异常机器人执行至关重要。然而，由于有限的推理能力和知识存储，它是具有挑战性的机器人自我诊断和纠正自己的异常在规划和执行。为了提高机器人的自诊断能力，提出了一种新的人-机器人注意转移（\textit{\textbf{H2R-AT}}）方法，利用人的指令识别机器人的操作错误。\textit{\textbf{H2R-AT}}是将注意力映射机制融合到一种新的层叠式神经网络模型中，将人类的言语注意力转化为机器人的视觉注意力。通过注意力转移，机器人理解\textit{what}和\textit{where}人类关注的是识别和纠正异常操作。两个代表性的任务场景：“在厨房里为一个人供水”和"在工厂里拿起一个有缺陷的齿轮”被设计在一个具有异常机器人操作的模拟框架CRAIhri中; $252$志愿者被招募来提供大约12000个口头提醒来学习和测试\textit{\textbf{H2R-AT}}。通过$73.68\%$在转移注意力方面的高准确性和$66.86\%$在避免抓取失败方面的高准确性验证了该方法的有效性。
2021-06-29 cs.AI cs.HC cs.RO
GraspCoT: Integrating Physical Property Reasoning for 6-DoF Grasping under Flexible Language Instructions
University of Science and Technology of China（中国科学技术大学）；The University of Adelaide（阿德莱德大学）
GraspCoT提出一个集成物理属性思维链推理的6自由度抓取检测框架，通过问答任务引导分层推理，并构建IntentGrasp基准，在多样指令下实现优越的抓取性能。
2025-09-08 cs.CV cs.RO
Why Robots Are Bad at Detecting Their Mistakes: Limitations of Miscommunication Detection in Human-Robot Dialogue
IDLab-AIRO, Ghent University–imec（IDLab-AIRO、根特大学–imec）；Ghent University（根特大学）；LT3, Ghent University（LT3、根特大学）
本研究评估了机器学习模型在检测人机对话中沟通失败的有效性，发现模型和人类评估员在识别诱导性沟通失败时表现均不佳，揭示了用户即使感知到错误也往往不向机器人传达的根本局限。
2025-06-25 cs.CL cs.HC cs.RO
Mixed-Reality Robot Behavior Replay: A System Implementation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
随着机器人变得越来越复杂，它们必须解释自己的行为以获得信任和接受。然而，仅通过口头解释可能难以完全传达有关过去行为的信息，特别是关于由于机器人或人类的动作而不再存在的对象。人类经常试图模仿过去的动作来配合口头解释。受这种人与人之间的互动的启发，我们在这篇工具论文中描述了机器人过去行为重放系统的技术实现。具体来说，我们使用行为树来编码和分离机器人行为，使用无模式MongoDB来结构化地存储和查询底层传感器数据和关节控制消息，以供将来重播。我们的方法推广到不同类型的重放，包括操纵和导航重放，以及视觉（即，增强现实（AR））和听觉重放。此外，我们简要总结了用户研究，以进一步提供其有效性和效率的经验证据。示例代码和说明可在GitHub上获得，网址为https://github.com/umhan35/robot-behavior-replay。
2022-09-30 cs.HC cs.RO
SimCoachCorpus: A naturalistic dataset with language and trajectories for embodied teaching
Toyota Research Institute（丰田研究院）；Cambridge, MA 02139（马萨诸塞州剑桥市02139）；Los Altos, CA 94022（加州洛斯阿尔托斯94022）
为填补具身交互领域中语言与物理动作结合的数据集空白，我们构建了SimCoachCorpus，包含29名受试者在赛车模拟器中的驾驶数据（15名有教练指导，14名无指导），同步记录车辆状态、教练反馈及认知负荷等，可用于研究运动学习、语言现象及训练教学模型。
2026-06-16 cs.HC cs.RO
Reasoning Grasping via Multimodal Large Language Model
Baidu Research（百度研究院）；Rutgers University（罗格斯大学）
本文提出推理抓取新任务，通过端到端模型将多模态大语言模型与基于视觉的抓取框架相结合，并构建了基于GraspNet-1 billion的首个推理抓取基准数据集，显著提升了机器人在隐式指令下的抓取性能。
2024-10-15 cs.RO
Multi-Modal Human-Machine Communication for Instructing Robot Grasping Tasks
实现智能机器人的一个主要挑战是为它们提供认知能力，以便普通用户可以轻松直观地对其进行编程。这种编程的一种方式是通过交互式演示来教授工作任务。为了使用户有效和方便，机器必须能够建立一个共同的注意力焦点，并能够使用和整合口头指令，视觉感知和非语言线索，如手势命令。我们报告的进展，建立一个混合体系结构，结合统计方法，神经网络，有限状态机到一个集成的系统，指导掌握任务的人机交互。该系统将用于视觉注意力和手势指令的GRAVIS-robot与用于语音识别和语言解释的智能界面以及模态融合模块相结合，以允许针对灵巧的机器人操作进行多模式面向任务的人机通信对象。
2005-05-24 cs.AI cs.CV cs.HC
Reference Wording Shapes Retrieval of Robot Task Instructions
本研究以RLBench操作基准为对象，探究参考措辞对机器人任务指令检索的影响，对比5种无训练词汇排序器，发现字符n-gram TF-IDF表现最优，添加索引描述可提升检索准确率。
2026-10-14 cs.AI cs.CL cs.IR
An Interactive Indoor Drone Assistant
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
随着复杂控制算法的快速发展，无人机稳定、飞行和自主操纵的能力大大提高，使我们能够更加关注整个任务以及无人机在执行任务过程中与人类及其环境的互动。在本文中，我们提出了一个室内办公室无人机助手，其任务是在我们的实验室中跑腿和执行简单的任务，同时从空间中的人类获得指示并与之互动。为了完成其任务，系统必须能够理解人类的口头指令，并在控制和硬件限制、不确定的定位信息、不可预测和不确定的障碍以及环境因素的约束下执行。我们结合并评估对话、导航、飞行控制、深度感知和碰撞避免组件。我们讨论的性能和限制，我们的助理在组件以及任务级别。在27次任务中，任务成功率达到78%。
2019-12-09 cs.HC cs.RO
Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies
Thomas Lord Department of Computer Science, University of Southern California（南加州大学托马斯·洛德计算机科学系）；Sony AI（索尼AI）；Sibley School of Mechanical and Aerospace Engineering, Cornell University（康奈尔大学西布利机械与航空航天工程学院）
本文提出Q-DIG方法，通过生成多样化且相关的语言指令来发现VLA模型的漏洞，提升机器人策略的鲁棒性。
2026-04-03 cs.AI cs.CL cs.RO
