Mapping Natural Language Commands to Web Elements
Stanford University（斯坦福大学）
网络提供了一个丰富的，开放的领域环境，具有文本，结构和空间属性。我们提出了一个新的任务，在这种环境中接地语言：给定一个自然语言命令（例如，"点击第二篇文章"），在网页上选择正确的元素（例如，超链接或文本框）。我们收集了超过50，000个命令的数据集，这些命令捕获了各种现象，如功能引用（例如“查找谁创建了这个网站”），关系推理（例如“约翰的文章”）和视觉推理（例如“最热门的文章”）。我们还实现并分析了三个基线模型，这些模型捕捉了数据集中存在的不同现象。
2018-10-01 cs.CL
A System for Automated Image Editing from Natural Language Commands
Adobe Research（奥多比研究院）
这项工作提出了修改图像的图像编辑程序中使用自然语言书面命令的任务。我们利用超过6000个图像编辑文本请求的语料库来修改通过众包收集的真实世界图像。描述了一种由动作和实体组成的新颖框架，用于将用户的自然语言请求映射到图像编辑程序中的可执行命令。我们通过投票过程解决先前标记的注释者的分歧，并完成语料库的注释。我们对不同的机器学习模型进行了实验，发现LSTM、SVM和双向LSTM-CRF联合模型最适合检测给定话语中的图像编辑动作和关联实体。
2018-12-03 cs.CL
Talk2Car: Taking Control of Your Self-Driving Car
KU Leuven（鲁汶大学）
人工智能的一个长期目标是让代理执行通过自然语言传达的命令。在许多情况下，命令是基于一个视觉环境共享的人谁给命令和代理。然后，命令的执行需要将命令映射到物理视觉空间中，之后可以采取适当的动作。在本文中，我们考虑前者。或者更具体地说，我们考虑自动驾驶环境中的问题，其中乘客请求可以与街道场景中发现的对象相关联的动作。我们的工作介绍了Talk 2Car数据集，这是第一个包含自动驾驶汽车用自然语言编写的命令的对象引用数据集。我们提供了与相关数据集（如ReferIt，RefCOCO，RefCOCO+，RefCOCOg，Cityscape-Ref和CLEVR-Ref）的详细比较。此外，我们还使用强大的最先进模型进行了性能分析。结果表明，所提出的对象转介任务是一个具有挑战性的模型显示出有前途的结果，但仍需要额外的研究在自然语言处理，计算机视觉和这些领域的交叉。数据集可以在我们的网站上找到：http://macchina-ai.eu/
2020-08-26 cs.AI cs.CL cs.RO
Extracting Arguments from Korean Question and Command: An Annotated Corpus for Structured Paraphrasing
Seoul National University（首尔国立大学）；Inha University（仁荷大学）
意图识别是对话管理的核心问题。然而，由于口语的非规范性，很难从会话式话语中自动提取内容。这对于像韩语和日语这样的语言来说更具挑战性，因为语素之间的粘合使得机器很难解析句子并理解意图。建议这个问题的指导方针，并合并的问题灵活的神经释义系统最近推出，我们提出了一个结构化的注释方案，韩国的问题/命令和由此产生的语料库，广泛适用于该领域的参数挖掘。该方案和数据集有望帮助机器理解自然语言的意图，掌握会话式指令的核心含义。
2019-07-09 cs.CL
A Large Language Model and Denoising Diffusion Framework for Targeted Design of Microstructures with Commands in Natural Language
Rutgers University（罗格斯大学）
本文提出了一种集成NLP、LLM和DDPM的框架，通过自然语言指令实现微结构逆向设计，利用上下文数据增强和NER模型提取描述符，生成具有靶向性能的微结构，并验证了其灵活性与有效性。
2024-09-22 cs.CE cs.CL
End-to-End Spoken Language Understanding: Performance analyses of a voice command task in a low resource setting
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
口语语言理解是大多数人机交互系统的核心任务。随着灵巧家庭、智能手机和智能音箱的出现，SLU已经成为行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录成文本表示，自然语言理解（NLU）模块从该文本表示提取语义信息。最近，基于深度神经网络的端到端SLU（E2E SLU）获得了发展势头，因为它受益于ASR和NLU部分的联合优化，从而限制了流水线架构的错误影响的级联。然而，很少有人知道E2E模型预测概念和意图从语音输入的实际语言属性。在本文中，我们提出了一项研究，确定E2E模型执行SLU任务所使用的信号特征和其他语言属性。这项研究是在一个灵巧家庭的应用领域进行的，它必须处理非英语（这里是法语）的语音命令。结果表明，良好的E2E SLU性能并不总是需要完美的ASR能力。此外，结果表明，优越的能力，E2E模型在处理背景噪声和句法变化相比，管道模型。最后，更细粒度的分析表明，E2E模型使用输入信号的音高信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板E2E模型在语音处理的进一步分析。
2022-07-17 cs.CL cs.SD eess.AS
Reliable, Reproducible, and Really Fast Leaderboards with Evalica
JetBrains（捷德公司）
针对NLP模型评估需求，提出开源工具包Evalica，用于构建可靠可复现的排行榜，并通过Web、命令行及Python API展示其易用性与性能。
2024-12-15 cs.CL
Word2vec to behavior: morphology facilitates the grounding of language in machines
University of Vermont（佛蒙特大学）
使机器能够对自然语言命令做出适当的反应，可以大大增加它们可以服务的人群。最近，神经网络训练的词嵌入的进步已经赋予了非实体文本处理算法以能力，并表明它们可以对实体机器具有类似的效用。在这里，我们介绍了一种方法，通过训练机器人采取类似的语义相似的word2vec编码命令。我们表明，这使他们能够采取适当的行动，训练后，以前闻所未闻的命令。最后，我们表明，诱导这样的对齐之间的运动和语言的相似性，可以促进或阻碍机器人的机械结构。这指向了未来的大规模方法，这些方法可以找到并利用动作、语言和机器人结构之间的关系。
2019-08-03 cs.CL cs.LG cs.RO
Generalized Grounding Graphs: A Probabilistic Framework for Understanding Grounded Commands
许多任务领域要求机器人解释和执行由人给出的涉及机器人物理环境的自然语言命令。这种解释被称为不同的符号接地问题，接地语义学和接地语言习得。这个问题是具有挑战性的，因为人们使用不同的词汇和语法，并且因为机器人对周围环境的性质和内容具有很大的不确定性，使得难以将命令文本的构成语言元素（主要是名词短语和空间关系）与这些环境的元素相关联。符号模型捕捉语言结构，但没有成功地扩展到处理未经训练的用户产生的不同语言。现有的统计方法可以更好地处理多样性，但到目前为止还没有建模复杂的语言结构，限制了可实现的准确性。最近的混合方法解决了缩放和复杂性的限制，但没有有效地关联的语言和感知功能。我们的框架，称为广义接地图（G^3），解决了这些问题，定义一个概率图形模型动态根据语言分析结构的自然语言命令。这种方法有效地扩展，处理语言多样性，并使系统能够将命令的部分与它们所指的外部世界中的特定对象，地点和事件相关联。我们表明，机器人可以学习单词的含义，并使用这些学习的含义，鲁棒地遵循未经训练的用户产生的自然语言命令。我们展示了我们的方法，涉及各种半自主机器人平台，包括轮椅，微型飞行器，叉车和柳树车库PR2的移动命令和移动操作命令。
2017-11-29 cs.CL cs.RO
PEC-Home: Interpretation of Progressively Elliptical Commands in Smart Homes
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）；Baidu Inc.（百度公司）
针对智能家居中用户因共享上下文而使用渐进式省略命令导致的指代和意图歧义问题，提出首个模拟家庭数据集PEC-Home，实验表明现有LLM助手难以准确执行省略命令。
2026-06-18 cs.AI cs.CL
Grounding Commands for Autonomous Vehicles via Layer Fusion with Region-specific Dynamic Layer Attention
University of Macau（澳门大学）
将命令接地到视觉环境是自动驾驶车辆与人类之间交互的重要组成部分。在这项工作中，我们研究了自动驾驶汽车的语言接地问题，其目的是根据乘客的自然语言命令在视觉场景中定位一个区域。以前的工作只采用视觉和语言预训练模型的顶层表示来预测命令所指的区域。然而，这样的方法省略了在其他层中编码的有用特征，并且因此导致对输入场景和命令的不充分理解。为了解决这一限制，我们提出了该任务的第一层融合方法。由于不同的视觉区域可能需要不同类型的功能，以消除彼此的歧义，我们进一步提出了区域特定的动态（RSD）层的注意力，以适应性地融合跨层的多模态信息为每个区域。在Talk2Car基准上进行的大量实验表明，我们的方法有助于预测更准确的区域，并且优于最先进的方法。
2022-03-14 cs.CL cs.CV cs.RO
PADL: Language-Directed Physics-Based Character Control
NVIDIA（英伟达）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Simon Fraser University（西蒙弗雷泽大学）
开发能够为模拟角色合成自然和逼真运动的系统一直是计算机动画的焦点。但是，为了使这些系统对下游应用程序有用，它们不仅需要产生高质量的动作，而且还必须提供一个可访问的多功能界面，通过该界面用户可以指导角色的行为。自然语言提供了一种简单易用的表达媒介，用于指定用户的意图。最近在自然语言处理（NLP）方面的突破已经证明了基于语言的接口对于诸如图像生成和程序合成之类的应用的有效使用。在这项工作中，我们提出了PADL，它利用了NLP的最新创新，以便采取措施为基于物理的角色动画开发语言指导的控制器。PADL允许用户发出自然语言命令，用于指定角色应该执行的高级任务和低级技能。我们提出了一种对抗性模仿学习方法，用于训练策略，将高级语言命令映射到低级控件，使角色能够执行用户命令指定的所需任务和技能。此外，我们提出了一个多任务聚合方法，利用基于语言的多项选择问答的方法来确定高层次的任务目标，从语言命令。我们表明，我们的框架可以有效地指导模拟的人形角色执行各种复杂的运动技能。
2023-01-31 cs.AI cs.CL cs.GR
LLM-Supported Natural Language to Bash Translation
MIT-CSAIL（麻省理工学院计算机科学与人工智能实验室）；Draper Laboratory（德雷珀实验室）；Charles Stark Draper Laboratory（查尔斯·斯塔克·德雷珀实验室）
针对LLMs的NL2SH性能评估难题，提出人工验证的600对测试数据集与40939对训练数据集（规模大幅提升）及新型功能等价性启发式方法（95%置信度），评估发现解析等技术可提升NL2SH准确率至多32%。
2025-02-07 cs.AI cs.CL
Human-Centric Autonomous Systems With LLMs for User Command Reasoning
KTH Royal Institute of Technology（KTH皇家理工学院）；Scania AB（斯堪尼亚公司）
本文提出利用大型语言模型从车内用户命令中推理系统需求，通过少样本多变量二元分类实验验证其有效性，并公开代码与模型。
2023-12-19 cs.AI cs.CL cs.RO
AraSpot: Arabic Spoken Command Spotting
Lebanese American University（黎巴嫩美国大学）
本文提出阿拉伯语关键词识别模型AraSpot，结合在线数据增强、ConformerGRU架构和TTS合成数据，在40个关键词上取得99.59%的SOTA性能。
2024-05-05 cs.AI cs.CL
Chatbot Interaction with Artificial Intelligence: Human Data Augmentation with T5 and Language Transformer Ensemble for Text Classification
ARVIS Lab（ARVIS实验室）；Aston University（阿斯顿大学）
在这项工作中，我们提出了聊天机器人与人工智能交互（CI-AI）框架，作为训练深度学习聊天机器人进行任务分类的方法。智能系统通过人工释义来增强人类来源的数据，以便生成大量的训练数据，用于自然语言处理的进一步的经典、注意力和基于语言转换的学习方法。人类被要求解释命令和问题，以识别机器进一步执行的任务。命令和问题被分为训练集和验证集。共收到483份回复。其次，通过T5模型对训练集进行释义，以便用更多的数据对其进行扩充。在对两个时期的训练数据进行微调后，对两个集合的七种最先进的基于变换器的文本分类算法（BERT、DistilBERT、RoBERTa、DistilRoBERTa、XLM、XLM-RoBERTa和XLNet）进行基准测试。我们发现，当训练数据被T5模型增强时，所有模型都得到了改善，分类精度平均提高了4.01%。最好的结果是在T5增强数据上训练的RoBERTa模型，其分类准确率达到98.96%。最后，我们发现，通过输出标签预测的逻辑回归，五个性能最好的Transformer模型的集合在人类响应数据集上的准确率为99.59%。一个高性能的模型允许智能系统通过类似聊天机器人的界面在社交互动层面上解释人类命令（例如，“机器人，我们可以对话吗？），并允许非技术用户更好地访问AI。
2020-10-22 cs.AI cs.CL
Luganda Speech Intent Recognition for IoT Applications
Makerere University（马凯雷雷大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
本研究针对低资源语言卢干达语在物联网智能家居中的支持不足问题，开发了一种基于Raspberry Pi部署、采用MFCC特征和Conv2D架构的卢干达语语音意图分类系统，并开源了相关数据集，解决了本地化挑战。
2024-05-16 cs.AI cs.CL cs.SD
