Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语，大多数语义解析系统将该问题作为一次性翻译，其中话语被映射到对应的逻辑形式。在本文中，我们研究了一个更具交互性的场景，人类可以进一步与系统进行交互，提供自由形式的自然语言反馈，以纠正系统时，它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造，SPLASH，一个数据集的话语，不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务，并表明，将这样一个丰富的反馈形式，可以显着提高整体语义解析的准确性，同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%，但我们的最佳模型仅达到25.1%，这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
TopicViz: Semantic Navigation of Document Collections
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
当人们探索和管理信息时，他们会根据主题和主题进行思考。然而，支持信息探索的软件只能看到表面级别的文本。在本文中，我们将展示如何主题建模-一种用于识别大型文档集合中潜在主题的技术-可以支持语义探索。我们提出TopicViz，一个交互式的信息探索环境。TopicViz将传统的搜索和引用图功能与一系列新颖的交互式可视化相结合，以力导向布局为中心，将文档链接到主题模型发现的潜在主题。我们描述了几个使用场景中，TopicViz支持大型文档集合的快速意义构建。
2011-11-04 cs.AI cs.CL cs.HC
Reaping the Benefits of Interactive Syntax and Semantics
语义反馈是一个重要的信息源，解析器可以使用它来处理语法中的局部歧义。然而，很难设计一个系统的交互式语法和语义的通信机制。在这篇文章中，我提出了一个变体的左角分析定义的语法和语义应该相互作用的点，语法关系和主题角色的帐户，以定义的内容的通信，和冲突解决策略的基础上独立的偏好从语法和语义。由此产生的互动模式已被实施在一个名为COMPERE的程序，并显示占各种各样的心理语言学数据的结构和词汇歧义。
1994-08-31 cmp-lg cs.CL
iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models
New York University（纽约大学）；Salesforce Research（赛富时研究院）
NLP模型中的错误分析对于成功的模型开发和部署至关重要。诊断错误的一种常见方法是识别数据集中模型产生最多错误的子群体。然而，现有的方法通常基于预定义的特征来定义子群体，这需要用户提前形成错误的假设。为了补充这些方法，我们提出了iSEA，一个用于NLP模型中语义错误分析的交互式管道，它可以在人机交互系统的上下文中自动发现具有高出错率的语义接地子群体。iSEA使模型开发人员能够通过发现的子群体更多地了解其模型误差，通过对发现的子群体进行交互式分析来验证误差来源，并通过定义自定义子群体来测试有关模型误差的假设。该工具支持在标记和概念级别对易出错的子群体进行语义描述，以及预定义的更高级别的功能。通过用例和专家访谈，我们展示了iSEA如何帮助错误理解和分析。
2022-03-08 cs.CL cs.HC
XISM: an eXploratory and Interactive Graph Tool to Visualize and Evaluate Semantic Map Models
School of Humanities Tsinghua University（人文学院 清华大学）；School of Environment and Society Institute of Science（环境与社会学院 科学研究院）
XISM是一种结合数据驱动推断与专家知识的交互式工具，用于提升语义图模型的可扩展性和可解释性。
2026-02-28 cs.CL
A Dynamic Graph Interactive Framework with Label-Semantic Injection for Spoken Language Understanding
Peking University（北京大学）
多意图检测和插槽填充联合模型正在获得越来越多的牵引力，因为它们更接近复杂的现实世界场景。然而，现有的方法（1）专注于识别两个任务中的话语和独热编码标签之间的隐式相关性，而忽略显式标签特征;（2）直接结合每个令牌的多意图信息，这可能导致由于引入不相关的意图而导致不正确的时隙预测。在本文中，我们提出了一个称为DGIF的框架，它首先利用标签的语义信息为模型提供额外的信号和丰富的先验知识。然后，构建多粒度交互图来建模意图和槽之间的相关性。具体来说，我们提出了一种新的方法来构建基于标签语义注入的交互图，它可以自动更新图，以更好地减轻错误传播。实验结果表明，我们的框架显着优于现有的方法，在MixATIS数据集上获得了13.7%的相对提高，比以前的最佳模型的整体准确性。
2022-11-08 cs.AI cs.CL
DeepSI: Interactive Deep Learning for Semantic Interaction
Virginia Tech（弗吉尼亚理工大学）
本文提出 DeepSI_finetune 框架，将深度学习嵌入语义交互回路，通过交互微调表示以更少交互更准确地推断用户意图。
2023-05-26 cs.AI cs.CL cs.HC
IQA: Interactive Query Construction in Semantic Question Answering Systems
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）
语义问答（SQA）系统根据语义查询自动解释以自然语言表达的用户问题。这个过程涉及不确定性，使得结果查询并不总是准确地匹配用户意图，特别是对于更复杂和不太常见的问题。在本文中，我们的目标是使用户能够通过交互引导SQA系统实现预期的语义查询。我们介绍了IQA -一种SQA管道的交互方案。该方案促进了问答过程中用户反馈的无缝集成，并依赖于选项增益-一种新颖的度量，能够实现高效和直观的用户交互。我们的评估表明，使用所提出的计划，即使是少量的用户交互可以导致显着改善SQA系统的性能。
2020-06-25 cs.CL cs.IR
Interactive ASR: Towards Human-Like Interaction and Semantic Coherence Evaluation for Agentic Speech Recognition
X-LANCE Lab, Shanghai Jiao Tong University（上海交通大学X-LANCE实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Xi'an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；Tongyi Fun Team, Alibaba Group（阿里巴巴集团 Tongyi 团队）
本文提出基于LLM的代理框架，通过语义反馈提升语音识别的语义准确性和交互修正能力，实验验证了其有效性。
2026-04-14 cs.AI cs.CL cs.SD
Interactive Acquisition of Fine-grained Visual Concepts by Exploiting Semantics of Generic Characterizations in Discourse
University of Edinburgh（爱丁堡大学）
本研究在交互式任务学习的在线、增量、小样本约束下，探索细粒度视觉概念的符号接地任务，通过利用教师通用陈述的真值条件与语境隐含义，提升了接地的数据效率。
2023-05-05 cs.CL
Language Acquisition is Embodied, Interactive, Emotive: a Research Proposal
Boise State University（博伊西州立大学）；Department of Computer Science（计算机科学系）
人类对世界的体验从一开始就是深刻的多模态的，那么为什么现有的最先进的语言模型只使用文本作为模态来学习和表示语义呢？在本文中，我们回顾了文学的体现和情感的作用，在互动设置的口语对话作为必要的先决条件，为人类儿童的语言学习，包括如何在儿童词汇主要是具体的，然后转移到变得更加抽象的孩子长大。我们勾勒出一个语义模型，利用当前的transformer为基础的模型和单词级接地模型，然后解释机器人对话系统，将利用我们的语义模型，系统学习语言的设置，和现有的基准评估。
2021-05-10 cs.CL
Chinese Medical Question Answer Matching Based on Interactive Sentence Representation Learning
College of Computer and Engineering, Xi’an University of Posts and Telecommunications（西安邮电大学计算机与工程学院）
中文医学问答匹配比英文开放域问答匹配更具挑战性。即使深度学习方法在提高问答匹配性能方面表现良好，但这些方法只关注句子内部的语义信息，而忽略了问题和答案之间的语义关联，从而导致性能赤字。在本文中，我们设计了一系列的交互式句子表示学习模型来解决这个问题。为了更好地适应中医问答匹配，并充分利用不同神经网络结构的优势，本文提出了交叉BERT网络来提取句子内部的深层语义信息和问答之间的语义关联，然后与多个规模CNN网络或BiGRU网络，以利用不同结构的神经网络来学习更多的语义特征到句子中表示.在cMedQA V2.0和cMedQA V1.0数据集上的实验结果表明，该模型的性能明显优于现有的中文医学问答匹配模型。
2020-11-27 cs.CL
TextEssence: A Tool for Interactive Analysis of Semantic Shifts Between Corpora
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；The Ohio State University（俄亥俄州立大学）
词和概念的嵌入捕捉语言的句法和语义特征;然而，它们作为研究不同语料库的特征以及它们如何相互关联的工具的使用有限。我们介绍TextEssence，一个交互式系统，旨在使使用嵌入语料库的比较分析。TextEssence包括在轻量级的基于Web的界面中嵌入分析的可视、基于邻居和基于相似性的模式。我们进一步提出了一种基于最近邻重叠的嵌入置信度的新度量，以帮助识别用于语料库分析的高质量嵌入。一项关于COVID-19科学文献的案例研究说明了该系统的实用性。TextEssence可从https://github.com/drgriffis/text-essence获得。
2021-03-19 cs.AI cs.CL cs.HC
Interactive Concept Mining on Personal Data -- Bootstrapping Semantic Services
DFKI GmbH（德国人工智能研究中心有限公司）；TU Kaiserslautern（凯泽斯劳滕工业大学）
语义服务（例如语义搜索）仍然受到冷启动问题的困扰：在开始时，用户的个人信息领域，即文件，邮件，书签等，它不是由系统代表的。用于启动系统的信息抽取工具通常创建不同信息项的1：1表示。不提取更高级别的概念，例如在文件名、邮件主题或这些项目的内容主体中找到的概念。将这些概念排除在外可能会导致性能不佳，必须使用其中的许多概念（例如，通过使每个找到的术语成为概念）将使出现的知识图谱与无用的关系变得混乱。在本文中，我们提出了一个交互式的概念挖掘方法，提出的概念候选人收集利用通常的个人信息管理应用程序和分析使用各种指标的个人信息领域的给定图式。为了注意用户的主观观点，图形用户界面允许容易地对所提出的概念候选进行排名并给出反馈，从而仅保留那些实际上被认为相关的概念。一个原型实现演示了我们的方法的主要步骤。
2019-03-14 cs.CL cs.CY
Boosting Neural Language Inference via Cascaded Interactive Reasoning
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
针对 PLMs 多依赖最终层表示而忽视中间层语义信息的问题，本文提出 CIRN，通过跨深度分层提取与持续跨句交互实现渐进推理，并在多个 NLI 基准上稳定优于基线。
2025-05-10 cs.CL
Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation
College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院）；X-LANCE Lab, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院X-LANCE实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Fudan University（复旦大学）；Tongyi Fun Team, Alibaba Group（阿里云通义团队）
提出Agentic ASR闭环框架，通过多轮交互和语义纠正减少语义错误，并引入句子级语义错误率（S^2ER）作为评估指标。
2026-05-28 cs.AI cs.CL
Beyond Parallel Tracking: Interactive Multi-Feature Fusion Drives Semantic Reconstruction from Non-invasive Brain Recordings
Center for BioMed-X Research, Academy for Advanced Interdisciplinary Studies,Peking University（北京大学生物医学前沿创新中心、前沿交叉学科研究院）；Speech and Hearing Research Center, School of Intelligence Science and Technology,Peking University（北京大学智能科学与技术学院言语听觉研究中心）；State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室）；National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University（国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究所、北京大学生命科学联合中心、未来技术学院）
研究针对非侵入性脑记录语义重建中表征不匹配问题，引入多特征融合框架，通过交互式门控机制结合静态与动态表征，经实验对比线性连接和非线性交叉注意力等方法，证明交叉注意力融合性能最佳，提供了新的脑到文本解码方法。
2026-07-21 cs.CL
VISITRON: Visual Semantics-Aligned Interactively Trained Object-Navigator
Georgia Tech（佐治亚理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
除了视觉和语言导航（VLN）的挑战之外，导航照片逼真环境的交互式机器人需要经过训练，以有效地利用和处理对话的动态性质。在本文中，我们提出了VISITRON，一个多模态的基于变压器的导航仪更适合固有的合作视觉和对话导航（CVDN）的互动制度。VISITRON接受过以下培训：i）识别并关联环境和对话历史之间的对象级概念和语义，ii）经由二元分类头的模仿学习识别何时交互与导航。我们使用VISITRON进行广泛的预训练和微调消融，以获得经验性见解并提高CVDN的性能。VISITRON的能力，以确定何时进行交互导致了一个自然的概括的游戏模式介绍了罗马等。（arXiv：2005.00728），使这样的模型在不同的环境中使用。VISITRON与静态CVDN排行榜上的模型相比具有竞争力，并在路径长度（SPL）指标的成功加权方面达到最先进的性能。
2022-03-16 cs.AI cs.CL cs.CV
Semantic Graph Convolutional Network for Implicit Discourse Relation Classification
Beijing Institute of Technology（北京理工大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
隐性语篇关系分类对于语篇分析具有重要意义，但由于缺乏表达这些关系的显性语篇联系语，隐性语篇关系分类仍然是一个具有挑战性的问题。对关系的两个参数之间的语义交互进行建模已被证明对于检测隐含的话语关系是有用的。然而，大多数以前的方法建模这样的语义交互从一个浅的交互层，这是不够的，捕捉足够的语义信息。本文提出了一种新颖有效的语义图卷积网络（SGCN），在更深层次的交互作用上增强论元间语义的建模，用于隐式话语关系分类。我们首先在两个参数的表示上构建交互图，然后通过图卷积自动提取深入的语义交互信息。在英语语料库PDTB和汉语语料库CDTB上的实验结果都证明了该模型的优越性。
2019-10-21 cs.CL
SEAL : Interactive Tool for Systematic Error Analysis and Labeling
Hugging Face（Hugging Face（拥抱脸））；Stanford University（斯坦福大学）
随着Transformers的出现，大语言模型（LLM）已经饱和了众所周知的NLP基准测试和排行榜，具有高聚合性能。然而，很多时候，这些模型系统性地失败的尾部数据或罕见的群体不明显的综合评价。当没有明确的标签（例如，种族、性别等）并且由于缺乏表征故障模式的视觉特征（例如，亚洲雄性，室内动物，陆地上的水鸟等）。本文介绍了一种交互式系统误差分析和标记（\seal）工具，使用两步的方法，首先确定高错误的数据切片，然后，在第二步中，引入方法，给人类可理解的语义，这些表现不佳的切片。我们探索了各种方法来使用语言模型的语义标记和文本到图像模型生成视觉功能的错误组的连贯语义。SEAL工具包和演示视频可在https://huggingface.co/spaces/nazneen/seal上获得。
2022-10-11 cs.CL cs.HC
Approximating Interactive Human Evaluation with Self-Play for Open-Domain Dialog Systems
Massachusetts Institute of Technology（麻省理工学院）
构建一个开放域的会话代理是一个具有挑战性的问题。目前的评估方法，大多是事后的静态会话的判断，不捕捉会话质量在现实的交互环境。在本文中，我们研究了交互式人类评价，并提供证据证明其必要性;然后，我们引入了一种新的，模型不可知的，和网络不可知的方法来近似它。特别是，我们提出了一个自我发挥的情况下，对话系统与自己交谈，我们计算的组合代理，如情感和语义一致性的对话轨迹。我们表明，该指标能够比迄今为止已知的任何自动化指标更好地捕获对话模型的人工评级质量，实现显著的Pearson相关性（r>.7，p<.05）。为了研究这种新的度量和交互式评价的优势相比，国家的最先进的指标和人类评价的静态对话，我们进行了扩展实验与一组模型，包括几个新的改进，最近的层次对话生成架构，通过情感和语义知识蒸馏的话语水平。最后，我们开源了我们构建的交互式评估平台和我们收集的数据集，以允许研究人员有效地部署和评估对话模型。
2019-11-04 cs.AI cs.CL cs.LG
The Joint Entity-Relation Extraction Model Based on Span and Interactive Fusion Representation for Chinese Medical Texts with Complex Semantics
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Cooperative Innovation Center of Internet Healthcare, Zhengzhou University（郑州大学互联网医疗协同创新中心）；Fuwai Hospital, National Center for Cardiovascular Diseases, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院国家心血管病中心阜外医院）；Department of Geriatrics, Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院老年医学科）
针对中文复杂语义医疗文本的联合实体关系抽取研究不足问题，本文构建CH-DDI数据集，提出SEA模块和交互式融合表示模块，在CH-DDI和CoNLL04数据集上取得优异泛化性能，为医疗领域知识图谱构建提供支持。
2025-02-13 cs.AI cs.CL
LitStoryTeller: An Interactive System for Visual Exploration of Scientific Papers Leveraging Named entities and Comparative Sentences
Drexel University（德雷塞尔大学）
本研究提出了LitStoryTeller，一个交互式系统，用于可视化地探索科学文章的语义结构。我们展示了LitStoryTeller如何用于回答一些最基本的研究问题，例如如何在现有方法的基础上构建新方法，基于什么样的理论证明和实验证据。更重要的是，LitStoryTeller可以帮助用户理解科学论文完整有趣的故事，具有简洁的大纲和重要的细节。该系统借用了电影剧本中的隐喻，通过将科学论文中的人物（科学概念或术语）和场景（段落/句子）安排成一个渐进的、交互式的故事情节，从而将科学论文的故事情节可视化。这样的故事情节有助于保持科学论文的语义结构和逻辑思维过程。使用现有的命名实体识别API和监督分类器从科学论文中自动提取语义结构，例如科学概念和比较句。两个辅助视图，排名实体频率视图和实体共现网络视图，提供帮助用户识别这样的科学故事情节的“主要情节”。当集合文档准备就绪时，LitStoryTeller还为集合消化提供了一个时间实体演化视图和实体社区视图。
2017-09-12 cs.CL cs.DL cs.HC
DFEE: Interactive DataFlow Execution and Evaluation Kit
AWS AI Labs（亚马逊云科技人工智能实验室）
DataFlow由于其对对话任务的表达性语义表示而成为构建面向任务的聊天机器人的新范式。尽管有大型数据集SMCalFlow和简化的语法，但由于系统复杂性和缺乏下游工具链，基于DataFlow的聊天机器人的开发和评估仍然具有挑战性。在这个演示中，我们提出了DFEE，一个交互式的数据流执行和评估工具包，支持执行，可视化和基准测试的语义分析器给定的对话输入和后端数据库。我们通过一个复杂的对话任务演示了该系统：涉及时间推理的事件调度。它还支持通过友好的界面诊断解析结果，该界面允许开发人员检查动态DataFlow和相应的执行结果。为了说明如何对SoTA模型进行基准测试，我们提出了一个新的基准测试，该基准测试涵盖了更复杂的事件调度场景和任务成功评估的新指标。DFEE的代码已在https://github.com/amazonscience/dataflow-evaluation-toolkit上发布。
2022-12-04 cs.AI cs.CL
PSALM-V: Automating Symbolic Planning in Interactive Visual Environments with Large Language Models
Department of Computer Science University of Southern California（计算机科学系 美国南加州大学）
提出PSALM-V系统，通过LLM动态推断PDDL语义并维护树结构信念，在无专家定义的视觉环境中实现可靠的自动化符号规划，显著提升了任务成功率与步数效率。
2025-06-25 cs.CL cs.RO
TELEVAL: A Benchmark Designed for Spoken Language Models in Chinese Interactive Scenarios
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI）、中国电信）
TELEVAL是一个为中国语音交互场景设计的动态基准，旨在评估语音语言模型在真实对话中的表现，强调内容准确性和互动适当性，揭示当前模型在自然交互回应上的不足。
2026-08-25 cs.AI cs.CL cs.SD
