Knowledge Augmented BERT Mutual Network in Multi-turn Spoken Dialogues
Georgia Institute of Technology(佐治亚理工学院)
现代口语语言理解(SLU)系统依赖于在单个话语中揭示的复杂语义概念来检测意图和槽。然而,他们缺乏在对话中建模多回合动态的能力,特别是在长期的插槽上下文中。在没有外部知识的情况下,依赖于词序列内有限的语言合法性可能会忽略对话轮之间的深层语义信息。在本文中,我们建议装备一个基于BERT的联合模型与知识注意力模块,以相互利用两个SLU任务之间的对话上下文。门控机制被进一步用来过滤掉不相关的知识三元组,并避免分心的理解。在两个复杂的多轮对话数据集上的实验结果表明,通过对两个SLU任务进行相互建模,过滤知识和对话上下文,我们的方法与几个竞争对手的基线相比有很大的改进。
2022-02-23 cs.CL
Hierarchical Summarization for Longform Spoken Dialog
Columbia University(哥伦比亚大学);Microsoft(微软);Stanford University(斯坦福大学)
我们每天都被对话包围着。这种媒介提供丰富多样的信息流,但系统地理解对话往往是不平凡的。尽管口头对话普遍存在,但自动语音理解和质量信息抽取仍然明显较差,特别是与书面散文相比时。此外,与理解文本相比,听觉交流带来了许多额外的挑战,例如说话者不流利,非正式的散文风格和缺乏结构。这些问题都表明,需要一个明显的语音定制的交互系统,以帮助用户理解和浏览口语领域。虽然个人自动语音识别(ASR)和文本摘要方法已经存在,但它们是不完善的技术;既不考虑用户目的和意图,也不解决口语引起的并发症。因此,我们设计了一个两阶段的ASR和文本摘要管道,并提出了一套语义分割和合并算法,以解决这些语音建模的挑战。我们的系统使用户能够轻松地浏览和导航内容,以及从这些底层技术的错误中恢复。最后,我们提出了一个评估系统,突出用户偏好的分层摘要作为一种工具,快速浏览音频和识别感兴趣的内容给用户。
2021-08-21 cs.AI cs.CL
SpeechJBB: Probing Safety Alignment and Comprehension in Large Audio Language Models under Code-Switched Speech
Mila - Quebec AI Institute(魁北克AI研究所);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
提出SpeechJBB数据集,通过代码切换有害音频和伪词插入方法,揭示大型音频语言模型在多语言和口语设置下的安全漏洞。
2026-09-01 cs.CL cs.SD eess.AS
A Discriminative Hierarchical PLDA-based Model for Spoken Language Recognition
Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所(ICC));SRI International(斯坦福国际研究院)
口语识别(SLR)是指用于确定语音样本中存在的语言的自动过程。SLR本身就是一项重要的任务,例如,作为分析或分类大量多语言数据的工具。此外,它也是在工作流中选择下游应用的必要工具,例如,选择适当的语音识别或机器翻译模型。SLR系统通常由两个阶段组成,一个是提取代表音频样本的嵌入,第二个是计算每种语言的最终分数。在这项工作中,我们接近SLR任务作为一个检测问题,并实现第二阶段作为一个概率线性判别分析(PLDA)模型。我们发现,PLDA参数的判别式训练相对于通常的生成训练提供了很大的增益。此外,我们提出了一种新的分层方法,其中训练两个PLDA模型,一个用于生成高度相关语言的聚类的分数,第二个用于生成每个聚类的分数条件。最终的语言检测分数被计算为这两组分数的组合。完整的模型是有区别地训练的,以优化交叉熵目标。我们表明,这种层次化的方法始终优于非层次化的高度相关的语言检测,在许多情况下,大幅度。我们训练我们的系统上收集的数据集,包括超过100种语言,并测试他们的匹配和不匹配的条件下,显示的收益是强大的条件不匹配。
2022-08-11 cs.CL cs.SD eess.AS
VlogQA: Task, Dataset, and Baseline Models for Vietnamese Spoken-Based Machine Reading Comprehension
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);Vietnam National University(越南国家大学)
本文提出越南语口语机器阅读理解数据集 VlogQA,基于 YouTube 美食与旅行转录文档构建 10,076 个问答对,并通过深度学习基线模型验证了口语 MRC 的进展与挑战。
2025-07-19 cs.CL
Coupled Representation Learning for Domains, Intents and Slots in Spoken Language Understanding
Amazon Alexa(亚马逊Alexa)
表示学习是一个重要的问题,在广泛的应用,它是成功地执行下游任务的重要。在本文中,我们提出了一个新的模型,学习耦合表示的域,意图,插槽利用他们的层次依赖性在口语语言理解系统。我们提出的模型通过聚合槽的表示,基于与这些意图相关的槽来学习意图的向量表示。类似地,域的向量表示通过聚合绑定到特定域的意图的表示来学习。据我们所知,这是第一种使用层次关系联合学习域、意图和槽的表示的方法。实验结果表明,我们的模型学习的表示的有效性,证明了提高性能的上下文跨域重排序任务。
2018-12-13 cs.CL cs.LG stat.ML
Spoken Language Translation for Polish
Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
在日益全球化的世界中,口语翻译(英语:Spoken language translation)无论从社会还是经济的角度来看都变得越来越重要。它是自动语音识别(ASR)和机器翻译(MT)的主要挑战之一,推动了这些领域的激烈研究活动。由于技术限制,过去的研究主要是在受控条件下记录的语音,而今天的主要挑战是翻译口语,因为它可以在现实生活中找到。考虑的应用场景范围从便携式翻译器为游客,讲座和演示文稿翻译,广播新闻和节目与现场字幕。我们希望介绍PJIIT在欧盟桥梁第七框架项目和U-Star联盟波兰语/英语对活动中获得的经验。目前的研究集中在波兰语的ASR适应(最先进的声学模型:DBN-BLSTM训练,Kaldi:LDA+MLLT+SAT+MMI),ASR和MT的语言建模(文本规范化,基于RNN的LM,n-gram模型域插值)和统计翻译技术(分层模型,因子翻译模型,自动装箱和标点符号,可比和双语语料库准备)。虽然定义明确的领域(旅行者短语,议会演讲,医疗文档,电影字幕)的结果非常令人鼓舞,但定义较少的领域(演讲,讲座)仍然是一个挑战。我们将介绍我们在IWWWTED任务(仅MT)中的进展,以及波兰ASR的当前进展。
2015-11-24 cs.CL
ODSQA: Open-domain Spoken Question Answering Dataset
National Taiwan University(台湾大学)
机器阅读理解已经得到了广泛的研究,但口语内容的机器理解仍然是一个较少研究的问题。在本文中,我们发布了开放域口语问答数据集(ODSQA),其中包含3000多个问题。据我们所知,这是最大的真实SQA数据集。在这个数据集上,我们发现ASR错误对SQA有灾难性的影响。为了减轻ASR错误的影响,涉及子字单元,这在所有模型上带来了一致的改进。我们进一步发现,基于文本的QA训练样本上的数据增强可以提高SQA。
2018-08-07 cs.CL
Information Value: Measuring Utterance Predictability as Distance from Plausible Alternatives
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
本文提出信息价值度量方法,利用神经文本生成器量化话语相对于合理替代项的可预测性,发现其比词元惊异度更能预测话语可接受性,且在预测阅读时间上与惊异度互补。
2023-10-20 cs.CL
Proactive for Uncertainty: Cause-Aware Error Diagnosis and Interactive Clarification for Spoken Dialogue Systems
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Shanghai Jiao Tong University, China(上海交通大学,中国)
本文提出一种因果感知的错误恢复范式,通过细粒度检测器解耦ASR中的感知、理解和删除错误,使LLM能够执行多轮针对性澄清策略,从而显著降低词错误率并提升下游任务性能。
2026-09-25 cs.CL eess.AS
A Context-Aware Hierarchical BERT Fusion Network for Multi-turn Dialog Act Detection
Georgia Institute of Technology(佐治亚理工学院)
交互式对话系统的成功通常与口语语言理解(SLU)任务的质量相关,该任务主要识别每轮中相应的对话行为和槽值。通过孤立地处理话语,大多数SLU系统经常忽略对话行为所期望的语义上下文。回合之间的动作依赖性是重要的,但对识别正确的语义表示至关重要。以前的作品与有限的上下文意识暴露了处理复杂性的不足,在多方位的用户意图,这是受自发变化,在回合转换。在这项工作中,我们提出了增强SLU在多轮对话,采用上下文感知的分层BERT融合网络(CaBERT-SLU),不仅辨别对话中的上下文信息,但也联合识别多个对话行为和插槽中的每个话语。实验结果表明,我们的方法达到了新的国家的最先进的(SOTA)性能在两个复杂的多轮对话数据集有相当大的改善相比,以前的方法,只考虑单话语的多个意图和插槽填充。
2021-09-03 cs.CL
Label-aware Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding
Jilin University(吉林大学);Microsoft(微软);Duke University(杜克大学)
尽管口语语言理解(SLU)在高资源语言中取得了巨大成功,但在低资源语言中仍然具有挑战性,主要原因是缺乏带标签的训练数据。最近的多语言代码转换方法实现了更好的跨语言模型表示对齐通过构建一个混合的语言上下文在zero-shot跨语言SLU。然而,目前的语码转换方法仅限于隐性对齐,而忽视了二语习得中固有的语义结构,即,话语、槽和词的分级包含。在本文中,我们提出了一个多层次的对比学习框架,在话语,槽,词的水平,以促进明确对齐的话语槽词结构模型。新的代码转换方案被引入到我们的对比学习框架中,以产生困难的否定例子。此外,我们开发了一个标签感知的联合模型,利用标签语义来增强隐式对齐和馈送到对比学习。我们的实验结果表明,我们提出的方法显着提高性能相比,强基线两个zero-shot跨语言SLU基准数据集。
2022-10-25 cs.AI cs.CL
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg(人工智能与数据科学中心,乌尔姆大学);Language Technology Lab, University of Cambridge(语言技术实验室,剑桥大学);Mila, McGill University and Canada CIFAR AI Chair(Mila,麦吉尔大学及加拿大CIFAR人工智能主席)
提出多语言口语理解基准Fleurs-SLU,包含102种语言692小时主题分类和92种语言944小时听力问答,评估发现级联系统与闭源语音LLM表现优异,且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
Towards End-to-End Integration of Dialog History for Improved Spoken Language Understanding
The Ohio State University(俄亥俄州立大学);IBM Research AI(IBM研究人工智能)
在对话系统中,对话历史在口语语言理解(SLU)性能中起着重要的作用。对于端到端(E2E)SLU,以前的工作已经使用文本形式的对话历史,这使得模型依赖于级联自动语音识别器(ASR)。这取消了E2E系统的益处,该E2E系统旨在是紧凑的并且对ASR错误是鲁棒的。在本文中,我们提出了一个分层的会话模型,能够直接使用语音形式的对话历史,使其完全E2E。我们还通过联合训练一个类似的基于文本的会话模型,并明确绑定声学和语义嵌入,从可用的黄金会话成绩单中提取语义知识。我们还提出了一种新的技术,我们称之为DropFrame来处理通过以E2E方式添加对话历史所产生的长训练时间。在HarperValleyBank对话数据集上,我们的E2E历史集成在对话动作识别任务上的绝对F1得分比历史独立基线高7.7%。我们的模型与最先进的基于历史的级联基线相比具有竞争力,但使用的参数减少了48%。在没有黄金成绩单来微调ASR模型的情况下,我们的模型以10%的绝对F1分数显著优于此基线。
2022-04-11 cs.AI cs.CL
End-to-End Spoken Language Understanding for Generalized Voice Assistants
Amazon(亚马逊);Google Cloud AI(谷歌云人工智能)
端到端(E2E)口语语言理解(SLU)系统使用单个模型直接从语音预测话语语义。以前在这方面的工作集中在固定领域的目标任务,其中输出的语义结构是假定先验和输入语音是有限的复杂性。在这项工作中,我们提出了我们的方法来开发一个E2E模型的广义SLU在商业语音助理(VA)。我们提出了一个完全可区分的,基于transformer的分层系统,可以在ASR和NLU级别进行预训练。然后对转录和语义分类损失进行微调,以处理不同的意图和参数组合。这导致SLU系统在复杂的内部广义VA数据集上实现了比基线显著的改进,准确度提高了43%,同时仍然满足流行的Fluent Speech Commands数据集上99%的准确度基准。我们进一步在硬测试集上评估了我们的模型,该测试集只包含训练中看不到的插槽参数,并展示了近20%的改进,显示了我们的方法在真正苛刻的VA场景中的有效性。
2021-07-19 cs.AI cs.CL cs.SD
MULTI-Bench: A Multi-Turn Interactive Benchmark for Assessing Emotional Intelligence ability of Spoken Dialogue Models
StepFun Inc(StepFun公司);Nanyang Technological University(南洋理工大学);The University of New South Wales(新南威尔士大学);Peking University(北京大学)
提出了首个多轮交互基准Multi-Bench,用于评估语音对话模型的情感智能,发现当前模型在基础理解任务上表现良好,但在高级多轮交互和推理任务上仍有不足。
2025-11-02 cs.AI cs.CL cs.SD
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University(国立台湾大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出PW-HuBERT框架,利用视觉基础语音模型生成伪词级目标,无需语音-文本配对数据,在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Building Ontologies to Understand Spoken Tunisian Dialect
University of Sfax(斯法克斯大学)
本文提出了一种基于词汇语义的突尼斯方言口语理解方法。这种方法考虑到突尼斯方言的特殊性,因为它没有语言处理工具。该方法是基于本体的,它允许利用本体概念进行语义标注和本体关系进行语音解释。这种结合提高了理解速度,限制了对语言资源的依赖。本文还详细介绍了在受限领域对话系统的语音理解背景下,构建用于突尼斯方言注释和解释的本体的过程。
2011-09-03 cs.CL
Audio Interaction Model
NTU(国立新加坡大学);NUS(新加坡国立大学);CUHK(香港大学)
提出一种统一的在线大型音频语言模型Audio-Interaction,通过始终在线的感知-决策-响应循环实现实时音频交互,并构建了StreamAudio-2M数据集和Proactive-Sound-Bench基准,在保持主流音频任务性能的同时解锁了实时ASR、流式音频指令跟随和主动帮助等能力。
2026-08-24 cs.AI cs.CL cs.MM
Hierarchical Pre-training for Sequence Labelling in Spoken Dialog
LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);IBM GBS France(IBM法国全球企业咨询服务部);IBM Research Zurich(IBM苏黎世研究院)
序列标记任务,如对话行为和情感/情感识别是口语对话系统的关键组成部分。在这项工作中,我们提出了一种新的方法来学习通用表示适应口语对话,我们评估一个新的基准,我们称之为序列标签评估benChmark或口语laNguagE基准(\texttt{SILICONE})。\texttt{SILICONE}与模型无关,包含10个不同大小的数据集。我们得到我们的表示与分层编码器的基础上Transformer架构,我们扩展了两个众所周知的预训练目标。预训练是在OpenSubtitles上执行的:OpenSubtitles是一个包含超过$2.3$十亿个令牌的大型口语对话语料库。我们展示了分层编码器如何实现具有竞争力的结果,与最先进的模型相比,参数始终更少,我们展示了它们对预训练和微调的重要性。
2021-02-08 cs.AI cs.CL
Hierarchical Classification for Spoken Arabic Dialect Identification using Prosody: Case of Algerian Dialects
Université Amar Telidji Laghouat(阿马尔·泰利吉·拉格瓦特大学);Université Normandie Rouen(鲁昂诺曼底大学)
在日常交流中,阿拉伯人使用当地方言,这些方言很难用传统的分类方法自动识别。当处理属于同一个县/地区的资源不足的方言时,方言识别的挑战性任务变得更加复杂。在本文中,我们开始通过统计分析阿尔及利亚方言,以捕捉其相关的韵律信息提取后,粗粒度的辅音/元音分割在话语水平的特异性。根据这些分析结果,我们提出了一个层次分类方法,阿拉伯语阿尔及利亚方言识别(HADID)。它充分利用了方言具有自然层次结构的内在属性。在HADID中,应用自顶向下的分层分类,其中我们使用深度神经网络(DNN)方法为每个父结点构建一个局部分类器,使其成为分层方言结构。我们的框架实施和评价阿尔及利亚阿拉伯语方言语料库。而方言的等级结构则是从历史和语言学知识中推导出来的。结果表明,在{ \HD }中,与支持向量机相比,最好的分类器是DNN。此外,与基线Flat分类系统相比,我们的HADID在精度方面提高了63.5%。此外,整体结果证明了我们的基于韵律的HADID的适合性,说话人独立的方言识别,而需要不到6s的测试话语。
2017-03-29 cs.CL
MIDAS: A Dialog Act Annotation Scheme for Open Domain Human Machine Spoken Conversations
University of California, Davis(加州大学戴维斯分校)
对话行为预测是建立对话系统和进行语篇分析的重要任务。以前的对话行为方案,如SWBD-DAMSL,都是为人与人之间的对话而设计的,在这种对话中,对话伙伴具有完美的语言理解能力。本文针对开放域人机对话,设计了一种对话行为标注方案MIDAS(Machine Interaction Dialog Act Scheme)。MIDAS旨在帮助那些理解人类伙伴能力有限的机器。MIDAS具有层次结构,支持多标签注释。我们收集并注释了一个大型开放域人机口语对话数据集(由24 K话语组成)。为了展示该方案的适用性,我们利用迁移学习方法来训练多标签对话行为预测模型,并达到F1得分0.79。
2019-08-27 cs.CL
A Parallel-Hierarchical Model for Machine Comprehension on Sparse Data
Maluuba Research(Maluuba研究院)
理解非结构化文本是自然语言处理的一个主要目标。理解测试提出的问题的基础上简短的文本段落,以评估这种理解。在这项工作中,我们调查具有挑战性的{ \it MCTest}基准上的机器理解。部分由于其有限的大小,以前对{ \it MCTest}的工作主要集中在设计更好的功能上。我们用神经方法处理数据集,利用以并行层次结构排列的简单神经网络。并行层次结构使我们的模型能够从各种可训练的角度比较段落,问题和答案,而不是使用手动设计的刚性特征集。视角范围从单词层面到句子片段再到句子序列;网络只对文本的单词嵌入表示进行操作。当使用旨在帮助应对有限训练数据的方法进行训练时,我们的分层模型为{ \it MCTest}设定了一个新的最新技术水平,略微优于以前的功能设计方法,并且显著优于以前的神经方法(绝对值超过15%)。
2016-03-29 cs.CL
Multi-granularity hierarchical attention fusion networks for reading comprehension and question answering
Alibaba Group(阿里巴巴集团)
本文描述了一种新的层次注意网络的阅读理解风格的问答,其目的是回答一个给定的叙述段落的问题。在该方法中,注意力和融合进行水平和垂直跨层的问题和段落之间的不同粒度的水平。具体来说,它首先编码的问题和段落与细粒度的语言嵌入,以更好地捕捉各自的表示在语义层面。然后提出了一种多粒度融合方法,充分融合来自全局和关注表示的信息。最后,引入层次注意网络,通过多层次软对齐逐步关注答案广度。在大规模SQuAD和TriviaQA数据集上的实验验证了该方法的有效性。在撰写本文时(2018年1月12日),我们的模型在SQuAD排行榜上获得了单个和集成模型的第一名。我们还在TriviaQA、AddSent和AddOne-Sent数据集上实现了最先进的结果。
2018-11-29 cs.CL
Unsupervised Discovery of Structured Acoustic Tokens with Applications to Spoken Term Detection
在本文中,我们比较了两种范式的无监督发现结构化的声学标记直接从语音语料库没有任何人的注释。多粒度范式试图用不同模型粒度的多组标记捕获语料库中的所有可用信息。分层范式试图联合学习分层结构中的几个级别的信号表示。本文将这两种范式统一在一个理论框架内。在MediaEval 2015的QUESST数据集上进行的按示例查询口语术语检测(QbE-STD)实验验证了声学令牌的竞争性。在这项工作中提出的增强相关性评分(ERS)提高了两个范例的任务QbE-STD。我们还列出了2015年零资源挑战的ABX评估任务的结果,以比较范式。
2017-11-28 cs.CL
Towards Hierarchical Spoken Language Dysfluency Modeling
UC Berkeley(加州大学伯克利分校)
针对言语治疗与语言学习中的语音非流利建模瓶颈,本文提出 H-UDM 层级化方法,联合完成非流利转写与检测,减少人工标注并验证了其有效性。
2024-01-21 cs.CL eess.AS
BoSS: Beyond-Semantic Speech
Institute of Artificial Intelligence (TeleAI)(人工智能研究所)
本文提出BoSS超越语义语音概念及L1-L5口语交互能力框架,结合认知理论与机器学习分析语音隐性信号,评测发现现有SLM在五维超越语义理解上仍不足。
2025-07-23 cs.CL cs.SD eess.AS
Lexical representation explains cortical entrainment during speech comprehension
Radboud University(拉德堡德大学);NYU Shanghai(上海纽约大学)
最近的一项关于口语句子理解的神经影像学研究的结果被解释为皮层夹带到层次句法结构的证据。我们提出了一个简单的计算模型,预测功率谱从这项研究中,即使该模型的语言知识仅限于词汇水平,和词级表示不结合到更高级别的单位(短语或句子)。因此,皮层夹带的结果也可以解释从词汇性质的刺激,而不求助于层次句法。
2018-01-10 cs.CL q-bio.NC
Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer
School of Data Science, University of Science and Technology of China(中国科学技术大学数据科学学院);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Tencent AI Lab(腾讯AI实验室);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院)
针对语音语言模型难以建模神经音频编解码器长声学序列的问题,提出层级Transformer架构GPST,通过双离散表示与层级结构实现高效单阶段高保真语音生成,具备上下文学习与跨语言扩展能力,性能优于现有模型。
2024-11-01 cs.CL cs.SD eess.AS
Co-Attention Hierarchical Network: Generating Coherent Long Distractors for Reading Comprehension
Beijing Institute of Technology(北京理工大学);Peking University(北京大学)
在阅读理解中,产生文章水平的干扰词是一项重要的任务,这需要对文章和问题有深入的理解。传统的以实体为中心的方法只能产生词级或短语级的干扰词。虽然最近提出的基于神经的方法,如序列到序列(Seq2Seq)模型在生成创意文本方面显示出巨大的潜力,但以前用于干扰词生成的神经方法忽略了两个重要方面。首先,他们没有对文章和问题之间的交互进行建模,使得生成的干扰项往往过于笼统或与问题上下文无关。其次,他们没有强调干扰词和文章之间的关系,使得生成的干扰词在语义上与文章无关,因此无法形成一组有意义的选项。为了解决第一个问题,我们提出了一个共同注意增强的层次结构,以更好地捕捉文章和问题之间的相互作用,从而引导解码器产生更多的连贯干扰。为了缓解第二个问题,我们增加了一个额外的语义相似性损失,以推动生成的干扰更相关的文章。实验结果表明,我们的模型在自动度量上优于几个强基线,实现了最先进的性能。进一步的人类评估表明,我们生成的干扰更连贯,更有教育意义的基线相比,这些干扰。
2019-11-20 cs.CL
Parsing of Spoken Language under Time Constraints
自然对话环境中的口语应用对处理架构的选择提出了严格的要求。特别是在不利的语音和声学条件下,必须开发分析程序,该分析程序不仅以时间同步和增量的方式分析输入语音,而且能够根据识别过程的变化条件来调度它们的资源。根据本地歧义的实际程度,解析器必须在可用的约束中进行选择,以便尽可能少地缩小搜索空间。讨论了一种基于约束满足技术的句法分析方法。它提供了所需的实时行为的重要特征,并试图模仿人类语音理解机制的一些注意力集中能力。
1994-09-09 cmp-lg cs.CL
Are words equally surprising in audio and audio-visual comprehension?
City, University of London(伦敦城市大学);University College London(伦敦大学学院)
通过比较仅听觉与视听呈现中词语诱发的N400,研究发现视觉信息改变语言预测加工:Transformer更适合单模态,2-gram更适合多模态。
2023-07-14 cs.CL
EDRAC: Benchmarking Arabic Dialect Reading Comprehension
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校);IBM Research AI(IBM研究院人工智能部门);Qassim University(卡西姆大学)
针对阿拉伯语方言NLP资源不足的问题,推出首个涵盖5种方言的大规模MRC基准EDRAC,测试发现现有评估指标存在局限,为相关研究提供支撑。
2026-09-02 cs.AI cs.CL
Hierarchical Attention: What Really Counts in Various NLP Tasks
Peking University(北京大学)
序列到序列模型中的注意力机制在各种自然语言处理任务中表现出了强大的能力和出色的性能,例如句子嵌入,文本生成,机器翻译,机器阅读理解等。不幸的是,现有的注意力机制只能学习高级或低级特征。本文认为层次机制的缺乏是注意力机制性能提高的瓶颈,提出了一种基于多层次注意力不同层次加权和的层次注意力机制(Ham)。Ham在中文诗歌生成任务上获得了最先进的BLEU得分0.26,与现有的机器阅读理解模型(如BIDAF和Match-LSTM)相比,平均提高了近6.5%。此外,我们的实验和定理表明,Ham比现有的注意力机制具有更好的泛化和表征能力。
2018-08-10 cs.CL
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University(名古屋大学)
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统,通过构建共同基础和基于文本的轮流发言,提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
When a Man Says He Is Pregnant: Event-related Potential Evidence for a Rational Account of Speaker-contextualized Language Comprehension
The Chinese University of Hong Kong(香港中文大学)
该研究通过ERP实验探讨说话者语境化语言理解中的理性推断机制,发现社会刻板印象导致N400效应,而生物学知识导致P600效应。
2026-02-12 cs.CL q-bio.NC
Knowledge Distillation for Improved Accuracy in Spoken Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语问答(SQA)是一项具有挑战性的任务,它要求机器完全理解复杂的口语文档。自动语音识别(ASR)在问答系统的开发中起着重要的作用。然而,最近的工作表明,ASR系统生成高度嘈杂的成绩单,这严重限制了机器理解SQA任务的能力。为了解决这个问题,我们提出了一个新的蒸馏框架。具体来说,我们设计了一个培训策略,执行知识蒸馏(KD)从口头文件和书面的同行。我们的工作使一个步骤,从语言模型中提取知识作为监督信号,通过减少自动和手动transmittance之间的不一致,导致更好的学生的准确性。实验表明,我们的方法优于几个国家的最先进的语言模型上的口语SQuAD数据集。
2021-04-01 cs.AI cs.CL cs.IR
Structure leads and dominates comprehension in naturalistic reading
Department of Brain and Cognitive Sciences, University of Rochester(罗切斯特大学脑科学与认知科学系);Department of Linguistics and Modern Languages, the Chinese University of Hong Kong(香港中文大学语言学与现代语言系);Department of Language Science, University of California Irvine(加州大学 Irvine 分校语言科学系)
本研究通过同步脑电图和眼动追踪,结合贝叶斯网络建模和回归分析,探究层级句法结构与统计因素在在线理解中的相对强度,发现层级结构在阅读前即可影响理解,但其强度因行为或神经层面而异。
2026-06-23 cs.CL q-bio.NC
BloomVQA: Assessing Hierarchical Multi-modal Comprehension
SRI International(SRI国际公司);Rochester Institute of Technology(罗切斯特理工学院);Boston University(波士顿大学);University of Rochester(罗切斯特大学)
本文提出BloomVQA数据集,基于Bloom分类法构建分层理解评估,揭示现有多模态模型在高层认知任务上准确率显著下降且存在视觉输入绕过等问题。
2024-06-10 cs.CL cs.CV cs.LG
Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension
Shanghai Jiao Tong University(上海交通大学)
本文提出整体图网络(HGN),在话语和词级别建模层次关系,通过节点级和类型级交互机制提升机器阅读理解的逻辑推理能力,并在ReClor、LogiQA等数据集上验证了有效性。
2023-06-21 cs.CL cs.LG
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
口语会话问答(SCQA)要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同,SCQA涉及音频信号处理、段落理解和上下文理解。然而,ASR系统引入了意想不到的噪声信号,这导致SCQA的性能下降。为了克服这个问题,我们提出了CADNet,一种新的上下文化的注意力蒸馏方法,它适用于交叉注意力和自我注意力,以获得ASR鲁棒的上下文嵌入表示的通道和对话历史,以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验,并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Attention-Based Convolutional Neural Network for Machine Comprehension
University of Munich(慕尼黑大学)
理解开放域文本是自然语言处理(NLP)面临的主要挑战之一。机器理解基准仅基于文本内容来评估系统理解文本的能力。在这项工作中,我们调查机器理解MCTest,一个问答(QA)基准。以前的工作主要是基于特征工程方法。我们提出了一个神经网络框架,命名为分层注意力为基础的卷积神经网络(HABCNN),以解决这个任务,没有任何手动设计的功能。具体来说,我们通过两条路线探索HABCNN,一条是通过传统的通道,问题和答案的联合建模,一条是通过文本蕴涵。HABCNN采用注意力机制来检测与回答问题相关的关键短语、关键句子和关键片段。实验表明,HABCNN的性能大大优于之前的深度学习方法。
2016-02-13 cs.CL
Modelling dependency completion in sentence comprehension as a Bayesian hierarchical mixture process: A case study involving Chinese relative clauses
University of Potsdam(波茨坦大学);École Nationale de la Statistique et de l’administration économique(国家统计与经济管理学院);CNRS(法国国家科学研究中心);Université Paris-Dauphine(巴黎九大);PSL Research University(巴黎文理研究大学)
我们提出了一个案例研究证明贝叶斯分层混合模型的有用性,调查认知过程。在句子理解中,人们普遍认为语言共同依存关系之间的距离影响依存关系解决的延迟:距离越长,检索时间越长(基于距离的帐户)。另一种理论,直接访问,假设检索时间是两个分布的混合:一个分布代表成功的检索(这些是独立的依赖距离),另一个代表一个初始的失败,以检索正确的依赖,其次是重新分析,导致成功的检索。我们将这两个模型作为贝叶斯层次模型来实现,结果表明,直接访问模型比距离帐户更好地解释了中文关系从句阅读时间数据。
2017-05-05 cs.CL stat.AP stat.ME
Topic-aware Pointer-Generator Networks for Summarizing Spoken Conversations
Institute for Infocomm Research (I2R)(资讯通信研究所);Changi General Hospital(樟宜综合医院)
由于缺乏公开可用的资源,会话摘要受到的关注远远低于文本摘要。由于对话的目的是在至少两个对话者之间交换信息,因此关于某个主题的关键信息通常分散并跨越来自不同说话者的多个话语和回合。这一现象在口语对话中更为明显,在口语对话中,诸如反向引导和错误开始之类的言语特征可能会打断主题流。此外,话题扩散和(话语内)话题漂移也更常见于人与人之间的对话。对话主题的这种语言特征使得口语文档中使用的会话级提取摘要方法不适合用于摘要会话。指针生成器网络通过文本摘要中的神经建模有效地展示了其在集成提取和抽象能力方面的实力。据我们所知,迄今为止还没有人采用它来总结对话。在这项工作中,我们提出了一个主题感知架构,利用固有的层次结构的对话,以进一步适应指针生成器模型。我们的方法显著优于竞争基准,实现更有效的学习成果,并获得更强大的性能。
2019-10-03 cs.CL
Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach
ENS - PSL(巴黎高等师范学院 - 巴黎文理研究大学);EHESS(高等社会科学研究学院);CNRS(法国国家科学研究中心);Meta FAIR
针对纯语音语言建模需海量数据才能匹配文本模型语义能力的问题,提出通过音素分类微调语音表示模型的方法,所得上下文不变表示训练的语言模型词汇理解能力堪比百倍数据训练的模型。
2024-10-30 cs.CL cs.SD eess.AS
Bidirectional Attention Flow for Machine Comprehension
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
机器理解(MC)回答关于给定上下文段落的查询,需要对上下文和查询之间的复杂交互进行建模。近年来,注意力机制已被成功地扩展到MC。通常,这些方法使用注意力来集中在上下文的一小部分上,并用固定大小的向量对其进行总结,在时间上耦合注意力,和/或通常形成单向注意力。在本文中,我们介绍了双向注意流(BIDAF)网络,一个多阶段的分层过程,表示在不同级别的粒度的上下文,并使用双向注意流机制,以获得一个查询感知上下文表示没有早期总结。实验结果表明,该模型在Stanford问答Dataset(SQuAD)和CNN/DailyMail完形填空测试中取得了较好的成绩。
2018-06-21 cs.CL
ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.(搜狗公司);Tsinghua University(清华大学)
随着深度学习技术和大规模数据集的发展,问答系统得到了快速的改进,能够提供更准确、更令人满意的答案。然而,当前的QA系统要么关注于测试级答案,即,答案选择或短语级答案,即,机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中,系统需要从文档中收集多个支持证据来生成最终答案,这比句子级或短语级QA更困难。在本文中,我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题,我们提出了一个分层的图神经网络,它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进,以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
Generating Distractors for Reading Comprehension Questions from Real Examinations
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);Alibaba DAMO Academy(阿里巴巴达摩院)
本文研究了多项选择题阅读理解题的干扰词生成任务。与以往的研究不同,我们的目标不是准备单词或短语干扰词,而是努力生成更长、语义更丰富的干扰词,这些干扰词更接近于考试中真实阅读理解中的干扰词。以一篇阅读理解文章、一对问题及其正确选项为输入,我们的目标是生成若干个与答案有某种联系、与问题的语义上下文一致、在文章中有一定痕迹的干扰词。我们提出了一个分层的编码器-解码器框架,静态和动态的注意力机制来解决这个问题。具体而言,动态注意力可以结合在每个循环时间步变化的句子级和单词级注意力,以生成更具可读性的序列。静态注意是调节动态注意,使其不关注与问题无关的句子或有助于正确选择的句子。我们提出的框架优于几个强大的基线上的第一个准备分心生成数据集的真正的阅读理解问题。对于人工评估,与基线生成的干扰项相比,我们生成的干扰项更容易混淆注释器。
2018-12-18 cs.CL
A Review of Mechanistic Models of Event Comprehension
Washington University in St. Louis(圣路易斯华盛顿大学)
本文综述了从话语理解到事件认知的理论演变,并系统评估了五个事件理解计算模型在层级处理、预测机制和表征学习上的方法,指出未来需改进结构化表征学习、情景记忆整合与自适应更新算法。
2024-11-25 cs.AI cs.CL cs.CV
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
Natural Questions是一个新的具有挑战性的机器阅读理解基准,具有两个粒度的答案,即长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管现有的方法在这个基准上是有效的,但它们在训练过程中单独对待这两个子任务,而忽略了它们的依赖关系。为了解决这个问题,我们提出了一种新的多粒度机器阅读理解框架,重点是在其层次结构的性质,这是不同级别的粒度建模文档:文档,段落,句子和令牌。我们利用图形注意力网络来获得不同级别的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和标记级表示中提取。通过这种方式,我们可以对两个粒度答案之间的依赖关系进行建模,从而为彼此提供证据。我们联合训练这两个子任务,我们的实验表明,我们的方法显着优于以前的系统在长和短的答案标准。
2020-05-13 cs.CL
Investigating Linguistic Pattern Ordering in Hierarchical Natural Language Generation
National Taiwan University(国立台湾大学)
自然语言生成是口语对话系统中的一个重要组成部分,它可以分为两个阶段:(1)句子规划:确定句子的整体结构;(2)表层实现:确定特定的词形并将句子结构扁平化为一个字符串。随着深度学习的兴起,大多数现代NLG模型都基于序列到序列(seq 2seq)模型,该模型基本上包含编码器-解码器结构;这些NLG模型通过联合优化句子规划和表面实现从头开始生成句子。然而,这种简单的编码器-解码器架构通常无法生成复杂的长句,因为解码器很难很好地学习所有的语法和措辞知识。本文介绍了一个NLG模型与层次的注意力解码器,其中的层次结构侧重于利用语言知识在一个特定的顺序。实验结果表明,该方法以较小的模型规模显著优于传统的seq 2seq模型,且分层注意力解码器的设计可应用于各种NLG系统。此外,基于语言模式的不同生成策略进行了调查和分析,以指导未来的NLG研究工作。
2018-09-19 cs.CL
HiCI: Hierarchical Construction-Integration for Long-Context Attention
School of Computer Science, University of Sydney(悉尼大学计算机科学学院);Westlake University(西湖大学)
HiCI通过层次化构造-整合模块,提升长上下文注意力模型的性能,通过参数高效适应LLaMA-2,将上下文长度扩展至10万和6.4万token,并在多个基准测试中超越现有模型。
2026-07-21 cs.AI cs.CL cs.LG
Models of retrieval in sentence comprehension: A computational evaluation using Bayesian hierarchical modeling
University of Potsdam(波茨坦大学)
对干扰的研究表明,非相邻词之间依存关系的形成依赖于基于线索的提取机制。两种不同的模型可以解释干扰的主要预测之一,即,当几个项目共享与检索线索相关的特征时,检索站点的减速:Lewis和Vasishth(2005)基于激活的模型和McElree(2000)的直接存取模型。尽管这两个模型几乎可以互换使用,但它们基于不同的假设,并预测阅读时间和反应准确性之间的关系。基于激活的模型遵循ACT-R的假设,其检索过程表现为单方差证据之间的对数正态竞争。在该模型下,检索的准确率由比赛的获胜者决定,检索时间由其积累率决定。相比之下,直接存取模型假设了一种记忆模型,其中只有检索的概率在项目之间变化;在这种模型中,延迟的差异是可能性和修复不正确检索的副产品。我们在贝叶斯分层框架中实现了这两种模型,以便对其进行评估和比较。我们表明,某些方面的数据更适合在直接存取模型下比基于激活的模型。我们认为,这一发现并不排除检索可能表现为一个种族模型的可能性,与ACT-R框架中的假设不太接近。我们表明,通过引入激活模型的修改,即通过假设用于检索不正确项目的证据的积累不仅更慢,而且更嘈杂(即,正确和不正确项的不同方差),该模型可以提供与直接存取模型一样好的拟合。
2017-08-24 cs.CL stat.AP stat.ML
Densely Connected Attention Propagation for Reading Comprehension
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research(信息通信研究院)
我们提出了DecaProp(Densely Connected Attention Propagation),这是一种用于阅读理解(RC)的新的密集连接神经架构。我们的模型有两个明显的特点。首先,我们的模型密集地连接网络的所有成对层,在所有层次上建模通道和查询之间的关系。其次,我们网络中的密集连接器是通过注意力而不是标准的剩余跳过连接器来学习的。为此,我们提出了新的双向注意力连接器(BAC),以有效地锻造整个网络的连接。我们在四个具有挑战性的RC基准上进行了广泛的实验。我们提出的方法在所有四个方面都取得了最先进的结果,在绝对F1分数上超过现有基线高达$2.6\%-14.2\%$。
2019-04-02 cs.AI cs.CL cs.IR