Exploring Textual and Speech information in Dialogue Act Classification with Speaker Domain Adaptation
Monash University(莫纳什大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
尽管最近的成功的对话行为(DA)的分类,大多数先前的作品集中在基于文本的分类与甲骨文transmittance,即人类transmittance,而不是自动语音识别(ASR)的transmittance。然而,在口语对话系统中,代理将只能访问有噪声的ASR传输,这可能由于域移位而进一步遭受性能降级。在本文中,我们探讨了使用声学和文本信号的有效性,无论是甲骨文或ASR transmittance,并探讨说话人领域自适应DA分类。我们的多模态模型被证明是优于单峰模型,特别是当甲骨文transmittance不可用。我们还提出了一种有效的方法,说话人领域自适应,取得了竞争力的结果。
2018-10-17 cs.CL
Measuring the Effect of Transcription Noise on Downstream Language Understanding Tasks
OriginAI(奥里吉纳人工智能公司)
本文提出可配置框架,系统评估不同严重程度与类型的 ASR 转录噪声及清洗技术对三个 SLU 任务、四个模型的影响。
2025-02-19 cs.CL
Algorithms For Automatic Accentuation And Transcription Of Russian Texts In Speech Recognition Systems
Novosibirsk State University(新西伯利亚国立大学)
本研究提出一种面向语音识别任务的俄语文本自动重音标注与音素转写系统,结合词典、语料、RNN形态信息与专著规则实现,开源工具包训练的CMU Sphinx声学模型交叉验证词准确率达71.2%。
2024-10-03 cs.CL
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań(亚当·密茨凯维奇大学);Samsung Research Poland(三星电子波兰研究院)
本文提出一种结合反向转录与细粒度错误分类的方法,利用合成语音评估语音识别错误对自然语言理解模型性能的影响,并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
Dynamically Context-Sensitive Time-Decay Attention for Dialogue Modeling
National Taiwan University(国立台湾大学)
口语语言理解是会话系统的重要组成部分。考虑到上下文提供了更好地理解的信息线索,历史可以用于上下文SLU。然而,以往的研究大多只关注历史话语中的相关内容,而忽略了时间信息。在对话中,直觉告诉我们,最近的话语比最近的话语更重要,时间感知注意力应该是衰减的。因此,本文允许模型自动学习时间衰减注意力函数,其中注意力权重可以根据每个角色上下文的内容动态地决定,这有效地集成了内容感知和时间感知的观点,并对复杂的对话上下文表现出显着的灵活性。在对话状态跟踪挑战(DSTC 4)数据集上的实验表明,本文提出的动态上下文敏感时间衰减注意力机制显著提高了上下文理解性能。
2018-11-01 cs.CL
Exploring Methods for the Automatic Detection of Errors in Manual Transcription
The Johns Hopkins University(约翰斯·霍普金斯大学)
数据质量在大多数深度学习任务中起着重要作用。在言语社会中,言语记录的转录是必不可少的。由于转录通常是人工生成的,因此自动查找手动转录中的错误不仅可以节省时间和人力,而且有利于执行需要训练过程的任务。受语言模型和声学模型相结合的混合自动语音识别成功的启发,本文探讨了两种自动错误检测方法。回顾了以往的研究,这些研究使用了一种有偏见的语言模型方法,依赖于一个强转录依赖的语言模型。在这项工作中,我们提出了一种新的声学模型为基础的方法,专注于语音序列的语音。这两种方法都在一个完全真实的数据集上进行了评估,该数据集最初转录时有错误,后来经过严格的手动纠正。
2019-07-21 cs.CL cs.SD eess.AS
Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech
我们描述了一种用于对会话语音中的对话行为进行建模的统计方法,即,类似言语行为的单元,如陈述、问题、反向通道、同意、不同意和道歉。我们的模型检测和预测的基础上的词汇,搭配,韵律线索,以及对话行为序列的话语连贯性的对话行为。对话模型是基于治疗会话的话语结构作为一个隐藏的马尔可夫模型和个人的对话行为的观察,从模型的状态。通过对话行为n-gram对可能的对话行为序列进行约束建模,将统计对话语法与单词n-gram、决策树和神经网络相结合,对每个对话行为的特殊词汇和韵律表现进行建模。我们开发了一个概率集成的语音识别与对话建模,以提高语音识别和对话行为分类的准确性。使用来自自发的人对人电话语音的Switchboard语料库的1,155个会话的大型手动标记数据库来训练和评估模型。我们实现了良好的对话行为标记准确率(65%基于错误,自动识别的单词和韵律,71%基于单词成绩单,相比之下,机会基线准确率为35%,人类准确率为84%)和单词识别错误的小幅减少。
2000-10-26 cs.CL
Transcribing Children's Speech: ASR Performance and Obtaining Reliable Orthographic Transcriptions
Radboud University(拉德堡德大学)
本研究评估了三种ASR模型家族(Whisper、Parakeet、Wav2Vec2)在荷兰儿童语音数据集上的性能,并提出了一种基于话语级选择的方法,以自动识别高置信度的正确发音,从而减少人工验证需求。
2026-04-10 cs.AI cs.CL
End-to-end speech-to-dialog-act recognition
Kyoto University(京都大学)
提取话语中的意图和/或语义概念的口语语言理解通常被公式化为自动语音识别的后处理。它通常使用Oracle脚本进行训练,但需要通过ASR处理错误。此外,还有一些与意图相关但没有用转录本表示的声学特征。在本文中,我们提出了一个端到端的模型,直接将语音转换成对话行为,而不确定性的转录过程。在该模型中,对话行为识别网络在softmax层之前的潜在层与声学到单词ASR模型相结合,该模型提供了单词级ASR解码信息的分布式表示。然后,整个网络以端到端的方式进行微调。这允许稳定的训练以及对ASR错误的鲁棒性。该模型进一步扩展,进行DA分割联合。与Switchboard语料库的评估表明,该方法显着提高了对话行为识别的准确性从传统的管道框架。
2020-07-28 cs.CL cs.SD eess.AS
Oh, Jeez! or Uh-huh? A Listener-aware Backchannel Predictor on ASR Transcriptions
本文研究对话中的反向信道建模,提出一种结合词汇、声学线索及听者嵌入的预测器,在Switchboard数据集上验证了声学线索优于词汇线索,且两者结合听者嵌入在手动和自动转录上均效果最佳。
2023-04-10 cs.CL cs.SD eess.AS
Enhancing Dialogue Speech Recognition with Robust Contextual Awareness via Noise Representation Learning
POSTECH(浦项科技大学)
针对对话ASR中自回归生成的上下文易带噪导致性能受限的问题,提出CNRL方法,结合文本对话数据解码器预训练与上下文编码器噪声表示学习,提升带噪上下文鲁棒性,在语音对话及嘈杂环境下均取得更优识别效果。
2024-08-12 cs.CL cs.SD eess.AS
Is one brick enough to break the wall of spoken dialogue state tracking?
Orange Innovation(Orange创新)
本文提出一种完全神经化的口语对话状态追踪方法,并与级联方法深入比较,表明联合优化在音频原生场景下具有竞争力,同时指出上下文传播需考虑先前上下文的不确定性。
2024-07-01 cs.AI cs.CL eess.AS
A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
我们解决的任务,自动评分的能力的候选人的文本特征的基础上,从自动语音识别(ASR)transmitting在异步视频求职面试(AVI)。关键的挑战是如何构建问题和答案之间的依赖关系,并进行语义级的互动,为每个问答(QA)对。然而,目前对AVI的研究大多集中在如何更好地表示问题和答案上,而忽略了问题和答案之间的依赖信息和相互作用,这对QA评估至关重要。在这项工作中,我们提出了一种分层推理图神经网络(HRGNN)来自动评估问答对。具体而言,我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图,我们采用语义级推理图注意力网络模型的互动状态的当前QA会话。最后,我们提出了一个门控递归单元编码器来表示最终预测的时间问答对。在CHNAT(一个真实世界的数据集)上进行的实证结果验证了我们提出的模型显着优于基于文本匹配的基准模型。烧蚀研究和10个随机种子的实验结果也表明了我们的模型的有效性和稳定性。
2020-12-22 cs.CL cs.LG
Proficiency assessment of L2 spoken English using wav2vec 2.0
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
英语作为第二语言学习的需求日益增长,导致人们对自动评估口语能力的方法越来越感兴趣。大多数方法使用手工制作的功能,但它们的有效性依赖于它们特定的基本假设,并且它们有可能丢弃有关熟练程度的潜在显着信息。其他方法依赖于由ASR系统产生的transmittance,其在特定场景中可能不提供学习者话语的忠实再现(例如,非母语儿童的自发言语)。此外,音准不产生任何有关方面的信息,如语调,节奏或韵律。在本文中,我们研究了使用wav2vec 2.0来评估两个小数据集的总体和个人方面的熟练程度,其中一个是公开的。我们发现,这种方法显着优于基于BERT的基线系统训练的ASR和手动transmittance用于比较。
2022-10-24 cs.CL cs.SD eess.AS
Automatically Exposing Problems with Neural Dialog Models
University of California, Davis(加州大学戴维斯分校)
已知神经对话模型遭受诸如生成不安全和不一致的响应的问题。尽管这些问题是关键和普遍的,但它们大多是由模型设计人员通过交互手动识别的。最近,一些研究指示众包工作者刺激机器人触发此类问题。然而,人类利用表面的线索,如仇恨言论,同时留下系统性的问题隐藏。在本文中,我们提出了两种方法,包括强化学习自动触发对话模型生成有问题的响应。我们展示了我们的方法在暴露安全和矛盾问题与国家的最先进的对话模型的效果。
2021-09-14 cs.CL
Intent Recognition and Unsupervised Slot Identification for Low Resourced Spoken Dialog Systems
Carnegie Mellon University(卡内基梅隆大学)
意图识别和槽识别是口语语言理解(SLU)系统的重要组成部分。在本文中,我们提出了一种新的方法对这些任务的背景下,低资源和非书面语言。我们提出了一个基于声学的SLU系统,它使用通用的电话识别系统将语音转换为音标。我们建立了一个无词的自然语言理解模块,它可以从这些音标中进行意图识别和槽识别。我们提出的SLU系统执行资源丰富的情况下,具有竞争力,并显着优于现有的方法,可用数据量减少。我们观察到泰米尔语的意图分类改善了10%以上,僧伽罗语的意图分类改善了5%以上。我们还提出了一种新的方法对无监督槽识别使用归一化的注意力分数。该方法可用于无监督的时隙标记、数据增强以及仅用一个语音记录以一次性方式为新时隙生成数据
2021-09-28 cs.CL
Toward Self-learning End-to-End Task-Oriented Dialog Systems
The Chinese University of Hong Kong(香港中文大学);Microsoft Research(微软研究院)
端到端的任务机器人通常是通过静态且通常大小有限的语料库学习的。然而,当部署在动态、变化和开放的环境中与用户交互时,任务机器人在遇到偏离训练语料库的数据时往往会失败,即,非分销样本。在本文中,我们研究的问题,自动适应任务机器人不断变化的环境中学习,从人机交互与最小或零人类注释。我们提出了SL-AGENT,一种新的自学习框架,用于构建端到端的任务机器人。SL-AGENT由一个对话模型和一个预先训练好的奖励模型组成,用来预测Agent响应的质量。它使任务机器人能够通过使用集成的奖励模型通过强化学习从部署后积累的未标记的人类机器人对话日志中学习来自动适应不断变化的环境。四个良好的研究对话任务的实验结果表明,SL-代理自动适应不断变化的环境,使用自动和人工评估的有效性。我们将发布代码和数据以供进一步研究。
2022-12-28 cs.CL
MemeCMD: An Automatically Generated Chinese Multi-turn Dialogue Dataset with Contextually Retrieved Memes
Wuhan University(武汉大学)
MemeCMD通过结合MLLM标注的表情包库与双智能体自动生成对话,并引入检索框架和自适应阈值,构建了上下文相关的中文多模态多轮对话数据集,为多模态对话AI提供可扩展且保护隐私的资源。
2025-07-01 cs.AI cs.CL
Improving Dialogue Act Classification for Spontaneous Arabic Speech and Instant Messages at Utterance Level
Jazan University(吉赞大学);Cairo University(开罗大学);Institute of Statistical Studies and Research(统计研究与研究所)
对话行为的建模和自动检测是理解自发语音和即时消息的重要一步。然而,从表面话语中推断出对话行为是很困难的,因为它高度依赖于话语的语境和说话者的语言知识,特别是在阿拉伯语方言中。本文提出了一个统计对话分析模型,采用多类层次结构识别话语的对话行为。该模型可以自动获取概率语篇知识的对话语料库收集和注释的多体裁埃及呼叫中心。使用支持向量机分类器进行了大量的实验,以评估系统的性能。在平均F-测量分数为0.912的条件下获得的结果表明,所提出的方法适度提高了F-测量约20%。
2018-05-30 cs.CL
Improving Automated Evaluation of Open Domain Dialog via Diverse Reference Augmentation
Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣地亚哥分校)
对于给定的开放域对话上下文,多个不同的响应通常是合理的。先前的工作已经表明,具有多个有效的参考响应对于有意义和强大的自动化评估的重要性。在这种情况下,通常的做法是收集更多的人类书面参考资料。然而,这样的收集可能是昂贵的、耗时的并且不容易扩展。相反,我们提出了一种新的技术,用于自动扩展人类生成的参考一组候选参考。我们从知识源中获取合理的引用,并调整它们,使它们在所讨论的对话实例的上下文中更加流畅。更具体地说,我们使用(1)常识知识库,以引出大量的合理的反应,给定的对话历史(2)从对话语料库检索的相关实例,使用类似的过去以及未来的上下文。我们证明,我们的自动扩展的参考集导致DailyDialog数据集的自动化指标与系统输出的人类评级的相关性有很大的改善。
2021-06-05 cs.CL
Automatically Select Emotion for Response via Personality-affected Emotion Transition
The Hong Kong Polytechnic University(香港理工大学)
为了提供与用户一致的情感交互,对话系统应该能够像人类一样自动选择适当的情感进行响应。然而,现有的研究大多集中于在响应中呈现特定的情感,或者对用户的情感进行共情响应,而忽略了情感表达的个体差异。这可能导致不一致的情感表达和不感兴趣的用户。为了解决这个问题,我们建议配备个性化的对话系统,并使其能够自动选择情感的反应,通过模拟人类在对话中的情感过渡。具体地说,对话系统的情感是从上下文中的先前情感过渡而来的。转换由前面的对话上下文触发,并受指定的个性特征影响。为了实现这一点,我们首先在对话系统中的情感过渡建模为之前的情感和反应情感之间的变化在价-唤醒-主导(VAD)情感空间。然后,我们设计神经网络来编码前面的对话上下文和指定的个性特征组成的变化。最后,从先前的情感和变化的总和中选择用于响应的情感。我们构建了一个带有情感和个性标签的对话数据集,并进行情感预测任务进行评估。实验结果验证了人格影响情绪转换的有效性。
2021-06-30 cs.AI cs.CL
Can Prosody Aid the Automatic Classification of Dialog Acts in Conversational Speech?
识别话语是否是陈述、问题、问候等对于自然对话的有效自动理解是不可或缺的。然而,很少有人知道,这样的对话行为(DA)可以自动分类在真正自然的对话。本研究探讨目前主要使用字词资讯的方法,是否可以借由加入韵律资讯来加以改善。该研究基于Switchboard语料库中的1000多个对话。DA手工注释,韵律特征(持续时间,停顿,F0,能量和语速)被自动提取为每个DA。在训练中,决策树基于这些功能推断,然后树被应用到看不见的测试数据,以评估性能。单独的韵律模型的性能进行了评估,并结合韵律模型与字的信息-无论是从真正的话,或从自动语音识别器的输出。对于一个整体分类任务,以及三个子任务,韵律作出了重大贡献的分类。特定于特征的分析进一步表明,尽管典型特征(如问题的F0)很重要,但如果去除典型特征,不太明显的特征可以弥补。最后,在每个任务中,将韵律模型与DA特定的统计语言模型相结合,比单独的语言模型提高了性能,特别是对于识别单词的情况。结果表明,DA是冗余标记在自然对话,和各种自动提取的韵律特征可以帮助语音应用程序中的对话处理。
2000-06-11 cs.CL
Neural Emoji Recommendation in Dialogue Systems
Tsinghua University(清华大学);Baidu Inc.(百度公司)
Jumeji是对话的重要组成部分,几乎在所有社交平台上都得到了广泛的应用。它可以表达出超越文本的细腻情感,从而使用户之间的交流更加顺畅,使对话系统更加拟人化和生动。在本文中,我们专注于自动推荐适当的表情符号给定的上下文信息在多轮对话系统,其中的挑战在于理解整个对话。更具体地说,我们提出了分层长短期记忆模型(H-LSTM)来构建对话表示,然后使用softmax分类器进行表情符号分类。我们在真实世界的数据集上对我们的模型进行了表情符号分类任务的评估,并对参数敏感性和案例研究进行了进一步的探索。实验结果表明,我们的方法在所有评估指标上都取得了最好的性能。实验结果表明,该方法能够很好地捕捉对话中的上下文信息和情感流,对表情符号推荐具有重要意义。
2016-12-14 cs.CL
A Conditional Variational Framework for Dialog Generation
Saarland University(萨尔大学);Institute of Software, Chinese Academy of Science(中国科学院软件研究所);The Hong Kong Polytechnic University(香港理工大学);National Institute of Informatics(国立信息学研究所)
深层潜变量模型已被证明有助于开放域对话系统的响应生成。然而,这些潜在变量是高度随机化的,导致不可控的生成响应。在本文中,我们提出了一个框架,允许条件响应生成基于特定属性。这些属性可以手动分配或自动检测。此外,对话状态的两个扬声器分别建模,以反映个人特征。我们在两种不同的情况下验证了这个框架,其中属性分别指的是通用性和情感状态。实验结果证明了我们的模型的潜力,其中有意义的反应,可以根据指定的属性。
2017-07-06 cs.CL
Bootstrapping incremental dialogue systems: using linguistic knowledge to learn from minimal data
Heriot-Watt University(赫瑞-瓦特大学)
我们提出了一种方法,用于从非常少量的未注释的对话数据中诱导新的对话系统,展示了如何使用强化学习(RL),结合增量和语义语法-动态学习(DS)-允许系统发现,生成和理解许多新的对话变体。该方法避免了使用昂贵和耗时的对话行为注释,并支持比回合制系统更自然(增量)的对话。在这里,语言生成和对话管理被视为一个联合决策/优化问题,并自动构建的MDP模型RL。与实现的系统,我们表明,这种方法使广泛的对话变化被自动捕获,即使系统是从只有一个单一的对话训练。这些变体包括问答对、回答过度和回答不足、自我纠正和他人纠正、澄清互动、分裂话语和省略。这种泛化属性的结果,从结构知识和DS语法中存在的约束,并强调了最近的系统只使用机器学习技术构建的一些限制。
2016-12-01 cs.AI cs.CL cs.HC
Generating Responses Expressing Emotion in an Open-domain Dialogue System
University of Alberta(阿尔伯塔大学)
基于神经网络的开放式会话代理根据从大量成对话语中学习到的预测模型自动生成响应。生成的响应通常可以作为一个句子接受,但通常是沉闷的,通用的,当然没有任何情感。在本文中,我们提出了神经模型,学习表达一个给定的情感在生成的响应。我们提出了四种模型,并根据3个基线进行评估。具有多个注意层的基于编码器-解码器框架的模型在表达所需情感方面提供了最佳的整体性能。虽然它在所有情绪上的表现都不优于其他模型,但在大多数情况下,它都呈现出令人鼓舞的结果。
2018-11-15 cs.AI cs.CL cs.LG