Unified Modeling of Multi-Domain Multi-Device ASR Systems
现代自动语音识别(ASR)系统通常使用特定于域的模型的组合,以便跨不同设备获得针对不同用户话语类型的高准确度。在本文中,我们提出了一种创新的方法,将不同的每域每设备模型集成到一个统一的模型中,使用域嵌入,域专家,混合专家模型和对抗训练的组合。我们进行了仔细的消融研究,以显示这些创新中的每一个在提高整体统一模型的准确性方面的好处。实验表明,我们提出的统一建模方法实际上优于精心调整的每个领域模型,给基线模型的相对增益高达10%,参数的数量可以忽略不计的增加。
2022-10-13 cs.CL cs.SD eess.AS
A Language Agnostic Multilingual Streaming On-Device ASR System
Google(谷歌)
设备端到端(E2E)模型在英语语音搜索任务的质量和延迟方面都比传统模型有所改进。E2 E模型在多语言自动语音识别(ASR)方面也显示出了有希望的结果。在本文中,我们扩展了我们以前的容量解决方案,流媒体应用程序,并提出了一个流媒体多语言E2E ASR系统,完全运行在设备上,具有可比的质量和延迟个别单语模型。为了实现这一目标,我们提出了一个编码器端指针模型和一个结束的话语(EOU)联合层,以更好的质量和延迟权衡。我们的系统是建立在一个语言不可知的方式,使它能够在本地实时支持intermittial代码切换。为了解决大型模型的可行性问题,我们进行了设备上的分析,并将耗时的LSTM解码器替换为最近开发的嵌入解码器。通过这些更改,我们设法在移动终端上以低于实时的速度运行这样一个系统。
2022-08-29 cs.CL cs.SD eess.AS
Articulation rate in Swedish child-directed speech increases as a function of the age of the child even when surprisal is controlled for
Stockholm University(斯德哥尔摩大学)
在早期的工作中,我们已经表明,在瑞典语儿童导向语音(CDS)的清晰度作为一个函数的儿童的年龄增加,即使当话语长度和受试者之间的清晰度的差异进行控制。本文从话语水平上研究了瑞典语自然言语中的构音率,结果表明:(1)对于最小的儿童,CDS中的构音率低于成人引导言语(ADS)中的构音率;(2)构音率与成人引导言语(ADS)中的构音率之间存在显著的负相关;(负对数概率),以及iii)瑞典CDS中的发音率的增加作为儿童年龄的函数,即使在控制发音以及发音长度和说话者之间的清晰度速率的差异时也是如此。这些结果表明,成人调整他们的清晰度,使其适合儿童的语言能力。
2017-11-24 cs.CL
Harnessing Evolution of Multi-Turn Conversations for Effective Answer Retrieval
University of Amsterdam(阿姆斯特丹大学);Università della Svizzera italiana (USI)(意大利语区瑞士大学)
随着过去几年语音识别和语音生成技术的改进,许多公司已经寻求开发通过自然语言接口在移动电话或灵巧家庭设备上运行的会话理解系统。对话助理,如Google Assistant和Microsoft Cortana,可以帮助用户完成各种类型的任务。这就需要准确理解用户的信息需求,因为对话会演变成多个回合。由于自然语言的复杂性和用户信息需求的演变,在会话历史中找到相关上下文是具有挑战性的。在这项工作中,我们提出了一个广泛的分析语言,相关性,依赖性的用户话语在多轮信息寻求对话。为此,我们在TREC Cast2019轨道发布的对话中注释了相关话语。注释标签确定对话中的哪些先前话语可以用于改进当前话语。此外,我们提出了一个基于BERT微调的神经话语相关性模型,优于竞争基线。我们研究和比较多个检索模型的性能,利用不同的策略,将用户的上下文。分类和检索任务的实验结果表明,我们提出的方法可以有效地识别和纳入会话上下文。我们表明,使用预测的相关话语处理当前话语导致nDCG@20方面的38%的相对改善。最后,为了促进这一领域的研究,我们发布了注释的数据集。
2020-01-31 cs.CL cs.HC cs.IR
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google(谷歌)
虽然当前最先进的自动语音识别(ASR)系统在典型语音上实现了高准确度,但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化(对该问题的常用解决方案)通常在基于服务器的训练环境中执行,从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中,我们提出了一种基于设备的ASR个性化的方法,具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话,并发现中位数相对字错误率提高了71%,只有50个短的话语,每个发言者。当在语音控制的家庭自动化平台上进行测试时,设备上的个性化模型显示出81%的任务成功率中位数,而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对低资源的英汉语码转换语言识别问题,提出堆叠式残差 CNN+GRU 模型和以 ASR 为辅助任务的多任务预训练方法,并结合银标准数据与上采样增强,在真实儿童语音语料上取得 0.781 的平衡准确率,比基线提升 55.3%。
2023-05-31 cs.CL eess.AS
Streaming End-to-end Speech Recognition For Mobile Devices
Google, Inc.(谷歌公司)
端到端(E2 E)模型直接预测给定输入语音的输出字符序列,是设备上语音识别的良好候选。然而,E2 E模型提出了许多挑战:为了真正有用,这样的模型必须以流的方式、实时的解码语音话语;它们必须对用例的长尾具有鲁棒性;它们必须能够利用用户特定的上下文(例如,联系人名单);最重要的是,它们必须非常准确。在这项工作中,我们描述了我们的努力,建立一个E2 E语音识别器使用的递归神经网络换能器。在实验评估中,我们发现,所提出的方法可以优于传统的CTC为基础的模型在延迟和准确性方面的一些评估类别。
2018-11-15 cs.CL
Query-by-example on-device keyword spotting
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc(高通技术公司)
关键词定位(KWS)系统确定连续语音流中是否存在(通常是预定义的)关键词。本文提出了一种基于实例的设备上的知识库系统,它是用户特定的。该系统包括两个主要步骤:查询注册和测试。在查询注册步骤中,语音后验由基于连接主义时间分类的小足迹自动语音识别模型输出。利用语音级后验图,建立有限状态转换器(FST)的假设图,从而可以注册任何关键字,从而避免了词汇表外的问题。在测试中,使用FST对输入音频的对数似然进行评分。我们提出了一个阈值预测方法,同时只使用用户特定的关键字假设。该系统通过在波形中重新排列每个查询话语来生成特定于查询的否定。阈值是基于登记查询和生成的否定决定的。我们用英语测试了两个关键字,所提出的工作在保持简单性的同时表现出良好的性能。
2020-01-14 cs.CL cs.LG eess.AS
End-to-end Adaptation with Backpropagation through WFST for On-device Speech Recognition System
Sony Corporation(索尼公司)
设备上的DNN-HMM语音识别系统在存在各种可预测噪声的情况下有效地利用有限的词汇。在这种情况下,词汇和环境适应非常有效。在本文中,我们提出了一种新的方法,端到端(E2 E)的适应,它不仅调整声学模型(AM),但也加权有限状态传感器(WFST)。我们将预训练的WFST转换为可训练的神经网络,并通过与AM的E2 E联合训练使系统适应目标环境/词汇。我们用前向-后向神经网络计算复制Viterbi解码,这类似于递归神经网络(RNN)。通过合并输出分数序列,获得每个话语的词汇后验,并用于判别损失计算。使用2- 10小时的英语/日语自适应数据集的实验表明,只有WFST和只有AM的微调都相当于一个国家的最先进的自适应方法,和E2 E联合训练的两个组件实现了最佳的识别性能。我们还适应每个语言系统的其他语言使用的适应数据,结果表明,所提出的方法也适用于语言适应。
2019-06-24 cs.CL cs.SD eess.AS
Moonshine v2: Ergodic Streaming Encoder ASR for Latency-Critical Speech Applications
Moonshine v2通过滑动窗口自注意机制实现低延迟流式ASR,达到与更大模型相当的准确性。
2026-02-12 cs.CL cs.LG cs.SD
Intent Detection for code-mix utterances in task oriented dialogue systems
Haptik Infotech Pvt Ltd(哈普蒂克信息技术私人有限公司)
意图检测是面向任务的对话系统的重要组成部分。多年来,已经进行了广泛的研究,产生了许多针对解决用户在对话中的意图的最先进的模型。各种各样的矢量表示foruser话语已经探索了相同的。然而,这些模型和向量化方法更多地是在单一语言环境中进行评估的。对话系统通常必须处理不同语言的查询。因此,我们进行实验的组合模型和各种向量表示代码混合以及多语言的话语,并评估这些模型如何扩展到多语言环境。我们的目标是找到最合适的组合的矢量表示和模型的意图检测代码混合话语的过程。我们已经评估了两个不同数据集上的实验,这两个数据集仅由代码混合发音组成,另一个数据集由英语、印地语和代码混合英语印地语发音组成。
2018-12-07 cs.CL
Voice Privacy with Smart Digital Assistants in Educational Settings
Merlyn Mind, Inc.(Merlyn Mind 公司)
语音助理设备的出现带来了令人愉快的用户体验,不仅在智能家居方面,而且在从教室到个性化学习/辅导的各种教育环境中。然而,使用语音作为交互方式也可能导致暴露用户的身份,并阻碍语音界面的更广泛采用;这在有儿童存在且需要保护其语音隐私的环境中尤其重要。为此,国家的最先进的技术在文献中提出的基础上,我们设计和评估一个实用和有效的框架,语音隐私的来源。该方法结合了说话人识别(SID)和语音转换方法,以在记录语音的设备上随机伪装用户的身份,同时确保用户的转换后的话语仍然可以被自动语音识别(ASR)解决方案成功地转录。我们评估的ASR性能的转换,在字的错误率,并显示这个框架的承诺,在保留输入语音的内容。
2021-03-24 cs.CL cs.CR cs.SD
Two-Pass End-to-End Speech Recognition
Google, Inc.(谷歌公司)
对现有技术的语音识别系统的许多应用的要求不仅包括低字出错率(WER),而且包括低等待时间。具体而言,对于许多用例,系统必须能够以流式方式并且比实时更快地解码话语。最近,流式递归神经网络换能器(RNN-T)端到端(E2 E)模型已被证明是设备上语音识别的良好候选,与传统的设备上模型相比,具有改进的WER和延迟度量[1]。然而,该模型在质量上仍然落后于大型最先进的传统模型[2]。另一方面,非流式E2 E监听、参与和拼写(LAS)模型已经显示出与大型传统模型相当的质量[3]。这项工作的目的是通过将LAS网络作为第二通道组件,同时仍然遵守延迟约束,使E2 E流媒体模型的质量更接近传统系统的质量。与单独的RNN-T相比,我们提出的两次通过模型实现了WER的17%-22%的相对减少,并且比RNN-T增加了一小部分延迟。
2019-08-29 cs.CL cs.SD eess.AS
Design Considerations For Hypothesis Rejection Modules In Spoken Language Understanding Systems
口语语言理解(SLU)系统通常由一组机器学习模型组成,这些模型协同工作以产生SLU假设。然后将生成的假设发送到下游组件以进行进一步操作。然而,期望在将不正确的假设发送到下游之前丢弃该不正确的假设。在这项工作中,我们提出了两个设计SLU假设拒绝模块:(i)方案R1,执行拒绝域特定的SLU假设,(ii)方案R2,执行拒绝从整个SLU系统生成的假设。两种方案中的假设拒绝模块基于从指向SLU系统的话语中提取的特征、相关联的SLU假设和SLU置信度得分来拒绝/接受假设。我们的实验表明,这两种方案产生类似的结果(方案R1:2.5%FRR@4.5%FAR,方案R2:2.5%FRR@4.6%FAR),最好的系统使用所有可用的功能。我们认为,虽然任何一个拒绝计划可以选择其他,他们进行一些固有的差异,需要考虑,而作出这种选择。此外,我们将ASR功能纳入拒绝模块(获得1.9%FRR@3.8%FAR)并分析改进。
2022-10-31 cs.CL cs.LG cs.SD
A Joint Model for Dropped Pronoun Recovery and Conversational Discourse Parsing in Chinese Conversational Speech
Beijing University of Posts and Telecommunications(北京邮电大学);Renmin University of China(中国人民大学);Brandeis University(布兰迪斯大学)
本文提出了一个用于汉语会话语音中的联合脱落代词恢复(DPR)和会话语篇分析(CDP)的神经模型。我们发现,DPR和CDP是密切相关的,一个联合模型有利于这两项任务。我们将我们的模型称为DiscProReco,它首先使用有向图卷积网络(GCN)对会话中每个话语中的标记进行编码。然后,话语的令牌状态被聚合以产生每个话语的单个状态。然后将话语状态馈送到双仿射分类器中以构建会话话语图。第二(多关系)GCN然后被应用于话语状态以产生话语的话语关系增强表示,其然后与每个话语中的标记状态融合在一起作为到丢弃的代词恢复层的输入。联合模型在一个新的结构解析增强的丢弃代词恢复(SPDPR)数据集上进行训练和评估,我们用两种类型的信息进行了注释。在SPDPR数据集和其他基准测试上的实验结果表明,DiscProReco的性能明显优于这两项任务的最新基线。
2021-06-07 cs.CL
Cross-linguistically Consistent Semantic and Syntactic Annotation of Child-directed Speech
University of Edinburgh(爱丁堡大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Georgetown University(乔治城大学)
本文提出一种跨语言一致的句法与语义标注方法,构建英语和希伯来语儿童导向言语语料库,验证质量并展示其在语言习得研究中的效用。
2024-03-14 cs.CL
Machine Semiotics
Bernstein Center for Computational Neuroscience Berlin(柏林伯恩斯坦计算神经科学中心);Brandenburgische Technische Universität Cottbus-Senftenberg(科特布斯-森夫滕贝格勃兰登堡工业大学);Katholische Universität Eichstätt-Ingolstadt(艾希施泰特-英戈尔施塔特天主教大学)
该研究提出机器符号学视角,指出机器可通过推导会话隐涵并将其固化为规约隐涵来理解人类话语,还以认知供暖设备为例,将该过程形式化为话语-含义对的强化学习,为改进语音辅助设备提供新思路。
2023-06-09 cs.AI cs.CL
Modelling Child Learning and Parsing of Long-range Syntactic Dependencies
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);School of Computing, Macquarie University(麦考瑞大学计算机学院)
提出一种基于儿童导向言语与逻辑形式的概率语言习得模型,可同时学习词义和句法,并成功建模长距离句法依存。
2025-03-17 cs.CL
Do Construction Distributions Shape Formal Language Learning In German BabyLMs?
CRC 1646 – Linguistic Creativity in Communication Department of Linguistics(语言创造力在交流中的沟通系);Bielefeld University(比勒菲尔德大学)
本研究用符合发展合理性的德语数据训练小型LM,探究话语构式分布对其语言能力及学习轨迹的影响,发现构式分布差异对学习轨迹和最终准确率影响有限,且句法与词汇学习对输入复杂度的偏好不同,可为语言学习刺激相关研究提供参考。
2025-06-17 cs.CL
Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
Apple(苹果公司)
本文提出FLoRA融合低秩自适应方法,使预训练单模态LLM高效接入音频等新模态,在设备定向语音检测中以少量可训练参数达到全量微调性能,并对模态缺失更鲁棒。
2024-06-13 cs.CL cs.HC eess.AS
Streaming Intended Query Detection using E2E Modeling for Continued Conversation
Google Inc.(谷歌公司)
在支持语音的应用程序中,通常使用预先确定的热词来激活设备以处理查询。然而,每次说出查询后都跟着一个热词,这会在持续的对话中引入认知负担。为了避免重复热词,我们提出了一个流端到端(E2E)预期查询检测器,识别的话语直接向设备和过滤掉其他话语不直接向设备。该方法将意图查询检测器引入到E2E模型中,E2E模型已经将语音解码管道的不同组件折叠成一个神经网络,语音解码和意图查询检测的E2E模型还允许我们声明一个基于早期部分识别结果的快速意图查询检测,这对于减少延迟和使系统具有响应性是重要的。我们证明了所提出的E2E方法产生了22%的相对改善的相等出错率(EER)的检测精度和600毫秒的延迟改善相比,一个独立的intendedquery检测器。在我们的实验中,所提出的模型检测到用户是否正在与设备交谈,在用户开始说话后的1.4秒内,EER为8.7%。
2022-08-29 cs.CL cs.SD eess.AS
Device Directedness with Contextual Cues for Spoken Dialog Systems
AWS AI Labs(AWS人工智能实验室)
在这项工作中,我们将打断验证定义为监督学习任务,其中仅使用音频信息将用户口语对话分类为真和假打断。在预训练模型成功之后,我们使用来自自监督表示学习模型的低级语音表示进行下游分类任务。此外,我们还提出了一种新的技术,将词汇信息直接注入语音表示,以提高在预训练过程中隐式学习的特定领域的语言信息。对口语对话数据进行的实验表明,我们提出的经过训练以完全从语音表示验证插入的模型比使用音频和自动语音识别的基线LSTM模型相对快38%,并实现了4.5%的相对F1分数改进(ASR)1-最佳假设。最重要的是,我们提出的最好的模型与词汇注入表示以及上下文特征提供了进一步的相对改善5.7%的F1得分,但只有22%比基线快。
2022-11-23 cs.CL cs.SD eess.AS
Synchronising audio and ultrasound by learning cross-modal embeddings
CSTR, School of Informatics, University of Edinburgh, UK(英国爱丁堡大学信息学院语音技术研究中心)
视听同步是确定发音器的语音音频和视频记录之间的时间偏移的任务。在儿童语言治疗中,舌头的音频和超声视频是使用依赖于硬件的仪器捕获的,以在记录时间同步两种模式。硬件同步在实践中可能失败,并且不存在用于事后同步信号的机制。为了解决这个问题,我们采用了双流神经网络,它利用两种模式之间的相关性来找到偏移。我们训练我们的模型从69个扬声器的录音,并表明,它正确地同步82.9%的测试话语从看不见的治疗会话和看不见的扬声器,从而大大减少了话语的数量手动同步。测试话语的模型性能的分析表明,定向电话发音更难以自动同步的话语包含自然变化的语音,如单词,句子,或对话。
2019-11-27 cs.CL cs.CV cs.LG
Leveraging Zipformer Model for Effective Language Identification in Code-Switched Child-Directed Speech
Johns Hopkins University(约翰霍普金斯大学)
本文提出利用 Zipformer 模型处理包含普通话和英语的语码转换儿童指向语音,通过提取内部层 embeddings 进行语言识别,有效应对不平衡数据,实现 81.89% 的 BAC,较基线提升 15.47%。
2025-08-13 cs.CL cs.SD
Device-Directed Speech Detection for Follow-up Conversations Using Large Language Models
Apple(苹果公司)
针对虚拟助手后续对话中的设备定向语音检测问题,提出利用大语言模型联合建模首次查询与ASR不确定性,显著降低误报率。
2024-11-04 cs.AI cs.CL cs.SD
A Multimodal Approach to Device-Directed Speech Detection with Large Language Models
Apple(苹果公司)
本文提出一种结合声学、词汇特征与ASR解码器信号的多模态大型语言模型方法,用于设备定向语音检测,有效提升了识别准确率并降低了等错误率。
2024-03-26 cs.CL cs.LG eess.AS
Analysing the Impact of Audio Quality on the Use of Naturalistic Long-Form Recordings for Infant-Directed Speech Research
Tampere University(坦佩雷大学);PSL University(巴黎文理研究大学);ENS(巴黎高等师范学院);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心)
该研究探讨自然主义长时录音的音质对婴儿导向言语(IDS)与成人导向言语(ADS)分析的影响,通过人工及自动标注英法双语儿童语料音质、对比声学特征、结合自监督模型评估,发现中高音质自然语音数据结论与实验高度相似,自动音质评估可替代人工筛选有效录音片段。
2023-05-03 cs.CL cs.SD eess.AS
A Fast Attention Network for Joint Intent Detection and Slot Filling on Edge Devices
Zhejiang University of Technology(浙江工业大学)
意图检测和槽填充是自然语言理解中的两个主要任务,在面向任务的对话系统中起着至关重要的作用。两个任务的联合学习可以提高推理的准确性,在最近的工作中很受欢迎。然而,大多数联合模型忽略了推理延迟,无法满足在边缘部署对话系统的需求。在本文中,我们提出了一种快速注意力网络(FAN),用于联合意图检测和插槽填充任务,保证准确性和延迟。具体来说,我们引入了一个干净的和参数细化的注意力模块,以增强意图和插槽之间的信息交换,提高语义准确率超过2%。FAN可以在不同的编码器上实现,并在每个速度级别上提供更准确的模型。我们在Jetson Nano平台上的实验表明,FAN每秒推理15次,准确率略有下降,显示了其在边缘设备上的有效性和效率。
2022-05-16 cs.CL cs.SD eess.AS
3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
DAMO Academy(达摩院);Alibaba Group(阿里巴巴集团)
3D-Speaker构建了超1万名说话人在多设备、多距离、多方言条件下的受控语音语料库,用于研究语音表示解耦,并支持通用语音模型评估及域外学习与自监督学习方法实验。
2023-09-25 cs.CL cs.SD eess.AS
Dynamic Causal Disentanglement Model for Dialogue Emotion Detection
Tianjin University(天津大学);Tsinghua University(清华大学)
本文提出一种基于隐变量分离的动态因果解耦模型,通过引入因果有向无环图结合个人属性和话语主题指导解耦,并利用动态时间模型捕捉情感累积,有效提升了对话情感检测的精度。
2023-09-13 cs.CL cs.CV
Order matters: Distributional properties of speech to young children bootstraps learning of semantic representations
University of California Riverside(加州大学河滨分校)
一些研究者认为,语言的习得主要依赖于对语言输入的体验,而语言输入的复杂程度是递增的。我们开始使用一个简单的递归神经网络(SRN)来测试这个假设,该网络被训练用于预测CHILDES中的单词序列,CHILDES是一个针对儿童的500万单词的语音语料库。首先,我们证明了年龄排序的儿童表现出逐渐增加的语言复杂性。接下来,我们比较了在CHILDES上训练的两组SRN的性能,这两组SRN要么是按年龄排序的,要么不是。具体来说,我们评估了语法和语义结构的学习,并表明,年龄顺序输入的培训有利于语义的学习,但不是顺序结构。我们发现,当模型在去除了话语边界信息的输入上训练时,这种优势就被消除了。
2018-02-02 cs.CL
Data-driven Parsing Evaluation for Child-Parent Interactions
Boston College(波士顿学院)
我们提出了一个句法依存树库自然主义儿童和儿童导向的讲话在英语(MacWhinney,2000年)。我们的注释在很大程度上遵循了通用自动化项目(UD(Zeman et al.,2022)),详细扩展到词汇/句法结构独特的会话讲话(在反对书面文本)。与现有的UD风格的口语树库以及其他儿童-父母互动的依赖语料库相比,我们的数据集的大小(大得多)(话语数N = 44,744;单词数N = 233,907),包含来自10个儿童的语音,涵盖了广泛的年龄范围(18-66个月)。有了这个数据集,我们问:(1)为书面语领域量身定制的最先进的依存关系解析器在自发对话中对不同对话者的语音表现如何?(2)句法分析能力与儿童的发展阶段有什么关系?为了解决这些问题,在正在进行的工作中,我们正在使用基于图和基于转换的解析器进行彻底的依赖解析器评估,这些解析器具有不同的超参数化,从三种不同类型的域外书面文本中训练:新闻,推文和学习者数据。
2022-09-28 cs.CL
Language Model Bootstrapping Using Neural Machine Translation For Conversational Speech Recognition
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习部门)
构建用于新语言的会话语音识别系统受到捕获用户-设备交互的话语的可用性的限制。数据汇集既昂贵又受人工转录速度的限制。为了解决这个问题,我们提倡使用神经机器翻译作为一种数据增强技术来引导语言模型。机器翻译(MT)提供了一种系统化的方法来整合来自成熟的、资源丰富的会话系统的集合,这些集合可能适用于不同的语言。然而,从一个通用的MT系统的原始翻译可能不是有效的,由于命名实体的存在,内部的代码转换和域之间的不匹配的会话数据被翻译和用于MT训练的平行文本。为了规避这一点,我们探索了以下领域自适应技术:(a)基于句子嵌入的MT训练数据选择,(b)模型微调,以及(c)重新评分和过滤翻译的假设。使用印地语作为实验测试平台,我们翻译美国英语的话语,以补充转录的集合。我们观察到一个相对字的错误率降低7.8- 15.6%,这取决于自举阶段。细粒度的分析表明,翻译特别是艾滋病的相互作用的情况下,在转录数据中代表性不足。
2019-12-02 cs.CL cs.LG
Speech Emotion Recognition Considering Local Dynamic Features
Tianjin University(天津大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
近年来,语音情感识别的研究越来越受到重视,其中大多数使用话语的全局声学特征来消除内容差异。然而,言语情感的表达是一个动态的过程,它通过说话时的动态时长、能量等韵律信息来体现。本文提出了一种新的局部动态基音概率分布特征,该特征是通过绘制直方图得到的,用于提高语音情感识别的准确率。与以往大多数使用全局特征的方法相比,该方法利用了情感语音所传达的局部动态信息。在柏林情感语音数据库上的实验验证了该方法的有效性。实验结果表明,该方法获得的局部动态信息比传统的全局特征更有效地用于语音情感识别。
2018-03-21 cs.AI cs.CL cs.HC