Dialogue Act Segmentation for Vietnamese Human-Human Conversational Texts
Thainguyen University (TNU)（太原大学（TNU））；University of Information and Communication Technology（信息与通信技术学院）；Vietnam National University, Hanoi (VNU)（河内越南国家大学（VNU））；University of Engineering and Technology（工程技术学院）
对话行为识别在会话理解中起着重要的作用。它已被广泛应用于对话系统、自动机器翻译、自动语音识别等领域，尤其适用于虚拟助手、聊天机器人等具有人机自然语言对话界面的系统。识别对话行为的第一步是识别话语中对话行为的边界。在本文中，我们专注于分割的话语根据对话行为的边界，即功能段识别，越南语的话语。我们仔细研究了两种方法中的功能段识别：（1）使用最大熵（ME）和条件随机场（CRF）的机器学习方法;（2）使用带有CRF层的双向长短期记忆（LSTM）的深度学习方法（Bi-LSTM-CRF）在两个不同的会话数据集上进行了测试：（1）Facebook消息（消息数据）;（2）电话对话的转录（电话数据）。据我们所知，这是第一个将基于深度学习的方法应用于对话行为分割的工作。结果表明，与传统的机器学习方法相比，深度学习方法的性能明显更好。此外，这也是第一个研究解决越南语的对话行为和功能段识别。
2017-08-16 cs.CL
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
A Deep Learning Approach for Similar Languages, Varieties and Dialects
Amrita School of Engineering（阿姆里塔工程学院）
深度学习机制是近年来用于自然语言处理、语音识别、图像处理和许多其他任务中的各种任务的流行方法。为了利用这一点，我们使用基于深度学习的机制，特别是双向长短期记忆（B-LSTM）用于阿拉伯语和德语广播语音中的辩证识别任务，以及长短期记忆（LSTM）用于区分类似语言。使用基于大词汇量连续语音识别（LVCSR）的词汇特征和由i-vector框架生成的每个话语400个固定长度的瓶颈特征来创建两个独特的B-LSTM模型。这些模型在VarDial 2017数据集上进行了评估，用于阿拉伯语，德语方言识别与埃及，海湾，黎凡特，北非的方言，以及阿拉伯语和巴塞尔，伯尔尼，卢塞恩和苏黎世德语的MSA。此外，还负责区分波斯尼亚语、克罗地亚语和塞尔维亚语等类似语言的任务。B-LSTM模型在词汇特征上的准确率为0.246，在i-Vector框架的瓶颈特征上的准确率为0.577。
2019-01-02 cs.CL
ASR Adaptation for E-commerce Chatbots using Cross-Utterance Context and Multi-Task Language Modeling
Amazon AWS AI（亚马逊AWS人工智能部门）
对插槽实体的自动语音识别（ASR）鲁棒性在涉及货币交易和购买的电子商务语音助理中至关重要。随着有效的领域适应，它是直观的，跨话语上下文线索在消歧领域特定的内容词从语音中起着重要的作用。在本文中，我们研究了各种技术，以提高上下文，内容词的鲁棒性和域自适应的transformer-XL神经语言模型（NLM），以rescore ASR N-best假设。为了提高语境化，我们利用轮级对话行为以及跨话语语境结转。此外，为了使我们的域通用NLM适应电子商务的运行，我们在域内数据上使用来自微调掩码LM的嵌入。最后，为了提高对域内内容词的鲁棒性，我们提出了一个多任务模型，可以联合执行内容词检测和语言建模任务。与非上下文LSTM LM基线相比，我们表现最好的NLM重新评分器在电子商务音频测试集上的内容WER减少了19.2%，插槽标签F1提高了6.4%。
2021-06-15 cs.CL cs.LG cs.SD
Towards Effective and Compact Contextual Representation for Conformer Transducer Speech Recognition Systems
The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；Peng Cheng Laboratory（鹏城实验室）
针对ASR系统跨句子上下文建模问题，提出在Conformer-Transducer Encoder中利用注意力池化层学习紧凑低维上下文特征，在1000小时Gigaspeech上取得显著WER降低。
2023-06-26 cs.CL eess.AS
Transformer Based Deliberation for Two-Pass Speech Recognition
Google, Inc.（谷歌公司）
交互式语音识别系统必须在快速生成单词的同时还产生准确的结果。两遍模型通过采用快速发出单词的第一遍解码器和需要更多上下文但更准确的第二遍解码器来满足这些要求。先前的工作已经确定，一个审议网络可以是一个有效的二次通过模型。该模型同时处理两种输入：编码的音频帧和来自第一遍模型的假设文本。在这项工作中，我们探索使用Transformer层而不是长短期记忆（LSTM）层进行审议重新评分。在Transformer层中，我们将“编码器-解码器”的注意力概括为编码音频和第一遍文本假设。输出上下文向量然后由合并层组合。与基于LSTM的审议相比，我们最好的Transformer审议实现了7%的相对字出错率的改善，以及38%的计算减少。我们还比较了非审议Transformer rescoring，并找到了9%的相对改善。
2021-01-27 cs.CL
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University（清华大学）；Sogou（搜狗）；UCLA（加州大学洛杉矶分校）
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层，以取代递归神经网络（RNN）在基于注意力的编码器解码器（AED）架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中，可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而，这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题，我们建议使用并行调度采样（PSS）和相对位置嵌入（RPE），以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
Parallel Rescoring with Transformer for Streaming On-Device Speech Recognition
Google Inc.（谷歌公司）
端到端模型的最新进展通过采用两遍模型而优于传统模型。两遍模型为设备上语音识别提供了更好的速度-质量权衡，其中第一遍模型以流方式生成假设，并且第二遍模型利用完整的音频序列上下文对假设重新评分。第二遍模型在端到端模型的质量改进中起着关键作用，以超越传统模型。两遍模型的一个主要挑战是第二遍模型引入的计算延迟。具体来说，两遍模型的原始设计使用LSTM用于第二遍模型，这受到长延迟的影响，因为它们受到递归性质的约束，并且必须顺序运行推理。在这项工作中，我们探索用Transformer层替换第二遍重采样器中的LSTM层，它可以并行处理整个假设序列，因此可以更有效地利用设备上的计算资源。与基于LSTM的基线相比，我们提出的Transformer rescorer实现了超过50%的延迟减少，质量提高。
2020-09-02 cs.CL eess.AS
Automatic Sentence Completion Using Bengali Audio Speech with a Transformer-Based Early Speech Recognition System
Daffodil International University（达福迪尔国际学校）；Department of Computer Science and Engineering, Daffodil International University（达福迪尔国际学校计算机科学与工程系）
本研究针对孟加拉语这一代表性不足的语言，开发了结合Transformer语音识别与Bi-LSTM注意力机制的系统，用于检测痴呆症并实现对话中的句子自动补全，填补了相关领域空白。
2026-10-16 cs.CL
Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition
National Taiwan Normal University（台湾师范大学）
如何有效地将跨话语信息引入神经语言模型（LM）已成为自动语音识别（ASR）的一个有趣的问题。现有的研究工作，提高语境化的LM通常把以前的话语作为一个序列的额外的输入，并可能无法捕捉这些话语之间的复杂的全球结构的依赖关系。有鉴于此，我们在本文中试图表示的历史语境信息的话语图结构的数据，以提取跨话语，全球词的相互作用关系。为此，我们将图卷积网络（GCN）应用于所得到的图，以获得相应的历史单词的GCN嵌入。GCN最近在社会网络分析、文本摘要等方面发现了它的多用途应用，这主要是由于它能够有效地捕获元素之间丰富的关系信息。然而，GCN在ASR的背景下，特别是在处理会话语音方面，仍然存在很大的不足。此外，我们框架ASR N-最好的重新排序作为一个预测问题，利用双向编码器表示从Transformers（BERT）作为车辆，不仅抓住本地固有的词规律性模式固有的候选假设，但也纳入跨话语，历史词的互动线索蒸馏GCN为促进性能。在AMI基准数据集上进行的大量实验似乎证实了我们的方法的实用性，与当前一些顶级方法有关。
2021-10-01 cs.CL eess.AS
Transformer-Transducers for Code-Switched Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
我们生活在一个60%的人口可以流利地说两种或两种以上语言的世界。这些社区的成员在进行对话时经常在语言之间切换。随着自动语音识别（ASR）系统被部署到现实世界中，需要能够在话语内或跨话语处理多种语言的实用系统。在本文中，我们提出了一个端到端的ASR系统使用的变压器换能器模型架构的代码切换语音识别。我们提出了三个修改香草模型，以处理各个方面的代码转换。首先，我们引入了两个辅助损失函数来处理低资源情况下的语码转换。其次，我们提出了一种新的基于掩码的训练策略，语言ID信息，以改善标签编码器的训练，内部的代码切换。最后，我们提出了一个多标签/多音频编码器结构，利用巨大的单语语音语料库对代码切换。我们证明了我们所提出的方法的有效性SEAME数据集，一个公共的普通话-英语码转换语料库，实现了混合出错率的18.5%和26.3%的test_man和test_sge集分别。
2021-02-15 cs.CL eess.AS
Leveraging Cross-Utterance Context For ASR Decoding
University of Sheffield（谢菲尔德大学）
本文研究在 ASR 解码中引入长上下文 transformer LM，通过束搜索利用跨话语信息，并在 AMI 与 Tedlium-1 上验证其相对 n-best 重打分和单话语解码的词错率改进。
2023-06-29 cs.CL cs.SD eess.AS
End-to-End Speaker-Attributed ASR with Transformer
Microsoft Corp.（微软公司）
本文介绍了我们最近的努力，端到端的说话人属性的自动语音识别，联合执行说话人计数，语音识别和说话人识别单声道多说话人音频。首先，我们通过应用Transformer架构，彻底更新了先前基于长短期记忆（LSTM）的注意力编码器解码器设计的模型架构。其次，我们提出了一个说话人去重机制，以减少在高度重叠的区域说话人识别错误。在LibriSpeechMix数据集上的实验结果表明，基于transformer的架构特别擅长计算说话者，并且所提出的模型将说话者归因的单词错误率比基于LSTM的基线降低了47%。此外，对于由重叠语音的真实记录组成的LibriCSS数据集，所提出的模型在有和没有目标说话者配置文件的情况下分别实现了11.9%和16.3%的级联最小排列单词错误率，这两个都是LibriCSS在单声道设置下的最新结果。
2021-04-05 cs.CL cs.SD eess.AS
Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations
The Hong Kong Polytechnic University（香港理工大学）
针对自监督语音模型在话语级任务中需监督微调的问题，提出结合HuBERT聚类单元的神经因子分析方法，通过概率推断解耦话语级表示，以变分下界为话语级目标优化模型，仅用20%标注数据就在SUPERB基准非语义话语级任务上超越WavLM。
2023-10-04 cs.CL cs.LG cs.SD
Language Identification with Deep Bottleneck Features
Pattern Recognition and Intelligent System Lab., Beijing University of Posts and Telecommunications（北京邮电大学模式识别与智能系统实验室）
提出了一种基于长短期记忆（Long Short Term Memory，LSTM）神经网络的端到端短话语语音语言识别（SLD）方法，该方法特别适用于智能车辆中的SLD应用。用于LSTM学习的特征由迁移学习方法生成。利用深度神经网络（DNN）的瓶颈特征对普通话语音进行分类，并将其用于LSTM训练。为了提高短话语的SLD精度，采用了基于相位声码器的时间尺度修正（TSM）方法来降低和提高测试话语的语音等级。通过对正常语音、降低速率语音和提高速率语音进行拼接，可以延长测试语音的长度，从而提高SLD系统的性能。在AP 17-OLR语料库上的实验结果表明，本文提出的方法能够有效地提高SLD的性能，尤其是对时长为1 s和3 s的短话语的识别效果更好。
2020-02-02 cs.CL cs.CV cs.SD
Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
Emory University（埃默里大学）
我们介绍了一种新的方法来Transformers，学习层次表示在多方对话。首先，三个语言建模任务用于预训练Transformers，令牌和话语级语言建模和话语顺序预测，学习令牌和话语嵌入，以便在对话上下文中更好地理解。然后，在话语预测和标记跨度预测之间的多任务学习被应用于基于跨度的问答（QA）的微调。我们的方法进行了评估，在BASINSQA数据集，并显示出3.8%和1.4%的改进，在两个国家的最先进的Transformer模型，BERT和RoBERTa，分别。
2020-05-23 cs.AI cs.CL cs.LG
Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations
University of California San Diego（加州大学圣地亚哥分校）；Facebook AI Research（Facebook人工智能研究院）；University of California, Berkeley（加州大学伯克利分校）
长短期记忆（LSTM）和Transformers是两种用于自然语言处理任务的流行神经架构。理论结果表明，两者都是图灵完备的，可以表示任何上下文无关语言（CFL）。在实践中，经常观察到Transformer模型比LSTM具有更好的表示能力。但其中的原因却鲜为人知。我们研究了LSTM和Transformer之间的实际差异，并基于它们的潜在空间分解模式提出了一种解释。为了实现这一目标，我们引入了一个oracle训练范式，它强制分解LSTM和Transformer的潜在表示，并监督相应CFL的下推自动机（PDA）的转换。通过强制分解，我们证明了LSTM和Transformer在学习CFL方面的性能上限是接近的：它们都可以模拟堆栈并执行堆栈操作以及状态转换。然而，缺乏强制分解导致LSTM模型无法捕获堆栈和堆栈操作，同时对Transformer模型产生轻微影响。最后，我们将PDA原型上的实验与真实的句法分析任务相结合，再次验证了本文的结论
2022-03-23 cs.CL
LSTM-SAKT: LSTM-Encoded SAKT-like Transformer for Knowledge Tracing
Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
本文介绍了Riiid！Kaggle是世界上最大的数据科学竞赛网站。本次比赛于2020年10月16日至2021年1月7日举行，共有3395支队伍、4387名选手参赛。本文的主要观点和贡献如下。(i)我们指出，现有的基于transformer的模型存在一个问题，即它们的查询/键/值可以包含的信息是有限的。为了解决这个问题，我们提出了一种使用LSTM获取查询/键/值的方法，并验证了其有效性。(ii)我们指出了“容器间”泄漏问题，这发生在问题有时一起提供的数据集中。为了解决这个问题，我们展示了特殊的索引/掩码技术，这些技术在使用RNN变体和Transformer时非常有用。(iii)我们发现额外的手工制作的功能可以有效地克服Transformer的限制，它永远不会考虑比序列长度更早的样本。
2021-02-10 cs.CL
Transformer-GCRF: Recovering Chinese Dropped Pronouns with General Conditional Random Fields
Beijing University of Posts and Telecommunications（北京邮电大学）；Renmin University of China（中国人民大学）；Brandeis University（布兰迪斯大学）
在中文对话中，代词经常被丢弃，恢复丢弃的代词对于机器翻译等NLP应用非常重要。现有的方法通常将其表述为预测每个标记之前是否有丢弃的代词及其类型的序列标记任务。每个话语被认为是一个序列，并独立标记。虽然这些方法已经显示出了希望，但独立地标记每个话语忽略了相邻话语中的代词之间的依赖关系。对这些依赖关系进行建模对于提高丢弃代词恢复的性能至关重要。在本文中，我们提出了一个新的框架，结合Transformer网络的强度与一般条件随机场（GCRF）的模型之间的依赖关系在相邻的话语代词。三个中文对话数据集的结果表明，Transformer-GCRF模型的性能优于最先进的丢弃代词恢复模型。探索性分析也表明，GCRF确实有助于捕捉相邻话语中代词之间的依赖关系，从而有助于提高性能。
2020-10-07 cs.CL
Error Detection in Large-Scale Natural Language Understanding Systems Using Transformer Models
Amazon Alexa AI（亚马逊 Alexa AI）
Alexa、Siri、Cortana和Google Assistant等大规模对话助理使用多个模型来处理每一句话，以进行域、意图和命名实体识别。鉴于模型开发和大流量的解耦性质，识别由这样的系统错误处理的话语是极其困难的。我们解决这个挑战，检测域分类错误使用离线Transformer模型。我们结合从RoberTa模型的Nbest假设产生的生产系统的话语编码。然后，我们微调端到端的多任务设置使用一个小的数据集的人类注释的话语与域分类错误。我们测试了我们的方法，用于检测来自一个领域的错误分类，该领域占大规模对话AI系统中流量的0.5%。我们的方法实现了30%的F1分数，比bi-LSTM基线高出16.9%，比独立的RoBERTa模型高出4.8%。通过集成多个模型，我们将其进一步提高了2.2%至32.2%。
2021-09-04 cs.AI cs.CL cs.LG
Abstractive Text Summarization for Resumes With Cutting Edge NLP Transformers and LSTM
Huawei Turkey Research and Development Center（华为土耳其研发中心）
本研究评估多种NLP模型在简历摘要任务上的性能，发现微调的BART-Large模型表现最佳。
2023-06-23 cs.AI cs.CL
Rewiring the Transformer with Depth-Wise LSTMs
Zhengzhou University（郑州大学）；DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）；China Mobile Online Services（中国移动在线服务公司）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出用深度级 LSTM 连接并聚合 Transformer 层与子层，以替代残差路径的信息传递，显著提升机器翻译 BLEU 并改善深层模型收敛。
2024-04-04 cs.CL
Red Dragon AI at TextGraphs 2020 Shared Task: LIT : LSTM-Interleaved Transformer for Multi-Hop Explanation Ranking
Red Dragon AI（红龙人工智能）
科学问题的可解释问答是一项具有挑战性的任务，需要对大量事实句子进行多跳推理。为了克服孤立地查看每个查询文档对的方法的局限性，我们提出了LSTM交织Transformer，它结合了跨文档的交互，以提高多跳排名。LIT架构可以在重新排名设置中利用先前的排名位置。我们的模型在TextGraphs 2020共享任务的当前排行榜上具有竞争力，测试集MAP为0.5607，如果我们在比赛截止日期前提交，我们将获得第三名。我们的代码实现可在https://github.com/mdda/worldtree_corpus/tree/textgraphs_2020上获得
2020-12-28 cs.AI cs.CL cs.IR
Improved Deep Learning Baselines for Ubuntu Corpus Dialogs
IBM Watson（IBM沃森）
本文介绍了我们的实验结果的下一个话语排名的Ubuntu对话语料库-最大的公开可用的多轮对话语料库。首先，我们使用先前报告的模型的内部实现，使用相同的数据进行独立评估。其次，我们评估了各种LSTM，Bi-LSTM和CNN在数据集上的性能。第三，我们通过对多个模型的预测进行平均来创建一个集合。该集成进一步提高了性能，并为该数据集上的下一个话语排名实现了最先进的结果。最后，我们讨论了我们未来的计划，使用这个语料库。
2015-11-03 cs.CL
Hierarchical Transformer-based Large-Context End-to-end ASR with Large-Context Knowledge Distillation
NTT Media Intelligence Laboratories, NTT Corporation（NTT公司NTT媒体情报实验室）
提出了一种基于知识蒸馏的大上下文端到端自动语音识别模型及其有效的训练方法。常见的E2 E-ASR模型主要关注话语级处理，其中每个话语都是独立转录的。另一方面，大上下文E2 E-ASR模型，它考虑到长范围的连续上下文超出话语边界，很好地处理一系列的话语，如话语和对话。然而，Transformer架构，它最近已经实现了国家的最先进的话语级ASR系统中的ASR性能，尚未被引入到大上下文的ASR系统。我们可以预期，Transformer架构不仅可以有效地捕获输入语音上下文，而且可以有效地捕获超出话语边界的长距离序列上下文。因此，本文提出了一种基于分层transformer的大上下文E2 E-ASR模型，该模型将Transformer架构与基于分层编解码器的大上下文建模相结合。此外，为了使所提出的模型能够使用长范围的顺序上下文，我们还提出了一个大上下文知识蒸馏，在训练阶段从预先训练的大上下文语言模型中提取知识。我们评估了所提出的模型和提出的训练方法对日语语篇ASR任务的有效性。
2021-02-16 cs.CL cs.LG
Who did They Respond to? Conversation Structure Modeling using Masked Hierarchical Transformer
Boston University（波士顿大学）；AWS AI Labs（AWS人工智能实验室）
会话结构对于理解会话动态的本质和为许多下游应用提供特征（例如会话摘要）都是有用的。在这项工作中，我们定义的问题的会话结构建模识别父话语（S）的每一个话语在会话中的响应。以前的工作通常需要一对话语来决定一个话语是否是另一个的父话语。我们相信整个祖先的历史是一个非常重要的信息源，以作出准确的预测。因此，我们设计了一种新的屏蔽机制来引导祖先流，并利用Transformer模型聚合所有祖先来预测父话语。我们的实验是在Reddit数据集（Zhang，Culbertson和Paritosh 2017）和Ubuntu IRC数据集（Kummerfeld等人2019）上进行的。此外，我们还报告了在Reddit平台上的一个新的更大语料库上的实验，并发布了这个数据集。我们表明，该模型，考虑到祖先的历史对话，显着优于几个强基线，包括BERT模型在所有数据集上
2019-11-25 cs.CL
Improving Multi-turn Dialogue Modelling with Utterance ReWriter
Tencent Inc（腾讯公司）；MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔大学信息学院）；Institute of Software, University of Chinese Academy of Science（中国科学院大学软件研究所）；Alibaba Group（阿里巴巴集团）；IBM Research（IBM研究院）
最近的研究在单轮对话建模方面取得了令人印象深刻的进展。然而，在多转弯设置中，当前的模型仍然远远不能令人满意。一个主要的挑战是我们日常对话中经常发生的共指和信息遗漏，这使得机器很难理解真正的意图。在本文中，我们建议重写人类的话语作为一个预处理，以帮助多轮dialgoue建模。首先重写每个话语以恢复所有共指和省略的信息。然后基于重写的话语执行接下来的处理步骤。为了正确训练话语重写器，我们收集了一个新的数据集与人类注释，并介绍了一个基于转换器的话语重写架构使用指针网络。我们表明，所提出的架构实现了非常好的性能上的话语重写任务。经过训练的话语重写器可以很容易地集成到在线聊天机器人中，并在不同的领域带来普遍的改进。
2019-06-14 cs.AI cs.CL
Hierarchical Transformer Network for Utterance-level Emotion Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
虽然文本情感识别已经取得了很大的进展，但在话语级情感识别（ULER）领域，仍然有许多问题需要解决。在本文中，我们解决了一些挑战，在ULER的对话系统。(1)同样的话语在不同的语境中或来自不同的说话者时，可以传递不同的情感。(2)长距离的上下文信息很难有效地捕捉。(3)与传统的文本分类问题不同，该任务由有限数量的数据集支持，其中大多数包含不充分的对话或语音。为了解决这些问题，我们提出了一个分层的Transformer框架（除了其他研究的描述，“Transformer”在本文中通常是指编码器部分的Transformer）与较低级别的Transformer模型的单词级输入和较高级别的Transformer捕获的话语级嵌入的上下文。我们使用一个预先训练好的语言模型Transformers的双向编码器表示（BERT）作为底层的Transformer，相当于在模型中引入了外部数据，在一定程度上解决了数据不足的问题。此外，我们首次在模型中加入了说话人嵌入，这使得我们的模型能够捕捉说话人之间的交互。在三个对话情感数据集Friends、QuestionPush和EmoryNLP上的实验表明，我们提出的分层Transformer网络模型在每个数据集上的宏F1方面分别比最先进的方法提高了1.98%、2.83%和3.94%。
2020-02-18 cs.CL cs.LG cs.SD
vieCap4H-VLSP 2021: Vietnamese Image Captioning for Healthcare Domain using Swin Transformer and Attention-based LSTM
Sejong University（世宗大学）；Ton Duc Thang University（孙德胜大学）；ASICLAND；Northeastern University（东北大学）；Deakin University（迪肯大学）
本研究介绍了我们在2021年越南语言和语音处理（VLSP）挑战赛的文本处理任务中为医疗保健领域自动越南语图像描述的方法，如图1所示。近年来，图像描述通常采用基于卷积神经网络的架构作为编码器，并采用长短期记忆（LSTM）作为解码器来生成句子。这些模型在不同的数据集中表现得非常好。我们提出的模型也有一个编码器和一个解码器，但我们在编码器中使用Swin Transformer，在解码器中使用LSTM和注意力模块。本研究介绍了我们的训练实验和技术在比赛中使用。我们的模型在vietCap4H数据集上获得了0.293的BLEU4分数，并且该分数在私人排行榜上排名第3位$^{rd}$。我们的代码可以在\url{https://git.io/JDdJm}上找到。
2022-09-03 cs.AI cs.CL cs.CV
Beyond Isolated Utterances: Conversational Emotion Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
语音情感识别是指根据说话人的语音记录来识别说话人的情感状态。虽然目前大多数的方法都集中在从孤立的话语推断情感，我们认为，这是不足以实现会话情感识别（CER），它涉及到在对话中识别情感。在这项工作中，我们提出了几种方法CER治疗它作为一个序列标记任务。我们研究了CER的Transformer架构，并使用IEMOCAP语料库在上下文和无上下文场景下将其与ResNet-34和BiLSTM架构进行了比较。基于自我注意力机制的内部工作原理，我们提出了DiverseCatAugment（DCA），一种增强方案，它将Transformer模型的性能提高了3.3%的绝对微f1，对孤立的话语提高了3.6%。我们通过引入对话者感知的Transformer模型进一步提高了性能，在该模型中，我们学习对话者索引嵌入的字典来利用日记化的对话。
2021-09-13 cs.CL cs.SD eess.AS
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember（十一月理工学院）
本研究针对手语转文本翻译任务，对比了Transformer与Seq2Seq模型的性能，还测试了添加ResidualLSTM的Transformer效果，发现纯Transformer表现优于Seq2Seq，添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；HSE University（高等经济大学）
严重依赖机器学习的实际应用，例如对话系统，需要域外检测方法。意图分类模型应该配备一种机制来区分可见意图和不可见意图，以便对话代理能够拒绝后者并避免不期望的行为。然而，尽管越来越多的关注支付的任务，域外意图检测的最佳实践尚未完全建立。本文对域外意图检测方法进行了深入的比较。我们优先考虑的方法，不需要访问域外的数据在训练过程中，由于用户话语的词汇和风格的变化，收集是非常耗时和费力的。我们评估多个上下文编码器和方法，被证明是有效的，在三个标准数据集的意图分类，扩展与域外话语。我们的主要研究结果表明，对域内数据进行微调基于transformer的编码器可以获得更好的结果。Mahalanobis距离与来自基于transformer的编码器的话语表示一起，远远优于其他方法，并为所有数据集建立了新的最先进的结果。更广泛的分析表明，成功的原因在于，微调的Transformer能够构建域内话语的同质表示，揭示了域外话语的几何差异。反过来，Mahalanobis距离很容易捕捉到这种差异。代码可以在我们的GitHub存储库中找到：https://github.com/huawei-noah/noah-research/tree/master/Maha_OOD。
2022-05-23 cs.CL cs.LG
An Ensemble Approach to Question Classification: Integrating Electra Transformer, GloVe, and LSTM
Maharishi International University（玛赫西国际大学）；Al-Balqa Applied University（巴尔卡应用大学）；Skyline University College（天际线大学学院）
本文提出一种融合 Electra、GloVe 和 LSTM 的集成模型用于问题分类，在 TREC 数据集上取得 80% 准确率，优于 BERT、RoBERTa 和 DistilBERT 等基线模型。
2023-10-29 cs.AI cs.CL cs.LG
Self-Attention for Incomplete Utterance Rewriting
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
不完整话语重写（IUR）是近年来自然语言处理领域的一项重要任务，旨在为不完整的话语补充足够的语境信息以促进理解。本文提出了一种新的方法，即直接从Transformer的自注意权矩阵中提取共指和省略关系，而不是从词嵌入中提取共指和省略关系，并对原文进行相应的编辑，从而生成完整的话语。利用自注意力权重矩阵中的丰富信息，该方法在公开的IUR数据集上取得了有竞争力的结果。
2022-02-26 cs.CL
Diagnosing Transformers in Task-Oriented Semantic Parsing
Facebook（脸书）
现代面向任务的语义解析方法通常使用seq 2seq Transformers将文本话语映射到由意图和槽组成的语义框架。虽然这些模型在经验上是强大的，但它们的具体优点和缺点在很大程度上仍未得到探索。在这项工作中，我们研究BART和XLM-R，两个国家的最先进的解析器，跨单语和多语言设置。我们的实验产生了几个关键结果：基于transformer的解析器不仅要消除意图/插槽的歧义，而且还要生成语法有效的框架。虽然预训练给Transformers注入了句法归纳偏差，但我们发现将话语跨度复制到帧中的歧义通常会导致树无效，这表明跨度提取是当前解析器的主要瓶颈。然而，作为一线希望，我们展示了基于transformer的解析器为框架是否可能正确或不正确提供了足够的指标，使它们更容易部署在生产环境中。
2021-05-27 cs.CL
Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations
INESC-ID（里斯本系统与计算机工程研究所）；Universidade de Lisboa（里斯本大学）
本文提出结合RoBERTa与模糊指纹分类模块进行对话情感识别，在DailyDialog数据集上以更轻量的模型取得了最先进水平的结果，同时提升了可解释性。
2023-09-08 cs.AI cs.CL
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University（德里理工大学）
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系，这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平，其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器，用于捕获用户话语中的情商，以产生类似人类的移情反应。本文的贡献如下：1）在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2）提出了一种新颖的Transformer编码器，其将词嵌入与情感嵌入相加并归一化，从而集成了输入话语的语义和情感方面3）编码器和解码器栈属于Transformer。XL体系结构，这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性，与现有方法相比，生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实，包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
TLDR: Token Loss Dynamic Reweighting for Reducing Repetitive Utterance Generation
University of Amsterdam（阿姆斯特丹大学）；Hugging Face
自然语言生成（NLG）模型倾向于生成重复的话语。在这项工作中，我们研究了编码器-解码器模型的重复问题，使用递归神经网络（RNN）和Transformer架构。为此，我们考虑闲聊任务，其中的问题比其他需要编码器-解码器架构的任务更突出。我们首先研究模型架构的影响。通过使用RNN的预注意和高速公路连接，我们设法实现了较低的重复率。然而，这种方法不能推广到其他模型，如Transformers。我们假设更深层次的原因是，在训练语料库中，生成模型比其他模型更难学习硬标记，一旦学习完成，硬标记仍然学习不足，因此重复生成更有可能发生。基于这一假设，我们提出了令牌损失动态重新加权（TLDR），将可区分的权重应用于单个令牌损失。通过对硬令牌使用较高的权重，对简单令牌使用较低的权重，NLG模型能够以不同的速度学习单个令牌。在聊天基准数据集上的实验表明，TLDR对于RNN和Transformer架构的重复减少比使用不同加权函数的基线更有效。
2020-04-09 cs.CL
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
Amazon AWS AI（亚马逊AWS人工智能）
来自Transformers的双向编码器表示（BERT）最近在广泛的NLP任务上实现了最先进的性能，包括句子分类，机器翻译和问答。BERT模型架构主要源自Transformer。在Transformer时代之前，双向长短期记忆（BLSTM）一直是神经机器翻译和问答的主要建模架构。在本文中，我们将研究如何将这两种建模技术相结合，以创建一个更强大的模型架构。我们提出了一个新的架构表示为Transformer与BLSTM（TranSmart. tag_BLSTM），其中有一个BLSTM层集成到每个Transformer块，导致一个联合建模框架Transformer和BLSTM。我们表明，在GLUE和SQuAD 1.1实验中，与BERT基线相比，TRANS-BLSTM模型始终导致准确性的提高。我们的TRANS-BLSTM模型在SQuAD 1.1开发数据集上获得了94.01%的F1分数，这与最先进的结果相当。
2020-03-16 cs.CL cs.LG cs.SD
Advancing Mental Disorder Detection: A Comparative Evaluation of Transformer and LSTM Architectures on Social Media
Dept. of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国）
该研究在Reddit精神健康分类任务上比较多种Transformer与LSTM模型，验证大型标注数据集后发现RoBERTa表现最佳，BERT嵌入增强的LSTM则以更低资源取得较强性能。
2025-07-17 cs.CL cs.LG
Finnish Language Modeling with Deep Transformer Models
Aalto University（阿尔托大学）
Transformers最近在语言建模中占据了中心地位，因为LSTM被认为是长期以来占主导地位的模型架构。在这个项目中，我们调查的性能的Transformer架构BERT和Transformer-XL的语言建模任务。我们使用芬兰语的子词模型设置，并将其与之前的最新技术水平（SOTA）LSTM模型进行比较。BERT达到了14.5的伪困惑分数，这是我们所知道的第一个这样的指标。Transformer-XL将困惑分数提高到73.58，比LSTM模型高出27%。
2020-03-27 cs.CL cs.LG cs.SD
Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models
Dept. of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 莫斯科州立大学 斯普林菲尔德 MO 美国）
本文构建Reddit六类心理健康帖子数据集，系统对比五种Transformer与多种LSTM变体，发现RoBERTa性能最佳，而BERT嵌入的注意力LSTM以更快训练速度接近其表现，为多分类心理健康检测提供了首个基准与模型选择指导。
2025-09-20 cs.CL cs.IR cs.LG
Pagsusuri ng RNN-based Transfer Learning Technique sa Low-Resource Language
De La Salle University（德拉萨大学）
像菲律宾语这样的低资源语言受到数据稀缺的影响，这使得为菲律宾语开发NLP应用程序具有挑战性。迁移学习（TL）技术的使用在低资源环境下解决了这个问题。近年来，基于transformer的模型被证明在低资源任务中是有效的，但由于其高计算和内存要求，在可访问性方面面临挑战。因此，需要一种更便宜但有效的替代品。本文有三个贡献。首先，发布菲律宾语的预训练AWD-LSTM语言模型。其次，在Hate Speech分类任务中对AWD-LSTM进行基准测试，并表明它的性能与基于transformer的模型相当。第三，使用退化测试分析AWD-LSTM在低资源环境下的性能，并将其与基于transformer的模型进行比较。- Ang mga low-resource languages tulad ng Filipino ay gipit sa accessible na datos kaya't mahirap gumawa ng mga applications sa wikang ito.迁移学习（TL）技术可能会在低资源环境中使用，或者在数据中使用。与此同时，基于变压器的TL技术可以将低资源任务划分为计算和内存需求，这是一种替代方法。这张纸可能会让你忙得不可开交。例如，使用预训练的AWD-LSTM语言模型来创建菲律宾语和其他NLP应用程序。Pangalawa，mag benchmark ng A…
2020-10-14 cs.CL
Discovering Emotion and Reasoning its Flip in Multi-Party Conversations using Masked Memory Network and Transformer
IIIT-Delhi（印度德里信息技术学院）
在多方会话中有效地发现说话人的情感状态对于设计类人会话Agent具有重要意义。在谈话过程中，说话者的认知状态往往会因过去的某些话语而改变，这可能会导致他们情绪状态的翻转。因此，发现说话人在谈话中情感翻转背后的原因（触发器）对于解释个体话语的情感标签至关重要。在本文中，随着解决的会话中的情感识别（ERC）的任务，我们介绍了一种新的任务--翻转推理（EFR），其目的是识别过去的话语，触发了一个人的情绪状态，在一定的时间翻转。我们提出了一个掩蔽的内存网络来解决前者和基于transformer的网络，后者的任务。为此，我们考虑MELD，一个用于ERC任务的多方对话中的基准情感识别数据集，并使用EFR的新地面真实标签对其进行增强。与五个国家的最先进的模型进行了广泛的比较，表明我们的模型在这两项任务中的性能得到了改善。我们进一步提出了轶事证据和定性和定量的误差分析，以支持我们的模型相比，基线的优越性。
2021-12-31 cs.CL
Language Models with Transformers
Amazon Web Services（亚马逊云科技）
Transformer架构在计算效率方面优于基于RNN的模型。最近，GPT和BERT在大规模语料库上使用预训练的语言模型证明了Transformer模型在各种NLP任务上的有效性。令人惊讶的是，这些Transformer架构对于语言模型本身来说是次优的。Transformer中的自我注意和位置编码都不能有效地结合对语言建模至关重要的单词级顺序上下文。在本文中，我们探索了用于语言模型的有效Transformer架构，包括添加额外的LSTM层以更好地捕获顺序上下文，同时仍然保持计算效率。我们提出了协调架构搜索（CAS）找到一个有效的架构，通过迭代细化的模型。在PTB、WikiText-2和WikiText-103上的实验结果表明，CAS在所有问题上都实现了20.42到34.11之间的困惑度，即与最先进的LSTM相比，平均提高了12.0个困惑度单位。源代码是公开的。
2019-10-17 cs.AI cs.CL cs.LG
Enhanced Arabic-language cyberbullying detection: deep embedding and transformer (BERT) approaches
Taibah University（塔伊巴大学）
针对阿拉伯语网络欺凌检测方法稀缺的问题，构建含10662条X帖子的数据集，测试多种深度学习模型，发现搭配FastText词嵌入的Bi-LSTM准确率达98%，提升了阿拉伯语网络欺凌检测效果。
2025-10-02 cs.CL
StockBot 2.0: Vanilla LSTMs Outperform Transformer-based Forecasting for Stock Prices
Department of Mechanical Engineering, Stanford University, CA 94305-4040, USA（机械工程系，斯坦福大学）
StockBot 2.0通过vanilla LSTM在股票价格预测中优于基于变换器的模型，展示了递归序列模型在金融时间序列预测中的鲁棒性和数据效率。
2026-01-01 cs.CE cs.CL cs.LG
Dependency Parsing Across the Resource Spectrum: Evaluating Architectures on High and Low-Resource Languages
Princeton University（普林斯顿大学）
该研究评估四种句法分析器在十二种语言上的表现，发现低资源场景下Biaffine LSTM优于Transformer，形态复杂性是Transformer相对劣势的重要预测因子，为低资源句法工具开发提供了参考。
2026-10-14 cs.AI cs.CL cs.LG
Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology（云从科技）
多轮对话由来自两个或多个不同说话者角色的多个话语组成。因此，话语和说话者意识的线索应该很好地捕捉模型。然而，在现有的基于检索的多话轮对话建模中，作为编码器的预训练语言模型（PrLM）通过将成对对话历史和候选响应作为一个整体来粗略地表示对话，没有很好地解决这种表示中耦合的话语相关性或说话人角色的层次信息。在这项工作中，我们提出了一个新的模型，以填补这样的空白，通过建模的有效话语感知和说话者感知的表示所涉及的对话历史。详细地，我们通过基于transformer的PrLM中的掩蔽机制来解耦上下文化的词表示，使得每个词仅关注当前话语中的词、其他话语、两个说话者角色（即，发送者的话语和接收者的话语）。实验结果表明，我们的方法大大提高了强大的ELECTRA基线在四个公共基准数据集，并实现了各种新的最先进的性能比以前的方法。进行了一系列的消融研究，以证明我们的方法的有效性。
2020-12-12 cs.AI cs.CL cs.IR
A Comparative Analysis of Transformer and LSTM Models for Detecting Suicidal Ideation on Reddit
Missouri State University（密苏里州立大学）
本文比较了多种Transformer和LSTM模型在Reddit自杀意念检测中的表现，发现RoBERTa准确率最高（93.22%），验证了先进NLP技术用于社交媒体心理健康监测的潜力。
2024-11-23 cs.CL cs.LG cs.SI
Transition-based Parsing with Stack-Transformers
IBM Research（IBM研究院）；Amazon AI（亚马逊人工智能）；Georgetown University（乔治敦大学）
在基于转换的解析中，对解析器状态进行建模是获得良好性能的关键。递归神经网络通过对全局状态进行建模（例如stack-LSTM解析器）或对上下文化特征进行局部状态建模（例如Bi-LSTM解析器），大大提高了基于转换的系统的性能。鉴于Transformer架构在最近的解析系统中的成功，本文探讨了序列到序列的Transformer架构的修改，以在基于转换的解析中对全局或局部解析器状态进行建模。我们发现，修改的交叉注意力机制的Transformer大大加强性能的依赖和抽象意义表示（AMR）解析任务，特别是对于较小的模型或有限的训练数据。
2020-10-20 cs.CL
A Multi-layer LSTM-based Approach for Robot Command Interaction Modeling
Knowledge Media Institute, The Open University（开放大学知识媒体研究所）；VU University Amsterdam（阿姆斯特丹自由大学）；Istituto Superiore Mario Boella（马里奥·博埃拉高等研究所）
随着第一个机器人平台慢慢接近我们的日常生活，我们可以想象在不久的将来，服务机器人将很容易被非专业用户通过语音界面访问。管理自然语言的能力确实会加快将这种平台融入日常生活的过程。语义解析是自然语言理解过程的基本任务，因为它允许提取要由机器使用的用户话语的含义。在本文中，我们提出了一个初步的研究，语义解析用户的语音命令的家庭服务机器人，使用多层长短期记忆神经网络与注意力机制。该系统在人机交互语料库上进行了训练，并与以往的方法进行了初步比较。
2018-11-13 cs.CL cs.LG
Multi-modal Anchor Gated Transformer with Knowledge Distillation for Emotion Recognition in Conversation
School of Computer Science and Technology, China University of Mining and Technology（计算机科学与技术学院，中国矿业大学）；Mine Digitization Engineering Research Center of Ministry of Education, China University of Mining and Technology（教育部矿山数字化工程研究中心，中国矿业大学）
针对对话情感识别中模态贡献差异与帧级对齐复杂性问题，提出MAGTKD模型，利用提示学习增强文本表示、知识蒸馏强化弱模态，并通过多模态锚点门控Transformer整合话语级特征，在IEMOCAP和MELD数据集上达到SOTA。
2025-06-23 cs.CL cs.LG
Efficient Long-distance Latent Relation-aware Graph Neural Network for Multi-modal Emotion Recognition in Conversations
Central South University of Forestry and Technology（中南林业科技大学）；Changsha Medical University（长沙医学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出ELR-GNN模型，通过扩张广义前向推送算法和情感关系感知算子高效捕获长距离话语依赖，并结合早期与自适应晚期融合机制，在IEMOCAP和MELD上取得最优性能且显著降低运行时间。
2024-08-31 cs.AI cs.CL cs.LG
