Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences
Henan Institute of Technology（河南科技学院）
提出ESC-GCN模型，通过融合实体感知自注意力与上下文化GCN，有效结合句法结构与语义上下文以减少依存树噪声，显著提升了长句关系抽取性能。
2024-11-12 cs.AI cs.CL
ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning
National Taiwan University（国立台湾大学）；National Cheng Kung University（国立成功大学）
虽然关系抽取是知识获取和表示中的一项重要任务，并且新生成的关系在现实世界中很常见，但在预测在训练阶段无法观察到的看不见的关系方面所做的努力较少。在本文中，我们制定了zero-shot关系抽取问题，将可见和不可见的关系的文本描述。我们提出了一种新的多任务学习模型，zero-shot BERT（ZH-BERT），直接预测看不见的关系，而无需手工制作的属性标签和多个成对分类。给定由输入句子和它们之间关系的描述组成的训练实例，Escher-BERT学习两个函数，通过联合最小化它们之间的距离和对所看到的关系进行分类，将句子和关系描述投影到嵌入空间中。基于这两个函数生成未见关系和新句子的嵌入，使用最近邻搜索来获得未见关系的预测。在两个著名的数据集上进行的实验表明，EST-BERT可以比现有的方法至少提高13.54%的F1得分。
2021-04-10 cs.CL cs.IR cs.LG
Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
HSE University（俄罗斯高等经济学院）；Yandex；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
在计算机视觉中，使用对比度损失进行表示学习已经变得非常突出，并且现在在自然语言处理（NLP）中也受到关注。在这里，我们探索了在微调大规模预训练的Transformer模型时使用batch-softmax对比损失的想法，以学习更好的特定于任务的句子嵌入，用于成对句子评分任务。我们介绍和研究了一些变化的计算损失，以及在整个训练过程中，特别是，我们发现，数据洗牌可以是相当重要的。我们的实验结果显示，在许多数据集和成对句子评分任务（包括分类，排名和回归）上有相当大的改进。最后，我们提供了详细的分析和讨论，这应该是有用的研究人员旨在探索的对比损失在自然语言处理的效用。
2021-10-10 cs.AI cs.CL cs.IR
Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction
关系抽取中的大多数工作通过查看包含单个实体对提及的单个句子内的短跨度文本来形成预测。这种方法通常不考虑跨提及的交互，需要对每个提及对进行冗余计算，并且忽略跨句子边界表达的关系。生物学文本中常见的文档（而不是句子）级注释加剧了这些问题。作为回应，我们提出了一个模型，同时预测在一个文件中的所有提及对之间的关系。我们使用一个高效的自我注意编码器对整个论文摘要进行成对预测。所有对提及分数允许我们通过聚合提及以形成实体对表示来执行多实例学习。我们通过联合训练来预测命名实体并添加弱标记数据的语料库，进一步适应没有提及级别注释的设置。在两个Biocreative基准数据集上的实验中，我们在Biocreative V Chemical Disease Relation数据集上实现了最先进的性能，用于没有外部KB资源的模型。我们还引入了一个新的数据集的数量级大于现有的人类注释的生物信息抽取数据集和更准确的比远程监督的替代品。
2018-02-28 cs.CL
Revisiting Paraphrase Question Generator using Pairwise Discriminator
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种方法来获得双级嵌入。虽然保护词级嵌入的问题已经得到了很好的研究，但我们提出了一种获取句子级嵌入的新方法。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法在语义嵌入的结果，并优于国家的最先进的释义生成和情感分析任务的标准数据集。这些结果也显示出统计学显著性。
2020-01-04 cs.CL cs.LG
DS4DH at #SMM4H 2023: Zero-Shot Adverse Drug Events Normalization using Sentence Transformers and Reciprocal-Rank Fusion
University of Geneva（日内瓦大学）
本研究针对SMM4H 2023共享任务5的Twitter药物不良事件归一化需求，提出BERT微调实体识别结合Sentence Transformers与倒数排名融合的零样本归一化两阶段方法，取得任务最优性能，验证了该方法的有效性与应用潜力。
2023-11-06 cs.CL
Domain-level Pairwise Semantic Interaction for Aspect-Based Sentiment Classification
基于情感的情感分类是情感分析中一个非常具有挑战性的子任务，并且存在严重的类不平衡问题。现有方法只对句子进行独立处理，没有考虑句子之间的领域级关系，无法有效解决类不平衡问题。从直观的角度来看，同一领域的句子往往具有高层次的语义联系。它们的高层语义特征之间的相互作用可以迫使模型产生更好的语义表示，更好地发现句子之间的相似性和细微差别。在这一思想的驱动下，我们提出了一个即插即用的成对语义交互（PSI）模块，该模块以成对句子为输入，通过学习两个句子的语义向量来获得交互信息。随后，生成不同的门以有效地突出每个句子的关键语义特征。最后，利用向量间的对抗性交互作用，使两个句子的语义表达更有区别。在四个ABSC数据集上的实验结果表明，在大多数情况下，PSI优于许多有竞争力的最先进的基线，可以显着缓解类不平衡的问题。
2022-02-21 cs.AI cs.CL
Local and Global Context-Based Pairwise Models for Sentence Ordering
Cognitive Applications Research Lab（认知应用研究实验室）
句子排序是指将一组句子重新排列成适当的连贯顺序的任务。对于这个任务，大多数以前的方法已经探索了全局上下文为基础的端到端的方法，使用序列生成技术。在本文中，我们提出了一套强大的本地和全球的上下文为基础的成对排序策略，利用我们的预测策略优于所有以前的作品在这一领域。我们提出的编码方法利用段落的丰富的全局上下文信息来预测成对顺序使用新的Transformer架构。对这两种解码策略的分析有助于更好地解释成对模型中的错误传播。这种方法是最准确的纯成对模型，我们的编码策略也显着提高了其他最近使用成对模型的方法的性能，包括以前的最新技术，证明了这项工作的研究新颖性和普遍性。此外，我们还展示了ALBERT的预训练任务如何帮助它显著优于BERT，尽管参数要少得多。广泛的实验结果，架构分析和消融研究表明，所提出的模型相比，以前的国家的最先进的有效性和优越性，除了提供一个更好地了解成对模型的功能。
2022-08-20 cs.AI cs.CL cs.IR
Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks
Technische Universität Darmstadt（达姆施塔特工业大学）
成对句子评分有两种方法：交叉编码器，它对输入对执行完全关注，以及双编码器，它将每个输入独立地映射到稠密向量空间。虽然交叉编码器通常可以实现更高的性能，但对于许多实际用例来说，它们太慢了。另一方面，双编码器需要大量的训练数据和对目标任务的微调以实现有竞争力的性能。我们提出了一种简单而有效的数据增强策略，称为增强SBERT，其中我们使用交叉编码器来标记更大的一组输入对，以增强双向编码器的训练数据。我们表明，在这个过程中，选择的句子对是不平凡的，关键的方法的成功。我们评估我们的方法在多个任务（在域），以及在一个领域自适应任务。与原始双编码器性能相比，增强的SBERT实现了域内高达6点的改进和领域自适应任务高达37点的改进。
2021-04-12 cs.CL
NoPPA: Non-Parametric Pairwise Attention Random Walk Model for Sentence Representation
University of Georgia（佐治亚大学）；Tufts University（塔夫茨大学）
我们提出了一种新的非参数/不可训练的语言模型，命名为非参数成对注意随机游走模型（NoPPA），生成句子嵌入只有预先训练的词嵌入和预先计数的词频。据我们所知，这项研究是第一次成功的尝试，打破了词袋假设的约束与非参数注意力机制。我们评估我们的方法对八个不同的下游分类任务。实验结果表明，NoPPA在每个数据集上都优于各种基于词袋的方法，并且平均而言，它提供了与最先进的非参数方法相当或更好的性能。此外，可视化支持NoPPA可以理解上下文主题，常见短语和单词因果关系。我们的模型可以在https://github.com/JacksonWuxs/NoPPA上找到。
2023-02-24 cs.AI cs.CL
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Attending to All Mention Pairs for Full Abstract Biological Relation Extraction
Chan Zuckerberg Initiative（陈-扎克伯格倡议）
关系抽取中的大多数工作通过查看包含单个实体对提及的单个句子内的短跨度文本来形成预测。然而，许多关系类型，特别是在生物医学文本中，是跨句子表达的，或者需要大量的上下文来消除歧义。我们提出了一个模型，同时考虑所有提及和实体对，以作出预测。我们使用高效的自注意编码器对全文摘要进行编码，并使用双仿射操作在所有提及之间形成成对预测。实体对池化聚合提及对得分以进行最终预测，同时通过在文档内执行多实例学习来减轻训练噪声。我们通过联合训练模型来预测命名实体并添加弱标记数据的额外语料库来提高模型的性能。我们证明了我们的模型的有效性，实现了最先进的生物创造性V化学疾病关系数据集的模型没有KB资源，优于使用手工制作的功能和额外的语言资源的模型的合奏。
2017-11-15 cs.CL
Enhancements in statistical spoken language translation by de-normalization of ASR results
Military University of Technology（军事技术大学）；Polish-Japanese Institute of Information Technology（波兰-日本信息技术学院）
口语翻译在日益全球化的世界中变得非常重要。用于自动语音识别（ASR）系统的机器翻译（MT）是一个具有极大兴趣的主要挑战。本研究探讨语音自动断句对于丰富语音识别输出及辅助后续语言处理的重要性。本文主要研究语音的自动断句和提高机器翻译效果。我们探讨的问题，在波兰语的自动语音识别系统所产生的transmittance确定句子的边界。我们还尝试了识别的语音样本的反向归一化。
2015-11-18 cs.CL stat.ML
Improving BERT Fine-tuning with Embedding Normalization
像BERT这样的大型预训练句子编码器开启了自然语言处理的新篇章。将预训练的BERT应用于序列分类任务（例如，句子或句子对的分类）是通过将[CLS]标记的嵌入（在最后一层中）馈送到特定于任务的分类层，然后联合地微调BERT和分类器的模型参数。在本文中，我们对几个序列分类数据集进行系统分析，以检查微调阶段之前[CLS]令牌的嵌入值，并提出有偏嵌入分布问题-即，[CLS]的嵌入值集中在几个维度上，并且是非零中心的。这种有偏嵌入在微调期间给优化过程带来了挑战，因为[CLS]嵌入的梯度可能会爆炸并导致模型性能下降。我们进一步提出了几种简单而有效的归一化方法来修改[CLS]嵌入在微调。与以往的实验结果相比，基于归一化嵌入的神经网络分类模型在多个文本分类任务上都有明显的改进，证明了该方法的有效性。
2020-02-25 cs.CL
Experiments in Extractive Summarization: Integer Linear Programming, Term/Sentence Scoring, and Title-driven Models
University of Houston（休斯顿大学）
在本文中，我们重新审视了具有挑战性的问题，无监督的单文档摘要和研究以下几个方面：基于线性规划（ILP）的算法，参数化规范化的术语和句子的分数，和标题驱动的方法摘要。我们描述了一个新的框架，NewsSumm，其中包括许多现有的和新的方法，包括ILP和标题驱动的方法总结。NewsSumm的灵活性允许无缝结合不同的算法和句子评分方案。我们的结果结合句子评分与ILP和规范化是在对比以前的工作在这个主题上，显示了更广泛的搜索最佳参数的重要性。我们还表明，新的标题驱动的减少的想法导致性能的改善，无论是无监督和监督的方法考虑。
2020-08-01 cs.CL cs.IR
Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding
Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）
数据集偏差对模型泛化能力的影响引起了人们的广泛关注。目前主流的解决方案是设计一个额外的浅层模型来预先识别有偏见的实例。然而，这种两阶段方法增加了训练过程的计算复杂性，并且在减轻偏差的同时阻碍了有效的特征信息。为了解决这个问题，我们利用表示规范化方法，旨在解开编码的句子的特征之间的相关性。我们发现它也有希望通过提供各向同性的数据分布来消除偏差问题。我们进一步提出核白化，Nystrom核近似方法，以实现更彻底的非线性虚假相关的去偏。我们的框架是端到端的，微调的时间消耗类似。实验表明，Kernel-Whitening算法在保持分布内精度的同时，显著提高了分布外数据集上的BERT性能。
2022-10-14 cs.CL cs.LG
DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing
Université de Lorraine, CNRS, Inria, LORIA（洛林大学、法国国家科学研究中心、法国国家信息与自动化技术研究院、LORIA实验室）；ISIMA, Université Clermont Auvergne（克莱蒙特奥弗涅大学ISIMA）
DATASHI提供了一个包含5000对句子的平行语料库，包含1500个经过专家标准化和非标准用户生成的句子，用于研究正字法多样性及规范化，支持NLP任务并为多模态对齐提供基础。
2026-03-23 cs.CL
A hybrid text normalization system using multi-head self-attention for mandarin
ByteDance AI-Lab（字节跳动人工智能实验室）
在本文中，我们提出了一个混合的文本规范化系统使用多头自注意。该系统结合了基于规则的模型和神经模型的优点，用于文本预处理任务。以往的中文文本规范化研究通常采用手写规则集，难以对一般情况进行改进。我们所提出的系统的想法是由最近的研究神经模型的动机，并在我们的内部新闻语料库有一个更好的性能。本文还包括不同的尝试，以处理不平衡的模式分布的数据集。总体而言，该系统的性能提高了1.5%以上的水平，它有潜力进一步提高。
2020-02-09 cs.CL
Enhancing Content Preservation in Text Style Transfer Using Reverse Attention and Conditional Layer Normalization
The Hong Kong University of Science and Technology（香港科技大学）
文本样式转换旨在改变样式（例如，一个句子，同时保持它的内容。一种常见的方法是将给定的句子映射到没有样式的内容表示，并且内容表示被馈送到具有目标样式的解码器。以往的风格过滤方法都是在token级别上完全删除具有风格的token，从而导致内容信息的丢失。在本文中，我们提出了通过隐式地去除每个标记的反向注意的样式信息来增强内容保存，从而保留内容。此外，我们在构建目标样式表示时融合了内容信息，使其相对于内容是动态的。该方法在传递样式的过程中，不仅建立了与样式无关的内容表示，而且建立了与内容相关的样式表示。实证结果表明，我们的方法优于国家的最先进的基线的内容保存方面的大幅度。此外，它在风格转移的准确性和流畅性方面也具有竞争力。
2021-08-01 cs.AI cs.CL
Map of Encoders -- Mapping Sentence Encoders using Quantum Relative Entropy
Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
本文提出利用量子相对熵构建句子编码器地图，通过可视化编码器间关系，揭示预训练模型的分布特性及性能表现。
2026-02-09 cs.CL
Scalable Multilingual Frontend for TTS
Apple（苹果公司）
本文描述了神经文本到语音（TTS）前端的进展，该前端适用于多种语言，并且可以轻松扩展到新语言。我们采用机器翻译（MT）启发的方法来构建前端，并通过构建和使用序列到序列（S2S）模型在句子级别上对文本规范化和发音进行建模。我们尝试将标准化和发音作为单独的S2S模型进行训练，并将这两种功能结合起来训练单个S2S模型。对于我们独立于语言的发音方法，我们不使用词汇。相反，所有发音，包括基于上下文的发音，都在S2S模型中捕获。我们还提出了一种独立于语言的组块和拼接技术，使我们能够处理任意长度的句子。对18种语言的模型进行了训练和评估。许多测量精度都在99%以上。我们还在当前生产系统的端到端合成背景下评估了这些模型。
2020-04-10 cs.CL
Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations
University of Cambridge（剑桥大学）；Amazon（亚马逊）
在NLP中，大量的任务涉及两个序列之间的成对比较（例如句子相似性和释义识别）。主要地，两种公式用于双编码对任务：双编码器和交叉编码器。双编码器产生固定维度的句子表示，并且计算效率高，但是，它们通常不如交叉编码器。交叉编码器可以利用他们的注意力头来利用句子间的交互来获得更好的性能，但它们需要任务微调，并且计算成本更高。在本文中，我们提出了一个完全无监督的句子表示模型，称为Trans-Encoder，它将两种学习范式结合到一个迭代的联合框架中，同时学习增强的双向和交叉编码器。具体来说，在预训练的语言模型（PLM）之上，我们首先将其转换为无监督的双向编码器，然后在双向和交叉编码器任务公式之间交替。在每个交替中，一个任务制定将产生伪标签，其用作另一任务制定的学习信号。然后，我们提出了一个扩展，进行这种自蒸馏的方法在多个PLM并行，并使用其伪标签的平均相互蒸馏。据我们所知，Trans-Encoder创建了第一个完全无监督的交叉编码器，也是最先进的无监督双编码器，用于句子相似性。Trans-Encoder的双向编码器和交叉编码器公式在句子相似度基准上都优于最近提出的最先进的无监督句子编码器，如BERN-BERT和SimCSE，最高可达5%。
2022-03-13 cs.AI cs.CL cs.LG
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文提出语义结构探测方法研究Transformer句子嵌入，发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders
Seoul National University（首尔大学）
针对大语言模型易受不安全提示诱导的问题，该研究提出Safe-Embed框架，通过新的成对数据集与CP指标探究句子编码器的安全检测能力，揭示其效用与局限并指明改进方向。
2024-07-09 cs.CL
Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts
本文评估了13个开源LLM在生物医学和多领域背景下进行成对因果发现的能力，发现现有模型在处理复杂因果关系时表现不佳，提出了统一的评估框架并公开数据以促进研究。
2026-01-21 cs.AI cs.CL
Modeling Label Correlations for Ultra-Fine Entity Typing with Neural Pairwise Conditional Random Field
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
超精细实体分类（UFET）旨在预测广泛的类型短语，正确描述句子中提到的给定实体的类别。大多数最近的作品独立地推断每个实体类型，忽略类型之间的相关性，例如，当一个实体被推断为总统时，它也应该是一个政治家和领导人。为此，我们使用一个无向图模型称为成对条件随机场（PCRF）制定的UFET问题，其中的类型变量不仅是单一的影响，输入，但也成对地涉及到所有其他类型的变量。我们使用各种现代骨干实体类型计算一元潜力，并从类型短语表示，既捕获先前的语义信息，促进加速推理派生成对的潜力。我们使用平均场变分推理对非常大的类型集进行有效的类型推断，并将其展开为神经网络模块，以实现端到端的训练。UFET上的实验表明，Neural-PCRF始终优于其骨干，成本很低，并导致与基于交叉编码器的SOTA相比具有竞争力的性能，同时速度快数千倍。我们还发现Neural- PCRF在具有较小类型集的广泛使用的细粒度实体类型化数据集上有效。我们将Neural-PCRF打包为网络模块，可以轻松插入多标签类型分类器，并在https://github.com/modelscope/adaseq/tree/master/examples/NPCRF上发布。
2022-12-03 cs.CL
Poly-encoders: Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring
Facebook AI Research（脸书人工智能研究院）
深度预训练的双向Transformers的使用已经在许多应用中导致了显著的进步（Devlin等人，2018年）。对于在序列之间进行成对比较的任务，将给定的输入与相应的标签进行匹配，有两种方法是常见的：交叉编码器对该对进行完全自注意，双编码器对该对进行单独编码。前者通常性能更好，但对于实际使用来说太慢了。在这项工作中，我们开发了一个新的Transformer架构，多编码器，学习全球，而不是令牌级的自我关注功能。我们对这三种方法进行了详细的比较，包括哪些预训练和微调策略效果最好。我们展示了我们的模型在三个现有任务上实现了最先进的结果; Poly-encoders比Cross-encoders更快，比Bi-encoders更准确;最好的结果是通过在类似于下游任务的大型数据集上进行预训练获得的。
2020-03-25 cs.AI cs.CL
Focusing on Potential Named Entities During Active Label Acquisition
Sabancı University（萨班哲大学）
针对NER任务中主动学习查询受词元类别失衡影响的问题，提出聚焦潜在正例词元的查询评估函数与数据驱动归一化方法，在多领域数据集上实现了标注成本降低且性能更优或相当的效果。
2023-06-14 cs.CL cs.IR cs.LG
Supervised Topical Key Phrase Extraction of News Stories using Crowdsourcing, Light Filtering and Co-reference Normalization
CMU（卡内基梅隆大学）；INESC-IST
快速有效的自动索引对于搜索和个性化服务至关重要。由一个或多个单词组成并代表文档主要概念的关键短语通常用于索引目的。在本文中，我们研究使用额外的语义特征和预处理步骤，以提高自动关键短语提取。这些功能包括使用信号词和自由基类别。这些功能中的一些导致结果的准确性显着提高。我们还尝试了两种形式的文档预处理，我们称之为光过滤和共指规范化。轻度过滤从文档中删除句子，这些句子被认为是其主要内容的外围。共指规范化将同一命名实体的几种书面形式统一为一种唯一的形式。我们还需要一个“黄金标准”--一组用于训练和评估的标记文档。虽然关键短语选择的主观性排除了真正的“黄金标准”，但我们使用亚马逊的Mechanical Turk服务来获得有用的近似值。我们的数据表明，性能的最大改进是由于浅语义特征，新闻类别和修辞信号（nDCG 78.47%对68.93%）。包含更深层次的语义特征（如Freebase子类别）本身并没有好处，但与预处理相结合，确实使nDCG评分略有改善。
2013-06-20 cs.CL cs.IR
Learning to detect dysarthria from raw speech
PSL Research University（PSL研究大学）；Paris Diderot University（巴黎第七大学）；Facebook A.I. Research（Facebook人工智能研究院）
传统上，语言特征的语音分类器通过选择与手头任务相关的信息，从各种手工制作的低级别特征中学习。我们探索这种选择的替代方案，通过联合学习的分类器，和特征提取。最近的语音识别研究表明，通过从波形中学习，语音识别的性能得到了提高。我们将这种方法扩展到语言分类，并提出了一个神经网络，可以学习的滤波器组，归一化因子和压缩功率的原始语音，连同其余的架构。我们将此模型应用于发音障碍检测从发音水平的音频记录。从一个强大的基于注意力的基线上，梅尔滤波器组优于标准的低级别描述符，我们表明，学习过滤器或归一化和压缩提高了10%的绝对准确度超过固定功能。我们还观察到，通过共同学习的特征提取，规范化和压缩因子与架构的OpenSmile功能的增益。这是首次尝试从原始音频中联合学习所有这些操作，用于语音分类任务。
2019-01-08 cs.CL
