Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH(DRIMCo有限责任公司);CIS, University of Munich (LMU)(慕尼黑大学计算语言学中心)
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架,使用多视图嵌入空间:(1)预训练的主题嵌入,(2)预训练的词嵌入(Glove的上下文不敏感和BERT模型的上下文敏感)联合从一个或多个来源,以提高主题质量和更好地处理多义词。在这样做时,我们首先构建相应的预训练主题池(即,TopicPool)和词嵌入(即,WordPool)。然后,我们识别一个或多个相关的源域,并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中,我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集,通过泛化(困惑)、可解释性(主题连贯性)和信息检索(IR)来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时,我们使用6个源(高资源)和5个目标(低资源)语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Discriminative Neural Sentence Modeling by Tree-Based Convolution
Software Institute, Peking University(北京大学软件研究所)
提出了一种基于树的卷积神经网络(TBCNN)的判别语句建模方法。我们的模型利用选区树或句子的依赖树。基于树的卷积过程提取句子的结构特征,并将这些特征通过最大池聚合。这种架构允许输出层和底层特征检测器之间的短传播路径,这使得能够进行有效的结构特征学习和提取。我们在两个任务上评估我们的模型:情感分析和问题分类。在这两个实验中,TBCNN的性能都优于之前的最先进的结果,包括现有的神经网络和专用的特征/规则工程。我们还努力可视化基于树的卷积过程,阐明我们的模型如何工作。
2015-06-02 cs.CL cs.LG cs.NE
Towards Neural Speaker Modeling in Multi-Party Conversation: The Task, Dataset, and Models
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);AdeptMind Research(AdeptMind研究院)
基于神经网络的对话系统正引起学术界和工业界越来越多的关注。近年来,研究人员开始意识到说话人建模在神经对话系统中的重要性,但缺乏既定的任务和数据集。在本文中,我们提出了说话人分类作为一般的说话人建模的代理任务,并收集了大量的数据,以促进在这个方向上的研究。我们进一步研究了基于时间和基于内容的说话人模型,并提出了几个混合。实验表明,说话人分类是可行的,混合模型优于单个模型。
2018-09-28 cs.CL
Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings
University of Colorado(科罗拉多大学)
本研究提出基于BERT嵌入的动态主题建模方法,应用于罗马文学语料库,发现神经模型虽定量指标略逊,但定性评估更优且对超参数不敏感,更适合历史研究。
2024-06-27 cs.CL
Are LLMs Ready for Neural-integrated Mechanistic Modeling? A Benchmark and Agentic Framework
University of Virginia(弗吉尼亚大学)
本文提出神经集成机制建模(NIMM)基准测试,评估大语言模型在三个科学领域构建神经集成机制模型的能力,并设计树引导的智能体框架 NIMMGen,通过分支级搜索和原子模型细化显著提升搜索稳定性和解质量。
2026-05-31 cs.AI cs.CL cs.LG
Neural Topic Modeling of Psychotherapy Sessions
Columbia University(哥伦比亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Massachusetts Institute of Technology(麻省理工学院)
在这项工作中,我们比较了不同的神经主题建模方法在学习的主题倾向不同的精神疾病的心理治疗会话转录解析语音录音。我们还将时间建模,把这个额外的可解释性的行动,通过解析出主题的相似性作为一个时间序列的回合级决议。我们相信这个主题模型框架可以为治疗师提供可解释的见解,以最佳地决定他或她的策略,并提高心理治疗的有效性。
2022-11-03 cs.AI cs.CL cs.HC
Improving Language Modeling using Densely Connected Recurrent Neural Networks
Ghent University(根特大学);imec(比利时微电子研究中心)
在本文中,我们将稠密连接层的新概念引入循环神经网络。我们评估我们提出的架构上的Penn Treebank语言建模任务。我们表明,与使用dropout训练的标准堆叠2层LSTM模型相比,我们可以用少六倍的参数获得类似的困惑分数(Zaremba et al. 2014)。与目前使用的跳过连接,我们表明,密集连接只有几个堆栈层与跳过连接已经产生显着的困惑减少。
2017-07-19 cs.CL
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了上下文语言模型,将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列,而没有考虑对话的交互作用。我们设计了基于递归神经网络(RNN)的上下文语言模型,专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明,该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Modeling Ideological Salience and Framing in Polarized Online Groups with Graph Neural Networks and Structured Sparsity
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
网络政治话语的日益两极分化需要自动检测和监控社交媒体中意识形态分歧的计算工具。我们引入了一种最低限度的监督方法,利用网络结构的在线论坛,特别是Reddit,检测极化的概念。我们沿着显着性和框架的维度模型极化,借鉴道德心理学的见解。我们的架构将图神经网络与结构化稀疏学习相结合,并产生概念和子reddits的表示,以捕获右翼和左翼激进化等时间意识形态动态。
2022-12-14 cs.AI cs.CL cs.SI
Neural Networks Compression for Language Modeling
Samsung R&D Institute Rus(三星俄罗斯研发中心);National Research University Higher School of Economics(国立研究型高等经济学院)
在本文中,我们考虑了几种压缩技术的语言建模问题的基础上循环神经网络(RNNs)。众所周知,传统的RNN,例如语言建模中基于LSTM的网络,具有高空间复杂度或大量推理时间的特征。这个问题对于移动应用程序尤其重要,因为在移动应用程序中,与远程服务器的持续交互是不合适的。通过使用Penn Treebank(PTB)数据集,我们比较了LSTM网络的修剪,量化,低秩因子分解,张量训练分解的模型大小和快速推理的适用性。
2017-08-20 cs.CL cs.LG cs.NE
Modeling Composite Labels for Neural Morphological Tagging
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
神经形态标注一直被认为是词性标注任务的扩展,它把每个形态标注看作一个整体标签,而忽略了其内部结构。我们建议将形态标签视为复合标签,并在神经序列标签中明确建模其内部结构。为此,我们探索了三种不同的神经架构,并将它们的性能与CRF和简单的神经多类基线进行了比较。我们在49种语言上评估了我们的模型,结果表明,将形态标签建模为形态类别值序列的神经架构在大多数语言的形态标记中的表现明显优于两个基线。
2018-10-20 cs.CL
Fine-tuning Encoders for Improved Monolingual and Zero-shot Polylingual Neural Topic Modeling
Johns Hopkins University(约翰霍普金斯大学)
神经主题模型可以用深度预训练的基于transformer的单词预测模型的学习表示来增强或替换词袋输入。使用来自多语言模型的表示的一个额外好处是,它们促进了zero-shot多语言主题建模。然而,虽然人们已经广泛观察到预训练的嵌入应该针对给定的任务进行微调,但对于主题建模等无监督任务来说,监督应该是什么样子还不清楚。因此,我们提出了几种微调编码器的方法,以改善单语和zero-shot多语言神经主题建模。我们考虑对辅助任务进行微调,构建新的主题分类任务,将主题分类目标直接集成到主题模型训练中,并继续进行预训练。我们发现,微调编码器表示的主题分类和主题分类任务直接集成到主题建模提高了主题质量,微调编码器表示的任何任务是促进跨语言迁移的最重要因素。
2021-04-11 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University(东南大学)
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络,并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的,在发现连贯的主题,但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制,我们提出了主题建模与周期一致的对抗训练(ToMCAT)及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT,以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明,我们的模型可以产生连贯和信息丰富的主题,优于一些竞争基线。
2020-09-29 cs.CL
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering(计算机科学与工程系);Ohio State University(俄亥俄州立大学)
句子对建模对于许多NLP任务至关重要,例如释义识别,语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入,并以各种方式组成语义级语义;然而,很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中,我们研究如何有效的子词级(字符和字符n-gram)表示在句子对建模。虽然众所周知,子词模型在单句输入的任务中是有效的,包括语言建模和机器翻译,但它们在句子对建模任务中没有系统地研究,其中文本之间的语义和字符串相似性很重要。我们的实验表明,没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果,并在新闻数据上获得具有竞争力的结果,用于释义识别。
2018-05-21 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
针对短文档数据稀疏导致主题建模效果不佳的问题,提出终身神经主题建模(LNTM)框架,通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘,在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Confidence Modeling for Neural Semantic Parsing
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
在这项工作中,我们专注于建立在序列到序列模型上的神经语义解析器的置信度建模。我们概述了不确定性的三个主要原因,并设计了各种指标来量化这些因素。然后,这些度量用于估计置信度分数,该置信度分数指示模型预测是否可能是正确的。除了置信度估计之外,我们还确定输入的哪些部分有助于不确定的预测,允许用户解释他们的模型,并验证或改进其输入。实验结果表明,我们的信心模型显着优于广泛使用的方法,依赖于后验概率,并提高了解释的质量相比,简单地依赖于注意力分数。
2018-05-11 cs.CL
Coherence-Aware Neural Topic Modeling
Amazon Web Services(亚马逊云科技)
主题模型的评估是基于它们描述文档的能力(即低困惑度)和产生具有连贯语义的主题的能力。在目前的主题建模中,困惑度是一个直接的优化目标。然而,由于其具有挑战性的计算,主题一致性并没有优化,并且仅在训练后进行评估。在这项工作中,在神经变分推理框架下,我们提出了将主题一致性目标纳入训练过程的方法。我们证明,这样的连贯性意识的主题模型表现出类似的困惑水平的基线模型,但实现了更高的主题连贯性。
2018-09-07 cs.CL cs.LG
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
A Fast-Converged Acoustic Modeling for Korean Speech Recognition: A Preliminary Study on Time Delay Neural Network
Sogang University(西江大学)
提出了一种基于时延神经网络(TDNN)的声学模型,实现了韩语语音识别的快速收敛声学建模。TDNN在训练数据量有限的情况下具有快速收敛的优势,这是由于排除重复权重的子采样。的TDNN表现出2.12%的字符出错率相比,前馈神经网络(FFNN)为基础的韩国语音语料库建模的绝对改善。该模型的收敛速度比基于FFNN的模型快1.67倍。
2018-07-11 cs.CL cs.SD eess.AS
Modeling Homophone Noise for Robust Neural Machine Translation
Xiaomi AI Lab(小米人工智能实验室)
在本文中,我们提出了一个强大的神经机器翻译(NMT)框架。该框架包括一个同音字噪声检测器和一个音节感知的同音字错误NMT模型。检测器识别文本句子中潜在的同音异义词错误,并将其转换为音节,形成混合序列,然后将其馈送到音节感知NMT。大量的中文->英文翻译实验表明,我们提出的方法不仅显着优于基线的噪声测试集与同音字噪声,但也取得了显着的改善干净的文本。
2020-12-15 cs.CL
BERTopic: Neural topic modeling with a class-based TF-IDF procedure
主题模型是发现文档集合中潜在主题的有用工具。最近的研究表明,方法主题建模作为聚类任务的可行性。我们提出了BERTopic,主题模型,通过开发一个基于类的TF-IDF的变化提取连贯的主题表示,扩展了这一过程。更具体地说,BERTopic生成文档嵌入与预先训练的transformer为基础的语言模型,聚类这些嵌入,最后,生成主题表示与类为基础的TF-IDF过程。BERTopic生成连贯的主题,并在各种基准测试中保持竞争力,这些基准测试涉及经典模型和那些遵循最近的主题建模聚类方法的模型。
2022-03-11 cs.CL
Modeling question asking using neural program generation
New York University(纽约大学)
人们提出的问题比当前的人工智能系统更丰富,更有信息量,更有创造力。我们提出了一个神经符号框架来建模人类提问,它将问题表示为正式程序,并使用基于编码器-解码器的深度神经网络生成程序。从使用信息搜索游戏的广泛实验中,我们表明我们的方法可以预测人类在不受约束的环境中可能会问哪些问题。我们还提出了一种新的基于语法的问题生成框架,经过强化学习训练,能够在没有监督的人类数据的情况下生成创造性的问题。
2021-05-11 cs.CL
Lexicon Learning for Few-Shot Neural Sequence Modeling
Massachusetts Institute of Technology(麻省理工学院)
序列到序列转换是语言处理应用中的核心问题,如语义解析、机器翻译和指令遵循。为这些问题提供主要解决方案的神经网络模型是脆弱的,特别是在低资源环境中:它们无法从小数据集正确或系统地泛化。过去的研究表明,许多系统概括的失败源于神经模型无法将词汇现象与句法现象分开。为了解决这个问题,我们用词汇翻译机制来增强神经解码器,该机制概括了现有的复制机制,以纳入学习的,去语境化的,令牌级的翻译规则。我们描述了如何使用各种词典学习算法来初始化这种机制,并表明它提高了从认知科学,形式语义学和机器翻译中提取的序列建模任务的系统概括。
2021-06-07 cs.CL cs.LG
Language Models not just for Pre-training: Fast Online Neural Noisy Channel Modeling
Facebook AI Research(Facebook人工智能研究院);Twitter Cortex
大量未标记数据的预训练模型已经成为提高许多NLP任务准确性的有效方法。另一方面,传统的机器翻译具有通过噪声信道建模来利用未标记数据的悠久历史。同样的想法最近被证明可以为神经机器翻译带来巨大的改进。不幸的是,使用现代序列到序列模型的原始噪声信道建模比替代方案慢一个数量级。我们通过引入有效的近似来解决这个问题,从而在提高准确度的同时,与强集成一样快地使用噪声信道方法进行推断。我们还表明,噪声通道方法可以通过在WMT罗马尼亚语-英语翻译上实现新的艺术水平来超越强大的预训练结果。
2020-11-13 cs.CL
Adaptive Input Representations for Neural Language Modeling
Facebook AI Research(脸书人工智能研究院)
我们引入了用于神经语言建模的自适应输入表示,将Grave等人(2017)的自适应softmax扩展到可变容量的输入表示。关于如何分解输入和输出层,以及是否建模单词、字符或子单词单元,有几种选择。我们进行了一个系统的比较流行的选择自我注意的架构。我们的实验表明,配备自适应嵌入的模型的训练速度是流行的字符输入CNN的两倍多,同时具有较低的参数数量。在WikiText-103基准测试中,我们实现了18.7的困惑度,与之前发布的最佳结果相比,提高了10.5的困惑度,而在十亿字基准测试中,我们实现了23.02的困惑度。
2019-02-22 cs.CL
On Tree-Based Neural Sentence Modeling
Peking University(北京大学);ByteDance(字节跳动);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
具有基于树的句子编码器的神经网络在许多下游任务上显示出更好的结果。现有的树型编码器大多采用句法分析树作为显式结构先验。为了研究不同树结构的有效性,我们用平凡树(即,二进制平衡树、左分支树和右分支树)。虽然平凡树不包含语法信息,但这些编码器在我们研究的所有十个下游任务上都获得了竞争性甚至更好的结果。这一令人惊讶的结果表明,显式语法指导可能不是基于树的神经句子建模优越性能的主要贡献者。进一步的分析表明,树模型给出了更好的结果时,关键词更接近最终表示。额外的实验提供了更多的线索,如何设计一个有效的基于树的编码器。我们的代码是开源的,可以在https://github.com/ExplorerFreda/TreeEnc上找到。
2018-08-29 cs.CL
Simple and Effective Noisy Channel Modeling for Neural Machine Translation
Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
以前的神经噪声通道建模工作依赖于潜变量模型,增量处理源和目标句子。这使得解码决策基于部分源前缀,即使完整的源是可用的。我们追求一种替代方法的基础上,利用整个源的标准序列到序列模型。这些模型作为通道模型表现得非常好,尽管它们既没有经过训练,也没有被设计为考虑不完整的目标句子。使用在数十亿单词上训练的神经语言模型进行的实验表明,在WMT'17德英翻译上,噪声通道模型的性能最高可超过直接模型3.2 BLEU。我们对四种语言对进行评估,我们的通道模型始终优于强大的替代品,如从右到左的重新排序模型和直接模型的集合。
2019-08-15 cs.CL
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University(纽约大学)
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计,一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译(En-De和En-Ro)和图像字幕生成,并观察到它显着加快解码,同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
PMI Matrix Approximations with Applications to Neural Language Modeling
Bar-Ilan University(巴伊兰大学)
word2vec中使用的负采样(NEG)目标函数是噪声对比估计(NCE)方法的简化。NEG被认为是非常有效的学习连续的单词表征。然而,与NCE不同,它被认为不适用于学习语言模型的参数。在这项研究中,我们反驳了这一论断,提供了一个原则性的推导基于NEG的语言建模,建立在一个新的分析的逐点互信息矩阵的上下文和预测的话。所获得的语言建模与NCE语言模型密切相关,但基于简化的目标函数。因此,我们提供了一个统一的制定两个主要的语言处理任务,即词嵌入和语言建模,基于NEG目标函数。在两个流行的语言建模基准测试上的实验结果显示了相当的困惑结果,NEG比NCE有一点优势。
2016-09-05 cs.CL
Coherence Modeling of Asynchronous Conversations: A Neural Entity Grid Approach
Nanyang Technological University(南洋理工大学);University of Amsterdam(阿姆斯特丹大学)
我们提出了一个新的连贯性模型的书面异步对话(例如,论坛,电子邮件),并显示其在一致性评估和线程重建任务中的应用。我们的研究分两步进行。首先,我们提出了改进最近提出的神经实体网格模型,通过词汇化其实体转换。然后,我们将底层会话结构的实体网格表示和特征计算模型扩展到异步会话。我们的模型在独白和对话中的标准连贯性评估任务上取得了最先进的结果,优于现有的模型。我们也证明了它的有效性重建线程结构。
2018-05-06 cs.CL
Modeling Language Vagueness in Privacy Policies using Deep Neural Networks
University of Central Florida(中佛罗里达大学);Manhattan College(曼哈顿学院)
网站隐私政策太长,难以阅读和理解。过于复杂的语言使得隐私声明的效果不如预期。当人们认为隐私政策模糊不清时,他们就更不愿意分享他们的个人信息。本文主要从自然语言处理的角度来研究如何解码语义。虽然彻底识别模糊术语及其语言范围仍然是一个难以捉摸的挑战,但在这项工作中,我们试图使用深度神经网络来学习隐私政策中单词的向量表示。矢量表示被馈送到交互式可视化工具(LSTMVis),以测试它们发现语法和语义相关的模糊术语的能力。该方法有望为建模和理解语言的复杂性。
2018-05-25 cs.CL
Context Reinforced Neural Topic Modeling over Short Texts
Sun Yat-sen University(中山大学);Lingnan University(岭南大学)
神经网络主题建模作为一种流行的主题挖掘工具,以其训练效率高、泛化能力强等优点引起了人们的广泛关注。然而,由于每个短文本中缺乏上下文,现有的神经主题模型可能会遭受这样的文档的特征稀疏性。为了缓解这个问题,我们提出了一个上下文增强神经主题模型(CRNTM),其特点可以概括如下。首先,通过假设每个短文本只覆盖几个突出的主题,CRNTM在一个狭窄的范围内推断每个词的主题。其次,我们的模型通过将主题视为嵌入空间中的多元高斯分布或高斯混合分布来利用预训练的词嵌入。在两个基准数据集上的实验验证了该模型在主题发现和文本分类方面的有效性。
2020-08-11 cs.CL cs.IR
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University(东南大学)
图神经网络(Graph Neural Networks,GNN)通过消息传递来捕捉图节点之间的关系,是自然语言处理领域的一个研究热点。在本文中,我们提出了图主题模型(GTM),一个基于GNN的神经主题模型,将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点,并基于文档-单词共现来连接。通过引入图结构,文档之间的关系通过它们的共享词建立,从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验,实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents
University of Michigan(密歇根大学)
句子和文档建模的目标是为各种自然语言处理任务准确地表示句子和文档的含义。在这项工作中,我们提出了依赖敏感的卷积神经网络(DSCNN)作为一个通用的分类系统的句子和文件。DSCNN通过长短期记忆网络处理预训练的词嵌入,然后用卷积算子提取特征,分层构建文本表示。与现有的树结构递归神经网络模型相比,DSCNN不依赖于解析器和昂贵的短语标记,因此不限于任务级任务。此外,与其他基于CNN的模型通过滑动窗口在本地分析句子不同,我们的系统捕获了每个句子内的依赖信息和同一文档中句子之间的关系。实验结果表明,我们的方法是实现国家的最先进的性能在几个任务,包括情感分析,问题类型分类,和主观分类。
2016-11-08 cs.CL
Multimodal neural pronunciation modeling for spoken languages with logographic origin
Institute for Infocomm Research(资讯通信研究院)
大多数语言的字形编码发音,虽然有些比其他更明确。像西班牙语这样的语言在其字素和音素之间有一个简单的映射,而这种映射对于像英语这样的语言来说更加复杂。粤语等口语在发音建模方面提出了更多的挑战:(1)它们没有标准的书面形式,(2)最接近的字形起源是语标汉字,其中只有这些语标汉字的一个子集隐式编码发音。在这项工作中,我们提出了一个多模态的方法来预测粤语语标字符的发音,使用神经网络的几何表示的语标和发音的同源词在历史上相关的语言。拟议的框架提高了18.1%和25.0%的性能,分别为单峰和多式联运基线。
2018-09-12 cs.CL
An entity-driven recursive neural network model for chinese discourse coherence modeling
Jiangxi Normal University(江西师范大学)
中文语篇连贯性建模是自然语言处理领域的一个挑战性课题,现有的方法大多集中于特征工程的需要,即采用复杂的特征来捕捉文本中句子之间的逻辑、句法或语义关系.本文在现有的英语语篇连贯性神经网络模型的基础上,提出了一个实体驱动的递归深层模型,用于中文语篇连贯性的评估.具体而言,针对现有模型不能识别句子间实体(名词)重叠的不足,将实体信息引入递归神经网络中,并通过句子排序和机器翻译连贯性评价任务验证了该模型的有效性,其性能明显优于现有的强基线.
2017-04-14 cs.CL
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在自动语音识别(ASR)中,具有不同采样率的宽带(WB)和窄带(NB)语音信号通常使用单独的声学模型。因此,混合带宽(MB)声学建模对ASR系统部署具有重要的实用价值。在本文中,我们使用1,150小时的WB数据和2,300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略,包括下采样,上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据,使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Clinical Predictive Keyboard using Statistical and Neural Language Modeling
Stockholm University(斯德哥尔摩大学)
语言模型可用于在创作期间预测下一个单词、纠正拼写或加速书写(例如,在短信或电子邮件中)。然而,语言模型仅以非常小的规模被应用以在创作期间辅助医师(例如,出院小结或放射学报告)。但是,随着对医生的帮助,基于计算机的系统,加快病人的退出也有助于减少医院感染。我们采用统计和神经语言建模来预测临床文本的下一个单词,并在两个放射学报告数据集上评估所有模型的准确性和折扣率。我们表明,神经语言模型在放射学报告中可以达到高达51.3%的准确率(正确预测两个单词中的一个)。我们还表明,即使当模型只用于频繁的话,医生可以节省宝贵的时间。
2020-06-22 cs.CL
Syntax-Aware Language Modeling with Recurrent Neural Networks
Zalando Research, Zalando SE(Zalando SE研究部)
神经语言模型(LM)通常仅使用词汇特征(诸如单词的表面形式)来训练。在本文中,我们认为这剥夺了LM的关键句法信号,可以检测到在高置信度使用现有的解析器。我们提出了一种简单但高效的方法,用于训练神经LM使用词汇和句法信息,和一种新的方法,用于应用这种LM的未解析文本使用顺序蒙特卡洛采样。在一系列语料库和语料库大小的实验中,我们表明我们的方法始终优于标准的词汇LM在字符级的语言建模;另一方面,对于单词级的模型与标准的语言模型。这些结果表明,扩展LM词汇表面功能以外的字符级模型的更高级别的NLP功能的潜力。
2018-03-02 cs.CL cs.LG
Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker(ReadSpeaker公司)
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而,这些模型通常需要大量的训练数据,这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求,但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此,在本文中,我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模,并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度,表明多语言模型可以产生与单语多说话者模型相当的自然度,并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
Importance of Search and Evaluation Strategies in Neural Dialogue Modeling
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
我们研究了搜索策略在神经对话建模中的影响。我们首先比较两个标准的搜索算法,贪婪和束搜索,以及我们新提出的迭代束搜索,产生一个更多样化的候选响应集。我们评估这些策略在现实的全面对话与人类,并提出了一个基于模型的贝叶斯校准,以解决注释者的偏见。这些对话进行了分析,使用两个自动度量:由模型和话语多样性分配的对数概率。我们的实验表明,更好的搜索算法会导致更高的评分对话。然而,找到最佳的选择机制,从更多样化的候选人中进行选择,仍然是一个悬而未决的问题。
2019-11-03 cs.CL cs.LG
Compression of Recurrent Neural Networks for Efficient Language Modeling
Samsung R&D Institute(三星研发研究所);National Research University Higher School of Economics(国家研究型高等经济大学)
循环神经网络已被证明是一种有效的统计语言建模方法。然而,在实践中,它们的内存和运行时的复杂度通常太大,无法在实时离线移动应用程序中实现。在本文中,我们考虑了几种压缩技术的循环神经网络,包括长短期记忆模型。我们特别注意的高维输出问题所造成的非常大的词汇量。我们专注于有效的压缩方法的上下文中开发的设备:修剪,量化和矩阵分解方法(低秩因式分解和张量训练分解,特别是)。对于每一个模型,我们调查其大小,适合快速推理和困惑之间的权衡。我们提出了一个通用的管道,用于应用最合适的方法来压缩用于语言建模的循环神经网络。在Penn Treebank(PTB)数据集的实验研究中已经表明,通过矩阵分解技术获得了在速度和压缩-困惑平衡方面最有效的结果。
2019-02-06 cs.CL cs.LG
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University(康奈尔大学)
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言,并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性,并表明它们是乘法递归网络的特殊情况。我们的实验表明,这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外,它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果,而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Exploring Non-Autoregressive End-To-End Neural Modeling For English Mispronunciation Detection And Diagnosis
National Taiwan Normal University(台湾师范大学);Chunghwa Telecom Laboratories(中华电信研究院);EZAI
端到端(E2 E)神经建模已经成为开发计算机辅助语言训练(CAPT)系统的一个主要思想流派,与传统的基于发音评分的方法相比表现出了竞争力。然而,目前的E2 E CAPT神经方法面临着至少两个关键的挑战。一方面,大多数E2 E方法以自回归的方式操作,具有从左到右的束搜索来指示L2学习者的发音。然而,这导致非常慢的推理速度,这不可避免地阻碍了它们的实际使用。另一方面,E2 E神经方法通常是数据贪婪的,同时非本地训练数据的量不足常常会降低它们在错误发音检测和诊断(MD&D)上的功效。作为回应,我们提出了一种新的MD&D方法,该方法利用非自回归(NAR)E2 E神经建模来显着加快推理时间,同时保持与传统E2 E神经方法一致的性能。此外,我们设计和开发了一个发音建模网络,堆叠在我们的方法的NAR E2 E模型之上,以进一步提高MD&D的有效性。在L2-ARCTIC英语数据集上进行的实证实验似乎验证了我们方法的可行性,与一些顶级的E2 E模型和基于DNN-HMM声学模型的基于图标发音评分的方法相比。
2022-02-22 cs.CL cs.MM
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
Duke University(杜克大学)
循环神经网络(RNN)在语言建模方面表现出了良好的性能。然而,使用时间反向传播的RNN的传统训练经常遭受过拟合。其中一个原因是随机优化(用于大型训练集)不能提供模型不确定性的良好估计。本文利用随机梯度马尔可夫链蒙特卡罗(也适用于大型训练集)的最新进展来学习RNN中的权重不确定性。它产生了一个原则性的贝叶斯学习算法,在训练过程中添加梯度噪声(增强对模型参数空间的探索),并在测试时对模型进行平均。在各种RNN模型和广泛的应用程序上进行的大量实验表明,所提出的方法优于随机优化。
2017-04-24 cs.CL cs.LG
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA(米拉研究所);Université de Montréal(蒙特利尔大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
层归一化是最近引入的一种技术,用于对深度神经网络中的神经元活动进行归一化,以提高训练速度和稳定性。在本文中,我们介绍了一种新的层归一化技术称为动态层归一化(DLN)的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数,DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同,我们提出的方法不需要额外的自适应数据或扬声器信息,如i向量。此外,模型大小是固定的,因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型,并在大词汇量ASR实验的两个基准数据集上进行评估:WSJ和TED-LIUM版本2。实验结果表明,我们的DLN提高了神经声学模型的转录准确性,通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
Improving Neural Language Modeling via Adversarial Training
UT Austin(德克萨斯大学奥斯汀分校)
最近,通过使用深度神经网络在语言建模方面取得了实质性进展。然而,在实践中,大规模神经语言模型已被证明是容易过拟合。在本文中,我们提出了一个简单而高效的对抗训练机制,用于正则化神经语言模型。这个想法是在训练模型的同时将对抗性噪声引入输出嵌入层。我们证明了最佳对抗性噪声产生一个简单的封闭形式的解决方案,从而使我们能够开发一个简单和时间有效的算法。理论上,我们证明了我们的对抗机制有效地鼓励了嵌入向量的多样性,有助于提高模型的鲁棒性。从经验上讲,我们的方法改进了Penn Treebank(PTB)和Wikitext-2上语言建模的单一模型最先进的结果,分别达到了46.01和38.07的测试困惑分数。当应用于机器翻译时,我们的方法在WMT 14英语-德语和IWSLT 14德语-英语任务的BLEU分数中改善了各种基于transformer的翻译基线。
2019-09-09 cs.CL cs.LG stat.ML
Do Neural Topic Models Really Need Dropout? Analysis of the Effect of Dropout in Topic Modeling
Indian Association for the Cultivation of Science(印度科学培养协会)
Dropout是一种广泛使用的正则化技巧,用于解决在小数据集上训练的大型前馈神经网络中的过拟合问题,该数据集在保留的测试子集上表现不佳。虽然这种正则化技巧的有效性已经在卷积神经网络中得到了广泛的研究,但缺乏对无监督模型的分析,特别是基于VAE的神经主题模型。在本文中,我们已经分析了辍学的后果,在编码器中,以及在解码器的VAE架构中的三个广泛使用的神经主题模型,即上下文主题模型(CTM),EMLDA,和嵌入式主题模型(ETM)使用四个公开可用的数据集。我们的特征辍学的影响,这些模型的质量和预测性能的生成的主题。
2023-03-28 cs.CL cs.LG
Deeper Text Understanding for IR with Contextual Neural Language Modeling
Carnegie Mellon University(卡内基梅隆大学)
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询-文档相关模式方面取得了可喜的成果,但在理解查询或文档的文本内容方面却鲜有研究。本文研究了利用最近提出的上下文神经语言模型BERT来为信息检索提供更深层次的文本理解。实验结果表明,BERT的上下文文本表示比传统的词嵌入更有效。与词袋检索模型相比,上下文语言模型可以更好地利用语言结构,对用自然语言编写的查询带来很大的改进。将文本理解能力与搜索知识相结合导致增强的预训练BERT模型,其可以在训练数据有限的情况下有益于相关搜索任务。
2019-05-22 cs.CL cs.IR
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University(哈佛大学)
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近,深度生成模型的进步,特别是自动编码变分贝叶斯(AEVB),导致了无监督神经主题模型的引入,该模型利用了深度生成模型,而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型(LI-NTM)来扩展这些神经主题模型,据我们所知,这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型,在低标记数据制度和具有信息标签的数据集中效果最显着;此外,我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG