Neural Language Modeling by Jointly Learning Syntax and Lexicon
Department of Computer Science and Operations Research(计算机科学与运筹学系);Université de Montréal(蒙特利尔大学)
我们提出了一个神经语言模型能够无监督的句法结构归纳。该模型利用结构信息来形成更好的语义表示和更好的语言建模。标准的递归神经网络受到其结构的限制,无法有效地使用语法信息。另一方面,树结构递归网络通常需要额外的结构监督,代价是人类专家注释。在本文中,我们提出了一种新的神经语言模型,称为解析-阅读-预测网络(PRPN),它可以同时从未注释的句子中推断出句法结构,并利用推断出的结构来学习更好的语言模型。在我们的模型中,梯度可以直接从语言模型损失反向传播到神经解析网络。实验结果表明,该模型能够发现潜在的句法结构,并在单词/字符级语言模型任务上取得了最好的性能。
2018-02-19 cs.AI cs.CL
Better Character Language Modeling Through Morphology
University of Washington(华盛顿大学);Facebook AI Research(Facebook人工智能研究院)
我们将形态监督字符语言模型(CLMs)通过多任务处理,并表明,这除了提高每字符位数(BPC)的性能在24种语言,即使当形态数据和语言建模数据是不相交的。分析CLM表明,变形的单词比未变形的单词更受益于显式建模形态,并且即使语言建模数据量增加,形态监督也会提高性能。然后,我们转移形态监督跨语言,以提高语言建模性能的低资源设置。
2019-06-12 cs.CL
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH(DRIMCo有限责任公司);CIS, University of Munich (LMU)(慕尼黑大学计算语言学中心)
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架,使用多视图嵌入空间:(1)预训练的主题嵌入,(2)预训练的词嵌入(Glove的上下文不敏感和BERT模型的上下文敏感)联合从一个或多个来源,以提高主题质量和更好地处理多义词。在这样做时,我们首先构建相应的预训练主题池(即,TopicPool)和词嵌入(即,WordPool)。然后,我们识别一个或多个相关的源域,并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中,我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集,通过泛化(困惑)、可解释性(主题连贯性)和信息检索(IR)来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时,我们使用6个源(高资源)和5个目标(低资源)语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
An Analysis of Neural Language Modeling at Multiple Scales
Salesforce Research(Salesforce研究院)
语言建模中的许多主要方法都引入了新颖、复杂和专门的架构。我们采用现有的基于LSTM和QRNN的最先进的单词级语言模型,并将其扩展到更大的词汇表和字符级粒度。当适当调整时,LSTM和QRNN分别在字符级(Penn Treebank,enwik 8)和单词级(WikiText-103)数据集上实现了最先进的结果。使用单个现代GPU,只需12小时(WikiText-103)到2天(enwik 8)即可获得结果。
2018-03-22 cs.AI cs.CL cs.NE
Paradigm Shift in Language Modeling: Revisiting CNN for Modeling Sanskrit Originated Bengali and Hindi Language
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学)
虽然最近有大量的工作在语言建模(LM)的高资源语言,如英语和中文,该领域仍然是未开发的低资源语言,如孟加拉语和印地语。我们提出了一个端到端的可训练记忆高效的CNN架构命名为CoCNN处理特定的特点,如高拐点,形态丰富,灵活的词序和拼音拼写错误的孟加拉语和印地语。特别是,我们在单词和句子级别引入了两个可学习的卷积子模型,它们是端到端可训练的。我们表明,最先进的(SOTA)Transformer模型,包括预训练的BERT不一定会产生孟加拉语和印地语的最佳性能。CoCNN的性能优于预训练的BERT,参数减少了16倍,并且在多个真实世界数据集上实现了比SOTA LSTM模型更好的性能。这是第一次研究从三种深度学习范式中提取的不同架构的有效性-卷积,递归和Transformer神经网络用于建模两种广泛使用的语言,孟加拉语和印地语。
2021-11-05 cs.CL
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果,发现其错误覆盖音系到句法层,并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
PMI Matrix Approximations with Applications to Neural Language Modeling
Bar-Ilan University(巴伊兰大学)
word2vec中使用的负采样(NEG)目标函数是噪声对比估计(NCE)方法的简化。NEG被认为是非常有效的学习连续的单词表征。然而,与NCE不同,它被认为不适用于学习语言模型的参数。在这项研究中,我们反驳了这一论断,提供了一个原则性的推导基于NEG的语言建模,建立在一个新的分析的逐点互信息矩阵的上下文和预测的话。所获得的语言建模与NCE语言模型密切相关,但基于简化的目标函数。因此,我们提供了一个统一的制定两个主要的语言处理任务,即词嵌入和语言建模,基于NEG目标函数。在两个流行的语言建模基准测试上的实验结果显示了相当的困惑结果,NEG比NCE有一点优势。
2016-09-05 cs.CL
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
Utrecht University(乌特勒支大学);Lund University(吕勒奥大学);Royal Netherlands Academy of Arts and Sciences(荷兰艺术与科学皇家学院)
本文提出基于记忆的语言建模作为深度神经网络语言模型的环保高效替代方案,通过快速近似k近邻分类实现对数线性扩展的预测性能,并在CPU上以低延迟运行,与GPT-2和GPT-Neo对比验证其准确率、排放和速度优势。
2025-10-25 cs.CL
DIRECTOR: Generator-Classifiers For Supervised Language Modeling
McGill University(麦吉尔大学);Mila(米拉研究所);Meta AI
当前的语言模型实现了低复杂度,但其产生的代仍然遭受有毒反应,重复性和矛盾。标准语言建模设置无法解决这些问题。在本文中,我们介绍了一个新的架构,{ \sc导演},它包括一个统一的生成器分类器的语言建模和分类头为每个输出令牌。训练是使用标准语言建模数据和标记有期望和不期望序列的数据联合进行的。在几种设置下的实验表明,与标准语言模型相比,该模型具有竞争力的训练和解码速度,同时产生优异的结果,在保持生成质量的同时减轻了已知问题。它在准确性和效率方面也优于现有的模型指导方法。
2022-11-25 cs.CL
Towards Neural Speaker Modeling in Multi-Party Conversation: The Task, Dataset, and Models
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);AdeptMind Research(AdeptMind研究院)
基于神经网络的对话系统正引起学术界和工业界越来越多的关注。近年来,研究人员开始意识到说话人建模在神经对话系统中的重要性,但缺乏既定的任务和数据集。在本文中,我们提出了说话人分类作为一般的说话人建模的代理任务,并收集了大量的数据,以促进在这个方向上的研究。我们进一步研究了基于时间和基于内容的说话人模型,并提出了几个混合。实验表明,说话人分类是可行的,混合模型优于单个模型。
2018-09-28 cs.CL
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文从元学习视角解析了Transformer在因果语言建模中的训练过程,通过阐明其内部优化机制,发现并理论分析了学习到的token表示范数的特殊特征,且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了上下文语言模型,将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列,而没有考虑对话的交互作用。我们设计了基于递归神经网络(RNN)的上下文语言模型,专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明,该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Language Modeling for Code-Switching: Evaluation, Integration of Monolingual Data, and Discriminative Training
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文主要研究自动语音识别(ASR)背景下的语码转换语言建模问题。代码转换语言的语言建模具有挑战性,原因(至少)有三个:(1)缺乏可用于训练的大规模代码转换数据;(2)缺乏ASR指导的可复制评估设置,但将语言建模性能与ASR系统的其他复杂性隔离开来;以及(3)依赖生成建模。我们解决这三个问题:我们提出了一个ASR动机的评估设置,这是解耦的ASR系统和词汇的选择,并提供了一个评估数据集的英语-西班牙语码切换。这种设置适合于一种判别式训练方法,我们证明这种方法比生成语言建模更好。最后,我们探索了各种训练协议,并验证了使用大量单语数据进行训练,然后使用少量代码转换数据进行微调的有效性,无论是对于生成性还是区分性情况。
2019-11-10 cs.CL
Decoupled Context Processing for Context Augmented Language Modeling
Google Research(谷歌研究院)
语言模型可以用上下文检索器来扩充,以合并来自大型外部数据库的知识。通过利用检索到的上下文,神经网络不必在其内部参数中记住大量的世界知识,从而导致更好的参数效率、可解释性和模块性。在本文中,我们研究了一个简单而有效的架构,将外部环境到语言模型的基础上解耦的编码器解码器架构。我们表明,这样一个简单的架构实现竞争力的结果,自回归语言建模和开放域问答任务。我们还分析了所提出的模型进行接地上下文转移的行为。最后,我们讨论了这种检索增强模型的计算含义。
2022-10-11 cs.AI cs.CL cs.IR
The Sociolinguistic Foundations of Language Modeling
University of Birmingham(伯明翰大学)
该研究从社会语言学视角出发,提出大语言模型本质是语言变体模型,给出语言变体的技术定义,探讨其对解决语言建模五大挑战的作用,强调构建适配语言变体的训练语料对提升模型性能与社会价值的关键意义。
2024-07-12 cs.CL
Historia Magistra Vitae: Dynamic Topic Modeling of Roman Literature using Neural Embeddings
University of Colorado(科罗拉多大学)
本研究提出基于BERT嵌入的动态主题建模方法,应用于罗马文学语料库,发现神经模型虽定量指标略逊,但定性评估更优且对超参数不敏感,更适合历史研究。
2024-06-27 cs.CL
A Study of Privacy-preserving Language Modeling Approaches
Paderborn University(帕德博恩大学)
本文系统梳理了隐私保护语言建模方法,分析其优势与局限,为降低语言模型隐私风险提供见解并指明未来研究方向。
2025-08-21 cs.CL
Morphological Typology in BPE Subword Productivity and Language Modeling
University of California, Berkeley(加州大学伯克利分校)
本研究探究形态类型学对BPE分词及语言建模的影响,发现屈折型语言的BPE子词规律性与能产性更强,建模效果更优,且语言学的类型连续体在实验中有所体现,揭示了形态类型学与BPE分词效率的相关性。
2024-10-31 cs.CL
A conclusive remark on linguistic theorizing and language modeling
NeTS-IUSS Pavia(帕维亚高等研究院NeTS(网络与复杂系统)研究中心)
本文对语言理论化与语言建模的讨论进行了结论性评论,总结了相关回应和观点。
2025-06-03 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Improving Language Modeling using Densely Connected Recurrent Neural Networks
Ghent University(根特大学);imec(比利时微电子研究中心)
在本文中,我们将稠密连接层的新概念引入循环神经网络。我们评估我们提出的架构上的Penn Treebank语言建模任务。我们表明,与使用dropout训练的标准堆叠2层LSTM模型相比,我们可以用少六倍的参数获得类似的困惑分数(Zaremba et al. 2014)。与目前使用的跳过连接,我们表明,密集连接只有几个堆栈层与跳过连接已经产生显着的困惑减少。
2017-07-19 cs.CL
Modeling Composite Labels for Neural Morphological Tagging
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
神经形态标注一直被认为是词性标注任务的扩展,它把每个形态标注看作一个整体标签,而忽略了其内部结构。我们建议将形态标签视为复合标签,并在神经序列标签中明确建模其内部结构。为此,我们探索了三种不同的神经架构,并将它们的性能与CRF和简单的神经多类基线进行了比较。我们在49种语言上评估了我们的模型,结果表明,将形态标签建模为形态类别值序列的神经架构在大多数语言的形态标记中的表现明显优于两个基线。
2018-10-20 cs.CL
Pyramidal Recurrent Unit for Language Modeling
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
LSTM是建模上下文信息的强大工具,正如它们在语言建模任务中的成功所证明的那样。然而,在非常高维的空间中建模上下文可能导致较差的可推广性。我们引入了金字塔递归单元(PRU),它可以在高维空间中学习表示,具有更强的泛化能力和更少的参数。PRU用更复杂的交互(包括金字塔和分组线性变换)取代LSTM中的线性变换。这种架构在词级语言建模上给出了强有力的结果,同时显著减少了参数的数量。特别是,PRU将最近最先进的语言模型Merity et al.(2018)的困惑度提高了1.3个点,同时学习的参数减少了15-20%。对于类似数量的模型参数,PRU优于所有以前的RNN模型,这些模型利用不同的门控机制和转换。我们提供了一个详细的检查PRU及其行为的语言建模任务。我们的代码是开源的,可在https://sacmehta.github.io/PRU/上获得
2018-08-27 cs.CL
Fine-tuning Encoders for Improved Monolingual and Zero-shot Polylingual Neural Topic Modeling
Johns Hopkins University(约翰霍普金斯大学)
神经主题模型可以用深度预训练的基于transformer的单词预测模型的学习表示来增强或替换词袋输入。使用来自多语言模型的表示的一个额外好处是,它们促进了zero-shot多语言主题建模。然而,虽然人们已经广泛观察到预训练的嵌入应该针对给定的任务进行微调,但对于主题建模等无监督任务来说,监督应该是什么样子还不清楚。因此,我们提出了几种微调编码器的方法,以改善单语和zero-shot多语言神经主题建模。我们考虑对辅助任务进行微调,构建新的主题分类任务,将主题分类目标直接集成到主题模型训练中,并继续进行预训练。我们发现,微调编码器表示的主题分类和主题分类任务直接集成到主题建模提高了主题质量,微调编码器表示的任何任务是促进跨语言迁移的最重要因素。
2021-04-11 cs.CL
Bilingual Language Modeling, A transfer learning technique for Roman Urdu
NUCES (FAST)(NUCES(FAST))
预训练的语言模型现在广泛用于自然语言处理。尽管它们取得了成功,但将它们应用于低资源语言仍然是一个巨大的挑战。虽然多语言模型有很大的希望,但将它们应用于特定的低资源语言(如罗马乌尔都语)可能会过度。在本文中,我们展示了如何代码转换属性的语言可以用来执行跨语言迁移学习从相应的高资源语言。我们还展示了这种称为双语语言建模的迁移学习技术如何用于为罗马乌尔都语生成性能更好的模型。为了使培训和实验,我们还提出了一个收集的小说语料库罗马乌尔都语提取各种来源和社交网站,如Twitter。我们训练了罗马乌尔都语的单语、多语和双语模型--在掩蔽语言建模(MLM)任务中,与单语和多语模型的2%和11%相比,所提出的双语模型实现了23%的准确率。
2021-02-22 cs.CL
Code-Switching Language Modeling using Syntax-Aware Multi-Task Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
文本数据的缺乏一直是语码转换语言建模的主要问题。本文介绍了基于多任务学习的语言模型,它共享语言的语法表示,以充分利用语言信息,并解决低资源数据的问题。我们的模型联合学习代码转换话语的语言建模和词性标记。通过这种方式,该模型能够识别代码转换点的位置,并提高下一个词的预测。我们的方法优于基于标准LSTM的语言模型,在SEAME Phase I和Phase II数据集上的困惑度分别提高了9.7%和7.4%。
2018-10-04 cs.CL
VoxML: A Visualization Modeling Language
Brandeis University(布兰迪斯大学)
我们提出了一个建模语言,VoxML,它编码的语义知识的真实世界的对象表示为三维模型,和事件和属性相关,并制定了这些对象的规范。VoxML的目的是克服现有的三维可视化置标语言的限制,允许编码的语义知识,可以利用各种系统和平台,导致多模态模拟的真实世界的情况下使用的概念对象,代表他们的语义值。
2016-10-05 cs.CL
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University(东南大学)
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络,并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的,在发现连贯的主题,但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制,我们提出了主题建模与周期一致的对抗训练(ToMCAT)及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT,以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明,我们的模型可以产生连贯和信息丰富的主题,优于一些竞争基线。
2020-09-29 cs.CL
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford(牛津大学);DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一:新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案,因为它们可以创建在训练语料库中未被证明的词类型,但它们没有捕获这些词的“突发”分布。在本文中,我们增强了一个分层LSTM语言模型,该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型,我们构建了一个新的开放式词汇语言建模语料库(多语言维基百科语料库,MWC),从可比的维基百科文章在7种不同的语言类型,并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
Neural Associative Memory for Dual-Sequence Modeling
DFKI(德国人工智能研究中心)
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中,我们提出了一种新的架构,双序列建模,是基于联想记忆。我们推导出AM-RNN,一种增强通用递归神经网络(RNN)的递归联想记忆(AM)。这种架构被扩展到双AM-RNN,它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明,使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而,自动编码的初步实验表明,当学习解决序列到序列任务时,系统没有利用这些好处,这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages
University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究通过预训练超过10,000个模型覆盖250多种语言,发现适度添加多语言数据可提升低资源语言建模性能(相当于数据增加33%),但高资源语言性能下降,且数据过多时因模型容量限制产生“多语言诅咒”,表明针对性模型更优。
2023-11-15 cs.CL
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University(东北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kunming University of Science and Technology(昆明理工大学);NiuTrans Research(牛翻译研究院)
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战,提出基于n-gram构建的单元语言,结合多任务学习与任务提示建模指导语音建模,在Voxpupil数据集上实现显著提升,性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
Self-Normalization Properties of Language Modeling
自规范化判别模型近似于类的规范化概率,而无需计算分区函数。在语言建模的上下文中,这个属性特别有吸引力,因为它可以显著减少由于大单词词汇表而导致的运行时间。在这项研究中,我们提供了一个全面的调查语言建模自我规范化。首先,我们从理论上分析了噪声对比估计(NCE)语言模型固有的自归一化特性。然后,我们将它们与基于softmax的方法进行了经验比较,这些方法使用显式正则化进行自归一化,并提出了一种具有令人信服的特性的混合模型。最后,我们发现了一个令人惊讶的自我规范化和困惑之间的负相关性,以及一些规律性的观察到的错误,这可能是潜在的用于改善自我规范化算法在未来。
2018-06-04 cs.CL
DaG LLM ver 1.0: Pioneering Instruction-Tuned Language Modeling for Korean NLP
Seoul National University(首尔大学)
本文提出了专为韩语设计的DaG LLM,通过在13个类别的41个任务上进行指令微调,展现了其在韩语NLP领域的开创性应用。
2023-11-23 cs.CL
Large Language Models Empowered Agent-based Modeling and Simulation: A Survey and Perspectives
Tsinghua University(清华大学)
该综述梳理了大语言模型赋能的基于智能体的建模与仿真的研究背景、应用动因、核心挑战、多场景研究进展及未来方向,覆盖赛博、物理、社会、混合四大领域。
2023-12-19 cs.AI cs.CL cs.CY
Neural Topic Modeling of Psychotherapy Sessions
Columbia University(哥伦比亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Massachusetts Institute of Technology(麻省理工学院)
在这项工作中,我们比较了不同的神经主题建模方法在学习的主题倾向不同的精神疾病的心理治疗会话转录解析语音录音。我们还将时间建模,把这个额外的可解释性的行动,通过解析出主题的相似性作为一个时间序列的回合级决议。我们相信这个主题模型框架可以为治疗师提供可解释的见解,以最佳地决定他或她的策略,并提高心理治疗的有效性。
2022-11-03 cs.AI cs.CL cs.HC
Human Language Modeling
Stony Brook University(石溪大学)
针对传统语言建模未考虑人类状态影响的问题,提出分层的人类语言建模框架HuLM及大规模Transformer模型HaRT,经约10万社交媒体用户预训练,在语言建模和4项下游任务上达或超SOTA。
2022-05-10 cs.CL cs.LG
Character-based Neural Networks for Sentence Pair Modeling
Department of Computer Science and Engineering(计算机科学与工程系);Ohio State University(俄亥俄州立大学)
句子对建模对于许多NLP任务至关重要,例如释义识别,语义文本相似性和自然语言推理。这些任务的大多数最先进的神经模型都依赖于预训练的词嵌入,并以各种方式组成语义级语义;然而,很少有工作试图验证我们是否真的需要在这些任务中预训练的嵌入。在本文中,我们研究如何有效的子词级(字符和字符n-gram)表示在句子对建模。虽然众所周知,子词模型在单句输入的任务中是有效的,包括语言建模和机器翻译,但它们在句子对建模任务中没有系统地研究,其中文本之间的语义和字符串相似性很重要。我们的实验表明,没有任何预训练的词嵌入的子词模型可以在两个社交媒体数据集上获得新的最先进的结果,并在新闻数据上获得具有竞争力的结果,用于释义识别。
2018-05-21 cs.CL
A Survey of Neural Networks and Formal Languages
Dartmouth College(达特茅斯学院)
本报告是对各种最先进的神经网络架构和形式语言之间关系的调查,例如,由Chomsky语言层次结构构成。特别感兴趣的是神经架构通过从语言样本学习来表示、识别和生成特定语言的单词的能力。
2020-06-02 cs.CL
A Cognitive Regularizer for Language Modeling
Google AI Language(谷歌AI语言部门);ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
统一信息密度(UID)假设认为说话者的最佳行为倾向于在语言信号中均匀分布信息,作为对某些句法,形态和韵律选择的解释,在心理语言学中获得了广泛的关注。在这项工作中,我们将探讨UID假设是否可以操作为统计语言建模的归纳偏见。具体来说,我们增加了规范的MLE目标,用于训练语言模型与正则化编码UID。在跨越五个语言家族的十种语言的实验中,我们发现使用UID正则化一致地改善了语言模型的困惑,当训练数据有限时,效果更大。此外,通过对生成的序列的分析,我们发现UID正则化的语言模型具有其他期望的属性,例如,它们生成的文本在词汇上更加多样化。我们的研究结果不仅表明,UID是一个合理的归纳偏见的语言建模,但也提供了一个替代验证UID假设使用现代NLP工具。
2021-06-10 cs.CL
Confidence Modeling for Neural Semantic Parsing
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
在这项工作中,我们专注于建立在序列到序列模型上的神经语义解析器的置信度建模。我们概述了不确定性的三个主要原因,并设计了各种指标来量化这些因素。然后,这些度量用于估计置信度分数,该置信度分数指示模型预测是否可能是正确的。除了置信度估计之外,我们还确定输入的哪些部分有助于不确定的预测,允许用户解释他们的模型,并验证或改进其输入。实验结果表明,我们的信心模型显着优于广泛使用的方法,依赖于后验概率,并提高了解释的质量相比,简单地依赖于注意力分数。
2018-05-11 cs.CL
Are discrete units necessary for Spoken Language Modeling?
Meta;Inria(法国国家信息与自动化研究所);EHESS(法国高等社会科学研究院);ENS-PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心)
最近的口语建模工作表明,在没有任何文本标签的情况下,可以从原始音频中无监督地学习语言。该方法首先依赖于将音频转换成离散单元(或伪文本)的序列,然后直接在这样的伪文本上训练语言模型。这样的离散瓶颈是必要的,潜在地在语音信号的编码中引入不可逆的错误,或者我们可以学习根本没有离散单元的语言模型吗?在这项工作中,我们研究的作用,离散与连续表示在口语建模。我们表明,离散化确实是必不可少的口语建模的良好效果。我们表明,离散化从连续特征中删除了语言上不相关的信息,有助于提高语言建模性能。在这项研究的基础上,我们训练一个语言模型的离散单元的HuBERT功能,达到新的最先进的结果在词汇,句法和语义指标的零资源语音挑战2021年(轨道1-仅语音)。
2022-08-22 cs.CL cs.LG
emLam -- a Hungarian Language Modeling baseline
Institute for Computer Science and Control Hungarian Academy of Sciences(匈牙利科学院计算机科学与控制研究所)
本文旨在弥补匈牙利语言建模缺乏文档化基线的问题。各种方法进行了评估三个公开的匈牙利语料库。困惑值类似大小的英语语料库模型的报告。一个新的,免费下载的匈牙利基准语料库介绍。
2017-01-26 cs.CL
Probabilistic top-down parsing and language modeling
本文描述了一个广泛覆盖的概率自顶向下分析器的功能,以及它在语音识别语言建模问题中的应用。本文首先介绍了语言建模和概率分析的关键概念,并简要回顾了一些以前的方法,使用语法结构的语言建模。一个词汇化的概率自上而下的解析器,它表现得非常好,在返回的解析的准确性和效率,他们发现,相对于最好的广泛覆盖的统计解析器。一个新的语言模型,它利用概率自顶向下的分析,然后概述,和实证结果表明,它改善了以前的工作在测试语料库的困惑。插值与三元模型产生一个特殊的改善相对于其他模型观察到的改善,展示了我们的解析模型捕获的信息是正交的三元模型捕获的程度。一个小型的识别实验也证明了该模型的实用性。
2001-05-08 cs.CL
The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection
University of Oslo(奥斯陆大学)
本文研究了将事实知识注入到大型预训练语言模型中的问题。我们训练适配器模块上的部分ConceptNet知识图谱使用掩蔽语言建模目标和评估的成功的方法进行了一系列的探测实验上的LAMA探针。不同配置的平均P@K曲线表明,该技术是有效的,增加性能的LAMA探针的子集为大值的k,通过添加少至2.1%的额外参数,以原始模型。
2022-10-03 cs.CL
A Compositional Approach to Language Modeling
University of Florida(佛罗里达大学)
传统的语言模型把语言看作是词上概率空间上的有限状态自动机。这是一个非常强的假设,当建模的东西本身就很复杂,如语言。在本文中,我们挑战这一点,通过展示如何在以前的工作中固有的线性链假设可以转化为一个顺序组成树。然后,我们提出了一个新的模型,边缘化所有可能的组合树,从而消除任何潜在的结构假设。由于这种新模型的划分函数是棘手的,我们使用最近提出的句子级评价度量对比熵来评估我们的模型。考虑到这个新的评估指标,我们报告了超过100%的改善失真水平,超过目前最先进的基于递归神经网络的语言模型。
2016-04-01 cs.CL
Neural Discourse Modeling of Conversations
Voise Inc(Voise 公司)
深度神经网络最近在许多与语言相关的任务中表现出了希望,例如对话建模。我们扩展了基于RNN的序列到序列模型,以捕获跨多轮对话的长距离话语。我们进行了敏感性分析有多少额外的上下文影响性能,并提供定量和定性的证据表明,这些模型能够捕捉跨多个话语的话语关系。我们的研究结果量化了添加额外的RNN层来建模话语如何提高输出话语的质量,并提供更多的先前对话作为输入也提高了性能。通过搜索特定的话语标记生成的输出,我们展示了神经话语模型如何在对话中表现出增强的连贯性和凝聚力。
2016-07-15 cs.CL cs.NE
Multimodal neural pronunciation modeling for spoken languages with logographic origin
Institute for Infocomm Research(资讯通信研究院)
大多数语言的字形编码发音,虽然有些比其他更明确。像西班牙语这样的语言在其字素和音素之间有一个简单的映射,而这种映射对于像英语这样的语言来说更加复杂。粤语等口语在发音建模方面提出了更多的挑战:(1)它们没有标准的书面形式,(2)最接近的字形起源是语标汉字,其中只有这些语标汉字的一个子集隐式编码发音。在这项工作中,我们提出了一个多模态的方法来预测粤语语标字符的发音,使用神经网络的几何表示的语标和发音的同源词在历史上相关的语言。拟议的框架提高了18.1%和25.0%的性能,分别为单峰和多式联运基线。
2018-09-12 cs.CL
Modeling Homophone Noise for Robust Neural Machine Translation
Xiaomi AI Lab(小米人工智能实验室)
在本文中,我们提出了一个强大的神经机器翻译(NMT)框架。该框架包括一个同音字噪声检测器和一个音节感知的同音字错误NMT模型。检测器识别文本句子中潜在的同音异义词错误,并将其转换为音节,形成混合序列,然后将其馈送到音节感知NMT。大量的中文->英文翻译实验表明,我们提出的方法不仅显着优于基线的噪声测试集与同音字噪声,但也取得了显着的改善干净的文本。
2020-12-15 cs.CL
BERTopic: Neural topic modeling with a class-based TF-IDF procedure
主题模型是发现文档集合中潜在主题的有用工具。最近的研究表明,方法主题建模作为聚类任务的可行性。我们提出了BERTopic,主题模型,通过开发一个基于类的TF-IDF的变化提取连贯的主题表示,扩展了这一过程。更具体地说,BERTopic生成文档嵌入与预先训练的transformer为基础的语言模型,聚类这些嵌入,最后,生成主题表示与类为基础的TF-IDF过程。BERTopic生成连贯的主题,并在各种基准测试中保持竞争力,这些基准测试涉及经典模型和那些遵循最近的主题建模聚类方法的模型。
2022-03-11 cs.CL
Modeling the Graphotactics of Low-Resource Languages Using Sequential GANs
Haverford College(哈弗福德学院);University of Pennsylvania(宾夕法尼亚大学)
生成对抗网络(GANs)已被证明有助于在难以获得大量真实数据的情况下创建人工数据。这个问题在计算语言学领域尤为突出,研究人员经常被要求对低资源语言的复杂形态和语法过程进行建模。本文将讨论一个GAN的实现和测试,该GAN试图仅使用100个示例字符串来建模和再现语言的图形策略。这些人工的,但符合图形学的字符串是为了帮助建模低资源语言的形态变化。
2022-10-26 cs.CL cs.LG