Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了上下文语言模型,将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列,而没有考虑对话的交互作用。我们设计了基于递归神经网络(RNN)的上下文语言模型,专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明,该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Language Modeling for Code-Switching: Evaluation, Integration of Monolingual Data, and Discriminative Training
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文主要研究自动语音识别(ASR)背景下的语码转换语言建模问题。代码转换语言的语言建模具有挑战性,原因(至少)有三个:(1)缺乏可用于训练的大规模代码转换数据;(2)缺乏ASR指导的可复制评估设置,但将语言建模性能与ASR系统的其他复杂性隔离开来;以及(3)依赖生成建模。我们解决这三个问题:我们提出了一个ASR动机的评估设置,这是解耦的ASR系统和词汇的选择,并提供了一个评估数据集的英语-西班牙语码切换。这种设置适合于一种判别式训练方法,我们证明这种方法比生成语言建模更好。最后,我们探索了各种训练协议,并验证了使用大量单语数据进行训练,然后使用少量代码转换数据进行微调的有效性,无论是对于生成性还是区分性情况。
2019-11-10 cs.CL
The Sociolinguistic Foundations of Language Modeling
University of Birmingham(伯明翰大学)
该研究从社会语言学视角出发,提出大语言模型本质是语言变体模型,给出语言变体的技术定义,探讨其对解决语言建模五大挑战的作用,强调构建适配语言变体的训练语料对提升模型性能与社会价值的关键意义。
2024-07-12 cs.CL
Towards Interactive Language Modeling
University of Amsterdam(阿姆斯特丹大学);Meta AI Labs(Meta人工智能实验室)
照顾者和儿童之间的互动在人类语言习得和发展中起着至关重要的作用。鉴于这一观察结果,显式交互在人工语言建模中几乎没有作用是值得注意的-这也是针对人类语言的习得,但通过人工模型。此外,语言建模的交互式方法有可能使语言模型变得更加通用,并对下游应用产生相当大的影响。出于这些考虑,我们开拓了交互式语言建模的空间。作为第一个贡献,我们提出了一个路线图,我们在其中详细说明了需要采取的步骤,以实现交互式语言建模。然后,我们以身作则,在这一路线图上迈出第一步,展示我们方法的初步可行性。因此,这项工作旨在成为交互式语言建模更大研究议程的开始。
2022-09-28 cs.AI cs.CL
A Study of Privacy-preserving Language Modeling Approaches
Paderborn University(帕德博恩大学)
本文系统梳理了隐私保护语言建模方法,分析其优势与局限,为降低语言模型隐私风险提供见解并指明未来研究方向。
2025-08-21 cs.CL
Morphological Typology in BPE Subword Productivity and Language Modeling
University of California, Berkeley(加州大学伯克利分校)
本研究探究形态类型学对BPE分词及语言建模的影响,发现屈折型语言的BPE子词规律性与能产性更强,建模效果更优,且语言学的类型连续体在实验中有所体现,揭示了形态类型学与BPE分词效率的相关性。
2024-10-31 cs.CL
A conclusive remark on linguistic theorizing and language modeling
NeTS-IUSS Pavia(帕维亚高等研究院NeTS(网络与复杂系统)研究中心)
本文对语言理论化与语言建模的讨论进行了结论性评论,总结了相关回应和观点。
2025-06-03 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Pyramidal Recurrent Unit for Language Modeling
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
LSTM是建模上下文信息的强大工具,正如它们在语言建模任务中的成功所证明的那样。然而,在非常高维的空间中建模上下文可能导致较差的可推广性。我们引入了金字塔递归单元(PRU),它可以在高维空间中学习表示,具有更强的泛化能力和更少的参数。PRU用更复杂的交互(包括金字塔和分组线性变换)取代LSTM中的线性变换。这种架构在词级语言建模上给出了强有力的结果,同时显著减少了参数的数量。特别是,PRU将最近最先进的语言模型Merity et al.(2018)的困惑度提高了1.3个点,同时学习的参数减少了15-20%。对于类似数量的模型参数,PRU优于所有以前的RNN模型,这些模型利用不同的门控机制和转换。我们提供了一个详细的检查PRU及其行为的语言建模任务。我们的代码是开源的,可在https://sacmehta.github.io/PRU/上获得
2018-08-27 cs.CL
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Bilingual Language Modeling, A transfer learning technique for Roman Urdu
NUCES (FAST)(NUCES(FAST))
预训练的语言模型现在广泛用于自然语言处理。尽管它们取得了成功,但将它们应用于低资源语言仍然是一个巨大的挑战。虽然多语言模型有很大的希望,但将它们应用于特定的低资源语言(如罗马乌尔都语)可能会过度。在本文中,我们展示了如何代码转换属性的语言可以用来执行跨语言迁移学习从相应的高资源语言。我们还展示了这种称为双语语言建模的迁移学习技术如何用于为罗马乌尔都语生成性能更好的模型。为了使培训和实验,我们还提出了一个收集的小说语料库罗马乌尔都语提取各种来源和社交网站,如Twitter。我们训练了罗马乌尔都语的单语、多语和双语模型--在掩蔽语言建模(MLM)任务中,与单语和多语模型的2%和11%相比,所提出的双语模型实现了23%的准确率。
2021-02-22 cs.CL
Code-Switching Language Modeling using Syntax-Aware Multi-Task Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
文本数据的缺乏一直是语码转换语言建模的主要问题。本文介绍了基于多任务学习的语言模型,它共享语言的语法表示,以充分利用语言信息,并解决低资源数据的问题。我们的模型联合学习代码转换话语的语言建模和词性标记。通过这种方式,该模型能够识别代码转换点的位置,并提高下一个词的预测。我们的方法优于基于标准LSTM的语言模型,在SEAME Phase I和Phase II数据集上的困惑度分别提高了9.7%和7.4%。
2018-10-04 cs.CL
VoxML: A Visualization Modeling Language
Brandeis University(布兰迪斯大学)
我们提出了一个建模语言,VoxML,它编码的语义知识的真实世界的对象表示为三维模型,和事件和属性相关,并制定了这些对象的规范。VoxML的目的是克服现有的三维可视化置标语言的限制,允许编码的语义知识,可以利用各种系统和平台,导致多模态模拟的真实世界的情况下使用的概念对象,代表他们的语义值。
2016-10-05 cs.CL
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford(牛津大学);DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一:新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案,因为它们可以创建在训练语料库中未被证明的词类型,但它们没有捕获这些词的“突发”分布。在本文中,我们增强了一个分层LSTM语言模型,该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型,我们构建了一个新的开放式词汇语言建模语料库(多语言维基百科语料库,MWC),从可比的维基百科文章在7种不同的语言类型,并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages
University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究通过预训练超过10,000个模型覆盖250多种语言,发现适度添加多语言数据可提升低资源语言建模性能(相当于数据增加33%),但高资源语言性能下降,且数据过多时因模型容量限制产生“多语言诅咒”,表明针对性模型更优。
2023-11-15 cs.CL
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Self-Normalization Properties of Language Modeling
自规范化判别模型近似于类的规范化概率,而无需计算分区函数。在语言建模的上下文中,这个属性特别有吸引力,因为它可以显著减少由于大单词词汇表而导致的运行时间。在这项研究中,我们提供了一个全面的调查语言建模自我规范化。首先,我们从理论上分析了噪声对比估计(NCE)语言模型固有的自归一化特性。然后,我们将它们与基于softmax的方法进行了经验比较,这些方法使用显式正则化进行自归一化,并提出了一种具有令人信服的特性的混合模型。最后,我们发现了一个令人惊讶的自我规范化和困惑之间的负相关性,以及一些规律性的观察到的错误,这可能是潜在的用于改善自我规范化算法在未来。
2018-06-04 cs.CL
DaG LLM ver 1.0: Pioneering Instruction-Tuned Language Modeling for Korean NLP
Seoul National University(首尔大学)
本文提出了专为韩语设计的DaG LLM,通过在13个类别的41个任务上进行指令微调,展现了其在韩语NLP领域的开创性应用。
2023-11-23 cs.CL
Human Language Modeling
Stony Brook University(石溪大学)
针对传统语言建模未考虑人类状态影响的问题,提出分层的人类语言建模框架HuLM及大规模Transformer模型HaRT,经约10万社交媒体用户预训练,在语言建模和4项下游任务上达或超SOTA。
2022-05-10 cs.CL cs.LG
A Cognitive Regularizer for Language Modeling
Google AI Language(谷歌AI语言部门);ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
统一信息密度(UID)假设认为说话者的最佳行为倾向于在语言信号中均匀分布信息,作为对某些句法,形态和韵律选择的解释,在心理语言学中获得了广泛的关注。在这项工作中,我们将探讨UID假设是否可以操作为统计语言建模的归纳偏见。具体来说,我们增加了规范的MLE目标,用于训练语言模型与正则化编码UID。在跨越五个语言家族的十种语言的实验中,我们发现使用UID正则化一致地改善了语言模型的困惑,当训练数据有限时,效果更大。此外,通过对生成的序列的分析,我们发现UID正则化的语言模型具有其他期望的属性,例如,它们生成的文本在词汇上更加多样化。我们的研究结果不仅表明,UID是一个合理的归纳偏见的语言建模,但也提供了一个替代验证UID假设使用现代NLP工具。
2021-06-10 cs.CL
Are discrete units necessary for Spoken Language Modeling?
Meta;Inria(法国国家信息与自动化研究所);EHESS(法国高等社会科学研究院);ENS-PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心)
最近的口语建模工作表明,在没有任何文本标签的情况下,可以从原始音频中无监督地学习语言。该方法首先依赖于将音频转换成离散单元(或伪文本)的序列,然后直接在这样的伪文本上训练语言模型。这样的离散瓶颈是必要的,潜在地在语音信号的编码中引入不可逆的错误,或者我们可以学习根本没有离散单元的语言模型吗?在这项工作中,我们研究的作用,离散与连续表示在口语建模。我们表明,离散化确实是必不可少的口语建模的良好效果。我们表明,离散化从连续特征中删除了语言上不相关的信息,有助于提高语言建模性能。在这项研究的基础上,我们训练一个语言模型的离散单元的HuBERT功能,达到新的最先进的结果在词汇,句法和语义指标的零资源语音挑战2021年(轨道1-仅语音)。
2022-08-22 cs.CL cs.LG
emLam -- a Hungarian Language Modeling baseline
Institute for Computer Science and Control Hungarian Academy of Sciences(匈牙利科学院计算机科学与控制研究所)
本文旨在弥补匈牙利语言建模缺乏文档化基线的问题。各种方法进行了评估三个公开的匈牙利语料库。困惑值类似大小的英语语料库模型的报告。一个新的,免费下载的匈牙利基准语料库介绍。
2017-01-26 cs.CL
Probabilistic top-down parsing and language modeling
本文描述了一个广泛覆盖的概率自顶向下分析器的功能,以及它在语音识别语言建模问题中的应用。本文首先介绍了语言建模和概率分析的关键概念,并简要回顾了一些以前的方法,使用语法结构的语言建模。一个词汇化的概率自上而下的解析器,它表现得非常好,在返回的解析的准确性和效率,他们发现,相对于最好的广泛覆盖的统计解析器。一个新的语言模型,它利用概率自顶向下的分析,然后概述,和实证结果表明,它改善了以前的工作在测试语料库的困惑。插值与三元模型产生一个特殊的改善相对于其他模型观察到的改善,展示了我们的解析模型捕获的信息是正交的三元模型捕获的程度。一个小型的识别实验也证明了该模型的实用性。
2001-05-08 cs.CL
The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection
University of Oslo(奥斯陆大学)
本文研究了将事实知识注入到大型预训练语言模型中的问题。我们训练适配器模块上的部分ConceptNet知识图谱使用掩蔽语言建模目标和评估的成功的方法进行了一系列的探测实验上的LAMA探针。不同配置的平均P@K曲线表明,该技术是有效的,增加性能的LAMA探针的子集为大值的k,通过添加少至2.1%的额外参数,以原始模型。
2022-10-03 cs.CL
A Compositional Approach to Language Modeling
University of Florida(佛罗里达大学)
传统的语言模型把语言看作是词上概率空间上的有限状态自动机。这是一个非常强的假设,当建模的东西本身就很复杂,如语言。在本文中,我们挑战这一点,通过展示如何在以前的工作中固有的线性链假设可以转化为一个顺序组成树。然后,我们提出了一个新的模型,边缘化所有可能的组合树,从而消除任何潜在的结构假设。由于这种新模型的划分函数是棘手的,我们使用最近提出的句子级评价度量对比熵来评估我们的模型。考虑到这个新的评估指标,我们报告了超过100%的改善失真水平,超过目前最先进的基于递归神经网络的语言模型。
2016-04-01 cs.CL
Multimodal neural pronunciation modeling for spoken languages with logographic origin
Institute for Infocomm Research(资讯通信研究院)
大多数语言的字形编码发音,虽然有些比其他更明确。像西班牙语这样的语言在其字素和音素之间有一个简单的映射,而这种映射对于像英语这样的语言来说更加复杂。粤语等口语在发音建模方面提出了更多的挑战:(1)它们没有标准的书面形式,(2)最接近的字形起源是语标汉字,其中只有这些语标汉字的一个子集隐式编码发音。在这项工作中,我们提出了一个多模态的方法来预测粤语语标字符的发音,使用神经网络的几何表示的语标和发音的同源词在历史上相关的语言。拟议的框架提高了18.1%和25.0%的性能,分别为单峰和多式联运基线。
2018-09-12 cs.CL
Structured Language Modeling for Speech Recognition
提出了一种新的用于语音识别的语言模型。该模型逐步发展隐藏的层次句法结构,并使用它来提取有意义的信息,从单词的历史,从而补充了目前使用的三元模型的地方。本文介绍了结构化语言模型及其在格型译码两遍语音识别器中的性能。在华尔街日报语料库上的实验表明,该模型在困惑度(PPL)和单词出错率(WER)方面都优于传统的三元模型。
2000-01-25 cs.CL
Fuzzy Modeling and Natural Language Processing for Panini's Sanskrit Grammar
印度语在世界自然语言中有着悠久的历史。帕尼尼是第一个在五世纪用大约4000条规则定义梵语语法的人。这些规则包含不确定性信息。用计算机处理具有不确定信息的梵语是不可能的。本文提出用模糊逻辑和模糊推理来处理梵语文法推理中的不确定性信息。本文还讨论了梵文的处理。
2010-06-14 cs.CL
What Tokens are Learned when Tokenization is Optimized Jointly with Language Modeling?
IIIT Hyderabad(印度国际信息技术研究院(海得拉巴))
本研究对比无分词器方法(SSLMs、H-Nets)与固定分词器在18种语言上的效果,发现联合优化分词与语言建模可生成高效且有效的差异化词汇,为下游NLP提供新方案。
2026-08-19 cs.CL
Enhancing Spoken Discourse Modeling in Language Models Using Gestural Cues
Saarland University(萨尔大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本研究通过VQ-VAE将3D人体运动序列编码为离散手势token并与文本嵌入对齐,提出将手势线索整合进语言模型。实验表明该方法显著提升了话语连接词、立场标记和量词的预测准确率,证实了手势在口语话语建模中的互补作用。
2025-03-05 cs.CL
CDLM: Cross-Document Language Modeling
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学)
我们引入了一种新的面向多文档语言建模的预训练方法,将两个关键思想融入到掩蔽语言建模自监督目标中。首先,我们不是孤立地考虑文档,而是在多个相关文档的集合上进行预训练,鼓励模型学习跨文档关系。其次,我们通过引入动态全局注意力来改进最近的长距离Transformers,该动态全局注意力可以访问整个输入来预测掩码令牌。我们发布了CDLM(跨文档语言模型),一个新的通用语言模型多文档设置,可以很容易地应用到下游任务。我们广泛的分析表明,这两个想法是至关重要的CDLM的成功,并协同工作,以设置新的国家的最先进的结果,为几个多文本任务。代码和模型可在https://github.com/aviclu/CDLM上获得。
2021-09-02 cs.CL
Expoiting Syntactic Structure for Language Modeling
本文提出了一种语言模型,开发句法结构,并使用它来提取有意义的信息,从单词的历史,从而使使用长距离的依赖关系。该模型将概率分配给单词的每个联合序列--带有中心词注释的二进制解析结构,并以从左到右的方式操作--因此可用于自动语音识别。该模型,它的概率参数化,和一组旨在评估其预测能力的实验,实现了对标准三元模型的改进。
2000-01-25 cs.CL
AdaVAE: Exploring Adaptive GPT-2s in Variational Auto-Encoders for Language Modeling
Tsinghua University(清华大学)
变分自动编码器(VAE)已经成为同时实现自然语言的表示学习和生成的事实上的学习范式。然而,现有的基于VAE的语言模型要么采用基本的RNN,这对于处理多任务情况下的复杂工作来说并不强大,要么为任何下游任务微调两个预训练的语言模型(PLM),这是对资源的巨大消耗。在本文中,我们提出了第一个VAE框架授权自适应GPT-2(AdaVAE)。与现有系统不同的是,我们使用GPT-2将VAE模型的编码器和解码器与自适应参数高效组件统一起来,并进一步引入潜在注意操作以更好地从Transformer模型构建潜在空间。多个维度的实验验证了AdaVAE能够在三个相关任务(语言建模、表征建模和引导文本生成)中有效地组织语言,即使训练中激活的参数少于$15\%$。我们的代码可在\url{https://github.com/ImKeTT/AdaVAE}上找到。
2022-11-19 cs.CL
Adapting Definition Modeling for New Languages: A Case Study on Belarusian
University of Helsinki(赫尔辛基大学)
研究将定义建模适配至白俄罗斯语,提出含43,150条定义的新数据集,发现适配仅需少量数据且现有自动评估指标存在捕获差距。
2025-07-13 cs.CL
Modeling the Graphotactics of Low-Resource Languages Using Sequential GANs
Haverford College(哈弗福德学院);University of Pennsylvania(宾夕法尼亚大学)
生成对抗网络(GANs)已被证明有助于在难以获得大量真实数据的情况下创建人工数据。这个问题在计算语言学领域尤为突出,研究人员经常被要求对低资源语言的复杂形态和语法过程进行建模。本文将讨论一个GAN的实现和测试,该GAN试图仅使用100个示例字符串来建模和再现语言的图形策略。这些人工的,但符合图形学的字符串是为了帮助建模低资源语言的形态变化。
2022-10-26 cs.CL cs.LG
Language Modeling for Multi-Domain Speech-Driven Text Retrieval
我们报告的实验结果与语音驱动的文本检索,这有利于检索信息在多个领域的口头查询。由于用户说的内容与目标集合相关,因此我们基于目标集合产生用于语音识别的语言模型,从而提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明,我们的方法的有效性。
2002-06-24 cs.CL
Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学)
句子评分旨在测量句子的似然度得分,并广泛用于许多自然语言处理场景,如重新排序,即从多个候选中选择最佳句子。以往的句子评分方法主要采用GPT等因果语言模型(CLM)或BERT等掩蔽语言模型(MLM),但都存在一定的局限性:1)CLM只利用单向信息进行句子概率估计,没有考虑双向上下文,影响评分质量; 2)MLM一次只能估计部分标记的概率,因此需要多次向前传递来估计整个句子的概率,这会导致大量的计算和时间成本。在本文中,我们提出了\textit{Transcormer} -一个Transformer模型与一个新的\textit{sliding language modeling}(SLM)的句子评分。具体来说,我们的SLM采用了三重流自我注意力机制,以估计所有的令牌在一个句子中的概率与双向上下文,只需要一个单一的向前通过。SLM方法可以避免CLM(单向上下文)和MLM(多个前向传递)的局限性,并继承它们的优点,从而实现高效的评分。多个任务的实验结果表明,我们的方法取得了更好的性能比其他语言建模。
2022-10-19 cs.CL
Improving Language Modeling using Densely Connected Recurrent Neural Networks
Ghent University(根特大学);imec(比利时微电子研究中心)
在本文中,我们将稠密连接层的新概念引入循环神经网络。我们评估我们提出的架构上的Penn Treebank语言建模任务。我们表明,与使用dropout训练的标准堆叠2层LSTM模型相比,我们可以用少六倍的参数获得类似的困惑分数(Zaremba et al. 2014)。与目前使用的跳过连接,我们表明,密集连接只有几个堆栈层与跳过连接已经产生显着的困惑减少。
2017-07-19 cs.CL
A Study on Neural Network Language Modeling
本文对神经网络语言建模进行了详尽的研究。不同的架构的基本神经网络语言模型的描述和检查。研究了对基本神经网络语言模型的几种不同改进,包括重要性采样、词类、缓存和双向递归神经网络(BiRNN),并对每种技术的优缺点进行了评价。然后从模型体系结构和知识表示两个方面探讨了神经网络语言建模的局限性。当按一定的顺序逐字处理时,词序列中的部分统计信息会丢失,而神经网络的权值矩阵和权值向量的更新机制严重限制了NNLM的有效增强。对于知识表示,神经网络语言模型所表示的知识是来自某个训练数据集的词序列的近似概率分布,而不是语言本身的知识或自然语言中的词序列所传达的信息。最后,对神经网络语言建模的进一步改进方向进行了讨论。
2017-08-24 cs.AI cs.CL
Recurrent Memory Networks for Language Modeling
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所)
递归神经网络(RNN)在许多自然语言处理(NLP)任务中取得了很好的效果。然而,理解和解释这一成功的来源仍然是一个挑战。在本文中,我们提出了递归记忆网络(RMN),这是一种新型的RNN架构,它不仅增强了RNN的功能,还有助于我们理解其内部功能,并允许我们发现数据中的潜在模式。我们展示了RMN在语言建模和句子完成任务上的强大功能。在语言建模方面,RMN在三个大型德语、意大利语和英语数据集上的表现优于长短期记忆(LSTM)网络。此外,我们对RMN捕获的各种语言维度进行了深入分析。在句子完成挑战中,捕获句子连贯性至关重要,我们的RMN获得了69.2%的准确率,大大超过了以前的最先进水平。
2016-04-22 cs.CL
Second Language Acquisition Modeling: An Ensemble Approach
Sana Labs(萨纳实验室)
学生知识的准确预测是个性化学习系统的基础。在这里,我们提出了一种新的集成模型来预测学生的知识差距。将我们的方法应用于在线教育平台Duolingo的学生跟踪数据,我们在2018年第二语言习得建模共享任务中的所有三个数据集的两个评估指标上都获得了最高分。我们描述了我们的模型,并讨论了相关的任务相比,它将如何设置在生产环境中的个性化教育。
2018-06-09 cs.CL
Multi-Faceted Evaluation of Modeling Languages for Augmented Reality Applications -- The Case of ARWFML
University of Fribourg(弗里堡大学);Smart Living Lab(智能生活实验室);EPFL(洛桑联邦理工学院);HEIA-FR(弗里堡高等工程学院)
本文针对增强现实建模语言ARWFML提出了两个设计迭代,通过比较评估、引入3D表示法及开发新3D建模环境并进行可理解性研究,展示了其向适合实证评估的成熟度演进的过程。
2024-08-26 cs.CL cs.ET
Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker(ReadSpeaker公司)
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而,这些模型通常需要大量的训练数据,这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求,但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此,在本文中,我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模,并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度,表明多语言模型可以产生与单语多说话者模型相当的自然度,并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
SuperRAG: Beyond RAG with Layout-Aware Graph Modeling
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安工业大学);Deakin University(迪肯大学)
本文提出SuperRAG,通过基于文档布局解析的图建模保留文本、表格和图形之间的多模态关系,并在四个基准上验证其提升RAG流水线性能的有效性。
2025-02-28 cs.AI cs.CL
Language Modeling with Sparse Product of Sememe Experts
Tsinghua University(清华大学);Tencent(腾讯)
大多数语言建模方法依赖于大规模数据来统计学习单词的顺序模式。在本文中,我们认为,词是原子的语言单位,但不一定是原子的语义单位。受知网的启发,我们使用人类语言中最小的语义单位--义位来表示隐含在词背后的语义,并以此来进行语言建模,我们称之为义位驱动的语言模型(Sememe-Driven Language Model,SDLM)。更具体地说,为了预测下一个单词,SDLM首先估计给定文本上下文的义素分布。然后,它把每个义素看作一个独立的语义专家,这些专家共同识别最可能的义项和对应的词。通过这种方式,SDLM使语言模型能够超越词级操作,实现细粒度的语义级操作,并为我们提供了更强大的工具来微调语言模型,提高语言模型的可解释性和鲁棒性。语言建模和标题生成的下游应用实验表明,SDLM具有显著的效果.实验中使用的源代码和数据可以在https://www.example.com上访问。github.com/thunlp/SDLM-pytorch
2018-10-29 cs.CL cs.LG
Linguistic Frameworks Go Toe-to-Toe at Neuro-Symbolic Language Modeling
Georgetown University(乔治城大学);The University of Hong Kong(香港大学)
研究探讨了语言图表示如何提升神经语言模型性能,发现语义短语结构最有效,且词性类别影响效果差异。
2022-05-11 cs.AI cs.CL
MicroNet for Efficient Language Modeling
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
设计紧凑的语言模型对于高效部署非常重要。我们在语言建模领域和模型压缩领域的最新进展的基础上进行改进,以构建参数和计算效率高的语言模型。我们使用一个有效的基于变换器的架构,自适应嵌入和softmax,可区分的非参数缓存,Hebbian softmax,知识蒸馏,网络修剪和低比特量化。在本文中,我们为NeurIPS 2019 MicroNet挑战赛提供了语言建模赛道的获胜解决方案。与MicroNet Challenge提供的基线语言模型相比,我们的模型的参数效率高90倍,计算效率高36倍,同时在Wikitext-103数据集上实现了所需的测试困惑度35。我们希望这项工作将有助于未来对高效语言模型的研究,我们已经在https://github.com/mit-han-lab/neurips-micronet上发布了完整的源代码。
2020-05-16 cs.CL cs.LG
Log-Depth Recurrent Language Modeling
Imperial College London(帝国理工学院)
本研究提出将平衡树递归算子扩展至自回归预测,实现对数深度和线性运行时间的语言建模,实验表明其长度外推稳健且性能接近ALiBi Transformer。
2026-09-24 cs.CL cs.LG
Incorporating POS Tagging into Language Modeling
语音识别的语言模型往往只集中在识别所说的单词上。在本文中,我们重新定义的语音识别问题,使其目标是找到最好的序列的话和他们的句法作用(部分的语音)的话语。这是加强语音识别和自然语言理解之间交互的必要的第一步。
1997-05-22 cmp-lg cs.CL
LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling
Tianjing University(天津大学);University of Science and Technology of China(中国科学技术大学);Lenovo Research(联想研究院)
针对大语言模型在图机器学习中因缺乏图结构建模能力表现不佳的问题,提出LangTopo框架,通过令牌层面对齐语言描述与拓扑建模,让LLM习得GNN的图结构捕获能力,可独立处理图数据,经多数据集验证有效。
2024-06-19 cs.AI cs.CL cs.LG
LAMOL: LAnguage MOdeling for Lifelong Language Learning
MIT(麻省理工学院);National Taiwan University(台湾大学)
大多数关于终身学习的研究都适用于图像或游戏,而不是语言。我们提出了LAMOL,一个简单而有效的终身语言学习(LLL)的语言建模的基础上的方法。LAMOL重放以前任务的伪样本,而不需要额外的内存或模型容量。具体来说,LAMOL是一种语言模型,它同时学习解决任务并生成训练样本。当模型针对新任务进行训练时,它会生成先前任务的伪样本,以便与新任务的数据一起进行训练。结果表明,LAMOL可以防止灾难性遗忘,而没有任何不妥协的迹象,并可以执行五个非常不同的语言任务顺序只有一个模型。总的来说,LAMOL比以前的方法有相当大的优势,只比多任务处理差2-3%,这通常被认为是LLL的上限。源代码可在https://github.com/jojotenya/LAMOL上获得。
2019-12-23 cs.AI cs.CL
AutoGRAMS: Autonomous Graphical Agent Modeling Software
Autograms AI(奥图格拉姆斯人工智能公司)
本研究提出AutoGRAMS框架,以图结构表示AI智能体,支持节点执行语言指令或代码、转移由语言决策或分支逻辑控制,可设计复杂自指智能体,提升可解释性等,已开源。
2024-07-14 cs.AI cs.CL
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题,比较了多种 BERT 与非 BERT 方法,发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG