Log-Depth Recurrent Language Modeling
Imperial College London(帝国理工学院)
本研究提出将平衡树递归算子扩展至自回归预测,实现对数深度和线性运行时间的语言建模,实验表明其长度外推稳健且性能接近ALiBi Transformer。
2026-09-24 cs.CL cs.LG
Topic Modeling in Marathi
本文针对马拉地语主题建模研究稀缺的问题,比较了多种 BERT 与非 BERT 方法,发现 BERTopic 结合印度语言训练的 BERT 模型在主题一致性和多样性上优于 LDA。
2025-02-04 cs.CL cs.LG
Long-Short Range Context Neural Networks for Language Modeling
Spoken Language Systems (LSV)(口语语言系统(LSV));Collaborative Research Center on Information Density and Linguistic Encoding(信息密度与语言编码合作研究中心)
语言建模技术的目标是从训练语料库中获取自然语言的统计和结构特性。该任务通常涉及学习短程依赖关系,其通常对语言的句法属性和/或长程依赖关系进行建模,其本质上是语义的。本文提出了一种新的多跨度体系结构,它分别对短和长上下文信息进行建模,同时动态地合并它们来执行语言建模任务。这是通过一种新的经常性长短范围上下文(LSRC)网络来实现的,该网络使用两个随时间演变的独立隐藏状态来显式地对局部(短)和全局(长)上下文进行建模。这种新架构是对长短期记忆网络(LSTM)的适应,以考虑语言属性。在Penn Treebank(PTB)和Large Text Compression Benchmark(LTCB)语料库上进行的大量实验表明,与最先进的语言建模技术相比,该方法显着减少了困惑。
2017-08-22 cs.CL cs.LG
Towards a continuous modeling of natural language domains
Insight Centre for Data Analytics(数据分析洞察中心);Aylien Ltd.(Aylien有限公司);National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
人类不断地调整自己的风格和语言以适应各种领域。然而,一个可靠的定义“域”的研究人员迄今为止还没有。此外,离散域的概念与人类导航的多个异质域形成鲜明对比,其中许多域重叠。为了更好地理解人类语言的变化和变异,我们借鉴领域自适应的研究,将离散领域的概念扩展到连续频谱。我们提出了表示学习为基础的模型,可以适应连续域和详细说明这些可以用来调查语言的变化。为此,我们建议使用对话建模作为测试床,由于其接近语言建模和社会的组成部分。
2016-10-28 cs.CL cs.LG
TensorCoder: Dimension-Wise Attention via Tensor Representation for Natural Language Modeling
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
Transformer已被广泛应用于许多自然语言处理(NLP)任务中,标记间的缩放点积注意力是Transformer的核心模块。这种注意力是一种令牌式设计,其复杂度是序列长度的二次函数,限制了其在长序列任务中的应用潜力。在本文中,我们提出了一个维度的注意力机制,基于此可以开发一种新的语言建模方法(即TensorCoder)。维度注意可以将注意复杂度从原来的$O(N^2d)$降低到$O(Nd^2)$,其中$N$是序列的长度,$d$是头部的维度。我们在两个任务上验证了TensorCoder,包括掩码语言建模和神经机器翻译。与原始Transformer相比,TensorCoder不仅大大减少了原始模型的计算量,而且在掩蔽语言建模任务(PTB数据集)上获得了改进的性能,在机器翻译任务上也获得了相当的性能。
2020-08-12 cs.CL cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先,我们回顾专门用于语言建模的Transformer模型配置。我们发现,基于LSTM递归神经网络层的浅栈,配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验,用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型,传统的混合语音识别的格重评分,和子词级模型的注意基于编码器-解码器模型的浅层融合。其次,我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制,它对序列排序是不变的。然而,在自回归设置中,就像语言建模的情况一样,信息量沿着位置维度增加,这本身就是一个位置信号。对注意权重的分析表明,深度自回归自注意模型可以自动利用这种位置信息。我们发现,删除位置编码,甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle
Mila(米拉);Université de Montréal(蒙特利尔大学);Microsoft Research Montréal(微软蒙特利尔研究院);McGill University(麦吉尔大学)
语言是我们思考语言的基础。未能捕捉输入语言的结构可能会导致泛化问题和过度参数化。在目前的工作中,我们提出了一个新的语法感知的语言模型:语法有序记忆(SOM)。该模型使用增量解析器显式地对结构进行建模,并维护标准语言模型(从左到右)的条件概率设置。为了训练增量解析器并避免暴露偏差,我们还提出了一种新的动态预言机,使SOM对错误的解析决策更鲁棒。实验结果表明,SOM模型在语言建模、增量式句法分析和句法泛化测试中具有较好的效果,且使用的参数较少。
2021-05-10 cs.CL cs.LG
Better Character Language Modeling Through Morphology
University of Washington(华盛顿大学);Facebook AI Research(Facebook人工智能研究院)
我们将形态监督字符语言模型(CLMs)通过多任务处理,并表明,这除了提高每字符位数(BPC)的性能在24种语言,即使当形态数据和语言建模数据是不相交的。分析CLM表明,变形的单词比未变形的单词更受益于显式建模形态,并且即使语言建模数据量增加,形态监督也会提高性能。然后,我们转移形态监督跨语言,以提高语言建模性能的低资源设置。
2019-06-12 cs.CL
Multiplicative Models for Recurrent Language Modeling
Université du Québec à Montréal(魁北克大学蒙特利尔分校)
最近,人们对用于语言建模的乘法递归神经网络感兴趣。事实上,简单的递归神经网络(RNN)在生成序列时,由于隐藏状态之间的高度相关性,很难从过去的错误中恢复过来。这些挑战可以通过在隐藏状态更新中集成二阶项来缓解。一个这样的模型,乘法长短期记忆(mLSTM)是特别有趣的,在其原始配方,因为其二阶项的共享,被称为中间状态。我们通过引入新模型并在字符级语言建模任务上测试它们来探索这些架构改进。这使我们能够在循环语言建模中建立共享参数化的相关性。
2019-06-30 cs.CL cs.LG stat.ML
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York(纽约哥伦比亚大学)
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说,我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法,格重新评分,允许更长的范围内的历史记录捕获的一个基于多变量的语言模型,并利用一个Transformer的能力,以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Paradigm Shift in Language Modeling: Revisiting CNN for Modeling Sanskrit Originated Bengali and Hindi Language
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学)
虽然最近有大量的工作在语言建模(LM)的高资源语言,如英语和中文,该领域仍然是未开发的低资源语言,如孟加拉语和印地语。我们提出了一个端到端的可训练记忆高效的CNN架构命名为CoCNN处理特定的特点,如高拐点,形态丰富,灵活的词序和拼音拼写错误的孟加拉语和印地语。特别是,我们在单词和句子级别引入了两个可学习的卷积子模型,它们是端到端可训练的。我们表明,最先进的(SOTA)Transformer模型,包括预训练的BERT不一定会产生孟加拉语和印地语的最佳性能。CoCNN的性能优于预训练的BERT,参数减少了16倍,并且在多个真实世界数据集上实现了比SOTA LSTM模型更好的性能。这是第一次研究从三种深度学习范式中提取的不同架构的有效性-卷积,递归和Transformer神经网络用于建模两种广泛使用的语言,孟加拉语和印地语。
2021-11-05 cs.CL
Unraveling Syntax: Language Modeling and the Substructure of Grammars
Massachusetts Institute of Technology(麻省理工学院)
本文研究语言模型在上下文无关语法子结构上的学习行为,证明损失函数在顶层子语法上线性递归,并发现参数化模型并行学习子语法,子语法预训练能提升小模型性能并改善内部表征。
2026-06-12 cs.CL cs.FL cs.LG
LinguaMap: Which Layers of LLMs Speak Your Language and How to Tune Them?
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
本文提出LinguaMap方法,通过分析LLM各层的语言控制机制,发现语言一致性瓶颈并提出选择性微调策略,实现多语言适应的高效优化。
2026-03-22 cs.AI cs.CL cs.LG
Masked Vision and Language Modeling for Multi-modal Representation Learning
AWS AI Labs(AWS人工智能实验室)
本文研究了如何将掩蔽信号建模应用于视觉和语言(V+L)表示学习。与单独开发掩蔽语言建模(MLM)和掩码图像建模(MIM)不同,我们提出建立联合掩蔽视觉和语言建模,其中一种模态的掩蔽信号在另一种模态的帮助下重建。这是由图像-文本配对数据的性质所激发的,图像和文本都以不同的格式传达几乎相同的信息。以另一模态为条件的一种模态的掩蔽信号重构也可以隐式地学习语言标记和图像块之间的跨模态对齐。我们对各种V+L任务的实验表明,所提出的方法,以及常见的V+L对齐损失,实现了国家的最先进的性能在数百万的预训练数据的政权。此外,在有限的数据场景中,我们的表现明显优于其他竞争对手。
2023-03-14 cs.CL cs.CV cs.LG
Towards the Anonymization of the Language Modeling
INSA Lyon, Inria, CITI, UR3720(里昂国家理工学院、法国国家科学研究中心、CITI、UR3720);Inria, INSA Lyon, CITI, UR3720(法国国家科学研究中心、里昂国家理工学院、CITI、UR3720)
本文提出了一种隐私保护的语言模型方法,通过掩码语言模型(MLM)和因果语言模型(CLM)方法,旨在解决语言模型的匿名化问题,从而促进其共享。研究通过医疗数据集评估了这两种方法,并表明在避免记忆直接和间接标识信息的同时,能够保持高隐私性和高实用性。
2026-05-20 cs.CL cs.CR cs.LG
PMI Matrix Approximations with Applications to Neural Language Modeling
Bar-Ilan University(巴伊兰大学)
word2vec中使用的负采样(NEG)目标函数是噪声对比估计(NCE)方法的简化。NEG被认为是非常有效的学习连续的单词表征。然而,与NCE不同,它被认为不适用于学习语言模型的参数。在这项研究中,我们反驳了这一论断,提供了一个原则性的推导基于NEG的语言建模,建立在一个新的分析的逐点互信息矩阵的上下文和预测的话。所获得的语言建模与NCE语言模型密切相关,但基于简化的目标函数。因此,我们提供了一个统一的制定两个主要的语言处理任务,即词嵌入和语言建模,基于NEG目标函数。在两个流行的语言建模基准测试上的实验结果显示了相当的困惑结果,NEG比NCE有一点优势。
2016-09-05 cs.CL
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
Utrecht University(乌特勒支大学);Lund University(吕勒奥大学);Royal Netherlands Academy of Arts and Sciences(荷兰艺术与科学皇家学院)
本文提出基于记忆的语言建模作为深度神经网络语言模型的环保高效替代方案,通过快速近似k近邻分类实现对数线性扩展的预测性能,并在CPU上以低延迟运行,与GPT-2和GPT-Neo对比验证其准确率、排放和速度优势。
2025-10-25 cs.CL
"Hinglish" Language -- Modeling a Messy Code-Mixed Language
随着在语言多样化的国家,印度的“印度式英语”的流利性和用户急剧上升,在Twitter,Reddit,Facebook等平台上分析用这种语言编写的社交内容变得越来越重要。这个项目的重点是使用深度学习技术来解决分类问题,将用印地语写的社交内容分类为辱骂,仇恨诱导和非攻击性类别。我们利用双向序列模型和简单的文本增强技术,如同义词替换,随机插入,随机交换和随机删除,以产生一个最先进的分类器,优于以前在分析该数据集上所做的工作。
2019-12-30 cs.CL cs.LG stat.ML
DIRECTOR: Generator-Classifiers For Supervised Language Modeling
McGill University(麦吉尔大学);Mila(米拉研究所);Meta AI
当前的语言模型实现了低复杂度,但其产生的代仍然遭受有毒反应,重复性和矛盾。标准语言建模设置无法解决这些问题。在本文中,我们介绍了一个新的架构,{ \sc导演},它包括一个统一的生成器分类器的语言建模和分类头为每个输出令牌。训练是使用标准语言建模数据和标记有期望和不期望序列的数据联合进行的。在几种设置下的实验表明,与标准语言模型相比,该模型具有竞争力的训练和解码速度,同时产生优异的结果,在保持生成质量的同时减轻了已知问题。它在准确性和效率方面也优于现有的模型指导方法。
2022-11-25 cs.CL
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文从元学习视角解析了Transformer在因果语言建模中的训练过程,通过阐明其内部优化机制,发现并理论分析了学习到的token表示范数的特殊特征,且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University(首尔国立大学);Hanyang University(汉阳大学)
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能,但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法,它可以去除多个注意头中不必要的注意头。然而,它并没有均匀地减少整体负载,因为重前馈模块不受头部修剪的影响。在本文中,我们将逐层注意力头部修剪应用于全注意力Transformer,使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪,我们提出了三种训练方法,特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了上下文语言模型,将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列,而没有考虑对话的交互作用。我们设计了基于递归神经网络(RNN)的上下文语言模型,专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明,该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
Language Modeling for Code-Switching: Evaluation, Integration of Monolingual Data, and Discriminative Training
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文主要研究自动语音识别(ASR)背景下的语码转换语言建模问题。代码转换语言的语言建模具有挑战性,原因(至少)有三个:(1)缺乏可用于训练的大规模代码转换数据;(2)缺乏ASR指导的可复制评估设置,但将语言建模性能与ASR系统的其他复杂性隔离开来;以及(3)依赖生成建模。我们解决这三个问题:我们提出了一个ASR动机的评估设置,这是解耦的ASR系统和词汇的选择,并提供了一个评估数据集的英语-西班牙语码切换。这种设置适合于一种判别式训练方法,我们证明这种方法比生成语言建模更好。最后,我们探索了各种训练协议,并验证了使用大量单语数据进行训练,然后使用少量代码转换数据进行微调的有效性,无论是对于生成性还是区分性情况。
2019-11-10 cs.CL
Language Modeling with Power Low Rank Ensembles
Carnegie Mellon University(卡内基梅隆大学)
我们提出了功率低秩集合(PLRE),一个灵活的框架,用于n元语言建模,其中低秩矩阵和张量的集合用于获得平滑的概率估计的话在上下文中。我们的方法可以理解为n-gram建模到非整数n的推广,并且包括标准技术,例如绝对折扣和Kneser-Ney平滑作为特殊情况。PLRE训练是有效的,我们的方法在大型语料库的困惑度以及下游机器翻译任务中的BLEU得分方面优于最先进的修改后的Kneser Ney基线。
2014-10-03 cs.CL cs.LG stat.ML
Learning Spoken Language Representations with Neural Lattice Language Modeling
National Taiwan University(台湾大学)
预训练的语言模型在许多NLP任务上取得了巨大的进步。然而,这些方法通常是为书面文本设计的,因此它们不考虑口语的属性。因此,本文旨在将语言模型预训练的思想推广到由识别系统生成的格。我们提出了一个训练神经网格语言模型的框架,为口语语言理解任务提供上下文表示。提出的两阶段预训练方法减少了对语音数据的要求,具有更好的效率。在意图检测和对话行为识别数据集上的实验表明,我们提出的方法在语音输入上进行评估时始终优于强基线。该代码可在https://github.com/MiuLab/Lattice-ELMo上获得。
2020-11-02 cs.AI cs.CL cs.LG
LangTopo: Aligning Language Descriptions of Graphs with Tokenized Topological Modeling
Tianjing University(天津大学);University of Science and Technology of China(中国科学技术大学);Lenovo Research(联想研究院)
针对大语言模型在图机器学习中因缺乏图结构建模能力表现不佳的问题,提出LangTopo框架,通过令牌层面对齐语言描述与拓扑建模,让LLM习得GNN的图结构捕获能力,可独立处理图数据,经多数据集验证有效。
2024-06-19 cs.AI cs.CL cs.LG
The Sociolinguistic Foundations of Language Modeling
University of Birmingham(伯明翰大学)
该研究从社会语言学视角出发,提出大语言模型本质是语言变体模型,给出语言变体的技术定义,探讨其对解决语言建模五大挑战的作用,强调构建适配语言变体的训练语料对提升模型性能与社会价值的关键意义。
2024-07-12 cs.CL
Towards Interactive Language Modeling
University of Amsterdam(阿姆斯特丹大学);Meta AI Labs(Meta人工智能实验室)
照顾者和儿童之间的互动在人类语言习得和发展中起着至关重要的作用。鉴于这一观察结果,显式交互在人工语言建模中几乎没有作用是值得注意的-这也是针对人类语言的习得,但通过人工模型。此外,语言建模的交互式方法有可能使语言模型变得更加通用,并对下游应用产生相当大的影响。出于这些考虑,我们开拓了交互式语言建模的空间。作为第一个贡献,我们提出了一个路线图,我们在其中详细说明了需要采取的步骤,以实现交互式语言建模。然后,我们以身作则,在这一路线图上迈出第一步,展示我们方法的初步可行性。因此,这项工作旨在成为交互式语言建模更大研究议程的开始。
2022-09-28 cs.AI cs.CL
A Study of Privacy-preserving Language Modeling Approaches
Paderborn University(帕德博恩大学)
本文系统梳理了隐私保护语言建模方法,分析其优势与局限,为降低语言模型隐私风险提供见解并指明未来研究方向。
2025-08-21 cs.CL
Morphological Typology in BPE Subword Productivity and Language Modeling
University of California, Berkeley(加州大学伯克利分校)
本研究探究形态类型学对BPE分词及语言建模的影响,发现屈折型语言的BPE子词规律性与能产性更强,建模效果更优,且语言学的类型连续体在实验中有所体现,揭示了形态类型学与BPE分词效率的相关性。
2024-10-31 cs.CL
A conclusive remark on linguistic theorizing and language modeling
NeTS-IUSS Pavia(帕维亚高等研究院NeTS(网络与复杂系统)研究中心)
本文对语言理论化与语言建模的讨论进行了结论性评论,总结了相关回应和观点。
2025-06-03 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Intra-Layer Recurrence in Transformers for Language Modeling
Digital Innovation Lab Faculty of Computer Science and Technology Algoma University(阿尔戈马大学计算机科学与技术学院数字创新实验室)
本文提出层内循环(ILR)方法,在单次前向传播中对个别层有选择地应用循环,实验表明将更多迭代分配给较早层可获得最优结果,为优化Transformer循环结构提供了新方向。
2025-05-23 cs.AI cs.CL
Improving Language Modeling using Densely Connected Recurrent Neural Networks
Ghent University(根特大学);imec(比利时微电子研究中心)
在本文中,我们将稠密连接层的新概念引入循环神经网络。我们评估我们提出的架构上的Penn Treebank语言建模任务。我们表明,与使用dropout训练的标准堆叠2层LSTM模型相比,我们可以用少六倍的参数获得类似的困惑分数(Zaremba et al. 2014)。与目前使用的跳过连接,我们表明,密集连接只有几个堆栈层与跳过连接已经产生显着的困惑减少。
2017-07-19 cs.CL
Pyramidal Recurrent Unit for Language Modeling
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
LSTM是建模上下文信息的强大工具,正如它们在语言建模任务中的成功所证明的那样。然而,在非常高维的空间中建模上下文可能导致较差的可推广性。我们引入了金字塔递归单元(PRU),它可以在高维空间中学习表示,具有更强的泛化能力和更少的参数。PRU用更复杂的交互(包括金字塔和分组线性变换)取代LSTM中的线性变换。这种架构在词级语言建模上给出了强有力的结果,同时显著减少了参数的数量。特别是,PRU将最近最先进的语言模型Merity et al.(2018)的困惑度提高了1.3个点,同时学习的参数减少了15-20%。对于类似数量的模型参数,PRU优于所有以前的RNN模型,这些模型利用不同的门控机制和转换。我们提供了一个详细的检查PRU及其行为的语言建模任务。我们的代码是开源的,可在https://sacmehta.github.io/PRU/上获得
2018-08-27 cs.CL
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
Bilingual Language Modeling, A transfer learning technique for Roman Urdu
NUCES (FAST)(NUCES(FAST))
预训练的语言模型现在广泛用于自然语言处理。尽管它们取得了成功,但将它们应用于低资源语言仍然是一个巨大的挑战。虽然多语言模型有很大的希望,但将它们应用于特定的低资源语言(如罗马乌尔都语)可能会过度。在本文中,我们展示了如何代码转换属性的语言可以用来执行跨语言迁移学习从相应的高资源语言。我们还展示了这种称为双语语言建模的迁移学习技术如何用于为罗马乌尔都语生成性能更好的模型。为了使培训和实验,我们还提出了一个收集的小说语料库罗马乌尔都语提取各种来源和社交网站,如Twitter。我们训练了罗马乌尔都语的单语、多语和双语模型--在掩蔽语言建模(MLM)任务中,与单语和多语模型的2%和11%相比,所提出的双语模型实现了23%的准确率。
2021-02-22 cs.CL
Code-Switching Language Modeling using Syntax-Aware Multi-Task Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
文本数据的缺乏一直是语码转换语言建模的主要问题。本文介绍了基于多任务学习的语言模型,它共享语言的语法表示,以充分利用语言信息,并解决低资源数据的问题。我们的模型联合学习代码转换话语的语言建模和词性标记。通过这种方式,该模型能够识别代码转换点的位置,并提高下一个词的预测。我们的方法优于基于标准LSTM的语言模型,在SEAME Phase I和Phase II数据集上的困惑度分别提高了9.7%和7.4%。
2018-10-04 cs.CL
Language-Specific Layer Matters: Efficient Multilingual Enhancement for Large Vision-Language Models
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院);Meituan Inc.(美团公司);Harbin Institute of Technology(哈尔滨工业大学)
本研究提出PLAST方法,通过识别并微调语言特定层,仅调整14%参数即可高效增强大型视觉-语言模型的多语言能力,并在多语言基准上验证其有效性。
2025-08-25 cs.CL
VoxML: A Visualization Modeling Language
Brandeis University(布兰迪斯大学)
我们提出了一个建模语言,VoxML,它编码的语义知识的真实世界的对象表示为三维模型,和事件和属性相关,并制定了这些对象的规范。VoxML的目的是克服现有的三维可视化置标语言的限制,允许编码的语义知识,可以利用各种系统和平台,导致多模态模拟的真实世界的情况下使用的概念对象,代表他们的语义值。
2016-10-05 cs.CL
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
Cell-aware Stacked LSTMs for Modeling Sentences
Seoul National University(首尔国立大学)
我们提出了一种堆叠多个长短期记忆(LSTM)层来建模句子的方法。与仅将隐藏状态作为输入馈送到下一层的常规堆叠LSTM相比,所建议的架构接受前一层的隐藏和存储单元状态两者,并且使用LSTM的软门控机制来融合来自左侧和下部上下文的信息。因此,该架构不仅在水平递归中而且在垂直连接中调制要传递的信息量,从较低层提取的有用特征被有效地传达到上层。我们将这种架构称为Cell-aware Stacked LSTM(CAS-LSTM),并通过实验表明,我们的模型在自然语言推理,释义检测,情感分类和机器翻译的基准数据集上比标准LSTM带来了显着的性能提升。我们还进行了广泛的定性分析,以了解所建议的方法的内部行为。
2019-11-01 cs.CL
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford(牛津大学);DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一:新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案,因为它们可以创建在训练语料库中未被证明的词类型,但它们没有捕获这些词的“突发”分布。在本文中,我们增强了一个分层LSTM语言模型,该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型,我们构建了一个新的开放式词汇语言建模语料库(多语言维基百科语料库,MWC),从可比的维基百科文章在7种不同的语言类型,并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages
University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究通过预训练超过10,000个模型覆盖250多种语言,发现适度添加多语言数据可提升低资源语言建模性能(相当于数据增加33%),但高资源语言性能下降,且数据过多时因模型容量限制产生“多语言诅咒”,表明针对性模型更优。
2023-11-15 cs.CL
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Self-Normalization Properties of Language Modeling
自规范化判别模型近似于类的规范化概率,而无需计算分区函数。在语言建模的上下文中,这个属性特别有吸引力,因为它可以显著减少由于大单词词汇表而导致的运行时间。在这项研究中,我们提供了一个全面的调查语言建模自我规范化。首先,我们从理论上分析了噪声对比估计(NCE)语言模型固有的自归一化特性。然后,我们将它们与基于softmax的方法进行了经验比较,这些方法使用显式正则化进行自归一化,并提出了一种具有令人信服的特性的混合模型。最后,我们发现了一个令人惊讶的自我规范化和困惑之间的负相关性,以及一些规律性的观察到的错误,这可能是潜在的用于改善自我规范化算法在未来。
2018-06-04 cs.CL
DaG LLM ver 1.0: Pioneering Instruction-Tuned Language Modeling for Korean NLP
Seoul National University(首尔大学)
本文提出了专为韩语设计的DaG LLM,通过在13个类别的41个任务上进行指令微调,展现了其在韩语NLP领域的开创性应用。
2023-11-23 cs.CL
A Cognitive Regularizer for Language Modeling
Google AI Language(谷歌AI语言部门);ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
统一信息密度(UID)假设认为说话者的最佳行为倾向于在语言信号中均匀分布信息,作为对某些句法,形态和韵律选择的解释,在心理语言学中获得了广泛的关注。在这项工作中,我们将探讨UID假设是否可以操作为统计语言建模的归纳偏见。具体来说,我们增加了规范的MLE目标,用于训练语言模型与正则化编码UID。在跨越五个语言家族的十种语言的实验中,我们发现使用UID正则化一致地改善了语言模型的困惑,当训练数据有限时,效果更大。此外,通过对生成的序列的分析,我们发现UID正则化的语言模型具有其他期望的属性,例如,它们生成的文本在词汇上更加多样化。我们的研究结果不仅表明,UID是一个合理的归纳偏见的语言建模,但也提供了一个替代验证UID假设使用现代NLP工具。
2021-06-10 cs.CL
Finnish Language Modeling with Deep Transformer Models
Aalto University(阿尔托大学)
Transformers最近在语言建模中占据了中心地位,因为LSTM被认为是长期以来占主导地位的模型架构。在这个项目中,我们调查的性能的Transformer架构BERT和Transformer-XL的语言建模任务。我们使用芬兰语的子词模型设置,并将其与之前的最新技术水平(SOTA)LSTM模型进行比较。BERT达到了14.5的伪困惑分数,这是我们所知道的第一个这样的指标。Transformer-XL将困惑分数提高到73.58,比LSTM模型高出27%。
2020-03-27 cs.CL cs.LG cs.SD
emLam -- a Hungarian Language Modeling baseline
Institute for Computer Science and Control Hungarian Academy of Sciences(匈牙利科学院计算机科学与控制研究所)
本文旨在弥补匈牙利语言建模缺乏文档化基线的问题。各种方法进行了评估三个公开的匈牙利语料库。困惑值类似大小的英语语料库模型的报告。一个新的,免费下载的匈牙利基准语料库介绍。
2017-01-26 cs.CL
Probabilistic top-down parsing and language modeling
本文描述了一个广泛覆盖的概率自顶向下分析器的功能,以及它在语音识别语言建模问题中的应用。本文首先介绍了语言建模和概率分析的关键概念,并简要回顾了一些以前的方法,使用语法结构的语言建模。一个词汇化的概率自上而下的解析器,它表现得非常好,在返回的解析的准确性和效率,他们发现,相对于最好的广泛覆盖的统计解析器。一个新的语言模型,它利用概率自顶向下的分析,然后概述,和实证结果表明,它改善了以前的工作在测试语料库的困惑。插值与三元模型产生一个特殊的改善相对于其他模型观察到的改善,展示了我们的解析模型捕获的信息是正交的三元模型捕获的程度。一个小型的识别实验也证明了该模型的实用性。
2001-05-08 cs.CL
The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection
University of Oslo(奥斯陆大学)
本文研究了将事实知识注入到大型预训练语言模型中的问题。我们训练适配器模块上的部分ConceptNet知识图谱使用掩蔽语言建模目标和评估的成功的方法进行了一系列的探测实验上的LAMA探针。不同配置的平均P@K曲线表明,该技术是有效的,增加性能的LAMA探针的子集为大值的k,通过添加少至2.1%的额外参数,以原始模型。
2022-10-03 cs.CL
A Compositional Approach to Language Modeling
University of Florida(佛罗里达大学)
传统的语言模型把语言看作是词上概率空间上的有限状态自动机。这是一个非常强的假设,当建模的东西本身就很复杂,如语言。在本文中,我们挑战这一点,通过展示如何在以前的工作中固有的线性链假设可以转化为一个顺序组成树。然后,我们提出了一个新的模型,边缘化所有可能的组合树,从而消除任何潜在的结构假设。由于这种新模型的划分函数是棘手的,我们使用最近提出的句子级评价度量对比熵来评估我们的模型。考虑到这个新的评估指标,我们报告了超过100%的改善失真水平,超过目前最先进的基于递归神经网络的语言模型。
2016-04-01 cs.CL