Large Language Models Empowered Agent-based Modeling and Simulation: A Survey and Perspectives
Tsinghua University(清华大学)
该综述梳理了大语言模型赋能的基于智能体的建模与仿真的研究背景、应用动因、核心挑战、多场景研究进展及未来方向,覆盖赛博、物理、社会、混合四大领域。
2023-12-19 cs.AI cs.CL cs.CY
emLam -- a Hungarian Language Modeling baseline
Institute for Computer Science and Control Hungarian Academy of Sciences(匈牙利科学院计算机科学与控制研究所)
本文旨在弥补匈牙利语言建模缺乏文档化基线的问题。各种方法进行了评估三个公开的匈牙利语料库。困惑值类似大小的英语语料库模型的报告。一个新的,免费下载的匈牙利基准语料库介绍。
2017-01-26 cs.CL
Adapting Definition Modeling for New Languages: A Case Study on Belarusian
University of Helsinki(赫尔辛基大学)
研究将定义建模适配至白俄罗斯语,提出含43,150条定义的新数据集,发现适配仅需少量数据且现有自动评估指标存在捕获差距。
2025-07-13 cs.CL
Exploring the Limits of Language Modeling
Google Brain(谷歌大脑)
在这项工作中,我们探讨了最近的进展,在大规模的语言建模,一个任务的中央语言理解的递归神经网络。我们扩展了当前的模型,以应对这一任务中存在的两个关键挑战:语料库和词汇量,以及复杂的长期语言结构。我们进行了详尽的研究,如字符卷积神经网络或长短期记忆,在十亿字基准的技术。我们最好的单一模型将最先进的困惑度从51.3显著提高到30.0(同时将参数数量减少了20倍),而模型集合则将困惑度从41.0提高到23.7,创造了新的记录。我们还发布了这些模型,供NLP和ML社区学习和改进。
2016-02-11 cs.CL
Barack's Wife Hillary: Using Knowledge-Graphs for Fact-Aware Language Modeling
University of California, Irvine(加州大学欧文分校);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
对人类语言进行建模不仅需要生成流畅的文本,还需要对事实知识进行编码。然而,传统的语言模型只能记住在训练时看到的事实,并且通常难以回忆它们。为了解决这个问题,我们引入了知识图谱语言模型(KGLM),这是一种神经语言模型,具有从与上下文相关的知识图谱中选择和复制事实的机制。这些机制使模型能够呈现以前从未见过的信息,并生成词汇表外的标记。我们还介绍了Linked WikiText-2数据集,这是一个与Wikidata知识图谱对齐的注释文本语料库,其内容(大致)与流行的WikiText-2基准相匹配。在实验中,我们证明了KGLM实现了显着更好的性能比一个强大的基线语言模型。我们还比较了不同的语言模型完成需要事实知识的句子的能力,表明KGLM在生成事实方面甚至优于非常大的大语言模型。
2019-06-20 cs.CL
modeLing: A Novel Dataset for Testing Linguistic Reasoning in Language Models
Stanford University(斯坦福大学);Harvard University(哈佛大学);MIT(麻省理工学院);Yale University(耶鲁大学);Hudson River Trading(哈德逊河交易公司)
本文提出modeLing数据集,通过语言学奥林匹克谜题测试AI系统的少样本推理能力,避免数据泄露,评估显示模型具备涌现推理能力但仍有提升空间。
2024-06-24 cs.CL
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Mila(米拉计算科学研究所);McGill University(麦吉尔大学)
人们普遍认为,句法结构的知识应该改善语言建模。然而,有效地和计算高效地将句法结构纳入神经语言模型一直是一个具有挑战性的课题。在本文中,我们使用多任务目标,即,这些模型同时预测单词以及被称为“句法距离”的形式的基本事实解析树,其中这两个单独目标之间的信息共享相同的中间表示。在Penn Treebank和Chinese Treebank数据集上的实验结果表明,当提供Ground Truth解析树作为额外的训练信号时,该模型能够获得较低的困惑度,并诱导出质量更好的树。
2020-05-12 cs.CL
WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse
Google AI Language(谷歌AI语言部门)
我们发布了8种语言的4300万个原子编辑的语料库。这些编辑是从维基百科的编辑历史中挖掘出来的,包括人类编辑在现有句子中插入或删除单个连续短语的实例。我们使用收集到的数据来表明,编辑过程中生成的语言与我们在标准语料库中观察到的语言不同,并且在编辑上训练的模型与在原始非结构化文本上训练的模型相比,编码了语义和话语的不同方面。我们发布了完整的语料库,作为一种资源,以帮助正在进行的语义,话语和表示学习的研究。
2018-08-28 cs.CL
Advancing Building Energy Modeling with Large Language Models: Exploration and Case Studies
University of Arizona(亚利桑那大学);National Renewable Energy Laboratory(国家可再生能源实验室);Drexel University(德雷塞尔大学);Acadia University(阿卡迪亚大学)
本文探索将ChatGPT等大型语言模型与EnergyPlus建筑能源建模软件融合,通过三个案例研究展示了其在仿真生成、分析与优化等任务中的自动化潜力,强调了选择合适技术以提升能效建模性能的重要性。
2024-11-15 cs.AI cs.HC
The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling
Facebook AI Research(Facebook人工智能研究院);EHESS(社会科学高等学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
我们引入了一个新的无监督任务,口语建模:从没有任何标签的原始音频信号中学习语言表示,以及零资源语音基准2021:一套4个黑盒,zero-shot指标,在4个语言水平上探索学习模型的质量:语音,词汇,语法和语义。我们展示了由三个无监督系统串联而成的复合基线的结果和分析:自监督对比表示学习(CPC),聚类(k-means)和语言建模(LSTM或BERT)。语言模型基于从聚类学习的表示导出的伪文本进行学习。这个简单的流水线在所有四个指标上都表现出了优于机会的性能,证明了从原始语音进行口语建模的可行性。与在相同数据上训练的基于文本的“背线”系统相比,它的性能也更差,描绘了由更复杂的端到端模型探索的空间。
2020-12-01 cs.CL cs.SD eess.AS
Towards Interactive Language Modeling
University of Amsterdam(阿姆斯特丹大学);Meta AI Labs(Meta人工智能实验室)
照顾者和儿童之间的互动在人类语言习得和发展中起着至关重要的作用。鉴于这一观察结果,显式交互在人工语言建模中几乎没有作用是值得注意的-这也是针对人类语言的习得,但通过人工模型。此外,语言建模的交互式方法有可能使语言模型变得更加通用,并对下游应用产生相当大的影响。出于这些考虑,我们开拓了交互式语言建模的空间。作为第一个贡献,我们提出了一个路线图,我们在其中详细说明了需要采取的步骤,以实现交互式语言建模。然后,我们以身作则,在这一路线图上迈出第一步,展示我们方法的初步可行性。因此,这项工作旨在成为交互式语言建模更大研究议程的开始。
2022-09-28 cs.AI cs.CL
On the Complementary Nature of Knowledge Graph Embedding, Fine Grain Entity Types, and Language Modeling
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
我们展示了神经知识图谱嵌入、细粒度实体类型预测和神经语言建模的互补性质。我们表明,语言模型启发的知识图谱嵌入方法产生改进的知识图谱嵌入和细粒度的实体类型表示。我们的工作还表明,联合建模结构化知识元组和语言都提高了。
2020-10-12 cs.AI cs.CL
A Study on Neural Network Language Modeling
本文对神经网络语言建模进行了详尽的研究。不同的架构的基本神经网络语言模型的描述和检查。研究了对基本神经网络语言模型的几种不同改进,包括重要性采样、词类、缓存和双向递归神经网络(BiRNN),并对每种技术的优缺点进行了评价。然后从模型体系结构和知识表示两个方面探讨了神经网络语言建模的局限性。当按一定的顺序逐字处理时,词序列中的部分统计信息会丢失,而神经网络的权值矩阵和权值向量的更新机制严重限制了NNLM的有效增强。对于知识表示,神经网络语言模型所表示的知识是来自某个训练数据集的词序列的近似概率分布,而不是语言本身的知识或自然语言中的词序列所传达的信息。最后,对神经网络语言建模的进一步改进方向进行了讨论。
2017-08-24 cs.AI cs.CL
Linguistic Frameworks Go Toe-to-Toe at Neuro-Symbolic Language Modeling
Georgetown University(乔治城大学);The University of Hong Kong(香港大学)
研究探讨了语言图表示如何提升神经语言模型性能,发现语义短语结构最有效,且词性类别影响效果差异。
2022-05-11 cs.AI cs.CL
LAMOL: LAnguage MOdeling for Lifelong Language Learning
MIT(麻省理工学院);National Taiwan University(台湾大学)
大多数关于终身学习的研究都适用于图像或游戏,而不是语言。我们提出了LAMOL,一个简单而有效的终身语言学习(LLL)的语言建模的基础上的方法。LAMOL重放以前任务的伪样本,而不需要额外的内存或模型容量。具体来说,LAMOL是一种语言模型,它同时学习解决任务并生成训练样本。当模型针对新任务进行训练时,它会生成先前任务的伪样本,以便与新任务的数据一起进行训练。结果表明,LAMOL可以防止灾难性遗忘,而没有任何不妥协的迹象,并可以执行五个非常不同的语言任务顺序只有一个模型。总的来说,LAMOL比以前的方法有相当大的优势,只比多任务处理差2-3%,这通常被认为是LLL的上限。源代码可在https://github.com/jojotenya/LAMOL上获得。
2019-12-23 cs.AI cs.CL
The Evolution of RWKV: Advancements in Efficient Language Modeling
本文综述RWKV架构的发展,其结合Transformer训练效率与RNN推理效率,通过线性注意力机制实现高效语言建模,并探讨其创新、应用及未来挑战。
2024-11-05 cs.AI cs.CL
Overcoming Vocabulary Mismatch: Vocabulary-agnostic Teacher Guided Language Modeling
Microsoft Research(微软研究院)
提出词汇无关的教师引导语言建模(VocAgnoLM),通过词元级词汇对齐和教师引导损失,解决师生模型词汇不匹配问题,在1B学生模型上实现46%性能提升。
2025-03-24 cs.AI cs.CL
A framework for anomaly detection using language modeling, and its applications to finance
S&P Global Ratings(标普全球评级)
在金融领域,专注于异常检测的研究通常与时间序列和交易数据分析相关。在本文中,我们列出了应用异常和偏差检测方法的文本语料库和与之相关的挑战的机会。我们认为,使用分布式语义的语言模型可以发挥重要作用,在新的方向推进这些研究,在风险识别,预测建模和趋势分析的新应用。
2019-08-24 cs.AI cs.CL
AraModernBERT: Transtokenized Initialization and Long-Context Encoder Modeling for Arabic
AraModernBERT通过转令牌初始化和长上下文建模提升了阿拉伯语的编码器性能,验证了其在多种自然语言理解任务中的有效性。
2026-03-12 cs.AI cs.CL
Curriculum learning for language modeling
University of Washington(华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
ELMo和BERT等语言模型提供了自然语言的鲁棒表示,这些表示可作为各种下游任务的语言理解组件。课程学习是一种采用结构化训练机制的方法,它已被用于计算机视觉和机器翻译,以提高模型训练速度和模型性能。虽然语言模型已被证明是自然语言处理社区的变革,但这些模型已被证明是昂贵的、能量密集的,并且对训练具有挑战性。在这项工作中,我们探讨了课程学习的影响语言模型预训练使用各种语言动机的课程和评估迁移性能的GLUE基准。尽管有各种各样的训练方法和实验,我们没有发现令人信服的证据表明,课程学习方法提高语言模型训练。
2021-08-04 cs.AI cs.CL
Neural Language Modeling by Jointly Learning Syntax and Lexicon
Department of Computer Science and Operations Research(计算机科学与运筹学系);Université de Montréal(蒙特利尔大学)
我们提出了一个神经语言模型能够无监督的句法结构归纳。该模型利用结构信息来形成更好的语义表示和更好的语言建模。标准的递归神经网络受到其结构的限制,无法有效地使用语法信息。另一方面,树结构递归网络通常需要额外的结构监督,代价是人类专家注释。在本文中,我们提出了一种新的神经语言模型,称为解析-阅读-预测网络(PRPN),它可以同时从未注释的句子中推断出句法结构,并利用推断出的结构来学习更好的语言模型。在我们的模型中,梯度可以直接从语言模型损失反向传播到神经解析网络。实验结果表明,该模型能够发现潜在的句法结构,并在单词/字符级语言模型任务上取得了最好的性能。
2018-02-19 cs.AI cs.CL
Improved Language Modeling by Decoding the Past
IBM Research(IBM研究院)
高度正则化的LSTM在语言建模的几个基准数据集上取得了令人印象深刻的结果。我们提出了一种新的正则化方法,该方法基于使用下一个令牌的预测分布来解码上下文中的最后一个令牌。这使模型偏向于保留更多的上下文信息,从而提高了预测下一个令牌的能力。由于参数数量和训练时间的开销可以忽略不计,我们的Past Decode Regularization(PDR)方法使用单个softmax在Penn Treebank上实现了55.6的单词级困惑度,在WikiText-2数据集上实现了63.5的单词级困惑度。我们还显示了使用PDR与混合softmax相结合的收益,在这些数据集上实现了53.8和60.5的单词级困惑。此外,我们的方法实现了1.169位每字符的Penn Treebank字符数据集字符级语言建模。这些结果在各自的环境中构成了新的最先进水平。
2019-01-23 cs.AI cs.CL
An Analysis of Neural Language Modeling at Multiple Scales
Salesforce Research(Salesforce研究院)
语言建模中的许多主要方法都引入了新颖、复杂和专门的架构。我们采用现有的基于LSTM和QRNN的最先进的单词级语言模型,并将其扩展到更大的词汇表和字符级粒度。当适当调整时,LSTM和QRNN分别在字符级(Penn Treebank,enwik 8)和单词级(WikiText-103)数据集上实现了最先进的结果。使用单个现代GPU,只需12小时(WikiText-103)到2天(enwik 8)即可获得结果。
2018-03-22 cs.AI cs.CL cs.NE
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果,发现其错误覆盖音系到句法层,并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文从元学习视角解析了Transformer在因果语言建模中的训练过程,通过阐明其内部优化机制,发现并理论分析了学习到的token表示范数的特殊特征,且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
Learning Spoken Language Representations with Neural Lattice Language Modeling
National Taiwan University(台湾大学)
预训练的语言模型在许多NLP任务上取得了巨大的进步。然而,这些方法通常是为书面文本设计的,因此它们不考虑口语的属性。因此,本文旨在将语言模型预训练的思想推广到由识别系统生成的格。我们提出了一个训练神经网格语言模型的框架,为口语语言理解任务提供上下文表示。提出的两阶段预训练方法减少了对语音数据的要求,具有更好的效率。在意图检测和对话行为识别数据集上的实验表明,我们提出的方法在语音输入上进行评估时始终优于强基线。该代码可在https://github.com/MiuLab/Lattice-ELMo上获得。
2020-11-02 cs.AI cs.CL cs.LG
Better Character Language Modeling Through Morphology
University of Washington(华盛顿大学);Facebook AI Research(Facebook人工智能研究院)
我们将形态监督字符语言模型(CLMs)通过多任务处理,并表明,这除了提高每字符位数(BPC)的性能在24种语言,即使当形态数据和语言建模数据是不相交的。分析CLM表明,变形的单词比未变形的单词更受益于显式建模形态,并且即使语言建模数据量增加,形态监督也会提高性能。然后,我们转移形态监督跨语言,以提高语言建模性能的低资源设置。
2019-06-12 cs.CL
Confidence Regularized Masked Language Modeling using Text Length
Soongsil University(崇实大学)
针对掩码语言建模在短文本上因忽略多义替代词而导致过度自信的问题,本文提出一种根据输入长度自适应调整强度的置信度正则化方法,并在GLUE和SQuAD上验证其同时提升准确率与校准性能。
2025-04-09 cs.AI cs.CL cs.LG
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Paradigm Shift in Language Modeling: Revisiting CNN for Modeling Sanskrit Originated Bengali and Hindi Language
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);United International University(联合国际大学)
虽然最近有大量的工作在语言建模(LM)的高资源语言,如英语和中文,该领域仍然是未开发的低资源语言,如孟加拉语和印地语。我们提出了一个端到端的可训练记忆高效的CNN架构命名为CoCNN处理特定的特点,如高拐点,形态丰富,灵活的词序和拼音拼写错误的孟加拉语和印地语。特别是,我们在单词和句子级别引入了两个可学习的卷积子模型,它们是端到端可训练的。我们表明,最先进的(SOTA)Transformer模型,包括预训练的BERT不一定会产生孟加拉语和印地语的最佳性能。CoCNN的性能优于预训练的BERT,参数减少了16倍,并且在多个真实世界数据集上实现了比SOTA LSTM模型更好的性能。这是第一次研究从三种深度学习范式中提取的不同架构的有效性-卷积,递归和Transformer神经网络用于建模两种广泛使用的语言,孟加拉语和印地语。
2021-11-05 cs.CL
PMI Matrix Approximations with Applications to Neural Language Modeling
Bar-Ilan University(巴伊兰大学)
word2vec中使用的负采样(NEG)目标函数是噪声对比估计(NCE)方法的简化。NEG被认为是非常有效的学习连续的单词表征。然而,与NCE不同,它被认为不适用于学习语言模型的参数。在这项研究中,我们反驳了这一论断,提供了一个原则性的推导基于NEG的语言建模,建立在一个新的分析的逐点互信息矩阵的上下文和预测的话。所获得的语言建模与NCE语言模型密切相关,但基于简化的目标函数。因此,我们提供了一个统一的制定两个主要的语言处理任务,即词嵌入和语言建模,基于NEG目标函数。在两个流行的语言建模基准测试上的实验结果显示了相当的困惑结果,NEG比NCE有一点优势。
2016-09-05 cs.CL
Memory-based Language Models: An Efficient, Explainable, and Eco-friendly Approach to Large Language Modeling
Utrecht University(乌特勒支大学);Lund University(吕勒奥大学);Royal Netherlands Academy of Arts and Sciences(荷兰艺术与科学皇家学院)
本文提出基于记忆的语言建模作为深度神经网络语言模型的环保高效替代方案,通过快速近似k近邻分类实现对数线性扩展的预测性能,并在CPU上以低延迟运行,与GPT-2和GPT-Neo对比验证其准确率、排放和速度优势。
2025-10-25 cs.CL
DIRECTOR: Generator-Classifiers For Supervised Language Modeling
McGill University(麦吉尔大学);Mila(米拉研究所);Meta AI
当前的语言模型实现了低复杂度,但其产生的代仍然遭受有毒反应,重复性和矛盾。标准语言建模设置无法解决这些问题。在本文中,我们介绍了一个新的架构,{ \sc导演},它包括一个统一的生成器分类器的语言建模和分类头为每个输出令牌。训练是使用标准语言建模数据和标记有期望和不期望序列的数据联合进行的。在几种设置下的实验表明,与标准语言模型相比,该模型具有竞争力的训练和解码速度,同时产生优异的结果,在保持生成质量的同时减轻了已知问题。它在准确性和效率方面也优于现有的模型指导方法。
2022-11-25 cs.CL
Language Modeling for Code-Switching: Evaluation, Integration of Monolingual Data, and Discriminative Training
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文主要研究自动语音识别(ASR)背景下的语码转换语言建模问题。代码转换语言的语言建模具有挑战性,原因(至少)有三个:(1)缺乏可用于训练的大规模代码转换数据;(2)缺乏ASR指导的可复制评估设置,但将语言建模性能与ASR系统的其他复杂性隔离开来;以及(3)依赖生成建模。我们解决这三个问题:我们提出了一个ASR动机的评估设置,这是解耦的ASR系统和词汇的选择,并提供了一个评估数据集的英语-西班牙语码切换。这种设置适合于一种判别式训练方法,我们证明这种方法比生成语言建模更好。最后,我们探索了各种训练协议,并验证了使用大量单语数据进行训练,然后使用少量代码转换数据进行微调的有效性,无论是对于生成性还是区分性情况。
2019-11-10 cs.CL
The Sociolinguistic Foundations of Language Modeling
University of Birmingham(伯明翰大学)
该研究从社会语言学视角出发,提出大语言模型本质是语言变体模型,给出语言变体的技术定义,探讨其对解决语言建模五大挑战的作用,强调构建适配语言变体的训练语料对提升模型性能与社会价值的关键意义。
2024-07-12 cs.CL
A Study of Privacy-preserving Language Modeling Approaches
Paderborn University(帕德博恩大学)
本文系统梳理了隐私保护语言建模方法,分析其优势与局限,为降低语言模型隐私风险提供见解并指明未来研究方向。
2025-08-21 cs.CL
Morphological Typology in BPE Subword Productivity and Language Modeling
University of California, Berkeley(加州大学伯克利分校)
本研究探究形态类型学对BPE分词及语言建模的影响,发现屈折型语言的BPE子词规律性与能产性更强,建模效果更优,且语言学的类型连续体在实验中有所体现,揭示了形态类型学与BPE分词效率的相关性。
2024-10-31 cs.CL
A conclusive remark on linguistic theorizing and language modeling
NeTS-IUSS Pavia(帕维亚高等研究院NeTS(网络与复杂系统)研究中心)
本文对语言理论化与语言建模的讨论进行了结论性评论,总结了相关回应和观点。
2025-06-03 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Pyramidal Recurrent Unit for Language Modeling
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
LSTM是建模上下文信息的强大工具,正如它们在语言建模任务中的成功所证明的那样。然而,在非常高维的空间中建模上下文可能导致较差的可推广性。我们引入了金字塔递归单元(PRU),它可以在高维空间中学习表示,具有更强的泛化能力和更少的参数。PRU用更复杂的交互(包括金字塔和分组线性变换)取代LSTM中的线性变换。这种架构在词级语言建模上给出了强有力的结果,同时显著减少了参数的数量。特别是,PRU将最近最先进的语言模型Merity et al.(2018)的困惑度提高了1.3个点,同时学习的参数减少了15-20%。对于类似数量的模型参数,PRU优于所有以前的RNN模型,这些模型利用不同的门控机制和转换。我们提供了一个详细的检查PRU及其行为的语言建模任务。我们的代码是开源的,可在https://sacmehta.github.io/PRU/上获得
2018-08-27 cs.CL
Bilingual Language Modeling, A transfer learning technique for Roman Urdu
NUCES (FAST)(NUCES(FAST))
预训练的语言模型现在广泛用于自然语言处理。尽管它们取得了成功,但将它们应用于低资源语言仍然是一个巨大的挑战。虽然多语言模型有很大的希望,但将它们应用于特定的低资源语言(如罗马乌尔都语)可能会过度。在本文中,我们展示了如何代码转换属性的语言可以用来执行跨语言迁移学习从相应的高资源语言。我们还展示了这种称为双语语言建模的迁移学习技术如何用于为罗马乌尔都语生成性能更好的模型。为了使培训和实验,我们还提出了一个收集的小说语料库罗马乌尔都语提取各种来源和社交网站,如Twitter。我们训练了罗马乌尔都语的单语、多语和双语模型--在掩蔽语言建模(MLM)任务中,与单语和多语模型的2%和11%相比,所提出的双语模型实现了23%的准确率。
2021-02-22 cs.CL
Code-Switching Language Modeling using Syntax-Aware Multi-Task Learning
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
文本数据的缺乏一直是语码转换语言建模的主要问题。本文介绍了基于多任务学习的语言模型,它共享语言的语法表示,以充分利用语言信息,并解决低资源数据的问题。我们的模型联合学习代码转换话语的语言建模和词性标记。通过这种方式,该模型能够识别代码转换点的位置,并提高下一个词的预测。我们的方法优于基于标准LSTM的语言模型,在SEAME Phase I和Phase II数据集上的困惑度分别提高了9.7%和7.4%。
2018-10-04 cs.CL
VoxML: A Visualization Modeling Language
Brandeis University(布兰迪斯大学)
我们提出了一个建模语言,VoxML,它编码的语义知识的真实世界的对象表示为三维模型,和事件和属性相关,并制定了这些对象的规范。VoxML的目的是克服现有的三维可视化置标语言的限制,允许编码的语义知识,可以利用各种系统和平台,导致多模态模拟的真实世界的情况下使用的概念对象,代表他们的语义值。
2016-10-05 cs.CL
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages
University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究通过预训练超过10,000个模型覆盖250多种语言,发现适度添加多语言数据可提升低资源语言建模性能(相当于数据增加33%),但高资源语言性能下降,且数据过多时因模型容量限制产生“多语言诅咒”,表明针对性模型更优。
2023-11-15 cs.CL
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University(东北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kunming University of Science and Technology(昆明理工大学);NiuTrans Research(牛翻译研究院)
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战,提出基于n-gram构建的单元语言,结合多任务学习与任务提示建模指导语音建模,在Voxpupil数据集上实现显著提升,性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
Self-Normalization Properties of Language Modeling
自规范化判别模型近似于类的规范化概率,而无需计算分区函数。在语言建模的上下文中,这个属性特别有吸引力,因为它可以显著减少由于大单词词汇表而导致的运行时间。在这项研究中,我们提供了一个全面的调查语言建模自我规范化。首先,我们从理论上分析了噪声对比估计(NCE)语言模型固有的自归一化特性。然后,我们将它们与基于softmax的方法进行了经验比较,这些方法使用显式正则化进行自归一化,并提出了一种具有令人信服的特性的混合模型。最后,我们发现了一个令人惊讶的自我规范化和困惑之间的负相关性,以及一些规律性的观察到的错误,这可能是潜在的用于改善自我规范化算法在未来。
2018-06-04 cs.CL
DaG LLM ver 1.0: Pioneering Instruction-Tuned Language Modeling for Korean NLP
Seoul National University(首尔大学)
本文提出了专为韩语设计的DaG LLM,通过在13个类别的41个任务上进行指令微调,展现了其在韩语NLP领域的开创性应用。
2023-11-23 cs.CL
A Cognitive Regularizer for Language Modeling
Google AI Language(谷歌AI语言部门);ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
统一信息密度(UID)假设认为说话者的最佳行为倾向于在语言信号中均匀分布信息,作为对某些句法,形态和韵律选择的解释,在心理语言学中获得了广泛的关注。在这项工作中,我们将探讨UID假设是否可以操作为统计语言建模的归纳偏见。具体来说,我们增加了规范的MLE目标,用于训练语言模型与正则化编码UID。在跨越五个语言家族的十种语言的实验中,我们发现使用UID正则化一致地改善了语言模型的困惑,当训练数据有限时,效果更大。此外,通过对生成的序列的分析,我们发现UID正则化的语言模型具有其他期望的属性,例如,它们生成的文本在词汇上更加多样化。我们的研究结果不仅表明,UID是一个合理的归纳偏见的语言建模,但也提供了一个替代验证UID假设使用现代NLP工具。
2021-06-10 cs.CL
Probabilistic top-down parsing and language modeling
本文描述了一个广泛覆盖的概率自顶向下分析器的功能,以及它在语音识别语言建模问题中的应用。本文首先介绍了语言建模和概率分析的关键概念,并简要回顾了一些以前的方法,使用语法结构的语言建模。一个词汇化的概率自上而下的解析器,它表现得非常好,在返回的解析的准确性和效率,他们发现,相对于最好的广泛覆盖的统计解析器。一个新的语言模型,它利用概率自顶向下的分析,然后概述,和实证结果表明,它改善了以前的工作在测试语料库的困惑。插值与三元模型产生一个特殊的改善相对于其他模型观察到的改善,展示了我们的解析模型捕获的信息是正交的三元模型捕获的程度。一个小型的识别实验也证明了该模型的实用性。
2001-05-08 cs.CL
The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection
University of Oslo(奥斯陆大学)
本文研究了将事实知识注入到大型预训练语言模型中的问题。我们训练适配器模块上的部分ConceptNet知识图谱使用掩蔽语言建模目标和评估的成功的方法进行了一系列的探测实验上的LAMA探针。不同配置的平均P@K曲线表明,该技术是有效的,增加性能的LAMA探针的子集为大值的k,通过添加少至2.1%的额外参数,以原始模型。
2022-10-03 cs.CL
A Compositional Approach to Language Modeling
University of Florida(佛罗里达大学)
传统的语言模型把语言看作是词上概率空间上的有限状态自动机。这是一个非常强的假设,当建模的东西本身就很复杂,如语言。在本文中,我们挑战这一点,通过展示如何在以前的工作中固有的线性链假设可以转化为一个顺序组成树。然后,我们提出了一个新的模型,边缘化所有可能的组合树,从而消除任何潜在的结构假设。由于这种新模型的划分函数是棘手的,我们使用最近提出的句子级评价度量对比熵来评估我们的模型。考虑到这个新的评估指标,我们报告了超过100%的改善失真水平,超过目前最先进的基于递归神经网络的语言模型。
2016-04-01 cs.CL
Multimodal neural pronunciation modeling for spoken languages with logographic origin
Institute for Infocomm Research(资讯通信研究院)
大多数语言的字形编码发音,虽然有些比其他更明确。像西班牙语这样的语言在其字素和音素之间有一个简单的映射,而这种映射对于像英语这样的语言来说更加复杂。粤语等口语在发音建模方面提出了更多的挑战:(1)它们没有标准的书面形式,(2)最接近的字形起源是语标汉字,其中只有这些语标汉字的一个子集隐式编码发音。在这项工作中,我们提出了一个多模态的方法来预测粤语语标字符的发音,使用神经网络的几何表示的语标和发音的同源词在历史上相关的语言。拟议的框架提高了18.1%和25.0%的性能,分别为单峰和多式联运基线。
2018-09-12 cs.CL