El Departamento de Nosotros: How Machine Translated Corpora Affects Language Models in MRC Tasks
SemanticWebCompany(语义网络公司);TU Dresden(德累斯顿工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所)
大规模语言模型的预训练需要大量的文本语料。英语学习型语料库中的语言资源日益丰富。然而,资源较少的语言及其单语言和多语言LM通常难以获得更大的数据集。在这种情况下,典型的方法意味着使用英语语料库到目标语言的机器翻译。在这项工作中,我们研究了应用直接翻译的语料库微调LM下游自然语言处理任务的注意事项,并证明了精心策划与后处理导致提高性能和整体LM的鲁棒性。在实证评估中,我们在用户和系统层面上对直接翻译的西班牙SQuAD数据集进行了比较。在XQuAD和MLQA迁移学习评估问答任务上的进一步实验结果表明,就精确匹配分数而言,多语言LM可能对机器翻译工件表现出更大的弹性。
2020-07-03 cs.CL
Which Word Orders Facilitate Length Generalization in LMs? An Investigation with GCG-Based Artificial Languages
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究采用GCG人工语言扩展形式化并聚焦长度泛化评估,发现类型学上合理的词序更易被语言模型生产性泛化。
2025-10-14 cs.CL
Language Model Decomposition: Quantifying the Dependency and Correlation of Language Models
Supportiv Inc(Supportiv公司)
预先训练的语言模型(LM),诸如BERT(Devlin等人,2018年)及其变体,在过去几年中导致了各种NLP任务的显着改进。然而,研究它们之间关系的理论框架仍然缺失。在本文中,我们通过研究预训练的LM之间的线性相关性来填补这一空白。线性矩阵的线性相关性类似于向量的线性相关性。我们提出了语言模型分解(LMD)表示LM使用的线性组合的其他LM作为基础,并推导出封闭形式的解决方案。定义了一个类似于决定系数的LMD拟合优度度量,并用于测量一组LM的线性依赖性。在实验中,我们发现,BERT和十一(11)BERT类LM是91%的线性相关。这一观察结果表明,目前最先进的(SOTA)LM是高度“相关”的。为了进一步推进SOTA,我们需要更多样化和新颖的LM,这些LM对现有LM的依赖性更小。
2022-10-21 cs.AI cs.CL cs.LG
Multilingual Language Models are not Multicultural: A Case Study in Emotion
University of Pennsylvania(宾夕法尼亚大学)
本研究通过情感案例发现2023年主流多语言语言模型存在盎格鲁中心与西方规范偏差,未能学习文化适宜的情感差异,并提出未来纠正方向。
2023-07-09 cs.CL
Linguistic Generalizations are not Rules: Impacts on Evaluation of LMs
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学)
本文提出语言模型未遵守符号规则可能是特性而非缺陷,因为自然语言依赖灵活、依赖语境的构式而非严格组合规则,并呼吁基于梯度因素重新设计语言模型评估基准。
2025-09-18 cs.CL
Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts
KAIST(韩国科学技术院)
先前的工作已经表明,语言模型(LM)的大小和它们在不同下游NLP任务上的zero-shot性能之间存在缩放定律。在这项工作中,我们表明,这种现象不举行时,评估大型LM的任务与否定提示,而是显示了逆缩放定律。我们评估9个不同的任务与否定提示(1)预先训练的LM(OPT & GPT-3)不同尺寸(125 M-175 B),(2)LM进一步预训练以概括新提示(3)提供有Few-Shot示例的LM,以及(4)专门针对否定提示进行微调的LM;所有LM类型在否定提示上的表现都更差,因为它们缩放并且当比较原始提示和否定提示的平均分数时,在人的表现之间显示出巨大的表现差距。通过强调现有LM和方法的关键限制,我们敦促社区开发实际遵循给定指示的开发LM的新方法。我们在https://github.com/joeljang/negated-prompts-for-llms上提供了代码和数据集来探索否定提示
2022-09-26 cs.CL
Humans and transformer LMs: Abstraction drives language learning
Stanford University(斯坦福大学)
研究比较变换器语言模型在训练过程中对语言类别的学习行为,发现抽象层面的行为早于词汇层面,揭示抽象对语言学习的重要性。
2026-03-18 cs.CL
Examining the rhetorical capacities of neural language models
University of Toronto(多伦多大学);Vector Institute(向量研究所);Li Ka Shing Knowledge Institute, St Michael’s Hospital(李嘉诚知识研究所(圣迈克尔医院));Surgical Safety Technologies(手术安全技术公司)
最近,神经语言模型(LM)在生成高质量的话语方面表现出令人印象深刻的能力。虽然最近的许多论文分析了语言标记语中的句法方面,但迄今为止还没有分析过语言标记语中的间质和修辞知识。在本文中,我们提出了一种方法,定量评估的修辞能力的神经LM。我们研究的能力,神经LM理解修辞的话语,通过评估他们的能力,编码一套语言特征来自修辞结构理论(ESTA)。实验结果表明,基于BERT的LM的性能优于其他Transformer LM,揭示了其中间层表示更丰富的话语知识。此外,GPT-2和XLNet显然编码较少的修辞知识,我们建议从语言哲学的解释。我们的方法显示了一条量化神经LM的修辞能力的途径。
2020-10-04 cs.CL
Tracing the Roots of Facts in Multilingual Language Models: Independent, Shared, and Transferred Knowledge
The University of Tokyo(东京大学);Institute of Industrial Science(工业科学研究所)
该研究针对低资源语言下语言模型事实知识获取的难题,通过mLAMA数据集和多语言BERT的神经元分析,追溯事实知识的Wikipedia来源,识别出多语言语言模型获取事实的三种模式并提出区分方法,为改进多语言事实表征学习提供依据。
2024-03-08 cs.AI cs.CL
From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition
Rice University(莱斯大学);Northern Arizona University(北亚利桑那大学)
本文从人类语言习得视角提出三阶段框架评估语言模型能力,发现其发展轨迹不同于人类,且生成表现受训练数据语言特征影响。
2024-10-17 cs.CL
Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks
University of Amsterdam(阿姆斯特丹大学);Google DeepMind(谷歌DeepMind)
本研究通过训练数据归因方法,发现多语言模型中语言专用子网络自然涌现,且稀疏微调可能降低语言专用性以促进跨语言共享。
2023-11-14 cs.CL
Can Language Models be Biomedical Knowledge Bases?
Korea University(高丽大学);Princeton University(普林斯顿大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);NAVER AI Lab(NAVER AI实验室)
预训练的语言模型(LM)在解决各种自然语言处理(NLP)任务中变得无处不在。人们越来越感兴趣的是这些LM包含什么知识,以及我们如何提取这些知识,将LM视为知识库(KB)。虽然在一般领域中已经有很多关于探测LM的工作,但是很少有人关注这些强大的LM是否可以用作特定于领域的知识库。为此,我们创建了BioLAMA基准,该基准由49 K生物医学事实知识三重组成,用于探测生物医学LM。我们发现,最近提出的探测方法的生物医学LM可以实现高达18.51%Acc@5检索生物医学知识。虽然这似乎是有希望的任务难度,我们的详细分析表明,大多数预测是高度相关的提示模板没有任何主题,从而产生类似的结果,每个关系,并阻碍其能力被用作特定领域的知识库。我们希望BioLAMA可以作为一个具有挑战性的基准生物医学事实探测。
2021-09-15 cs.CL
Language Models of Code are Few-Shot Commonsense Learners
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition
我们解决结构化常识推理的一般任务:给定一个自然语言输入,目标是生成一个图,如事件-或推理图。为了使用大语言模型(LM)来完成这个任务,现有的方法将输出图"串行化"为节点和边的平面列表。虽然可行,但这些序列化的图强烈偏离了LM预先训练的自然语言语料库,阻碍了LM正确地生成它们。在本文中,我们表明,当我们而不是框架结构化的常识推理任务的代码生成任务,预训练的LM的代码是更好的结构化常识推理比LM的自然语言,即使下游任务不涉及源代码。我们展示了我们的方法在三个不同的结构化常识推理任务。在所有这些自然语言任务中,我们表明,使用我们的方法,代码生成LM(CODEX)优于在目标任务上微调的自然LM(例如,T5)和其他强LM,如Few-Shot设置中的GPT-3。
2022-12-06 cs.CL cs.LG
When Language Models Fall in Love: Animacy Processing in Transformer Language Models
ILLC(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);Technion—IIT(以色列理工学院)
探究transformer语言模型在缺乏语言外信息时如何处理有生性,发现其能捕捉微妙线索适应非典型有生性实体,表现出对词汇语义的敏感性。
2023-10-23 cs.CL
Finance Language Model Evaluation (FLaME)
Georgia Institute of Technology(佐治亚理工学院)
针对金融NLP评估方法缺陷,提出首个综合基准FLaME,通过对比23个基础模型与推理强化模型在20个金融任务上的表现,展示语言模型潜力并开源框架与数据。
2025-06-18 cs.AI cs.CE cs.CL
Do Language Models' Words Refer?
New York University(纽约大学)
本文从语言哲学外在主义出发,论证语言模型虽只处理文本,但文本的自然历史可使其词语与外部世界建立指称关系。
2024-03-04 cs.CL
Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学)
已经做出了许多努力来利用预训练的语言模型(LM)来促进自然语言处理任务,并且为各种应用带来了显著的改进。为了充分利用几乎无限的语料库和捕捉各种层次的语言信息,需要大尺寸的LM;但对于特定的任务,这些信息中只有一部分是有用的。这种大尺寸的LM,即使在推理阶段,也可能导致繁重的计算工作量,使得它们对于大规模应用来说过于耗时。在这里,我们建议压缩庞大的LM,同时保留有用的信息,对于一个特定的任务。由于模型的不同层保持不同的信息,我们开发了一种层选择方法,模型修剪稀疏诱导正则化。通过引入密集连接,我们可以在不影响其他层的情况下分离任何层,并将浅而宽的LM拉伸为深而窄。在模型训练中,LM是通过逐层退出来学习的,以获得更好的鲁棒性。在两个基准数据集上的实验证明了该方法的有效性。
2018-09-10 cs.CL
A Watermark for Order-Agnostic Language Models
University of Maryland, College Park(马里兰大学帕克分校)
本文提出Pattern-mark框架,通过马尔可夫链生成高频模式水印密钥,并基于统计模式检测,有效提升顺序无关语言模型的水印检测效率、生成质量与鲁棒性。
2024-10-17 cs.CL
X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models
Carnegie Mellon University(卡内基梅隆大学);George Mason University(乔治梅森大学);Bosch Research(博世研究院)
语言模型(LM)已经被证明在通过完成完形填空题(如“Punta Cana is located in _.“然而,虽然知识是书面和查询在许多语言,研究的事实表征能力的LM几乎总是在英语进行。为了评估不同语言的LM中的事实知识检索,我们为23种类型学上不同的语言创建了一个多语言的完形填空式探针基准。为了正确处理语言的变化,我们扩展探测方法从单个到多个字的实体,并开发几个解码算法来生成多令牌的预测。广泛的实验结果提供了关于当前最先进的LM在具有或多或少可用资源的语言中执行此任务的情况如何的见解。我们进一步提出了一种基于代码转换的方法来提高多语言语言学习者获取知识的能力,并在几种基准语言上验证了其有效性。基准数据和代码已在https://x-factr.github.io上发布。
2020-10-27 cs.CL
Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models
Bielefeld University(比勒菲尔德大学);Southern University of Science and Technology(南方科技大学);KTH Royal Institute of Technology(皇家理工学院)
本文通过三种微调策略研究回话用语和填充词在语言模型中的表示,发现微调能提升模型区分语义差异的能力,使生成的对话更接近人类语言。
2026-04-25 cs.CL
Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists?
New York University(纽约大学);McGill University(麦吉尔大学);Mila - Quebec Artificial Intelligence Institute(魁北克人工智能研究所);CIFAR Learning in Machines and Brains Program(CIFAR 机器与大脑学习计划);The University of Utah(犹他大学)
本研究采用Blicket Test范式发现语言模型存在类似人类的因果推理析取偏差,且该偏差跨模型规模和提示策略普遍存在,同时提出测试时采样方法有效降低偏差,推动模型向科学严谨的因果推理发展。
2025-10-05 cs.AI cs.CL
Illuminating Blind Spots of Language Models with Targeted Agent-in-the-Loop Synthetic Data
Delft University of Technology(代尔夫特理工大学)
本研究提出利用人类或大型语言模型作为智能代理教师,通过生成目标合成数据来减少语言模型的高置信度错误分类(未知的未知),在三个分类任务上验证了有效性,并发现语言模型在成本效益上优于人类。
2024-11-04 cs.CL
Investigating the Impact of Pre-trained Language Models on Dialog Evaluation
National University of Singapore(新加坡国立大学);Robert Bosch (SEA)(罗伯特博世(东南亚));Universidad Politécnica de Madrid(马德里理工大学);Kriston AI Lab(Kriston人工智能实验室)
最近,有一个在自动开放域对话评估中应用预训练语言模型(Pr-LM)的兴趣激增。Pr-LM为解决多领域评估挑战提供了一个有前途的方向。然而,不同的Pr-LM对自动度量性能的影响还没有得到很好的理解。本文研究了8种不同的Pr-LM,并研究了它们对三种典型的自动对话评估指标的影响。具体来说,我们分析了如何选择的Pr-LM影响自动度量的性能。对每个指标进行广泛的相关性分析,以评估不同Pr-LM沿各个轴的影响,包括预训练目标,对话评估标准,模型大小和跨数据集鲁棒性。这项研究作为第一次全面评估不同的Pr-LM对自动对话评价的影响。
2021-11-02 cs.CL
Limitations of Language Models in Arithmetic and Symbolic Induction
University of California, Santa Barbara(加州大学圣巴巴拉分校)
最近的工作表明,大型预训练语言模型(LM)不仅可以在一系列自然语言处理(NLP)任务上表现出色,而且随着模型大小的增加,还可以开始改进推理任务,如算术归纳,符号操作和常识推理。然而,目前还不清楚这些LM的基本功能是什么。令人惊讶的是,我们发现这些模型在某些基本的符号操作任务(例如复制、反向和添加)上存在局限性。当符号或重复符号的总数增加时,模型性能迅速下降。我们调查了这种现象背后的潜在原因,并研究了一组可能的方法,包括显式的位置标记,细粒度的计算步骤,和可调用程序的LM。实验结果表明,这些技术都不能完全解决最简单的加法归纳问题。最后,我们介绍了LMs与导师,它演示了每一个单步的教学。带导师的LM能够在OOD和重复符号的情况下提供100%的准确性,从而在归纳中对大型LM的边界提出了新的见解。
2022-08-09 cs.CL
Do Language Models Perform Generalizable Commonsense Inference?
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
受预先训练的语言模型(LM)编码常识知识的证据的启发,最近的工作应用LM自动填充常识知识图谱(CKG)。然而,人们对它们对多个CKG、看不见的关系和新实体的概括缺乏了解。本文从知识容量、可转移性和归纳性三个方面分析了LMs进行概括性常识推理的能力。实验结果表明:(1)LMs可以适应多个CKG定义的不同模式,但不能重用知识推广到新的关系。(2)适应的LM很好地概括了看不见的主题,但对新奇的对象则不那么普遍。未来的工作应该研究如何提高从LM的常识挖掘的可移植性和归纳。
2021-06-22 cs.AI cs.CL
Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs
Rutgers University - Newark(新泽西罗格斯大学-新布朗斯维尔);UC San Diego(加州大学圣地亚哥分校);Stony Brook University(史泰文斯理工学院);MIT(麻省理工学院)
该研究通过41个开放权重语言模型测试,发现人类和模型在非事实性动词提示下对虚假信念的归因存在偏差,揭示语言统计学在解释人类认知中的局限性。
2026-02-17 cs.AI cs.CL
Task-agnostic Distillation of Encoder-Decoder Language Models
Beijing Institute of Technology(北京理工大学);Meituan NLP(美团自然语言处理团队)
针对现有任务无关蒸馏方法无法处理编码器-解码器语言模型的问题,提出MiniEnD方法,成功实现任务无关的编码器-解码器模型蒸馏,并在语言理解与摘要任务及3B模型扩展中验证了其有效性与竞争力。
2023-05-21 cs.CL
Does Vision Accelerate Hierarchical Generalization in Neural Language Learners?
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究通过刺激贫乏范式实验,探究视觉信息对语言模型句法泛化的影响,发现清晰的语言-视觉对齐能加速泛化,否则无效,并强调需额外信号增强跨模态对齐。
2024-12-17 cs.CL
Investigating Uncertainty Calibration of Aligned Language Models under the Multiple-Choice Setting
Tsinghua University(清华大学);Hefei University of Technology(合肥工业大学)
本文研究对齐语言模型在多选题设置下的不确定性校准问题,发现其过度自信源于答案决策与格式偏好两种不确定性的混淆,并提出一种样本高效的校准方法。
2023-11-19 cs.CL cs.LG
Do language models learn typicality judgments from text?
Purdue University(普渡大学);University of Chicago(芝加哥大学)
通过语言中包含的统计数据的概念和分类知识获取的可能性的研究主张的基础上,我们评估预测语言模型(LM)-仅由文本输入-在认知科学中的一个普遍现象:典型性。受涉及语言处理的实验的启发,并在人类中显示出强大的典型性效应,我们提出了两个测试LM。我们的第一个测试目标是否典型调制LM概率分配分类类别成员的项目。第二个测试调查的LMs的概率的典型性的敏感性时,扩展新的信息项目,他们的类别。这两个测试都显示了LM和人类之间的适度-但并非完全不存在-对应关系,这表明仅基于文本的暴露不足以获得典型性知识。
2021-05-06 cs.CL
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
University of Amsterdam(阿姆斯特丹大学);Northeastern University(东北大学);Technion – IIT(以色列理工学院)
该研究针对自回归Transformer语言模型增量语言输入处理特征不明的问题,通过稀疏自编码器分析花园路径句处理机制,发现模型兼具句法特征与浅层启发式特征、同时考量两种解读且不复用相关特征回答后续问题。
2024-12-06 cs.CL
Belief Revision: The Adaptability of Large Language Models Reasoning
Hong Kong University of Science and Technology(香港科技大学);Clear Water Bay(清水湾)
本文提出Belief-R数据集和delta推理框架,通过评估约30个语言模型发现其在信念修正上普遍存在困难,并揭示了更新能力与避免不必要更新之间的关键权衡,强调提升模型适应变化信息的重要性。
2024-10-17 cs.CL
Language Modeling with Latent Situations
Massachusetts Institute of Technology(麻省理工学院)
语言模型(LM)经常产生不一致的输出:它们引用的事件和实体状态与其输入中描述的世界状态不兼容。我们介绍SituationSupervision,一个家庭的方法,提高一致性LM训练他们构建和条件上明确表示的实体及其状态。SituationSupervision有两个组成部分:一个辅助的情况建模任务,训练模型在上下文中预测状态表示,和一个潜在的状态推理过程,这些状态从部分注释的训练数据。情境监督可以应用于微调(通过监督LM在其隐藏表示中编码状态变量)和提示(通过诱导LM将实体状态的文本描述与输出文本交织)。在这两种情况下,SituationSupervision只需要少量的状态注释就可以产生重大的一致性改进(在4-11%之间),这表明标准LM可以被样本有效地训练,不仅可以对语言进行建模,还可以对它所描述的情况进行建模。
2022-12-20 cs.CL
Context Limitations Make Neural Language Models More Human-Like
Tohoku University(东北大学);Langsmith Inc.(朗史密斯公司);University of Tokyo(东京大学);RIKEN(理化学研究所)
语言模型(LM)已被用于认知建模以及工程研究-它们计算信息理论复杂性度量,模拟人类在阅读过程中的认知负荷。这项研究强调了现代神经LM作为这一目的的选择模型的局限性:它们的上下文访问能力与人类之间存在差异。我们的研究结果表明,限制LM的上下文访问提高了他们对人类阅读行为的模拟。我们还表明,LM-人的差距,在上下文访问与特定的句法结构,将句法偏见到LM的上下文访问可能会提高他们的认知能力。
2022-11-01 cs.CL
Syntax-Aware Language Modeling with Recurrent Neural Networks
Zalando Research, Zalando SE(Zalando SE研究部)
神经语言模型(LM)通常仅使用词汇特征(诸如单词的表面形式)来训练。在本文中,我们认为这剥夺了LM的关键句法信号,可以检测到在高置信度使用现有的解析器。我们提出了一种简单但高效的方法,用于训练神经LM使用词汇和句法信息,和一种新的方法,用于应用这种LM的未解析文本使用顺序蒙特卡洛采样。在一系列语料库和语料库大小的实验中,我们表明我们的方法始终优于标准的词汇LM在字符级的语言建模;另一方面,对于单词级的模型与标准的语言模型。这些结果表明,扩展LM词汇表面功能以外的字符级模型的更高级别的NLP功能的潜力。
2018-03-02 cs.CL cs.LG
Why do Nearest Neighbor Language Models Work?
Carnegie Mellon University(卡内基梅隆大学)
语言模型(LM)通过顺序计算已经看到的上下文的表示并使用该表示来预测下一个单词来计算文本的概率。目前,大多数LM通过神经网络消耗紧接在前的上下文来计算这些表示。然而,最近,检索增强的LM已经显示出比标准神经LM更好的性能,除了标准的、参数化的下一个词预测之外,还可以访问从大型数据库中检索到的信息。在本文中,我们开始理解为什么检索增强的语言模型,特别是为什么k-最近邻语言模型(kNN-LM)比标准参数LM表现更好,即使k-最近邻组件从LM最初训练的相同训练集中检索示例。为此,我们仔细分析了kNN-LM偏离标准LM的各个维度,并逐一研究这些维度。从经验上讲,我们确定了kNN-LM比标准LM表现更好的三个主要原因:使用不同的输入表示来预测下一个令牌,近似kNN搜索以及softmax温度对kNN分布的重要性。此外,我们将这些见解纳入标准参数LM的模型架构或训练过程中,从而在不需要显式检索组件的情况下改善其结果。该代码可在https://github.com/frankxu2004/knnlm-why上获得。
2023-01-17 cs.CL cs.LG
Better Language Model with Hypernym Class Prediction
University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
基于类的语言模型(LM)长期以来一直被设计用于解决$n$ -文法LM中的上下文稀疏性。在这项研究中,我们重新审视这种方法的背景下,神经LM。我们假设,基于类的预测导致一个隐式的上下文聚合相似的话,从而可以提高稀有词的泛化。我们将具有共同WordNet上位词的单词映射到相同的类,并通过在训练期间从预测类逐渐退火到令牌预测来训练大型神经LM。从经验上讲,这种课程学习策略始终改善了两个数据集WikiText-103和Arxiv上各种大型,高性能的最先进的基于Transformer的模型的困惑。我们的分析表明,在不牺牲稀有词的性能的情况下,实现了性能的提高。最后,我们记录了其他尝试,未能产生实证收益,并讨论了未来的方向,采用基于类的LM在更大的规模。
2022-03-21 cs.CL
Invoke Interfaces Only When Needed: Adaptive Invocation for Large Language Models in Question Answering
School of Information, Renmin University of China(信息学院,中国人民大学)
本文提出AttenHScore指标,通过计算小语言模型生成过程中幻觉的累积与传播并动态调整阈值,实现对大语言模型的精准实时调用,同时结合不确定性感知的知识重组,在多个问答数据集上验证了其有效性和灵活性。
2025-11-08 cs.CL
First Heuristic Then Rational: Dynamic Use of Heuristics in Language Model Reasoning
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究揭示语言模型在多步推理中会动态调整策略:早期依赖词汇重叠等启发式方法,接近答案时依赖度降低,且仅能有限回溯未来步骤,为理解大模型推理机制提供了新视角。
2024-10-07 cs.CL
An Interpretability Evaluation Benchmark for Pre-trained Language Models
Baidu Inc(百度公司)
虽然预训练的语言模型(LM)在许多NLP任务中带来了很大的改进,但人们越来越关注探索LM的能力并解释其预测。然而,现有的工作通常只集中在一定的能力与一些下游的任务。缺乏直接评估屏蔽词预测性能和预训练LM的可解释性的数据集。为了填补这一空白,我们提出了一个新的评估基准提供英文和中文的注释数据。它在多个维度上测试LM的能力,即,语法、语义、知识、推理和计算。此外,它还提供了经过仔细注释的令牌级基本原理,以满足充分性和紧凑性。它包含扰动的实例为每个原始实例,以便使用扰动下的合理性一致性作为忠实性的度量,可解释性的角度。我们在几个广泛使用的预训练LM上进行实验。结果表明,它们在知识和计算维度上的表现非常差。它们在所有方面的兼容性远远不能令人满意,特别是在理由不充分的情况下。此外,我们评估的预训练LM在语法感知数据上并不稳健。我们将在\url{http://xyz}上发布这个评测基准,希望它能促进预训练LM的研究进展。
2022-07-28 cs.CL
MiniPLM: Knowledge Distillation for Pre-Training Language Models
Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
针对预训练阶段知识蒸馏的效率、灵活性与有效性问题,提出MiniPLM框架,通过离线教师推理、仅基于训练语料运行、优化数据难度与多样性实现跨模型家族蒸馏,提升学生模型性能并降低预训练成本。
2025-03-19 cs.CL
Augmented Language Models: a Survey
Meta AI;Universitat Pompeu Fabra(庞培法布拉大学)
本调查回顾了语言模型(LM)与推理技能和使用工具的能力增强的作品。前者被定义为将潜在的复杂任务分解为更简单的子任务,而后者则包括调用外部模块,如代码解释器。LM可以单独利用这些增强功能,也可以通过模拟来组合使用,或者从演示中学习这样做。在坚持标准的缺失标记预测目标的同时,这种增强的LM可以使用各种可能的非参数外部模块来扩展其上下文处理能力,从而脱离纯语言建模范例。因此,我们将它们称为增强语言模型(ALM)。缺少的token目标允许ALM学习推理、使用工具甚至行动,同时仍然执行标准的自然语言任务,甚至在几个基准测试中超过大多数常规LM。在这项工作中,在回顾了目前的进展ALMs,我们的结论是,这个新的研究方向有可能解决传统的LM,如可解释性,一致性和可扩展性问题的共同局限性。
2023-02-15 cs.CL
Can Multi-turn Self-refined Single Agent LMs with Retrieval Solve Hard Coding Problems?
American International University-Bangladesh(美国国际大学(Bangladesh));Cornell University(康奈尔大学);ELITE Research Lab(ELITE研究实验室)
本研究构建含254道题的ICPC竞技编程基准,提出结合多轮自判断、反思与情景检索的推理技术,将o1模型解题率从19.1%提升至42.2%,并通过人在回路研究揭示剩余难点。
2025-08-30 cs.CL
Language Models Use Monotonicity to Assess NPI Licensing
University of Amsterdam(阿姆斯特丹大学);Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
我们调查的语义知识的语言模型(LM),重点是(1)这些LM是否创建类别的语言环境的基础上,其语义单调性属性,以及(2)这些类别是否在LM中发挥类似的作用,在人类语言理解,使用负极性项目许可作为案例研究。我们介绍了一系列的实验,包括探测与诊断分类器(DC),语言的可接受性任务,以及一种新的DC排名方法,紧密连接的探测结果的内部工作的LM。通过将我们的实验管道应用于在各种过滤语料库上训练的LM,我们能够更深入地了解这些模型所获得的语义概括。
2021-05-28 cs.CL
MergeDistill: Merging Pre-trained Language Models using Distillation
Google Research(谷歌研究院)
预训练的多语言语言模型(LM)在跨语言迁移方面取得了最先进的结果,但由于容量有限、预训练数据偏斜以及次优词汇表,它们通常导致语言的不公平表示。这促使创建了一个不断增长的预训练模型宇宙,其中每个模型都是在大量语言或特定领域数据的基础上进行训练的,这些数据具有精心策划的语言信息词汇。然而,这样做会使我们回到原点,并阻止人们利用多种语文的好处。为了解决频谱两端的差距,我们提出了MergeDistill,这是一个框架,可以使用任务不可知的知识蒸馏,以最小的依赖性最好地利用其资产的方式合并预先训练的LM。我们证明了我们的框架在实际环境中的适用性,利用预先存在的教师LM和培训学生LM,表现有竞争力,甚至优于教师LM训练的几个数量级的数据和固定的模型容量。我们还强调了教师选择的重要性及其对学生模型表现的影响。
2021-06-05 cs.CL
Fingerprinting Fine-tuned Language Models in the Wild
IIIT-Delhi(德里英迪拉甘地信息技术学院);University of California, Davis(加州大学戴维斯分校)
有人担心,语言模型(LM)生成高质量合成文本的能力可能被滥用于发送垃圾邮件、虚假信息或宣传。因此,研究界正在积极努力开发方法来检测给定文本是有机的还是合成的。虽然这是有用的第一步,但重要的是能够进一步识别作者LM以归属其来源。以前对LM进行指纹识别的工作仅限于归因于由少数(通常< 10)预训练的LM生成的合成文本。然而,诸如GPT2的LM通常以无数方式进行微调(例如,在域特定文本语料库上)。对微调LM进行指纹识别是具有挑战性的,因为在现实场景中微调LM的范围要大得多。为了应对这一挑战,我们研究了在野外微调LM的大规模指纹识别问题。使用由108个不同的微调LM生成的合成文本的真实数据集,我们进行了全面的实验,以证明现有指纹识别方法的局限性。我们的研究结果表明,微调本身是最有效的归因微调LM生成的合成文本。
2021-06-03 cs.AI cs.CL cs.LG
Do Language Models Plagiarize?
Penn State University(宾夕法尼亚州立大学);University of Mississippi(密西西比大学)
过去的文献已经表明,语言模型(LM)经常记住部分训练实例,并在自然语言生成(NLG)过程中再现它们。然而,目前还不清楚LM在多大程度上“重用”训练语料库。例如,模型可以生成与训练样本在上下文上相似的释义句子。因此,在这项工作中,我们研究了三种类型的剽窃(即,逐字、释义和想法)与其训练数据进行比较,并进一步分析了在实践中广泛使用的特定领域语料库中微调LM的剽窃模式。我们的研究结果表明:(1)三种类型的剽窃广泛存在于记忆之外的语言记忆中;(2)语言记忆的大小和解码方式与剽窃程度密切相关;(3)微调后的语言记忆的剽窃模式因其语料相似性和同质性而异。鉴于LM的大部分训练数据都是从网络上抓取的,而没有通知内容所有者,他们将单词、短语甚至核心思想从训练集中重复到生成的文本中具有伦理意义。随着LM的大小和它们的训练数据的增加,它们的模式可能会加剧,这引起了人们对不加区别地追求具有更大训练语料库的更大模型的担忧。剽窃内容还可能包含个人的个人信息和敏感信息。这些研究结果总体上对当前LM在关键任务写作任务中的实用性提出了质疑,并敦促围绕观察到的现象进行更多的讨论。数据和源代码可在https://github.com/Brit7777/LM-plagiarism上获得。
2023-02-13 cs.AI cs.CL
Detoxifying Language Models Risks Marginalizing Minority Voices
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
语言模型(LM)必须安全且公平,才能在实践中负责任地部署。考虑到安全性,许多解毒技术(例如,Dathathri等人,2020年; Krause等人,2020年)已被提议减少有毒LM的产生。在这项工作中,我们表明,目前的解毒技术损害了公平:它们减少了LM对边缘化群体使用的语言的效用(例如,非裔美国人英语和少数民族身份提到)。特别是,我们执行自动和人工评估文本生成质量时,LM的条件输入不同的方言和组标识符。我们发现,解毒使LM更脆弱的分布偏移,特别是对边缘化群体使用的语言。我们确定,这些失败源于解毒方法利用虚假的毒性数据集的相关性。总体而言,我们的研究结果突出了线性矩阵的可控性和分布鲁棒性之间的紧张关系。
2021-04-13 cs.CL cs.LG
Subword models struggle with word learning, but surprisal hides it
Computational Linguistics, Department of Linguistics(计算语言学系,语言学系);Bielefeld University(比勒菲尔德大学)
本文通过词汇决策任务发现子词LM在区分词汇与非词上不如字符LM,且两者学习轨迹不同,质疑了子词LM在语言习得建模中的充分性。
2025-06-02 cs.CL
Order-Level Attention Similarity Across Language Models: A Latent Commonality
South China University of Technology(华南理工大学);Pazhou Laboratory(Pazhou实验室);Zhuzhou CRRC Times Electric Co.(株洲 CRRC 时代电子公司);China Telecom Research Institute(中国电信研究院);WeBank(我们银行);The Hong Kong University of Science and Technology(香港科技大学)
本文提出阶数级注意力(OLA)并发现其在不同语言模型间具有显著相似性且与句法知识存在隐式映射,据此设计无需训练的跨模型适配器迁移方法TOA,有效提升未见语言模型的性能。
2025-11-07 cs.CL
Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Cornell University(康奈尔大学)
神经语言模型(LM)在需要对句法结构敏感的任务上表现良好。借鉴心理语言学的句法启动范式,我们提出了一种新的技术来分析表征,使这种成功。通过建立结构之间的梯度相似性度量,该技术允许我们重建LM的句法表征空间的组织。我们使用这种技术来证明LSTM LM对不同类型的带有关系从句的句子的表示是以语言可解释的方式分层组织的,这表明LM跟踪句子的抽象属性。
2019-09-23 cs.CL
TALM: Tool Augmented Language Models
Google(谷歌)
基于Transformer的语言模型(LM)在各种各样的任务中表现出随着规模的增加而增加的性能。然而,仅凭规模无法使模型解决需要访问在训练时不可用的短暂、变化或私有数据的任务。许多有用的任务也可以受益于LM能够访问读取或修改状态的API。在这项工作中,我们提出了工具增强的语言模型(TALM),结合一个纯文本的方法来增强语言模型与不可微的工具,和一个迭代的“自我发挥”的技术,引导性能从几个工具演示开始。TALM在知识密集的QA任务和面向推理的数学任务上都表现出很强的性能。在一个给定的模型规模,TALM显着优于非增强LM。我们进一步证明,TALM成功地执行QA和数学任务,非增强LM失败的分布推断。我们的研究结果表明,工具增强的语言模型是一个有前途的方向,以丰富LM的能力,与规模的依赖性较小。
2022-05-24 cs.AI cs.CL
Integrating Discrete and Neural Features via Mixed-feature Trans-dimensional Random Field Language Models
Tsinghua University(清华大学);State Grid Customer Service Center(国家电网客户服务中心);China Electric Power Research Institute(中国电力科学研究院)
对于语言模型(LM)来说,离散特征(n-gram特征)和基于神经网络的特征具有互补的优势,这是一个长期的认识。改进的性能可以通过模型插值来获得,然而,模型插值是离散和神经特征的次优两步集成。跨维随机场(TRF)框架具有能够灵活地集成更丰富的功能集的潜在优势。然而,在以前的TRF LM中单独使用离散或神经特征。本文提出了一种混合特征的TRF LM,并证明了它在集成离散和神经特征方面的优势。各种LM在PTB和Google 10亿字数据集上进行训练,并在语音识别的N-最佳列表重新评分实验中进行评估。在所有单个LM(即没有模型插值)中,混合特征TRF LM表现最好,比单独的离散TRF LM和神经TRF LM都有所改善,并且也明显优于LSTM LM。与分别用离散特征和神经特征插值两个单独训练的模型相比,混合特征TRF LM的性能与最佳插值模型相匹配,并且简化了一步训练过程,减少了训练时间。
2020-04-16 cs.CL cs.LG eess.AS
Learning neural trans-dimensional random field language models with noise-contrastive estimation
Tsinghua University(清华大学)
跨维随机场语言模型(TRF LM)将句子建模为随机场的集合,在语音识别中表现出与LSTM LM接近的性能,并且在推理中计算效率更高。然而,神经TRF LM的训练效率并不令人满意,这限制了TRF LM在大型训练语料库上的可扩展性。在本文中,提出了几种技术的模型制定和参数估计,以提高训练效率和性能的神经TRF LM。首先,TRF被重新制定的形式指数倾斜的参考分布。其次,噪声对比估计(NCE)被引入到联合估计模型参数和归一化常数。第三,我们通过将深度卷积神经网络(CNN)和双向LSTM结合到势函数中来扩展神经TRF LM,以提取深度层次特征和双向序列特征。利用所有上述技术,可以在40倍大的训练集上成功有效地训练神经TRF LM,只需1/3的训练时间,并进一步降低WER,在强大的LSTM LM基线基础上相对降低4.7%。
2017-10-30 cs.CL stat.ML