Visually Grounded Continual Learning of Compositional Phrases
University of Southern California（南加州大学）
与当代NLP系统相比，人类不断地获取语言，每次对数据样本的访问要有限得多。为了研究这种类似人类的语言习得能力，我们提出了VisCOLL，一个视觉接地的语言学习任务，它模拟连续收购的组成短语从流视觉场景。在该任务中，模型在具有移动对象分布的成对图像-字幕流上进行训练;同时在保持的测试集上通过视觉接地的掩蔽语言预测任务进行不断评估。VisCOLL将持续学习的挑战（即，从连续移动的数据分布中学习）和合成概括（即，推广到新的组合物）。为了方便对VisCOLL的研究，我们构建了两个数据集，COCO-shift和Flickr-shift，并使用不同的持续学习方法对它们进行了基准测试。结果表明，SoTA持续学习方法对VisCOLL几乎没有改进，因为存储所有可能组合物的示例是不可行的。我们进行进一步的消融和分析，以指导未来的工作。
2020-11-17 cs.CL
Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models
KAIST（韩国科学技术院）
本文提出ARAM框架，通过动态校准引导尺度提升检索增强扩散模型在知识密集型问答中的性能。
2026-04-03 cs.AI cs.CL cs.LG
The Effectiveness of Masked Language Modeling and Adapters for Factual Knowledge Injection
University of Oslo（奥斯陆大学）
本文研究了将事实知识注入到大型预训练语言模型中的问题。我们训练适配器模块上的部分ConceptNet知识图谱使用掩蔽语言建模目标和评估的成功的方法进行了一系列的探测实验上的LAMA探针。不同配置的平均P@K曲线表明，该技术是有效的，增加性能的LAMA探针的子集为大值的k，通过添加少至2.1%的额外参数，以原始模型。
2022-10-03 cs.CL
BERT Goes Shopping: Comparing Distributional Models for Product Representations
Bocconi University（博科尼大学）；Coveo；Coveo AI Labs（Coveo人工智能实验室）
词嵌入（例如，word 2 vec）已通过~ \textit{prod2vec}成功应用于电子商务产品。受最近上下文嵌入带来的几个NLP任务的性能改进的启发，我们建议将BERT类架构转移到电子商务中：我们的模型-- ~ \textit{Prod2BERT} --经过训练，通过掩码会话建模生成产品的表示。通过对多个商店、不同任务和一系列设计选择的广泛实验，我们系统地比较了~ \textit{Prod2BERT}和~ \textit{prod2vec}嵌入的准确性：虽然~ \textit{Prod2BERT}在几种情况下都是优越的，但我们强调了资源和超参数在最佳性能模型中的重要性。最后，我们提供了指导方针，从业人员在各种计算和数据的约束下训练嵌入。
2021-06-23 cs.CL cs.IR
Is Structure Necessary for Modeling Argument Expectations in Distributional Semantics?
Aix-Marseille University（艾克斯-马赛大学）；University of Pisa（比萨大学）
尽管有大量的NLP研究致力于主题匹配估计，很少有人注意到相关的任务，组成和更新动词的论点预期。少数例外情况主要是用结构化分布模型来模拟这种现象，隐含地假设了事件的类似结构化表示。然而，最近的实验证据表明，人类处理系统也可以利用非结构化的“参数袋”类型的事件表示来预测即将到来的输入。在本文中，我们重新实现了一个传统的结构化模型，并调整它来比较不同的假设结构的程度，在我们的事件知识，评估其相对性能的任务的参数期望更新。
2017-10-03 cs.CL
XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models
Meta AI
本文提出XLM-V，通过为各语言分配词汇容量并减少低重叠语言间的标记共享，构建百万级词汇的多语言模型，在多项任务上超越XLM-R，尤其显著提升低资源语言性能。
2023-10-13 cs.CL cs.LG
JuriBERT: A Masked-Language Model Adaptation for French Legal Text
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）；HEC Paris（巴黎高等商学院）
语言模型已经被证明在适应特定领域时非常有用。尽管如此，很少有研究已经做了适应特定领域的BERT模型在法语。在本文中，我们专注于创建一个适应法语法律文本的语言模型，旨在帮助法律专业人士。我们的结论是，一些特定的任务并没有受益于通用的语言模型预先训练的大量数据。我们探讨了在特定领域的子语言中使用较小的架构及其对法语法律文本的好处。我们证明了特定于领域的预训练模型可以比法律领域中的等效广义模型表现得更好。最后，我们发布了JuriBERT，这是一套适用于法国法律领域的新BERT模型。
2022-02-12 cs.CL
A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
本文提出了一种基于语言类型学的评估框架，用于评估多语言掩码语言模型对词序和形态敏感性的依赖性，通过多种扰动方法测试模型性能。
2026-02-28 cs.CL
Data Determines Distributional Robustness in Contrastive Language Image Pre-training (CLIP)
University of Washington（华盛顿大学）；Amazon（亚马逊）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对比训练的语言图像模型，如CLIP，ALIGN和BASIC，已经证明了对多种具有挑战性的自然分布偏移的前所未有的鲁棒性。由于这些语言图像模型在几个方面与以前的训练方法不同，一个重要的问题是什么导致了大的鲁棒性增益。我们通过系统的实验研究回答了这个问题。具体而言，我们研究了五种不同的可能原因的鲁棒性增益：（i）训练集的大小，（ii）训练分布，（iii）在训练时的语言监督，（iv）在测试时的语言监督，和（v）对比损失函数。我们的实验表明，更多样化的训练分布是鲁棒性增益的主要原因，其他因素几乎没有鲁棒性。除了我们的实验结果之外，我们还引入了ImageNet-Captions，这是ImageNet的一个版本，带有Flickr的原始文本注释，以实现语言图像训练的进一步受控实验。
2022-08-22 cs.CL cs.CV cs.LG
Reconsidering Positional Supervision in Masked Diffusion Language Model Training
Tohoku University（东大大学）；RIKEN（理化学研究所）；NII LLMC（国家信息研究所LLMC）
针对掩码扩散语言模型对位置偏移敏感的问题，提出基于连接主义时序分类（CTC）的目标函数，通过引入松弛令牌和更新折叠映射来吸收位置不确定性，从而在开放生成基准上取得一致提升。
2026-11-06 cs.CL cs.LG
The Typology of Polysemy: A Multilingual Distributional Framework
University of Toronto（多伦多大学）
词汇语义类型学已经确定了重要的跨语言概括的变化和共性的一词多义模式-语言如何包装成词的意义。最近的计算研究使调查的词汇语义在一个更大的规模，但很少有工作探讨词汇类型学的语义域，也没有影响跨语言的相似性的因素。我们提出了一个新的计算框架，量化语义亲和力，跨语言的词汇语义相似的概念。我们的方法定义了一个共同的多语言语义空间，使跨语言的概念的词汇表达的直接比较。我们验证了我们的框架对词汇语义类型学在概念和领域水平的实证研究结果。我们的研究结果揭示了语义域和语言外因素之间错综复杂的相互作用，超越了语言发生学，共同塑造了跨语言的多义类型。
2020-06-02 cs.CL
A Neurobiologically Motivated Analysis of Distributional Semantic Models
The University of Electro-Communications（电子通信大学）
分布式语义模型或词嵌入在各种研究领域中的广泛使用是由于它们在实际应用和认知建模中表示词的含义的显着能力。然而，很少有人知道什么样的信息是编码在基于文本的词向量。当词向量被视为抽象概念的语义表示模型时，这种理解的缺乏尤其成问题。本文利用Binder等人的分析方法，试图揭示分布词向量的内在信息。’s（2016）brain-based vectors，基于神经生物学动机属性的显式结构化概念表征。在分析中，训练从基于文本的向量到基于大脑的向量的映射，并通过比较估计的和原始的基于大脑的向量来评估预测性能。分析表明，社会和认知信息更好地编码在基于文本的词向量，但情感信息不是。这一结果将从抽象概念的具身理论的角度进行讨论。
2018-02-06 cs.CL q-bio.NC
From Distributional to Overton Pluralism: Investigating Large Language Model Alignment
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Indeed
本文研究 LLM 对齐后的输出分布变化，发现多样性下降主要源于质量控制与信息聚合，且对齐行为可通过上下文示例和语义提示从基础模型恢复。
2025-05-12 cs.CL cs.LG
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning
Tsinghua University（清华大学）；Tencent（腾讯）
跨模态对齐对于视觉语言预训练（VLP）模型学习跨不同模态的正确对应信息至关重要。出于这个目的，受NLP预训练领域中掩蔽语言建模（MLM）任务成功的启发，已经为VLP提出了许多掩蔽建模任务，以进一步促进跨模态交互。以前的掩码建模任务的核心思想是专注于基于可见上下文重建掩码标记，以学习局部到局部对齐。然而，他们大多没有注意到的全局语义特征所产生的屏蔽数据，导致有限的跨模态对齐能力的全局表示。因此，在本文中，我们提出了一种新的语义完成学习（SCL）任务，补充现有的掩蔽建模任务，以促进全球到本地对齐。具体而言，SCL任务通过从其他模态捕获相应的信息来补充掩蔽数据的缺失语义，促进学习更具代表性的全局特征，这些特征对下游任务的性能有很大影响。此外，我们提出了一个灵活的视觉编码器，使我们的模型，以执行图像-文本和视频-文本多模态任务同时进行。实验结果表明，我们提出的方法获得了最先进的性能在各种视觉语言基准，如视觉问答，图像-文本检索，视频-文本检索。
2023-03-26 cs.CL cs.CV cs.MM
DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models
The University of Queensland（昆士兰大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
提出DiffRetriever，利用扩散语言模型的掩码位置预测直接进行检索，支持单表示和多表示检索，在多个基准上优于现有方法。
2026-05-27 cs.CL cs.IR
Neural Language Models Learn the Contextual Distributions of Dependency Structures: a statistical learning theory to compositionality
University of Oxford（牛津大学）
本文提出统计学习理论，认为NLM将已学依存结构作为新分布单元，通过合成语法实验证明模型能学习复合结构的上下文分布，且依存关系学习先于上下文特征，为组合性提供解释。
2026-09-29 cs.CL
Specializing Unsupervised Pretraining Models for Word-Level Semantic Similarity
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
无监督预训练模型已被证明可以促进广泛的下游NLP应用。然而，这些模型保留了传统静态词嵌入的一些局限性。特别是，它们只编码原始文本语料库中可用的分布知识，通过语言建模目标合并。在这项工作中，我们补充这样的分布知识与外部词汇知识，也就是说，我们集成的离散知识词级语义相似度的预训练。为此，我们将标准的BERT模型推广到多任务学习环境中，在该环境中，我们将BERT的掩蔽语言建模和下一个句子预测目标与二进制词关系分类的辅助任务相结合。我们的实验表明，我们的“词汇知情”BERT（LIBERT），专门为词级语义相似性，产生更好的性能比词汇盲“香草”BERT在几个语言理解任务。具体地说，LIBERT在GLUE基准测试的10个任务中有9个优于BERT，在剩下的一个任务中与BERT不相上下。此外，我们在词汇简化的3个基准上显示出一致的收益，这是一项关于单词级语义相似性的知识至关重要的任务。
2020-04-20 cs.CL
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文首次构建完整评估框架，利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导，实验表明分化定律更具优势，最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
A Typedriven Vector Semantics for Ellipsis with Anaphora using Lambek Calculus with Limited Contraction
Queen Mary University of London（伦敦玛丽女王大学）
基于Jäger（2006）的Lambek有限收缩演算（LCC），我们使用类型驱动的组合分布语义，为带回指的动词短语省略开发了一个向量空间语义。分布语义学对实词的统计搭配意义有很多解释，但对如何处理虚词却没有提供什么指导。另一方面，形式语义学有强大的机制来处理关系代词、协调词等。类型驱动的组合分布语义将这两个模型结合在一起。我们回顾了Coecke等人（2010，2013）的DisCoCat框架中关系代词，协调和省略的限制性解释的先前组成分布模型。我们展示了DisCoCat如何无法处理依赖于信息复制的一般形式的省略，并通过以Muskens & Sadrzadeh（2016）的风格将向量可解释的lambda项分配给LCC的派生，开发了一种将类型语法与分布语义联系起来的新方法。下面是对（动词短语）省略的解释，在省略中，词义可以被复制：句子的意义现在是一个程序，可以非线性地访问单个词嵌入。我们提出的理论设置，工作的例子，并证明我们的结果的玩具分布模型的数据。
2019-05-05 cs.AI cs.CL cs.LO
Evaluating Distributional Distortion in Neural Language Modeling
McGill University（麦吉尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Microsoft Research（微软研究院）
自然语言的一个基本特征是说话者产生新颖表达的高速率。由于这种新颖性，罕见事件的重尾占语言分布的总概率质量的很大一部分（Baayen，2001）。标准的语言建模度量，如复杂度，量化了语言模型（LM）的总体性能。因此，我们对神经LM是否能准确估计这种罕见事件的重尾序列的概率知之甚少。为了解决这一差距，我们开发了一种受控的评估方案，该方案使用在自然数据上训练的生成模型作为人工语言，我们可以从中精确计算序列概率。在这些人工语言的生成上训练LM，我们将LM给出的序列级概率估计与目标语言中的真实概率进行比较。我们的实验表明，LSTM和Transformer语言模型（i）系统地低估了从目标语言中提取的序列的概率，并且（ii）对不太可能的序列做得更严重。调查这个概率质量去了，（iii）我们发现，LM往往高估的概率病态（扰动）序列。此外，我们发现，这种低估行为（iv）被削弱，但没有消除更大量的训练数据，和（v）是加剧与较低的熵的目标分布。
2022-03-24 cs.CL
Multi-Granularity Tibetan Textual Adversarial Attack Method Based on Masked Language Model
School of Information Science and Technology, Tibet University（西藏大学信息科学技术学院）；Collaborative Innovation Center for Tibet Informatization by MOE and Tibet Autonomous Region（教育部与西藏自治区西藏信息化协同创新中心）；Engineering Research Center of Tibetan Information Technology, Ministry of Education（教育部藏信息技术工程研究中心）
针对藏语文本对抗攻击研究不足，提出基于掩码语言模型的多粒度方法 TSTricker，通过候选音节或词替换及评分排序攻击多个微调模型，显著降低分类准确率并提升攻击效果。
2024-12-03 cs.CL cs.CR
Learnability-Informed Fine-Tuning of Diffusion Language Models
Department of Computer Science and Engineering, Texas A\&M University, College Station, TX, USA（计算机科学与工程系，德克萨斯A&M大学，College Station, TX, USA）；Department of Electrical and Computer Engineering, Texas A\&M University, College Station, TX, USA（电气与计算机工程系，德克萨斯A&M大学，College Station, TX, USA）
针对扩散语言模型（DLM）推理能力提升问题，提出基于可学习性感知的微调算法LIFT，通过在不同扩散时间步对齐训练与信息可用性，在六个推理基准上超越现有SFT基线，在AIME'24和AIME'25上实现高达3倍的相对提升。
2026-05-21 cs.CL cs.LG
Towards Understanding Pause Token Fine-Tuning Dynamics: A Mode Retention Perspective
HodooAI Lab（HodooAI实验室）；Seoul National University（首尔大学）
该研究从模式保留视角探究停顿标记微调动力学，提出MBP训练规则，在Qwen和Llama模型上提升推理能力并保留通用语言理解，还可扩展至GRPO。
2026-09-07 cs.AI cs.CL
Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding
National University of Singapore（新加坡国立大学）；University of California, Merced（加州大学默塞德分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Queensland（昆士兰大学）
针对大语言模型预训练数据检测需求，提出Con-ReCall方法，通过对比解码利用成员与非成员上下文的不对称分布偏移增强成员推断，在WikiMIA基准上达SOTA且抗文本操纵鲁棒性强。
2025-01-15 cs.CL
dOPSD: On-Policy Self-Distillation for Diffusion Language Models
National University of Singapore（新加坡国立大学）
研究扩散语言模型强化推理难的问题，提出dOPSD，通过从学生去噪轨迹直接推导教师特权信息，实现策略内自蒸馏，提升模型在数学推理和代码生成等任务表现。
2026-07-07 cs.AI cs.CL
Relation Geometry in Semantic Space of Language Models
本文研究语言模型语义空间中关系几何的表征情况，通过三类语言模型在6种语义关系上的实验，发现非对称关系的表征更清晰，且不同模型依赖的信息来源存在差异。
2026-07-30 cs.CL
Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models
MIT（麻省理工学院）；Salesforce Research（Salesforce研究院）
在这项工作中，我们在预训练文本编码器的微调期间探索联合基于能量的模型（EBM）训练（例如，Roberta）进行自然语言理解（NLU）任务。我们的实验表明，EBM训练可以帮助模型达到更好的校准，与强基线竞争，准确性几乎没有损失。我们讨论了可以在文本编码器上定义的能量函数的三种变体（即标量，隐藏和尖锐隐藏），并在实验中对它们进行了比较。由于文本数据的离散性，我们采用噪声对比估计（NCE）对基于能量的模型进行训练。为了使NCE训练更有效，我们训练一个自回归噪声模型与掩蔽语言模型（MLM）的目标。
2021-02-19 cs.AI cs.CL
Answer First, Reason Later: When Commitment Order Costs Accuracy in Diffusion Language Models
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
本研究发现扩散大语言模型（dLLMs）的任意顺序提交机制会导致推理失败，通过前沿门控承诺干预可恢复推理性能，同时保留并行解码优势。
2026-08-25 cs.AI cs.CL
