Generative Visual Prompt: Unifying Distributional Control of Pre-Trained Generative Models
Carnegie Mellon University（卡内基梅隆大学）
生成模型（例如，GANs、扩散模型）以无监督的方式学习底层数据分布。然而，许多感兴趣的应用需要从输出空间的特定区域采样或在特性范围内均匀采样。为了在这些场景中进行有效的采样，我们提出了生成视觉提示（Generative Visual Prompt，缩写为Generative Gen），这是一个通过整合其他现成模型的知识来对预训练生成模型进行分布式控制的框架。EBM将控制定义为基于能量的模型（EBM），并通过用可逆神经网络近似EBM以前馈方式对图像进行采样，从而避免在推理时进行优化。我们的实验展示了如何从几个无条件生成模型（例如，StyleGAN 2、StyleNeRF、扩散自动编码器、NVAE），使用各种现成模型以受控或/和去偏置方式进行：（1）在CLIP模型作为控制的情况下，BiftGen可以对由文本引导的图像进行采样，（2）在图像分类器作为控制的情况下，BiftGen可以跨一组属性或属性组合对生成模型进行去偏置，以及（3）在逆图形模型作为控制的情况下，AktGen可以以不同的姿势对同一身份的图像进行采样。(4)最后，ClintGen发现CLIP模型在用作对照时显示出“报告偏倚”，ClintGen可以以迭代方式进一步消除这种受控分布的偏倚。该代码可在https://github.com/ChenWu98/Generative-Visual-Prompt上获得。
2022-10-17 cs.CV cs.GR cs.LG
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University（清华大学）；Tencent Inc.（腾讯公司）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院）
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果，与人类判断弱相关，而监督度量可能过度拟合特定于任务的数据，对其他数据集的泛化能力较差。在本文中，我们提出了一个无监督的无参考度量称为CTRLEval，从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上，度量从预训练的语言模型组装生成概率，而无需任何模型训练。实验结果表明，我们的度量有更高的相关性与人类的判断比其他基线，同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Characterizing and Mitigating Distributional Bias in Physics-Informed Generative Models
University of Stuttgart（斯图加特大学）
该研究针对物理感知生成模型中约束满足度与数据分布保真度的冲突，提出数据锚定惩罚项缓解分布偏差，经多类实验验证了其有效性。
2026-10-14 cs.LG
TILDE: TILt-based Distributional Erasure for Concept Unlearning
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Sony AI（索尼人工智能公司）；Sony Group Corporation（索尼集团公司）
文本到图像扩散模型的概念遗忘研究中，提出TILDE方法，将概念遗忘视为分布对齐问题，通过能量倾斜的无锚点目标抑制概念图像，用残差∇-GFlowNet训练实例化，实验显示其在多方面实现强大遗忘效果，提升保留率和分布保真度。
2026-07-08 cs.AI cs.CV cs.LG
TextReg: Mitigating Prompt Distributional Overfitting via Regularized Text-Space Optimization
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了提示分布过拟合问题，提出TextReg框架通过正则化的文本梯度实现软惩罚目标，结合双证据梯度净化、语义编辑正则化和正则化引导的提示更新，提升模型在分布外（OOD）任务上的泛化能力。
2026-10-06 cs.AI cs.CL cs.LG
Few-shot Text Classification with Distributional Signatures
Computer Science and Artificial Intelligence Lab, MIT（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI LAB, IBM Research（IBM研究院麻省理工-IBM沃森人工智能实验室）
在本文中，我们探讨元学习的Few-Shot文本分类。元学习在计算机视觉中表现出很强的性能，其中低级模式可以在学习任务中转移。然而，直接将这种方法应用于文本是具有挑战性的-词汇特征对一项任务来说是高度信息化的，但对另一项任务来说可能是微不足道的。因此，我们的模型不是仅仅从单词中学习，而是利用它们的分布签名，这些签名对相关的单词出现模式进行编码。我们的模型在元学习框架内进行训练，将这些签名映射到注意力分数，然后用于加权单词的词汇表示。我们证明，我们的模型始终优于基于词汇知识学习的原型网络（Snell等人，2017）在Few-Shot文本分类和关系分类中，在六个基准数据集上都有显著的优势（1次分类平均为20.0%）。
2020-02-18 cs.CL cs.LG
Distributional Modeling on a Diet: One-shot Word Learning from Text Only
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们测试了分布模型是否可以只从文本中一次性学习定义属性。使用贝叶斯模型，我们发现，第一次学习的总体结构在已知的数据中，在文本上下文和属性中，有助于一次性学习，并且个别上下文项可以是高度信息化的。我们的实验表明，我们的模型可以从一个单一的曝光时，给出了一个信息的话语学习属性。
2017-10-13 cs.CL
Beyond Facts: Benchmarking Distributional Reading Comprehension in Large Language Models
National Taiwan University（国立台湾大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Academia Sinica, Taiwan（台湾“中央研究院”）；NTU AI-CoRE（国立清华大学AI研究中心）
本文提出Text2DistBench基准测试，评估LLM从自然语言中推断分布知识的能力，通过真实YouTube评论数据，测试模型在估计评论比例和识别高频主题方面的表现，揭示LLM在分布式阅读理解中的能力和局限。
2026-04-18 cs.AI cs.CL
Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text Correspondence
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）
逻辑否定属性（LNP）是一个值得信赖的语言模型必须满足的重要属性，它意味着对语义相反的输入生成不同的预测。然而，最近的证据表明，大规模的预训练语言模型（PLM）不满足这一属性。在本文中，我们使用探测任务进行实验，以评估PLM的LNP理解。与以往的研究只考察否定表达不同，本文将研究的范围扩大到词汇语义。通过实验，我们观察到PLM经常违反LNP。为了缓解这个问题，我们提出了一种新的中间训练任务，名称意义匹配，旨在直接学习意义-文本对应，而不是依赖于分布假设。通过多个实验，我们发现，该任务使PLM学习词汇语义信息。此外，通过对7个GLUE任务的微调实验，我们确认它是一个安全的中间任务，保证了下游任务的类似或更好的性能。最后，我们观察到，我们提出的方法优于我们以前的同行，尽管它的时间和资源效率。
2022-05-08 cs.AI cs.CL
Using Distributional Principles for the Semantic Study of Contextual Language Models
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
近年来，人们对语境语言模型的性质进行了大量的研究，但令人惊讶的是，只有少数研究从语义相似性的角度来考虑这些模型的性质。在这篇文章中，我们首先专注于这些属性的英语利用分布原则的替代作为一种探测机制，在控制的SemCor和WordNet的聚合关系的背景下。然后，我们建议适应相同的方法，以更开放的设置，静态和上下文语言模型之间的差异的特点。
2021-11-23 cs.CL
Document Informed Neural Autoregressive Topic Models with Distributional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了主题模型中的两个挑战：（1）单词周围的上下文信息有助于确定它们的实际含义，例如，在“人工神经网络“与“生物神经网络”的上下文中使用的“网络”。生成主题模型推断主题词分布，不考虑或只考虑很少的上下文。在这里，我们扩展了神经自回归主题模型，以语言建模的方式利用文档中单词周围的完整上下文信息。该模型被命名为iDocNADE。(2)由于单词出现的数量很小（即，由于短文本中缺乏上下文）以及少量文档的语料库中数据稀疏，主题模型的应用在此类文本上具有挑战性。因此，我们提出了一种简单有效的方法将外部知识纳入神经自回归主题模型：我们使用嵌入作为分布先验。所提出的变体被命名为DocNADEe和iDocNADEe。我们提出了新的神经自回归主题模型变体，这些变体在来自不同领域的7个长文本和8个短文本数据集的泛化性，可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成主题模型。
2019-01-14 cs.AI cs.CL cs.IR
Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs New Metrics
AITHYRA Institute（AITHYRA研究所）
本文指出生成困惑度（gen-PPL）作为非自回归语言模型评估指标存在缺陷，通过构造零参数朴素采样器在LM1B和OpenWebText上达到SOTA gen-PPL但生成不连贯文本，建议采用直接量化生成文本与参考文本分布差异的评估套件。
2026-10-23 cs.AI cs.CL
Zero-Shot Event Detection by Multimodal Distributional Semantic Embedding of Videos
Rutgers University（罗格斯大学）；SRI International（SRI国际）
提出了一种基于视频多模态分布语义嵌入的zero-shot事件检测方法。我们的模型嵌入对象和动作的概念，以及其他可用的形式从视频到分布式语义空间。据我们所知，这是第一个建立在分布式语义之上的Zero-Shot事件检测模型，并在以下方向对其进行了扩展：（a）视频中多模态信息的语义嵌入（重点是视觉模态），（b）自动确定概念/属性与自由文本查询的相关性，这对于其他应用可能是有用的，以及（c）通过自由文本事件查询检索视频（例如，“更换车辆轮胎”）。我们将视频嵌入到分布式语义空间中，然后以自由文本的形式度量视频和事件查询之间的相似性。我们在大型TRECVID MED（多媒体事件检测）挑战中验证了我们的方法。仅使用事件标题作为查询，我们的方法优于使用大描述的最新技术，MAP度量从12.6%到13.5%，ROC-AUC度量从0.73到0.83。它也快了一个数量级。
2015-12-16 cs.CL cs.CV cs.LG
Hearst Patterns Revisited: Automatic Hypernym Detection from Large Text Corpora
Facebook AI Research（Facebook人工智能研究）
用于无监督上位词检测的方法可以根据两种范例广泛地分类：基于模式的方法和分布式方法。在本文中，我们研究了这两种方法在几个上位任务上的性能，发现简单的基于模式的方法在常见的基准数据集上始终优于分布式方法。我们的研究结果表明，基于模式的模型提供了重要的上下文约束，尚未捕获的分布方法。
2018-06-08 cs.CL
Distributional Clarity: The Hidden Driver of RL-Friendliness in Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Baidu Inc（百度公司）
研究揭示了大型语言模型中RL友好性的隐藏驱动因素——分布清晰度，通过量化Silhouette系数并提出Silhouette-aware Reweighting策略，提升了模型在数学基准测试中的表现。
2026-01-11 cs.AI cs.CL cs.LG
Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；Flatiron Institute（弗拉蒂伦研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）
本文在受控合成环境中研究Transformer前馈层与注意力层的分工，发现前馈层偏向学习二元词组等分布关联，注意力层专注上下文内推理，并揭示梯度噪声是差异关键，最后在Pythia模型上验证了类似现象。
2025-03-06 cs.AI cs.CL cs.LG
Distributional Open-Ended Evaluation of LLM Cultural Value Alignment Based on Value Codebook
KAIST（韩国科学技术院）
提出DOVE框架，通过率失真变分优化构建价值码本，利用不平衡最优传输度量分布对齐，解决LLM文化价值评估中的构造-组成-上下文挑战。
2026-06-08 cs.AI cs.CL cs.CY
Neural embeddings for metaphor detection in a corpus of Greek texts
National and Kapodistrian University of Athens（雅典国立与卡波迪斯特里亚大学）
NLP面临的主要挑战之一是隐喻检测，特别是通过自动手段，对于缺乏语言资源和工具的语言来说，这项任务变得更加困难。我们的目的是通过机器学习的计算方法，从希腊语语料库中的真实的无注释短语的字面意义和隐喻意义之间的自动微分。为此目的，分布语义学的理论背景进行了讨论和就业。分布语义学理论根据语言元素的分布特性，提出了对大量语言数据中语言元素所表现出的语义相似性进行量化和分类的概念和方法。根据这一模型，本文所采用的方法考虑到了语言环境，用于计算短语在几何空间中的分布表示，以及与其他短语的分布表示进行比较，这些短语在言语中的功能已经是“已知的”，目的是得出关于它们在特定语言环境中的字面或隐喻功能的结论。这一程序旨在解决希腊语缺乏语言资源的问题，因为迄今为止几乎不可能在“短语”之间进行语义比较，这种比较采取的形式是对它们在几何空间中的分布表示进行算术比较。
2019-02-10 cs.CL
Category-Theoretic Quantitative Compositional Distributional Models of Natural Language Semantics
Balliol College（贝利奥尔学院）
本文研究的是分布语义学中的组合性问题。分布语义学的前提是，词的意义是它们在文本语境中出现的函数。它将词建模为这些上下文的分布，并将它们表示为高维空间中的向量。这种模型的组合性问题涉及如何通过组合较小文本单元的表示来生成较大文本单元的表示。本论文着重于一个特定的方法，这个组合性问题，即使用的范畴框架开发的Coecke，Sadrzadeh和克拉克，它结合了句法分析形式主义与分布语义表示的意义，产生句法动机的组合操作。本文展示了如何在理论上扩展和实际实现这种方法，以产生具体的组合分布模型的自然语言语义。它还表明，这样的模型可以表现得与自然语言处理领域的其他竞争方法相当，甚至更好。本文对计算语言学的主要贡献有三点。首先是扩展的DisCoCat框架的语法和语义方面，纳入了一些语法分析形式主义和提供学习程序，允许生成具体的成分分布模型。第二个贡献是评估从这里提出的程序开发的模型，表明它们优于文献中存在的其他成分分布模型。第三个贡献是展示如何使用范畴理论来解决语言学问题，形成了一个良好的基础研究，说明了工作的例子，这也表明了未来的研究方向。
2013-11-06 cs.CL cs.LG math.CT
Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings
Indian Institute of Technology - Bombay（印度理工学院孟买分校）；Fiddler AI（Fiddler人工智能公司）
本文提出基于聚类和 LLM 嵌入的文本分布偏移检测方法，证明通用 LLM 嵌入比传统嵌入对数据漂移更敏感，并总结其在 Fiddler 平台 18 个月部署的经验。
2023-12-04 cs.CL
Distributional Data Augmentation Methods for Low Resource Language
Department of Computer and Systems Sciences（计算机与系统科学系）
针对低资源语言同义词词典匮乏导致EDA方法受限的问题，提出EDDA和TSSR两种利用语义上下文与词性标签的分布式数据增强方法，实验证明其在瑞典语数据集上有效提升了分类性能。
2023-09-09 cs.AI cs.CL
A Neurobiologically Motivated Analysis of Distributional Semantic Models
The University of Electro-Communications（电子通信大学）
分布式语义模型或词嵌入在各种研究领域中的广泛使用是由于它们在实际应用和认知建模中表示词的含义的显着能力。然而，很少有人知道什么样的信息是编码在基于文本的词向量。当词向量被视为抽象概念的语义表示模型时，这种理解的缺乏尤其成问题。本文利用Binder等人的分析方法，试图揭示分布词向量的内在信息。’s（2016）brain-based vectors，基于神经生物学动机属性的显式结构化概念表征。在分析中，训练从基于文本的向量到基于大脑的向量的映射，并通过比较估计的和原始的基于大脑的向量来评估预测性能。分析表明，社会和认知信息更好地编码在基于文本的词向量，但情感信息不是。这一结果将从抽象概念的具身理论的角度进行讨论。
2018-02-06 cs.CL q-bio.NC
Unsupervised and Distributional Detection of Machine-Generated Text
Naver Labs Europe
自然语言生成模型的强大功能激发了人们对自动检测文本是人类还是机器创作的方法的兴趣。到目前为止，这个问题已经以标准的监督方式构建，包括在注释数据上训练分类器，以预测一个给定新文档的来源。在本文中，我们以一种无监督和分布式的方式来解决这个问题：我们假设我们可以访问大量未注释的文档，其中很大一部分是机器生成的。我们提出了一种方法来检测那些机器生成的文档，利用重复的高阶n-gram，我们显示过度出现在机器生成的文本相比，人类的。该弱信号是自训练设置的起点，其中伪标记的文档用于训练分类器的集合。我们的实验表明，利用该信号可以让我们准确地对可疑文档进行排名。对于top-k采样策略，在5000处的精度超过90%，对于我们使用的最大模型（GPT 2-large）的核采样，精度超过80%。随着模型大小的增加，下降很小，这可能表明该结果适用于其他当前和未来的大语言模型。
2021-11-04 cs.CL cs.IR
Why So Down? The Role of Negative (and Positive) Pointwise Mutual Information in Distributional Semantics
Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
在分布式语义中，逐点互信息（$\mathit{PMI}$）加权的共生矩阵的性能远远优于原始计数。然而，当$\mathit{PMI}$趋于负无穷大时，存在未观察到的对同现的问题。这个问题是加剧了不可靠的统计数据，从有限的语料库，导致大量的这种对。常见的做法是在$0$处夹持阴性$\mathit{PMI}$（$\mathit{\texttt{-} PMI}$），也称为阳性$\mathit{PMI}$（$\mathit{PPMI}$）。在本文中，我们探讨了其他方法来处理$\mathit{\texttt{-} PMI}$，更重要的是，研究的作用，负信息发挥的性能低秩，加权分解不同的$\mathit{PMI}$矩阵。使用各种语义和句法任务作为探针模型，使用消极或积极的$\mathit{PMI}$（或两者），我们发现，大多数编码的语义和语法来自积极的$\mathit{PMI}$，相反，$\mathit{\texttt{-} PMI}$，它几乎只贡献语法信息。我们的研究结果加深了我们对分布语义的理解，同时也引入了新的$PMI$变体，并为流行的$PPMI$测量奠定了基础。
2019-08-19 cs.CL
Uncovering Visual-Semantic Psycholinguistic Properties from the Distributional Structure of Text Embedding Space
Northeastern University（东北大学）
本文提出无监督的邻域稳定性度量（NSM），利用文本嵌入空间中词邻域的峰度来估计可意象性和具体性，实验证明其优于现有无监督方法。
2025-06-04 cs.CL
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India（印度理工学院卡格拉普尔分校（IIT Kharagpur））
近年来，从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型（Word2vec）或基于密集计数的模型（GloVe）从文本计算的向量，但其他方法试图在分布式词库网络结构中表示这些，其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术（DeepWalk、LINE、node2vec等）研究激增的推动，我们把一个分布式词库网络转换成密集的词向量，并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合，有助于在针对单词相似性和相关性，同义词检测，类比检测等NLP任务进行评估时显着提高性能。此外，我们表明，即使不使用任何手工制作的词汇资源，我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比，表示的词汇资源已被使用。
2018-02-17 cs.CL
EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses
Masaryk University（马萨里克大学）
一些语言应用程序通常需要单词语义作为其处理管道的核心部分，无论是精确的含义推理还是语义相似性。多意义嵌入（M-SE）可以用于这一重要要求。M-SE试图通过它们不同的含义来表示每个词，以解决在不同上下文中使用的词的含义的混淆。以往的工作通常是通过在大型语料库上训练模型来完成这一任务，而往往忽略了词汇资源所提供的语义关系的作用和有用性。然而，即使有大量的训练数据，覆盖所有可能的词义仍然是一个问题。此外，相当大比例的上下文语义知识从来没有学习，因为大量的可能的分布语义结构从来没有探索。在本文中，我们利用WordNet中丰富的语义结构，使用基于图论的词意义行走技术来提高多意义嵌入的质量。该算法从原始文本组成丰富的文本。此外，我们从先前的M-SE得到新的分布语义相似性度量。我们适应这些措施，词义消歧（WSD）方面的我们的实验。我们报告了11个基准数据集的评估结果，包括WSD和单词相似性任务，并表明我们的方法，以提高分布式语义结构的嵌入质量的基线。尽管训练数据很小，但它在某些数据集上实现了最先进的性能。
2021-02-27 cs.CL cs.LG
Eliciting In-Context Learning in Vision-Language Models for Videos Through Curated Data Distributional Properties
University of Michigan（密歇根大学）
本文提出EILEV训练范式，通过捕捉突发性分布、偏斜边际分布和动态语义等预训练数据关键特性，在视频视觉语言模型中诱导上下文学习能力，并在少样本视频叙述任务上优于现有VLMs。
2024-10-03 cs.AI cs.CL cs.CV
Are We Consistently Biased? Multidimensional Analysis of Biases in Distributional Word Vectors
University of Mannheim（曼海姆大学）
词嵌入最近被证明反映了许多明显的社会偏见（例如，性别偏见或种族偏见）。然而，现有的研究范围有限，并且没有调查嵌入模型，文本类型和不同语言等相关维度的偏差的一致性。在这项工作中，我们提出了一个系统的研究编码在分布式词向量空间的偏见：我们分析如何一致的偏见影响是跨语言，语料库和嵌入模型。此外，我们分析了双语嵌入空间中编码的跨语言偏差，表明NLP模型的跨语言迁移中包含的偏差迁移的影响。我们的研究产生了一些意想不到的发现，例如，偏见可以通过不同的嵌入模型来强调或淡化，或者用户生成的内容可能比百科全书文本的偏见更少。我们希望我们的工作能够促进NLP中的偏见研究，并为偏见减少技术的发展提供信息。
2019-04-29 cs.CL
Autocorrelations Decay in Texts and Applicability Limits of Language Models
Higher IT School, Tomsk State University（托木斯克国立大学高等 IT 学院）；NTR Labs（NTR 实验室）
本文通过分布语义学实证发现文本自相关呈幂律衰减，并指出生成文本与文学作品差异显著，进而揭示马尔可夫型语言模型在处理长文本时的适用极限。
2023-05-11 cs.CL
Data Determines Distributional Robustness in Contrastive Language Image Pre-training (CLIP)
University of Washington（华盛顿大学）；Amazon（亚马逊）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
对比训练的语言图像模型，如CLIP，ALIGN和BASIC，已经证明了对多种具有挑战性的自然分布偏移的前所未有的鲁棒性。由于这些语言图像模型在几个方面与以前的训练方法不同，一个重要的问题是什么导致了大的鲁棒性增益。我们通过系统的实验研究回答了这个问题。具体而言，我们研究了五种不同的可能原因的鲁棒性增益：（i）训练集的大小，（ii）训练分布，（iii）在训练时的语言监督，（iv）在测试时的语言监督，和（v）对比损失函数。我们的实验表明，更多样化的训练分布是鲁棒性增益的主要原因，其他因素几乎没有鲁棒性。除了我们的实验结果之外，我们还引入了ImageNet-Captions，这是ImageNet的一个版本，带有Flickr的原始文本注释，以实现语言图像训练的进一步受控实验。
2022-08-22 cs.CL cs.CV cs.LG
Text Coherence Analysis Based on Deep Neural Network
Zhejiang University（浙江大学）
在本文中，我们提出了一种新的深度一致性模型（DCM），使用卷积神经网络架构来捕获文本一致性。本文从句子分布表征学习和语篇连贯建模同时进行的新视角研究了语篇连贯问题。特别是，该模型通过计算它们的分布表示的相似性来捕获句子之间的交互。此外，它可以很容易地以端到端的方式进行训练。所提出的模型进行评估标准的句子排序任务。实验结果表明，它的有效性和承诺的一致性评估显示出显着的改善，在国家的最先进的一个很大的利润。
2017-10-21 cs.CL
Weakly-supervised Relation Extraction by Pattern-enhanced Embedding Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
从文本语料库中抽取关系是文本挖掘的一项重要任务。当关注于弱监督的关系抽取时，也就是说，利用几个关系实例（即，一对实体和它们的关系）作为种子以从语料库中提取更多的实例。现有的分布式方法利用实体的语料库级共现统计来预测它们的关系，并且需要大量的标记实例来学习有效的关系分类器。或者，基于模式的方法执行自举或应用神经网络来对局部上下文进行建模，但仍然依赖于大量的标记实例来构建可靠的模型。在本文中，我们研究集成分布和模式为基础的方法在弱监督设置，使这两种类型的方法可以提供互补的监督对方建立一个有效的，统一的模型。我们提出了一种新的协同训练框架，其中包含一个分布式模块和一个模式模块。在训练过程中，分布模块帮助模式模块区分信息模式和其他模式，模式模块生成一些高置信度的实例来改进分布模块。通过改进模式模块和更新分布模块之间的迭代，可以有效地优化整个框架。我们在两个任务上进行了实验：文本语料库的知识库补全和语料库级的关系抽取。实验结果证明了我们的框架在弱监督环境下的有效性。
2017-12-26 cs.CL
Benchmarking Distributional Alignment of Large Language Models
Stanford University（斯坦福大学）
本研究构建基准，评估大型语言模型在问题领域、引导方法和分布表达方法三个维度上与特定群体意见分布的匹配能力，发现LLM描述分布优于模拟分布。
2024-11-08 cs.AI cs.CL
Redemption Score: A Multi-Modal Evaluation Framework for Image Captioning via Distributional, Perceptual, and Linguistic Signal Triangulation
University of Southern Mississippi（密苏里州南方大学）
提出救赎分数（RS）框架，通过三角验证分布、感知与语言三种信号，无需任务训练即可在Flickr8k等基准上实现与人类判断高度相关的图像描述评估。
2026-09-18 cs.CL cs.CV
Neural Text Classification by Jointly Learning to Cluster and Align
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
分布式文本聚类提供语义信息表示，并捕获每个词和语义聚类质心之间的相关性。我们扩展的神经文本聚类方法的文本分类任务，通过一个潜在的变量模型和分布式词嵌入的相互作用，以丰富的令牌的表示和测量令牌和每个可学习的聚类中心之间的相关性。该方法联合学习词聚类中心和聚类标记对齐，在多个基准数据集上取得了最新的结果，证明了所提出的聚类标记对齐机制确实有利于文本分类。值得注意的是，我们的定性分析已经明显地表明，所提出的模型学习的文本表示是符合我们的直觉。
2020-11-24 cs.CL
DisCoCLIP: A Distributional Compositional Tensor Network Encoder for Vision-Language Understanding
University College London（伦敦大学学院）
DisCoCLIP通过张量网络文本编码器显式编码句法结构，结合冻结的CLIP视觉变换器，以参数高效方式显著提升视觉-语言组合推理，如动词准确率提升至82.4%，SVO-Swap达93.7%。
2025-09-25 cs.AI cs.CL
Can a Gorilla Ride a Camel? Learning Semantic Plausibility from Text
Mila（米拉研究所）；McGill University（麦吉尔大学）；Microsoft Research Montreal（微软蒙特利尔研究院）
建模语义可扩展性需要关于世界的常识知识，并且已经被用作探索各种知识表示的测试平台。以前的工作主要集中在建模的物理可扩展性，并表明分布式方法失败时，在监督设置进行测试。与此同时，分布式模型，即大型预训练语言模型，已经为许多自然语言理解任务带来了改进的结果。在这项工作中，我们表明，这些预训练的语言模型实际上是有效的在监督设置中建模的物理兼容性。因此，我们提出了更困难的问题，学习直接从文本建模的物理兼容性。我们通过从大型语料库中提取已证明的事件来创建训练集，并以自我监督的方式为这些已证明的事件提供训练基线，并在物理可验证性任务上进行测试。我们相信，通过将明确的常识知识注入到分布模型中，可以进一步改善结果。
2019-11-13 cs.CL
Quantifying the Generation Modality Gap in Speech-Text Language Models
TTI-Chicago（芝加哥丰田技术研究所）；Stony Brook University（石溪大学）
本研究量化了语音-文本语言模型与纯语音模型在生成上的模态差距，发现联合建模显著提升语义连贯性，且文本提供高效语义训练信号。
2026-10-07 cs.CL
Detecting Machine-Generated Texts by Multi-Population Aware Optimization for Maximum Mean Discrepancy
South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）；The University of Adelaide（阿德莱德大学）；Hong Kong Baptist University（香港浸会大学）
针对多 LLM 来源导致 MMD 方差增大、机器文本检测不稳的问题，本文提出多种群感知优化方法 MMD-MP，并实现段落级与句子级检测，实验显示其性能优越。
2024-02-29 cs.CL cs.LG
Rationale Distribution Distillation via Flow Matching for Distributional Continuous Latent Reasoning
Korea Advanced Institute of Science and Technology（韩国科学技术院）
该研究针对连续隐式推理的点值方法限制，提出理由分布蒸馏（RDD）方法，通过流匹配结合查询内混合提升答案覆盖，在高级数学任务上优于基线。
2026-10-15 cs.AI cs.CL
Distributional Surgery for Language Model Activations
CUHK（香港中文大学）；VinUniversity（文大学）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种两阶段方法：先训练逐层分类器检测不良内容，再通过半定规划计算逐层分布引导策略以最小扰动注意力分布，从而在概率保证下缓解语言模型的有害输出生成。
2025-11-09 cs.CL cs.LG math.OC
Semantic Shifts of Psychological Concepts in Scientific and Popular Media Discourse: A Distributional Semantics Analysis of Russian-Language Corpora
HSE University（高等经济学院）
本文通过分布语义分析俄语语料库，探讨心理学概念在科学与大众媒体中的语义变化，发现科学文本侧重专业术语，而大众媒体更强调日常经验与治疗实践。
2026-03-10 cs.CL
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
2017-02-27 cs.CL
Distributionally Robust Language Modeling
Stanford Computer Science（斯坦福大学计算机科学系）；Stanford Statistics（斯坦福大学统计学系）
语言模型通常在跨越广泛范围的主题（例如，新闻、评论、小说），但是它们可以应用于先验未知的目标分布（例如，餐厅评论）。在本文中，我们首先表明，在使用标准最大似然（MLE）训练时，对测试分布之外的文本进行训练会降低测试性能。为了在不知道测试分布的情况下弥补这一点，我们提出了一种方法，该方法可以训练一个在广泛的潜在测试分布上表现良好的模型。特别是，我们推导出一个新的分布鲁棒优化（DRO）过程，最大限度地减少损失的模型在最坏情况下的混合主题与训练分布有足够的重叠。我们的方法，被称为主题条件风险值（主题CVaR），获得了5.5点的困惑减少MLE时，语言模型的Yelp评论和新闻的混合物进行训练和测试，只有评论。
2019-09-04 cs.CL cs.LG stat.ML
On the difficulty of a distributional semantics of spoken language
Tilburg University（蒂尔堡大学）
在无监督学习领域，大多数关于语音的工作都集中在发现低层次的结构，如音素库存或单词样单位。相比之下，对于书面语言，有大量的工作是关于单词、整句和较长文本的语义表示的无监督归纳。在这项研究中，我们研究的挑战，适应这些方法从书面到口头语言。我们推测，如果我们从表面的变化抽象，口语语义的无监督学习是可行的。我们用一个真实但统一的合成声音所讲的话语数据集来模拟这种设置。我们评估两个简单的无监督模型，在不同程度的成功，学习语音片段的语义表示。最后，我们对人类语音提出了不确定的结果，并讨论了在不受限制的自然口语中学习分布式语义表示所面临的挑战。
2018-10-26 cs.CL cs.LG cs.SD
SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research（微软研究院）
我们提出了一个特征向量形成技术的文件-稀疏复合文档向量（SCDV）-它克服了目前的分布式段落向量表示，被广泛用于文本表示的几个缺点。在SCDV中，词嵌入被聚类以捕获词出现的多个语义上下文。然后，它们被链接在一起，形成文档主题向量，可以表达复杂的多主题文档。通过对多类和多标签分类任务的广泛实验，我们的表现优于先前的最先进的方法NTSG（Liu et al.，2015年a）。我们还表明，SCDV嵌入的执行异构任务，如主题一致性，上下文敏感的学习和信息检索。此外，与其他表示方法相比，我们实现了训练和预测时间的显着减少。SCDV实现了两全其美--更好的性能和更低的时间和空间复杂度。
2017-05-12 cs.CL
Open-Vocabulary Semantic Parsing with both Distributional Statistics and Formal Knowledge
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
传统的语义解析器将语言映射到固定模式中的组合可执行查询。这种映射使他们能够有效地利用大型正式知识库（KB）中包含的信息，Freebase）来回答问题，但它也有根本性的限制--这些语义解析器只能为属于KB手动生成的模式的语言分配含义。最近提出的开放式词汇表语义解析方法通过学习任意语言的执行模型来克服这一限制，基本上使用文本语料库作为一种知识库。然而，所有先前的开放词汇表语义解析方法都用文本信息替换了正式的KB，在它们的模型中没有使用KB。我们展示了如何结合这两种方法所使用的不同的表示，首次提出了一个语义解析器，（1）产生成分，可执行的语言表示，（2）可以成功地利用包含在一个正式的知识库和大型语料库的信息，（3）不限于底层知识库的模式。我们展示了显着提高性能的最先进的基线上的一个开放域的自然语言问答任务。
2016-11-28 cs.CL
A Judge-free LLM Open-ended Generation Benchmark Based on the Distributional Hypothesis
Preferred Networks, Inc.（Preferred Networks公司）；Preferred Elements, Inc.（Preferred Elements公司）
针对LLMs开放式文本生成评估缺乏明确真值、人工或LLM裁判成本高的问题，提出基于n元语法统计和规则的无裁判基准，含50组问题参考集及三个新指标，与GPT-4o评估高度相关且资源需求低，为可扩展评估提供有效替代方案。
2025-02-13 cs.CL
Using Sparse Semantic Embeddings Learned from Multimodal Text and Image Data to Model Human Conceptual Knowledge
Queen’s University Belfast（贝尔法斯特女王大学）；BrainWaveBank Ltd.（脑波银行有限公司）
分布式模型提供了一种方便的方式来建模语义使用密集的嵌入空间从无监督学习算法。然而，密集嵌入空间的维度并没有被设计成类似于人类语义知识。此外，尽管神经认知研究表明语义与语言和感知都有很深的联系，但嵌入通常是从单一的信息源（通常是文本数据）构建的。在本文中，我们结合了来自最先进的分布模型的文本和基于图像的表示的多模态信息，使用联合非负稀疏嵌入产生稀疏的，可解释的向量。通过深入分析比较这些稀疏模型与人类衍生的行为和神经成像数据，我们证明了它们预测人类真实语义知识的可解释语言描述的能力。
2018-11-14 cs.CL
