SenseFitting: Sense Level Semantic Specialization of Word Embeddings for Word Sense Disambiguation
Goethe University Frankfurt（法兰克福歌德大学）
本文介绍了一个基于神经网络的德语词义消歧系统，该系统基于一种新的优化词义消歧的方法-SenseFitting。我们比基于知识的WSD方法的F1得分高出25%，并在德国意义注释数据集WebCAGe上产生了一个新的最先进的方法。我们的方法使用三个特征向量组成的a）意义，b）光泽，和c）关系向量来表示目标意义，并将它们与样本上下文的向量质心进行比较。利用广泛可用的词嵌入和词汇资源，我们能够弥补德语的低资源可用性。SenseFitting建立在最近引入的语义专业化过程Attract-Repel的基础上，并利用来自词汇语义网络（例如GermaNet）或在线社交词典（例如Wiktionary）的语义级语义约束，从预先训练的词嵌入中生成高质量的语义嵌入。我们评估我们的意义嵌入与一个新的SimLex-999为基础的相似性数据集，称为SimSense，我们开发了这项工作。我们实现的结果，优于目前的基于引理的专业化方法为德国，使他们的英语取得的成果相媲美。
2019-07-30 cs.CL cs.LG
Word Embeddings and Validity Indexes in Fuzzy Clustering
University of Tabriz（大不里士大学）
在互联网系统和应用的新时代，从大量文本中检测出有区别的主题的概念得到了很多关注。这些方法使用数字格式的文本表示（称为嵌入）来模仿单词之间基于人类的语义相似性。在这项研究中，我们进行了基于模糊的分析，各种矢量表示的话，即，词嵌入。此外，我们介绍了新的模糊聚类方法的基础上的混合实现模糊聚类方法与进化算法命名为森林优化。我们使用两种流行的模糊聚类算法对基于计数的词嵌入，具有不同的方法和维度。从Kaggle数据集中收集有关新冠病毒的单词，并将其计算成向量并进行聚类。结果表明，模糊聚类算法是非常敏感的高维数据，参数调整可以显着改变其性能。我们评估实验结果与各种聚类有效性指标，比较不同的算法变化与不同的嵌入精度。
2022-04-26 cs.AI cs.CL
Analysis of Utterance Embeddings and Clustering Methods Related to Intent Induction for Task-Oriented Dialogue
Korea University（高丽大学）；Naver Corporation（Naver公司）
本文研究任务型对话中意图归纳的无监督方法，比较不同话语嵌入与聚类算法的组合，发现预训练MiniLM结合Agglomerative聚类在NMI、ARI、F1、准确率和覆盖率上显著提升。
2024-06-05 cs.AI cs.CL
Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms
University of Colorado Colorado Springs (UCCS)（科罗拉多大学科罗拉多斯普林斯分校）；Instituto Politécnico Nacional (IPN)（国家理工学院）
本文提出一种语义驱动的端到端主题建模方法，利用Transformer嵌入、降维和聚类算法提取连贯主题，并在主题质量上优于ChatGPT及传统主题建模算法。
2024-09-30 cs.AI cs.CL
SST-BERT at SemEval-2020 Task 1: Semantic Shift Tracing by Clustering in BERT-based Embedding Spaces
IDSIA（意大利瑞士人工智能研究所）
词汇语义变化检测（也称为语义转移跟踪）是一项识别随着时间的推移已经改变其含义的单词的任务。SemEval2020的重点是无监督语义转移跟踪，这尤其具有挑战性。鉴于无监督设置，在这项工作中，我们建议识别每个目标词的不同出现之间的聚类，将其视为不同词义的代表。因此，所获得的聚类中的不一致自然允许量化四种目标语言中每个目标词的语义转变水平。为了利用这个想法，聚类是在单词出现的上下文（基于BERT）嵌入上执行的。所获得的结果表明，我们的方法在单独（每种语言）和整体上都表现良好，我们超过了所有提供的SemEval基线。
2020-10-02 cs.AI cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney（悉尼科技大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Wollongong（伍伦贡大学）
最近的工作将预训练的词嵌入（如BERT嵌入）纳入神经主题模型（NTM），生成高度连贯的主题。然而，有了高质量的上下文文档表示，我们真的需要复杂的神经模型来获得连贯和可解释的主题吗？在本文中，我们进行了深入的实验表明，直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM，也实现了更高的效率和简单性。
2022-04-21 cs.CL
ClustEm4Ano: Clustering Text Embeddings of Nominal Textual Attributes for Microdata Anonymization
Deggendorf Institute of Technology（代根多夫应用技术学院）
本文提出ClustEm4Ano，一种基于文本嵌入聚类的自动生成值泛化层次结构的匿名化流水线，在Adult数据集上实验证明其生成的VGHs在下游效能上优于手动构建，尤其适用于小k匿名性。
2024-12-17 cs.AI cs.CL
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI（亚马逊人工智能）；Columbia University（哥伦比亚大学）
我们提出了一种在线新闻流聚类的方法，这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合，沿着这些多个表示聚集文档聚类相似性，并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明，在预训练的Transformer模型中使用适当的微调目标和外部知识，可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
Hierarchical Level-Wise News Article Clustering via Multilingual Matryoshka Embeddings
Stanford University（斯坦福大学）
提出一种基于多语言Matryoshka嵌入的可扩展分层聚类方法，通过在不同粒度级别确定故事相似度，在SemEval 2022 Task 8上达到SOTA，有效识别和聚类真实新闻数据中的故事、叙事与主题。
2025-05-30 cs.AI cs.CL cs.SI
Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences
Drexel University（德雷塞尔大学）；Metadata Research Center（元数据研究中心）；College of Computing and Informatics（计算与信息学院）
句子嵌入方法为处理短文本结构或单词序列提供了一种强大的方法。通过将句子表示为密集的数值向量，许多自然语言处理（NLP）应用程序已经提高了它们的性能。然而，人们对句子嵌入的潜在结构却知之甚少。具体而言，研究没有涉及句子的长度和结构是否影响句子嵌入空间和拓扑。本文研究了一套针对句子和子句子嵌入空间的综合聚类和网络分析方法。结果表明，一种方法产生的最聚类嵌入。一般来说，跨度子句的嵌入比原始句子具有更好的聚类特性。研究结果对未来的句子嵌入模型和应用具有指导意义。
2021-10-02 cs.CL
Automatic Biomedical Term Clustering by Learning Fine-grained Term Representations
Tsinghua University（清华大学）
术语聚类在生物医学知识图谱构建中具有重要意义。使用术语之间的相似性嵌入有助于术语聚类。最先进的术语嵌入利用预训练的语言模型对术语进行编码，并使用知识图谱中的同义词和关系知识来指导对比学习。这些嵌入为属于同一概念的术语提供了紧密的嵌入。然而，从我们的探测实验，这些嵌入是不敏感的微小的文本差异，导致失败的生物医学术语聚类。为了缓解这个问题，我们调整预训练项嵌入的采样策略，在对比学习过程中提供动态硬阳性和阴性样本，以学习细粒度表示，从而获得更好的生物医学项聚类。我们命名我们提出的方法为CODER++，它已被应用于聚类生物医学概念在新发布的生物医学知识图谱命名为BIOS。
2022-04-01 cs.CL
Text Clustering with Large Language Model Embeddings
Lusófona University（卢索福纳大学）；Center of Technology and Systems (UNINOVA-CTS)（技术与系统中心（UNINOVA-CTS））；Associated Lab of Intelligent Systems (LASI)（智能系统联合实验室（LASI））
本研究探讨大语言模型（LLMs）嵌入对文本聚类的影响，通过实验评估不同嵌入、聚类算法、降维和模型规模的作用，发现LLM嵌入优于传统方法，GPT-3.5 Turbo和BERT表现突出，为文本聚类提供改进方法和研究新方向。
2024-12-02 cs.AI cs.CL cs.LG
Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
语义框架归纳的最新研究表明，通过使用基于聚类的方法和上下文化的词嵌入，已经取得了相对较高的性能。然而，这些方法存在两个潜在的缺陷：一是过于关注框架诱发动词的表面信息，二是倾向于将同一动词的实例划分为过多的不同框架簇。为了克服这些缺点，我们提出了一个语义框架归纳方法，使用屏蔽词嵌入和两步聚类。通过对英语FrameNet数据的实验，我们证明了使用屏蔽的词嵌入可以有效地避免对引起框架的动词的表面信息的过度依赖，并且两步聚类可以提高相同动词实例的框架聚类的数量。
2021-05-27 cs.CL
Claim2Vec: Embedding Fact-Check Claims for Multilingual Similarity and Clustering
Queen Mary University of London（伦敦玛丽女王大学）
本文提出Claim2Vec，一种多语言嵌入模型，通过对比学习提升声明聚类性能，实现跨语言知识迁移。
2026-04-14 cs.CL
Classification EM-PCA for clustering and embedding
Centre Borelli, Université Paris Cité（博雷利中心，巴黎城市大学）
本文提出结合PCA和CEM的算法，用于同时实现数据嵌入和聚类，解决高维数据的降维与快速收敛问题。
2025-11-24 cs.AI cs.CL cs.LG
Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering
University of Cambridge（剑桥大学）
本文提出了一种贝叶斯分层模型，通过嵌入空间聚类来纠正大语言模型基准测试中的提示依赖问题，在数据有限的情况下提供更稳健的性能指标，并在对抗鲁棒性基准测试中实现了性能指标的显著提升。
2026-06-04 cs.AI cs.CL cs.CR
Clustering Word Embeddings with Self-Organizing Maps. Application on LaRoSeDa -- A Large Romanian Sentiment Data Set
University of Bucharest（布加勒斯特大学）；Romanian Young Academy（罗马尼亚青年科学院）
罗马尼亚语是计算语言学中研究不足的语言之一，可用于开发自然语言处理工具的资源很少。在本文中，我们介绍了LaRoSeDa，这是一个大型的罗马尼亚情感数据集，由从罗马尼亚最大的电子商务平台之一收集的15，000条正面和负面评论组成。我们采用两种情感分类方法作为新数据集的基线，一种基于低级特征（字符n-gram），另一种基于高级特征（通过k-means聚类词嵌入生成的词包嵌入）。作为一个额外的贡献，我们取代了自组织映射（SOM）的k-均值聚类算法，获得更好的结果，因为所产生的集群的词嵌入更接近Zipf定律分布，这是众所周知的统治自然语言。我们还展示了泛化能力，使用SOM的聚类词嵌入的另一个最近推出的罗马尼亚数据集，文本分类的主题。
2021-01-11 cs.CL
An Investigation on Word Embedding Offset Clustering as Relationship Classification
Ritsumeikan University（立命馆大学）
本研究探索通过六种池化策略和多种聚类模型，利用词嵌入向量对间的关系进行分类，发现减法池化结合质心聚类效果最佳，为无监督关系识别提供方向。
2023-05-07 cs.CL
ClusterFusion: Hybrid Clustering with Embedding Guidance and LLM Adaptation
Adobe（Adobe公司）；Carnegie Mellon University（卡内基梅隆大学）
ClusterFusion通过将LLM作为聚类核心，结合嵌入引导方法，实现领域知识与用户偏好的整合，提升文本聚类在标准任务和特定领域的性能。
2026-10-22 cs.CL
Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling
EPFL（洛桑联邦理工学院）；University of St.Gallen（圣加仑大学）
自然语言处理（NLP）已经越来越多地用于在教育应用中提供自适应性。然而，最近的研究突出了预训练语言模型中的各种偏见。虽然现有的研究调查偏见在不同的领域，他们是有限的，在解决教育和多语言语料库的细粒度分析。在这项工作中，我们分析了跨文本的偏见，并通过多个架构上的语料库的9,165德国同行评论收集了五年多的大学生。值得注意的是，我们的语料库包括标签，如帮助，质量和关键方面的评级，从同行评审的收件人以及人口统计属性。我们对（1）我们收集的与聚类标签相关的语料库，（2）最常见的预训练德语语言模型（T5，BERT和GPT-2）和GloVe嵌入，以及（3）对我们收集的数据集进行微调后的语言模型进行了词嵌入关联测试（WEAT）分析。与我们最初的预期相反，我们发现我们收集的语料库在共现分析或GloVe嵌入中没有发现许多偏见。然而，预训练的德语语言模型发现了大量的概念，种族和性别偏见，并在微调同行评审数据时，在概念和种族轴上的偏见发生了显着变化。通过我们的研究，我们的目标是通过一个新的数据集，对自然语言教育数据中的偏见的理解，以及不抵消教育任务中语言模型偏见的潜在危害，为联合国第四个可持续发展目标（优质教育）做出贡献。
2022-09-22 cs.CL cs.CY
Graph-Convolutional Networks: Named Entity Recognition and Large Language Model Embedding in Document Clustering
Centre Borelli UMR9010（博雷利中心UMR9010）；Université Paris Cité（巴黎大学）
本文提出将命名实体识别（NER）与大语言模型（LLM）嵌入结合，构建基于图卷积网络（GCN）的文档聚类框架，有效提升了富含命名实体文档的聚类效果。
2024-12-19 cs.CL
Language Modeling by Clustering with Word Embeddings for Text Readability Assessment
Harvard University（哈佛大学）
我们提出了一个基于聚类的语言模型，使用词嵌入的文本可读性预测。据推测，欧几里德语义空间假设适用于词嵌入，其训练是通过观察词同现来完成的。我们认为，聚类与词嵌入在度量空间中产生的特征表示在一个更高的语义空间适合文本回归。此外，通过用直方图表示特征，我们的方法可以自然地处理不同长度的文档。使用共同核心标准语料库的实证评估表明，我们的基于聚类的语言模型上形成的功能显着提高了以前已知的结果，为同一语料库的可读性预测。我们还使用维基SimpleWiki语料库的语义相关性的基础上进行句子匹配的任务进行评估，发现我们的功能导致卓越的匹配性能。
2017-09-05 cs.CL cs.LG
Generating Legal Commentaries from Case Databases via Retrieval, Clustering, and Generation
Technical University of Munich（慕尼黑技术大学）
提出一个全自动流水线，利用检索、聚类和生成方法，从法院判决中自动生成法律评论，无需人工教义框架。
2026-09-28 cs.CL
Unsupervised Lemmatization as Embeddings-Based Word Clustering
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们专注于无监督的词元化的任务，即在一个标签（词元）下将一个词的变形形式分组在一起，而不使用带注释的训练数据。我们提出了一种新的距离度量进行凝聚聚类的单词形式。我们的距离测量是基于观察，即同一个词的词形变化往往是相似的字符串和意义。因此，我们结合词嵌入余弦相似性，作为一个代理的意义相似性，与Jaro-Winkler编辑距离。我们对23种语言的实验表明，我们的方法是有前途的，超过了28个评估数据集中的23个基线。
2019-08-22 cs.CL
Homonym Identification using BERT -- Using a Clustering Approach
University of Alberta（阿尔伯塔大学）
同音异义词识别对于需要粗粒度划分的词义消歧来说非常重要。这个项目的目标是确定上下文信息是否足以识别同音字。为了捕获上下文，使用了BERT嵌入，而不是Word 2 Vec，后者将意义合并到一个向量中。SemCor用于检索嵌入。各种聚类算法应用于嵌入。最后，嵌入在低维空间中可视化，以了解聚类过程的可行性。
2021-01-07 cs.CL cs.LG
Character-based Neural Embeddings for Tweet Clustering
MODUL Technology GmbH（MODUL技术有限公司）；TU Wien（维也纳工业大学）
在本文中，我们展示了如何利用基于字符的神经网络来提高推文聚类的性能。所提出的方法克服了基于单词的模型中与词汇爆炸相关的限制，并允许无缝处理多语言内容。我们的评估结果和代码可以在https://github.com/vendi12/tweet2vec_clustering上获得
2017-03-16 cs.CL cs.IR
Classification and Clustering of Arguments with Contextualized Word Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
我们实验了两个最近的上下文词嵌入方法（ELMo和BERT）的背景下，开放域的参数搜索。这是第一次，我们展示了如何利用上下文化词嵌入的力量来分类和聚类主题相关的参数，在两个任务和多个数据集上都取得了令人印象深刻的结果。对于论点分类，我们将UKP句子论点挖掘语料库的最新技术提高了20.8个百分点，将IBM Debater - Evidence Sentences数据集的最新技术提高了7.4个百分点。对于未充分研究的论点聚类任务，我们提出了一个预训练步骤，在新数据集上比强基线提高了7.8个百分点，在论点方面相似性（AFS）语料库中提高了12.3个百分点。
2019-06-24 cs.CL
Russian word sense induction by clustering averaged word embeddings
University of Oslo（奥斯陆大学）
本文报告了我们参与俄语词义归纳和消歧的共同任务（RUSSE-2018）。在所有19名参与者中，我们的团队在wiki-wiki数据集（主要包含同音异义词）中排名第二，在bts-tags和active-dict数据集（主要包含多义词）中排名第五。我们采用的方法是非常幼稚的。它意味着使用现成的预训练分布模型将歧义词的上下文表示为平均词嵌入向量。然后，这些向量表示聚类与主流的聚类技术，从而产生组对应的歧义词义。作为一个附带的结果，我们表明，在小而平衡的语料库上训练的词嵌入模型可以优于在大而嘈杂的数据上训练的模型-不仅在内在评估方面，而且在词义归纳等下游任务中。
2018-05-06 cs.CL
Effective Neural Topic Modeling with Embedding Clustering Regularization
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
针对神经主题模型中的主题坍缩问题，本文提出 ECRTM，通过嵌入聚类正则化使主题嵌入对应独立词嵌入簇中心，从而生成多样连贯主题并提升文档分布与下游分类性能。
2023-06-07 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest（布加勒斯特大学）
受计算机视觉中广泛应用的视觉词袋模型的启发，提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后，对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入，它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后，通过计算每个超级词嵌入在相应文档中的频率，将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法，并建议构建特定于类的词汇表以获得更好的性能。使用这种表示，我们报告结果的两个文本挖掘任务，即文本分类的主题和极性分类。在这两个任务上，我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
Analysis of Word Embeddings Using Fuzzy Clustering
University of Alberta（阿尔伯塔大学）
在数据主导的系统和应用中，以数字格式表示单词的概念已经获得了很多关注。有几种方法用于生成这样的表示。应该考虑的一个有趣的问题是这种表示（称为嵌入）模仿单词之间基于人类的语义相似性的能力。在这项研究中，我们进行了一个基于模糊的分析矢量表示的话，即，词嵌入。我们使用两个流行的模糊聚类算法计数为基础的词嵌入，称为GloVe，不同的维度。WordSim-353中的单词被称为黄金标准，它们被表示为向量并进行聚类。结果表明，模糊聚类算法是非常敏感的高维数据，参数调整可以显着改变其性能。我们表明，通过调整模糊参数的值，模糊聚类可以成功地应用于高达一百维的向量。此外，我们说明，模糊聚类允许提供有趣的结果，关于成员的话，不同的集群。
2020-12-07 cs.CL cs.IR cs.LG
Interpreting deep embeddings for disease progression clustering
BenevolentAI（BenevolentAI公司）
本文提出一种解释患者聚类中深度嵌入的新方法，在UK Biobank的2型糖尿病数据集上验证，揭示了具有临床意义的疾病进展模式。
2023-07-31 cs.CL cs.LG q-bio.QM
Improved Audio Embeddings by Adjacency-Based Clustering with Applications in Spoken Term Detection
National Taiwan University（国立台湾大学）
将音频信号片段嵌入到具有固定维度的向量中是有吸引力的，因为所有后续处理将更容易和更有效，例如建模、分类或索引。先前提出的音频Word2Vec被证明能够将口语单词的音频段表示为携带关于信号段的语音结构的信息的矢量。然而，每个语言单元（文本形式的单词、音节、音素）对应于无限数量的音频片段，其中矢量表示不可避免地遍布嵌入空间，这会导致一些混乱。因此，期望更好地对音频嵌入进行聚类，使得对应于相同语言单元的那些音频嵌入可以更复杂地分布。在本文中，受暹罗网络的启发，我们提出了一些方法来实现上述目标。这包括从未标记的数据中识别正对和负对以进行连体式训练，从音频嵌入中分离出声学因素，如扬声器特征，处理不平衡的数据分布，以及让嵌入过程从数据点之间的相邻关系中学习。所有这些都可以在无人监督的情况下进行。在LibriSpeech数据集上的初步实验中，包括聚类特征分析和口语词检测的应用，获得了改进的性能。
2018-11-07 cs.CL
Query Clustering using Segment Specific Context Embeddings
IIT Bhubaneswar（印度理工学院布巴内斯瓦尔分校）；Microsoft, India（微软（印度））
本文提出了一种新的查询聚类方法来捕捉用户查询搜索引擎的广泛兴趣领域。我们利用NLP -word 2 vec的最新进展，并将其扩展到query 2 vec，查询的矢量表示，基于查询上下文，从查询的顶部搜索结果中获得，并在查询矢量上使用高度可扩展的Divide & Merge聚类算法，以获得聚类。我们已经在零售、旅游、健康、电话等多个细分市场尝试了这种方法，发现集群在发现具有高盈利潜力的用户兴趣领域方面非常有效。
2016-11-05 cs.CL cs.IR
Amharic Text Clustering Using Encyclopedic Knowledge with Neural Word Embedding
在这个数字时代，几乎在每个学科中，人们都在使用自动化系统，这些系统生成以不同自然语言的文档格式表示的信息。因此，人们对寻找、组织和分析这些文档的更好解决方案越来越感兴趣。在本文中，我们提出了一个系统，集群阿姆哈拉语文本文件使用百科知识（EK）与神经词嵌入。EK使相关概念的表征和神经词嵌入允许我们处理的相关性的上下文。在聚类过程中，所有的文本文件通过预处理阶段。通过EK映射和词嵌入模型，从每个文档中提取丰富的文本文档特征。生成TF-IDF加权特征向量。最后，使用流行的球形K-means算法对文本文档进行聚类。所提出的系统进行了测试，阿姆哈拉语文本语料库和阿姆哈拉语维基百科数据。测试结果表明，使用EK与词嵌入的文档聚类提高了平均精度比单独使用EK。此外，改变类的大小对准确性有很大影响。
2022-09-22 cs.CL cs.LG
Influence of various text embeddings on clustering performance in NLP
本研究针对电商评论星级与文本不匹配问题，对比BERT、Word2Vec两类文本嵌入对多种聚类算法性能的影响，发现嵌入类型显著影响聚类效果，DBSCAN性能更优但标记更多异常值，为文本聚类研究提供参考。
2023-05-04 cs.CL cs.IR cs.LG
Universal and non-universal text statistics: Clustering coefficient for language identification
在这项工作中，我们分析了91个相对较小的文本在7种不同的语言（西班牙语，英语，法语，德语，土耳其语，俄语，冰岛语）以及随机插入空格的文本的统计特性。尽管大小（约11260个不同的单词），众所周知的普遍统计规律-即齐普夫和赫丹堆的法律-得到证实，并在密切的协议与其他地方获得的结果。我们还构建了每个文本的词共现网络。虽然度分布也是普遍的，但我们注意到，聚类系数的分布强烈依赖于网络的局部结构，可以用来区分语言，以及区分自然语言和随机文本。
2019-12-07 cs.CL physics.soc-ph
Embedding And Clustering Your Data Can Improve Contrastive Pretraining
Snowflake Inc.（雪花公司）
本研究利用预训练文本嵌入模型和 k-means 聚类算法，将训练数据按来源内部的语义簇进一步分层拆分，显著提升了基于 BERT 的模型在 MSMARCO 数据集上的 NDCG@10 指标，并统一了 TAS-B 和 ANCE 方法，为对比预训练数据组织提供了新视角。
2024-07-26 cs.CL cs.LG
Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too!
Johns Hopkins University（约翰斯·霍普金斯大学）；Department of Computer Science（计算机科学系）；Baltimore, MD, USA（美国马里兰州巴尔的摩）
主题模型是一种有用的分析工具，可以揭示文档集合中的潜在主题。主要的方法是使用概率主题模型来描述生成的故事，但在本文中，我们提出了一种替代方法来获得主题：聚类预训练的词嵌入，同时将文档信息用于加权聚类和重新排名。我们提供了基准的组合不同的词嵌入和聚类算法，并分析其性能下的降维PCA。我们的方法的最佳性能组合执行以及经典的主题模型，但具有较低的运行时间和计算复杂性。
2020-10-06 cs.CL
A Comparative Study on Transfer Learning and Distance Metrics in Semantic Clustering over the COVID-19 Tweets
Islamic Azad University（伊斯兰阿扎德大学）；Iran University of Science and Technology（伊朗科技大学）
本文是在COVID-19数据的主题检测背景下的比较研究。话题检测的方法有很多种，本文选择了聚类方法。聚类需要距离，计算距离需要嵌入。本研究的目的是同时研究嵌入方法、距离度量和聚类方法三个因素及其相互作用。这项研究使用了一个数据集，其中包括一个月内收集的带有COVID-19相关标签的推文。在嵌入方法中，从早期的方法到新的方法，选择了五种方法：Word2Vec，fastText，GloVe，BERT和T5。本文研究了五种聚类方法：k-means，DBSCAN，OPTICS，光谱和Jarvis-Patrick。欧几里德距离和余弦距离作为最重要的距离度量在这一领域也进行了检查。首先，进行7,500多次测试来调整参数。然后，所有不同的嵌入方法与距离度量和聚类方法的组合进行了研究的轮廓度量。这些组合的数量为50例。首先，检查这50个测试的结果。然后，在该方法的所有测试中考虑每个方法的等级。最后，对本研究的主要变量（嵌入方法、距离度量和聚类方法）分别进行了研究。对控制变量进行平均以中和它们的影响。实验结果表明，T5在轮廓度量方面明显优于其他嵌入方法。在距离度量方面，余弦距离略好。DBSCAN在聚类方法方面也优于其他方法。
2021-11-16 cs.CL cs.LG
Aligning Biomedical Metadata with Ontologies Using Clustering and Embeddings
Stanford University（斯坦福大学）
在线知识库中发布的关于科学实验的元数据已被证明具有高度的表示异构性-通常有许多方法来表示相同类型的信息，例如通过其纬度和经度表示地理位置。为了利用元数据发现科学数据的潜力，以一种可以有效查询的统一方式表示这些数据至关重要。实现统一表示的元数据的一个步骤是规范化元数据中使用的多个不同的字段名称（例如，lat lon、lat和long）来描述相同类型的值。为此，我们提出了一种基于聚类和嵌入的新方法（即，词的向量表示）以将元数据字段名称与本体术语对齐。我们将我们的方法应用于生物医学元数据生成嵌入的术语在生物医学本体从BioPortal存储库。我们进行了比较研究，我们的方法和NCBO注释器，这表明，我们的方法产生更多和更好的元数据和本体术语之间的对齐。
2019-05-16 cs.CL cs.IR
Cross-lingual Embedding Clustering for Hierarchical Softmax in Low-Resource Multilingual Speech Recognition
提出一种基于跨语言嵌入聚类构建分层Softmax解码器的方法，通过共享相似令牌表示提升低资源多语言语音识别精度。
2026-06-16 cs.CL cs.SD eess.AS
Vulnerability Clustering and other Machine Learning Applications of Semantic Vulnerability Embeddings
SRI International（SRI国际研究所）
本研究在Vulnerability AI项目中基于NLP技术构建语义漏洞嵌入以表征漏洞空间，验证其可支撑漏洞聚类、分类、可视化等机器学习应用，还提出了评估漏洞空间理论的新型逻辑方法，助力网络安全风险评估工作。
2023-08-23 cs.CL cs.CR cs.LG
A Dynamic Framework for Semantic Grouping of Common Data Elements (CDE) Using Embeddings and Clustering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出一种基于LLM嵌入与HDBSCAN聚类的动态框架，用于生物医学CDE语义分组，在24,000余个CDE上识别出118个聚类，分类准确率达90.46%，有效促进CDE协调统一与数据互操作性。
2025-06-02 cs.CL cs.IR cs.LG
