Unsupervised Document Expansion for Information Retrieval with Stochastic Text Generation
信息检索面临的挑战之一是词汇不匹配问题，这是指查询词和文档之间的词在词汇上不同但在语义上相似。虽然最近的工作已经提出了扩展查询或文档，丰富他们的表示与额外的相关条款，以解决这一挑战，他们通常需要大量的查询文档对训练的扩展模型。在本文中，我们提出了一个无监督的文档扩展与生成（UDEG）框架与预训练的语言模型，生成不同的补充句子的原始文档，而不使用标签的查询文档对进行训练。为了生成句子，我们进一步随机扰动它们的嵌入，以生成更多样化的句子用于文档扩展。我们验证我们的框架上的两个标准的IR基准数据集。结果表明，我们的框架显着优于相关的扩展基线IR。
2021-10-14 cs.IR
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Unsupervised Semantic Hashing with Pairwise Reconstruction
University of Copenhagen（哥本哈根大学）
语义哈希是一种流行的方法，用于在大规模数据集中进行高效的相似性搜索。在语义散列中，文档被编码为短二进制向量（即，散列码），使得可以使用汉明距离来有效地计算语义相似性。最近的最先进的方法已经利用弱监督来训练性能更好的散列模型。受此启发，我们提出了语义哈希与成对重建（PairRec），这是一个离散的变分自编码器为基础的哈希模型。PairRec首先将弱监督训练对（查询文档和语义相似的文档）编码成两个散列码，然后学习从这两个散列码重构相同的查询文档（即，成对重建）。这种成对重建使我们的模型能够直接通过解码器对哈希码中的局部邻域结构进行编码。我们实验比较PairRec的传统和国家的最先进的方法，并获得显着的性能改进的任务，文档相似性搜索。
2020-07-01 cs.CL cs.IR
Unsupervised Identification of Relevant Prior Cases
Indian Institute of Technology（印度理工学院）
文献检索在知识理解的几乎所有领域都发挥了作用，包括法律领域。判例是指法院的判决，它被认为是决定涉及相同或类似事实或类似法律问题的后续案件的权威。在这项工作中，我们提出了不同的无监督的方法来解决的任务，确定相关的先例，以一个给定的查询情况。我们提出的方法是使用词嵌入，如word 2 vec，doc 2 vec和sent 2 vec，使用TF-IDF查找余弦相似性，使用BM 25分数检索相关文档，使用预训练模型和SBERT查找最相似的文档，并使用BM 25和TF-IDF分数的乘积查找给定查询的最相关文档。我们比较了所有基于10倍精确度、10倍回收率和MRR的方法。通过比较分析，我们发现TF-IDF得分乘以BM 25得分得到的结果最好。在本文中，我们还介绍了我们为提高BM 25分数所做的分析。
2021-07-19 cs.CL cs.IR
Unsupervised Dense Retrieval Training with Web Anchors
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
提出基于网页锚点的无监督稠密检索方法 Anchor-DR，利用对比学习匹配锚点与文档，过滤无用锚点，显著提升检索性能。
2023-05-10 cs.CL cs.IR
Unsupervised and Distributional Detection of Machine-Generated Text
Naver Labs Europe
自然语言生成模型的强大功能激发了人们对自动检测文本是人类还是机器创作的方法的兴趣。到目前为止，这个问题已经以标准的监督方式构建，包括在注释数据上训练分类器，以预测一个给定新文档的来源。在本文中，我们以一种无监督和分布式的方式来解决这个问题：我们假设我们可以访问大量未注释的文档，其中很大一部分是机器生成的。我们提出了一种方法来检测那些机器生成的文档，利用重复的高阶n-gram，我们显示过度出现在机器生成的文本相比，人类的。该弱信号是自训练设置的起点，其中伪标记的文档用于训练分类器的集合。我们的实验表明，利用该信号可以让我们准确地对可疑文档进行排名。对于top-k采样策略，在5000处的精度超过90%，对于我们使用的最大模型（GPT 2-large）的核采样，精度超过80%。随着模型大小的增加，下降很小，这可能表明该结果适用于其他当前和未来的大语言模型。
2021-11-04 cs.CL cs.IR
Unsupervised Contextualized Document Representation
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；School of Computing, University of Utah（犹他大学计算机学院）
一些NLP任务需要文本文档的有效表示。Arora et.例如，2017年的研究表明，词向量的简单加权平均通常优于神经模型。SCDV（Mekala et.例如，2017）通过在预先计算的词向量上采用软和稀疏聚类，进一步将其从句子扩展到文档。然而，这两种技术都忽略了词的多义性和语境特征。在本文中，我们通过提出SCDV+BERT（ctxd）来解决这个问题，这是一种简单有效的无监督表示，它结合了上下文化的BERT（Devlin等人，2019）基于词嵌入的SCDV软聚类词义消歧方法。我们表明，我们的嵌入在许多分类数据集上优于原始SCDV，预训练BERT和其他几个基线。我们还证明了我们的嵌入在其他任务，如概念匹配和句子相似性的有效性。此外，我们表明，SCDV+BERT（ctxd）优于微调BERT和不同的嵌入方法的情况下，有限的数据和只有少数镜头的例子。
2021-09-22 cs.CL cs.IR cs.LG
Prioritization of COVID-19-related literature via unsupervised keyphrase extraction and document representation learning
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）；University of Maribor（马里博尔大学）
COVID-19大流行引发了一波新的科学文献，这些文献不可能在合理的时间范围内手动检查和研究。当前的机器学习方法提供了将此类文献主体投影到向量空间中，其中类似的文档彼此靠近，从而提供了对科学论文和与COVID-19相关的其他知识源的深入探索。然而，要开始搜索，需要对这些文本进行适当的注释，但由于缺乏人力资源，这种情况很少发生。在我们的系统中，使用无监督的关键词提取来注释当前的COVID-19相关文献，从而促进对包含学习的文档嵌入（低维表示）的潜在空间的初始查询。该解决方案是通过一个网络服务器能够交互式搜索，术语排名，并探索潜在的有趣的文献。我们通过药物化学领域的案例研究证明了该方法的实用性。
2021-10-17 cs.CL cs.DL cs.IR
Unsupervised Neural Generative Semantic Hashing
University of Copenhagen（哥本哈根大学）
快速相似性搜索是大规模信息检索中的关键组成部分，其中语义哈希已经成为将文档表示为二进制哈希码的流行策略。这一领域的最新进展是通过基于神经网络的模型获得的：通过学习重建原始文档来训练生成模型。我们提出了一种新的无监督生成语义哈希方法，\textit{Ranking based Semantic Hashing}（RBSH），它由一个变分和排名为基础的组件。类似于变分自编码器，变分组件被训练以根据其生成的哈希码重建原始文档，并且与先前的工作一样，它只考虑单独的文档。排名组件通过将文档间相似性并入哈希代码生成中、通过铰链损失对文档排序进行建模来解决此限制。为了避免需要标记数据来计算铰链损失，我们使用弱标记器，从而保持该方法完全无监督。针对传统基线和最近最先进的语义哈希方法对四个公开可用的数据集进行了广泛的实验评估，结果表明RBSH在所有评估的哈希码长度上都显着优于所有其他方法。事实上，RBSH哈希码能够执行类似于最先进的哈希码，同时使用2- 4倍的比特。
2019-06-03 cs.CL cs.IR cs.LG
Building Chinese Lexicons from Scratch by Unsupervised Short Document Self-Segmentation
中文文本分割是一个众所周知的难题。一方面，汉语中没有一个简单的“词”的概念，这使得基于规则的系统很难实现书面文本的分割，因此通常使用词汇和统计信息来实现这样的任务。另一方面，任何一段中文文本通常包括既不存在于词典中也不存在于训练数据中的段。更糟糕的是，这种看不见的序列可以被分割成许多完全不相关的单词，使得后续处理阶段变得困难。例如，使用基于词典的系统，序列？（欧盟委员会现任候任主席巴罗佐）可以分割成？(ba，希望，希望）和？？（loozuo，一个未定义的词）完全改变了句子的意义。本文介绍了一种新的、非常简单的、特别适合于处理短中文文档的算法。这种新的算法执行文本“自我分割”产生的结果相比，母语人士所取得的，而不使用任何词典或任何统计信息以外的输入文本。此外，它在寻找新的“单词”，特别是专有名词方面非常强大，并且非常适合从头开始构建词典。除了它的就业的例子提供了一些初步的结果。
2004-11-20 cs.CL cs.IR
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Learning Unsupervised Semantic Document Representation for Fine-grained Aspect-based Sentiment Analysis
National Taiwan University（国立台湾大学）
本文提出一种无监督文档表示模型，同时克服序列与非序列方法的弱点，在通用情感分析和细粒度方面级情感分析任务上显著超越现有最优方法。
2024-01-11 cs.AI cs.CL cs.IR
H3D: Benchmarking Unsupervised Text Hashing for Fine-Grained Document Deduplication
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Monash University Australia（澳大利亚莫纳什大学）；Hong Kong Polytechnic University（香港理工大学）
H3D作为细粒度文档去重的无监督文本哈希基准测试，评估多种哈希方法，在两个数据集上进行实验，报告排名质量、效率和鲁棒性等结果，揭示不同方法权衡，分析相似性度量等效情况，提升方法比较的可解释性与可重复性。
2026-07-10 cs.IR
Unsupervised Data Extraction from Computer-generated Documents with Single Line Formatting
处理大量数据是大数据时代的一个本质问题。大多数数据交换是通过直接通信（使用API）和结构良好的文件格式（JSON，XML，EDI等）完成的，但是大部分数据是使用任意格式的计算机生成的文档（例如发票、采购订单、财务报告等）来传输的，这需要复杂的处理和人为干预来解释和提取数据。目前可用的解决方案，从手动数据录入到低级脚本和数据提取工具，都是昂贵的，需要人工干预。本文描述了从各种计算机生成的文档中进行无监督、全自动数据提取的原理方法，假设它们的格式反映了数据源的原始结构。所提出的方法属于无监督机器学习的范畴，由三个主要部分组成：（1）通过采用相对特征空间聚类和自适应加权特征分数图来检测文本格式的重复模式，（2）-经由应用于重复格式化模式的折叠和噪声过滤过程来检测分层格式化结构，以及（3）-自动配置交互式数据提取工具（SiMX TextConverter），实现全自动处理。
2020-07-15 cs.IR
Topic-Centric Unsupervised Multi-Document Summarization of Scientific and News Articles
Wright State University（莱特州立大学）
自然语言处理的最新进展已经实现了广泛任务的自动化，包括机器翻译、命名实体识别和情感分析。然而，文档或文档组的自动摘要仍然难以实现，许多努力仅限于提取关键字、关键短语或关键句子。由于问题的固有困难和训练数据的有限可用性，尚未实现准确的抽象概括。在本文中，我们提出了一个以主题为中心的无监督多文档摘要框架，用于为Microsoft Academic Graph（MAG）中的20个研究领域（FoS）的科学文章和DUC-2004任务2的新闻文章生成提取和抽象摘要。该算法通过开发显著语言单元选择和文本生成技术来生成抽象摘要。我们的方法在自动提取评估指标上进行评估时与最先进的方法相匹配，并且在五个人类评估指标（蕴涵，连贯性，简洁性，可读性和语法）上的抽象摘要中表现得更好。我们在两位共同作者的语言学家之间获得了0.68的Kappa评分，他们评估了我们的结果。我们计划公开分享MAG-20，这是一个人类验证的主题聚类研究文章及其摘要的黄金标准数据集，以促进抽象摘要的研究。
2020-11-03 cs.CL cs.IR cs.LG
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Usher Institute, Medical School, University of Edinburgh（爱丁堡大学医学院厄舍研究所）
关键词提取用于概括文档的内容，并支持高效的文档检索，因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性，适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点（现有顶点的聚合）和系统的冗余过滤器，所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的，可解释的，也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
Generalized Ensemble Model for Document Ranking in Information Retrieval
提出了一种用于文档排序的广义集成模型（gEnM）。gEnM线性地组合基础文档检索模型，并尝试在高位检索相关文档。为了获得多个文档检索模型或排序器的最优线性组合，通过直接最大化平均精度来制定优化程序。提出了有监督学习和无监督学习两种算法来求解该问题。对于有监督的方案，考虑了两种方法的基础上的数据设置，即批量和在线设置。在批量设置中，我们提出了一个修正的牛顿算法，gEnM.BAT，通过近似的导数和海森矩阵。在在线环境中，我们提出了一个基于随机梯度下降（SGD）的算法-gEnM. ON。对于无监督的计划，一个无监督的集成模型（UnsEnM），从每个组成的排名迭代共同学习。在基准数据集上的实验研究验证了所提算法的有效性。因此，通过适当的算法，gEnM在不同的实际信息检索应用中是可行的选择。
2017-02-01 cs.IR
Mining Mathematical Documents for Question Answering via Unsupervised Formula Labeling
数学堆栈交换（MSE）等问答（QA）平台上的问题越来越多，这意味着回答数学相关问题的信息需求越来越大。然而，目前很少有研究的开放数据QA系统的方法，检索数学公式使用它们的概念名称或查询公式标识符关系从知识图谱。在本文中，我们的目标是弥合差距，提出数据采掘方法和基准测试结果，采用数学实体链接（MathEL）和无监督公式标注（UFL）的语义公式搜索和数学问答（MathQA）的arXiv预印本存储库，维基百科和维基数据，这是维基媒体生态系统的一部分免费知识。基于不同类型的信息需求，我们评估我们的系统在15个信息需求模式，评估超过7,000查询结果。此外，我们将其性能与商业知识库和计算引擎（Wolfram Alpha）和搜索引擎（Google）进行比较。开放源代码系统由维基媒体托管在https://mathqa.wmflabs.org。演示视频可在purl.org/mathqa获得。
2022-11-12 cs.IR
Exploratory Analysis of Highly Heterogeneous Document Collections
Institute for Defense Analyses（国防分析研究所）
我们提出了一个有效的多方面的系统，高度异质性的文件集的探索性分析。我们的系统是基于智能标记的个人文件在一个纯粹的自动化的方式，并利用这些标签在一个强大的多方面的浏览框架。所采用的标记策略包括基于机器学习和自然语言处理的无监督和有监督方法。作为我们的关键标记策略之一，我们引入了KERA算法（报告和文章的关键词提取）。KERA以完全无监督的方式从单个文档中提取主题代表性术语，并且被证明比最先进的方法更有效。最后，我们评估我们的系统，它的能力，以帮助用户找到文件有关的军事关键技术深埋在一个大的异构的信息海。
2013-08-11 cs.CL cs.HC cs.IR
Unsupervised Large Language Model Alignment for Information Retrieval via Contrastive Feedback
针对LLMs在信息检索中生成响应过于通用难以区分相似文档的问题，提出无监督对齐方法RLCF，通过相似文档组构建对比反馈信号并在PPO中优化模型，显著提升了响应的独特性与检索性能。
2024-03-26 cs.IR
CustomIR: Unsupervised Fine-Tuning of Dense Embeddings for Known Document Corpora
Valkyrie Andromeda（瓦尔基里安德墨达）
针对稠密嵌入模型在专业语料上性能下降的问题，提出CustomIR框架，借助LLM生成合成查询-文档对与难负例实现无监督领域适配，实验显示小模型Recall@10最高提升2.3点，可媲美大模型，提供了可扩展的低成本领域性能提升方案。
2025-10-28 cs.AI cs.IR
Unsupervised Key Event Detection from Massive Text Corpora
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Westlake University（西湖大学）；Google Research（谷歌研究院）
从新闻语料库中自动检测事件是挖掘快速发展的结构化知识的关键任务。由于现实世界中的事件具有不同的粒度，从顶级主题到关键事件，再到与具体行动相对应的事件提及，通常有两条研究路线：（1）主题检测从新闻语料库中识别主要主题（例如，“2019年香港抗议”对“2020年美国总统选举”）;以及（2）动作提取从一个文档中提取提及级动作（例如，“警察击中了抗议者的左臂”），这些内容过于细致，无法理解该事件。在本文中，我们提出了一个新的任务，关键事件检测在中间水平，旨在检测从新闻语料库的关键事件（例如，“8月12日至14日香港机场抗议活动”），每一个都发生在特定的时间/地点，关注同一个话题。这项任务可以连接事件理解和结构化，并且由于关键事件的主题和时间接近性以及由于新闻文章的快速发展性质而导致的标记数据的稀缺性而具有内在的挑战性。为了解决这些挑战，我们开发了一个无监督的关键事件检测框架EvMine，该框架（1）使用新的ttf-itf分数提取时间上频繁的峰值短语，（2）通过从我们设计的峰值短语图中检测社区来将峰值短语合并到事件指示特征集中，该峰值短语图捕获文档共现，语义相似性和时间接近度信号，以及（3）通过用来自事件指示特征集的自动生成的伪标签训练分类器并使用检索到的文档来精炼检测到的键事件，来迭代地检索与每个键事件相关的文档。大量的实验和案例研究表明，EvMine优于所有的基线方法和它的消融在两个现实…
2022-07-03 cs.CL cs.IR
Retrieval-efficiency trade-off of Unsupervised Keyword Extraction
本文提出一种无监督关键词提取方法，通过顺序合并文档部分并利用个性化PageRank，在保持最先进检索性能的同时，速度比现有方法快两个数量级，并能在不到一分钟内处理1400万篇文档。
2022-08-15 cs.IR
Complex Question Answering: Unsupervised Learning Approaches and Experiments
University of Lethbridge（莱斯布里奇大学）；University of British Columbia（不列颠哥伦比亚大学）
需要从多个文档中推理和综合信息的复杂问题可以被视为一种面向主题的、信息丰富的多文档摘要，其目标是以最小的相关信息损失生成一组文档的压缩版本作为单个文本。在本文中，我们用一种经验方法和两种无监督统计机器学习技术：K均值和期望最大化（EM）来计算句子的相对重要性。我们比较了这些方法的结果。我们的实验表明，经验方法优于其他两种技术和EM比K-means表现更好。然而，这些方法的性能完全取决于所使用的特征集和这些特征的权重。为了衡量的重要性和相关性的用户查询，我们提取不同种类的功能（即词汇，词汇语义，余弦相似性，基本元素，基于树核的句法和浅语义）的每个文档句子。我们使用局部搜索技术来学习特征的权重。据我们所知，没有研究使用树核函数来编码更复杂的任务，如计算查询语句和文档语句之间的相关性，以生成以查询为中心的摘要（或复杂问题的答案）的语法/语义信息。对于我们的每一种方法生成的摘要（即经验，K-均值和EM），我们显示的句法和浅语义功能的词袋（BOW）功能的影响。
2014-01-15 cs.CL cs.IR cs.LG
Unsupervised Domain Adaptation for Sparse Retrieval by Filling Vocabulary and Word Frequency Gaps
Tokyo Institute of Technology（东京工业大学）
使用预训练的语言模型的IR模型显著优于像BM 25这样的词汇方法。特别是，SPLADE，它编码的文本稀疏向量，是一个有效的模型，用于实际使用，因为它显示了鲁棒性域外数据集。然而，SPLADE仍然在训练数据中的低频词的精确匹配上挣扎。此外，词汇和词频的域转移恶化了SPLADE的IR性能。由于在目标域中监督数据是稀缺的，所以在没有监督数据的情况下解决域转移是必要的。本文提出了一种无监督的领域自适应方法，通过填充词汇和词频的差距。首先，我们扩展词汇表，并在目标领域的语料库上使用掩蔽的语言模型执行持续的预训练。然后，我们乘以SPLADE编码的稀疏向量的逆文档频率权重，以考虑的重要性，与低频字的文件。我们使用我们的方法在数据集上进行了实验，这些数据集与源域有很大的词汇差距。我们表明，我们的方法优于目前最先进的领域自适应方法。此外，我们的方法实现了最先进的结果，结合BM 25。
2022-11-08 cs.CL cs.IR
PromptRank: Unsupervised Keyphrase Extraction Using Prompt
提出无监督关键词抽取方法PromptRank，利用预训练语言模型的编码器-解码器架构和提示设计，在六个基准上超越最先进方法，F1分数相对提升最高达34.18%。
2023-05-15 cs.IR
Temporal Preference Optimization for Unsupervised Retrieval
Microsoft, Redmond, USA（微软公司，美国红mond）；Sungkyunkwan University, Suwon, South Korea（成均馆大学，韩国首尔）
提出TPOUR方法，通过时间检索偏好优化（TRPO）和可学习时间嵌入插值，使无监督稠密检索器能捕捉时间相关性，在时间信息检索任务上超越有监督和无监督基线。
2026-06-17 cs.AI cs.IR
Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval
本文提出在连续嵌入空间中进行无监督语料库污染攻击的方法，通过优化保持文档嵌入几何距离和最大化词级差异，提升攻击效率和效果，实验验证了其在不同领域数据集上的有效性。
2026-03-16 cs.CL cs.IR
Unsupervised Terminological Ontology Learning based on Hierarchical Topic Modeling
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
在本文中，我们提出了层次关系为基础的潜在狄利克雷分配（hrLDA），数据驱动的层次主题模型，从大量的异构文档中提取术语本体。与传统的主题模型相比，hrLDA依赖于名词短语而不是一元语法，考虑语法和文档结构，并通过主题关系丰富主题层次结构。通过一系列的实验，我们证明了hrLDA优于现有的主题模型，特别是在建立层次结构。此外，我们说明了鲁棒性的hrLDA在噪声数据集的设置，这是可能发生在许多实际情况下。我们的本体评价结果表明，从hrLDA提取的本体是非常有竞争力的领域专家创建的本体。
2017-08-29 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中，主题是相对不变的，而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA，用于分析文档意图结构和订单信息。我们的模型是灵活的，有能力结合的注释和做监督学习。此外，可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验，结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
Unsupervised, Efficient and Semantic Expertise Retrieval
University of Amsterdam（阿姆斯特丹大学）
我们引入了一个无监督的判别模型的任务，检索专家在线文档集。我们只使用文本证据，并通过以无监督的方式学习分布式单词表示来避免显式特征工程。我们将我们的模型与最先进的无监督统计向量空间和概率生成方法进行比较。我们提出的对数线性模型达到了最先进的以文档为中心的方法的检索性能水平，具有所谓的以配置文件为中心的方法的低推理成本。在大多数情况下，它在向量空间和生成模型上产生了统计上显著的改进排名，与各种基准上的监督方法的性能相匹配。也就是说，通过只使用文本，我们可以做得和使用外部证据和/或相关反馈的方法一样好。对比分析的排名产生的歧视性和生成的方法表明，他们有互补的优势，由于无监督的判别模型进行语义匹配的能力。
2017-09-17 cs.AI cs.CL cs.IR
Text Modeling using Unsupervised Topic Models and Concept Hierarchies
University of California, Irvine（加州大学欧文分校）
统计主题模型提供了一个通用的数据驱动框架，用于从大量文本文档中自动发现高级知识。虽然主题模型可以在数据集中发现广泛的主题，但学习主题的可解释性并不总是理想的。另一方面，人类定义的概念往往在语义上更丰富，这是由于仔细选择了定义概念的单词，但它们往往不会详尽地涵盖数据集中的主题。在本文中，我们提出了一个概率框架，结合层次结构的人类定义的语义概念与统计主题模型，以寻求两全其美。使用两个不同的概念层次结构和两个集合的文本文档的实验结果表明，这种组合导致相关的语言模型的质量的系统性改进，以及使新的技术推断和可视化的文档的语义。
2008-08-07 cs.AI cs.IR
Unsupervised dense retrieval with conterfactual contrastive learning
本文提出基于博弈论与无监督反事实学习的正则化方法，通过增强稠密检索模型对细粒度相关性信号的敏感性，在无需段落级标注的情况下提升模型可解释性与抗对抗攻击鲁棒性。
2024-12-30 cs.IR
Deep NMF Topic Modeling
基于非负矩阵分解（NMF）的主题建模方法不太依赖于模型或数据假设。然而，它们通常被公式化为困难的优化问题，这可能遭受坏的局部最小值和高计算复杂性。在本文中，我们提出了一个深度NMF（DNMF）主题建模框架，以缓解上述问题。它首先应用一种无监督的深度学习方法来学习文档的潜在层次结构，假设如果我们可以通过例如深度模型来学习文档的良好表示，那么主题词发现问题就可以得到提升。然后，它采取的深度模型的输出来约束主题文档分布的判别主题词的发现，这不仅提高了效率，但也降低了计算复杂性比传统的无监督NMF方法。我们从三个方面对主题文档分布进行约束，分别利用了NMF的三个主要子类别--基本NMF、结构化NMF和约束NMF的优点。为了克服深度神经网络在无监督主题建模中的不足，我们采用了一种非神经网络的深度模型--多层自举网络。据我们所知，这是第一次将深度NMF模型用于无监督主题建模。我们比较了所提出的方法与一些代表性的参考文献，涵盖了各种现实世界的文本语料库的主题建模的主要分支。实验结果表明，所提出的方法在各种评价指标的有效性。
2021-02-24 cs.IR
A Coherent Unsupervised Model for Toponym Resolution
地名解析，将文档中提到的位置分配给地理参照物的任务（即，纬度/经度），在分析位置感知内容中起着关键作用。然而，自然语言的模糊性和地名的大量可能解释构成了这项任务无法克服的障碍。在本文中，我们研究了除了地名录之外没有其他信息且没有训练数据的地名解析问题。我们证明了缺乏足够大的注释数据使得监督方法的泛化能力较低。我们提出的方法估计的地理范围的文件，并利用附近的地名作为证据，以解决地名之间的联系。我们探讨了提及的多种解释之间的相互作用和文档中不同地名之间的关系，以建立一个模型，找到最一致的解决方案。我们的模型进行评估的三个新闻语料库，两个从文献和一个收集和注释我们，然后，我们比较我们的方法，最先进的无监督和监督技术。我们还研究了三个商业产品，包括路透社OpenCalais，雅虎！YQL Placemaker和Google Cloud自然语言API。评估结果表明，我们的方法优于无监督技术以及路透社OpenCalais和谷歌云自然语言API的所有三个语料库;此外，我们的方法显示出的性能接近最先进的监督方法，并优于它时，测试数据有40%或更多的地名是看不到的训练数据。
2018-05-08 cs.IR
Vec2GC -- A Graph Based Clustering Method for Text Representations
Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
本文提出端到端聚类算法 Vec2GC，通过文本表示学习构建加权图并进行社区检测，实现对词项或文档的基于密度且支持层次的聚类。
2023-04-12 cs.IR cs.LG
Content-driven, unsupervised clustering of news articles through multiscale graph partitioning
Imperial College London（帝国理工学院）
全球各地产生的新闻和新闻内容数量激增，加上通过在线媒体广泛和即时获取信息，使得实时的监测新闻动态和舆论形成变得困难和耗时。现在越来越需要能够对原始文本进行预处理、分析和分类的工具，以提取可解释的内容;具体而言，就是确定主题和按内容对文章进行分组。我们在这里提出了这样一种方法，它将来自自然语言处理的强大向量嵌入与来自图论的工具结合在一起，这些工具利用图上的扩散动态来揭示跨尺度的自然分区。我们的框架使用最近的深度神经网络文本分析方法（Doc 2 vec）来表示矢量形式的文本，然后应用多尺度社区发现方法（马尔可夫稳定性）来划分文档矢量的相似性图。该方法允许我们以无监督的方式获得具有相似内容的文档集群，以不同的分辨率级别。我们展示了我们的方法，分析了Vox Media一年多来发表的9,000篇新闻文章的语料库。我们的研究结果表明，一致的分组的文件，根据内容，没有先验假设的数量或类型的集群被发现。多级聚类揭示了一个准层次结构的主题和子主题，提高了可理解性和改进的主题一致性相比，外部分类服务和标准的主题检测方法。
2018-08-03 cs.CL cs.IR cs.LG
MUDY: Multi-Granular Dynamic Candidate Contextualization for Unsupervised Keyphrase Extraction
Korea University（韩国延世大学）
MUDY提出一种以上下文为核心的框架，通过多粒度注意力机制和候选感知加权，提升关键词提取的局部上下文重要性识别能力，实验证明其在多个数据集上优于现有方法。
2026-05-01 cs.IR
