An Unsupervised Method for Building Sentence Simplification Corpora in Multiple Languages
Yangzhou University(扬州大学)
并行句子简化(SS)的可用性是稀缺的神经SS建模。我们提出了一种无监督的方法来建立SS语料库从大规模的双语翻译语料库,减轻需要SS监督语料库。我们的方法的动机是以下两个发现:神经机器翻译模型通常倾向于生成更多的高频令牌和文本复杂度水平的差异存在于源语言和目标语言的翻译语料库。通过将翻译语料库中的源语句和其参考文献的译文对用一种桥语言进行翻译,可以构造出大规模的伪并行SS数据。然后,我们保持这些句子对具有较高的复杂度差异作为SS句子对。采用无监督的方法建立的SS语料库可以满足对齐后的句子保持相同的意义和具有不同的文本复杂度的期望。实验结果表明,我们的语料库训练的SS方法达到了最先进的结果,并显着优于英文基准WikiLarge的结果。
2021-09-01 cs.CL cs.IR
Unsupervised Question Answering by Cloze Translation
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院)
获取用于问答(QA)的训练数据是耗时且资源密集型的,并且现有的QA数据集仅可用于有限的领域和语言。在这项工作中,我们将探讨在何种程度上高质量的训练数据实际上需要提取QA,并调查无监督提取QA的可能性。我们首先学习生成上下文,问题和答案三元组在无监督的方式,然后我们使用自动合成提取QA训练数据来解决这个问题。为了生成这样的三元组,我们首先从大型文档语料库中随机抽取上下文段落,然后从这些段落中随机抽取名词短语或命名实体作为答案。接下来,我们将上下文中的答案转换为“填空”完形填空题,最后将其转换为自然题。我们提出并比较了各种无监督的方法来执行完形填空到自然问题的翻译,包括使用自然问题和完形填空问题的非对齐语料库以及基于规则的方法来训练无监督的NMT模型。我们发现,现代QA模型可以学习回答人类的问题,令人惊讶的是,只使用合成训练数据。我们证明,在完全不使用SQuAD训练数据的情况下,我们的方法在SQuAD v1上实现了56.4 F1(当答案是命名实体时为64.5 F1),优于早期的监督模型。
2019-06-27 cs.AI cs.CL cs.LG
Reasoning-Based Refinement of Unsupervised Text Clusters with LLMs
Department of Computer Science(计算机科学系)
本文提出利用大语言模型作为语义评判者,对无监督聚类结果进行推理细化,通过三个阶段提升聚类的连贯性与可解释性,实验证明其在社交媒体数据中优于传统方法。
2026-04-20 cs.AI cs.CL cs.CY
Quootstrap: Scalable Unsupervised Extraction of Quotation-Speaker Pairs from Large News Corpora via Bootstrapping
EPFL(洛桑联邦理工学院 (EPFL))
我们提出了Quootstrap,一种提取报价的方法,以及说出他们的发言者的名字,从大型新闻语料库。虽然以前的工作主要是用监督机器学习来解决这个问题,但我们的方法遵循完全无监督的自举范式。它利用了大型新闻语料库中存在的冗余,更准确地说,事实上,相同的引用经常出现在多篇新闻文章中,上下文中略有不同。从几个种子模式开始,例如[“Q”,S说],我们的方法提取一组引文-说话人对(Q,S),其依次用于发现表达相同引文的新模式;然后用较大的模式集重复该过程。我们的算法是高度可扩展的,我们通过在大型ICWSM 2011 Spinn 3r语料库上运行它来证明这一点。验证我们的结果与众包的地面真相,我们获得了90%的准确率在40%的召回使用一个单一的种子模式,具有显着更高的召回值更频繁地报告(因此可能更有趣)的报价。最后,我们展示了我们的算法的输出计算社会科学的有用性,通过分析我们提取的报价中表达的情绪。
2018-04-07 cs.CL cs.IR cs.SI
Unsupervised Key Event Detection from Massive Text Corpora
UIUC(伊利诺伊大学厄巴纳-香槟分校);Westlake University(西湖大学);Google Research(谷歌研究院)
从新闻语料库中自动检测事件是挖掘快速发展的结构化知识的关键任务。由于现实世界中的事件具有不同的粒度,从顶级主题到关键事件,再到与具体行动相对应的事件提及,通常有两条研究路线:(1)主题检测从新闻语料库中识别主要主题(例如,“2019年香港抗议”对“2020年美国总统选举”);以及(2)动作提取从一个文档中提取提及级动作(例如,“警察击中了抗议者的左臂”),这些内容过于细致,无法理解该事件。在本文中,我们提出了一个新的任务,关键事件检测在中间水平,旨在检测从新闻语料库的关键事件(例如,“8月12日至14日香港机场抗议活动”),每一个都发生在特定的时间/地点,关注同一个话题。这项任务可以连接事件理解和结构化,并且由于关键事件的主题和时间接近性以及由于新闻文章的快速发展性质而导致的标记数据的稀缺性而具有内在的挑战性。为了解决这些挑战,我们开发了一个无监督的关键事件检测框架EvMine,该框架(1)使用新的ttf-itf分数提取时间上频繁的峰值短语,(2)通过从我们设计的峰值短语图中检测社区来将峰值短语合并到事件指示特征集中,该峰值短语图捕获文档共现,语义相似性和时间接近度信号,以及(3)通过用来自事件指示特征集的自动生成的伪标签训练分类器并使用检索到的文档来精炼检测到的键事件,来迭代地检索与每个键事件相关的文档。大量的实验和案例研究表明,EvMine优于所有的基线方法和它的消融在两个现实…
2022-07-03 cs.CL cs.IR
Leveraging LLMs for Unsupervised Dense Retriever Ranking
针对域偏移下无标注目标语料的稠密检索器选择难题,提出仅依赖目标语料的无监督方法LARMOR,通过LLM生成伪相关信号对检索器排序,效果优于现有基线。
2024-05-23 cs.IR
A Coherent Unsupervised Model for Toponym Resolution
地名解析,将文档中提到的位置分配给地理参照物的任务(即,纬度/经度),在分析位置感知内容中起着关键作用。然而,自然语言的模糊性和地名的大量可能解释构成了这项任务无法克服的障碍。在本文中,我们研究了除了地名录之外没有其他信息且没有训练数据的地名解析问题。我们证明了缺乏足够大的注释数据使得监督方法的泛化能力较低。我们提出的方法估计的地理范围的文件,并利用附近的地名作为证据,以解决地名之间的联系。我们探讨了提及的多种解释之间的相互作用和文档中不同地名之间的关系,以建立一个模型,找到最一致的解决方案。我们的模型进行评估的三个新闻语料库,两个从文献和一个收集和注释我们,然后,我们比较我们的方法,最先进的无监督和监督技术。我们还研究了三个商业产品,包括路透社OpenCalais,雅虎!YQL Placemaker和Google Cloud自然语言API。评估结果表明,我们的方法优于无监督技术以及路透社OpenCalais和谷歌云自然语言API的所有三个语料库;此外,我们的方法显示出的性能接近最先进的监督方法,并优于它时,测试数据有40%或更多的地名是看不到的训练数据。
2018-05-08 cs.IR
When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR
Seoul National University(首尔国立大学);POSTECH;Samsung SDS(三星SDS)
本文提出新任务,即在索引前检测语料库相对于稠密检索器是否为分布外,并设计无监督方法 GradNormIR 利用梯度范数进行检测,在 BEIR 上验证其能实现及时更新并提升检索稳健性与效率。
2025-06-02 cs.CL cs.IR
CREAM: Continual Retrieval on Dynamic Streaming Corpora with Adaptive Soft Memory
Korea University(韩国大学);Yonsei University(延世大学)
CREAM通过自监督框架实现动态数据流中的持续检索,利用自适应软记忆提升对未知主题的适应性和检索准确性。
2026-01-10 cs.AI cs.IR
SeNMFk-SPLIT: Large Corpora Topic Modeling by Semantic Non-negative Matrix Factorization with Automatic Model Selection
随着文本数据量的持续增长,主题建模在理解被大量文档隐藏的内容方面发挥着重要作用。一种流行的主题建模方法是非负矩阵分解(NMF),一种无监督的机器学习(ML)方法。最近,语义NMF与自动模型选择(SeNMFk)已被提出作为NMF的修改。除了精确地估计主题的数量外,SeNMFk还结合了文本的语义结构。这是通过联合因式分解的词频逆文档频率(TF-IDF)矩阵的同现/词上下文矩阵,其值表示的次数两个词共同出现在一个预定的窗口中的文本。在本文中,我们介绍了一种新的分布式方法,SeNMFk-SPLIT,语义主题提取适用于大型语料库。与SeNMFk相反,我们的方法通过分别分解单词上下文和术语文档矩阵来实现大型文档的联合因式分解。我们通过将SeNMFk-SPLIT应用于上传到arXiv上的整个人工智能(AI)和ML科学文献来展示SeNMFk-SPLIT的能力。
2022-08-21 cs.IR
Backretrieval: An Image-Pivoted Evaluation Metric for Cross-Lingual Text Representations Without Parallel Corpora
Cookpad Ltd.(Cookpad有限公司);The University of Liverpool(利物浦大学)
跨语言文本表示最近越来越流行,并且作为许多任务的骨干,例如无监督机器翻译和跨语言信息检索等。然而,这种表示的评估是困难的,在域超出标准基准,由于需要获得跨不同的语言对特定于域的并行语言数据。在本文中,我们提出了一个自动度量跨语言的文本表示使用图像作为代理在成对的图像-文本评估数据集的质量进行评估。实验表明,Backretrieval与注释数据集上的地面真实指标高度相关,我们的分析显示,与基线相比,统计学上有显著的改进。我们的实验结束时,没有并行的跨语言数据的食谱数据集的案例研究。我们说明了如何判断跨语言的嵌入质量与Backretrieval,并验证了一个小的人类研究的结果。
2021-05-11 cs.CL cs.IR
U-CREAT: Unsupervised Case Retrieval using Events extrAcTion
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文提出U-CREAT无监督案例检索流水线,通过事件抽取提升法律先例检索性能与速度,并在印度IL-PCR和加拿大COLIEE两个法律体系基准上取得最先进结果。
2023-07-11 cs.AI cs.CL cs.IR
Unsupervised Extraction of Representative Concepts from Scientific Literature
本文研究了从科技论文标题中自动分类和提取科学概念的方法,以更深入地了解其关键贡献,促进通用学术知识库的构建。为了实现这一目标,我们提出了一种无监督的、独立于领域的、可扩展的两阶段算法,用于将关键概念提及类型和提取到感兴趣的方面(例如,技术、应用等)。在我们的算法的第一阶段,我们提出了PhraseType,一个概率生成模型,利用文本特征和有限的POS标签,广泛分割文本片段到方面类型的短语。我们扩展了这个模型,同时学习方面的特定功能,并确定多领域语料库中的学术领域,因为这两个任务相互增强对方。在第二阶段中,我们提出了一种基于适配器语法的方法,以纯粹的数据驱动的方式从方面类型的短语中提取细粒度的概念提及,而不需要任何外部资源或人力。我们应用我们的技术来研究来自不同科学领域的文献,并显示出比最先进的概念提取技术有显着的进步。我们还提出了一个定性分析所获得的结果。
2017-11-09 cs.IR
Exploiting Hierarchical Dependence Structures for Unsupervised Rank Fusion in Information Retrieval
在信息检索中,等级融合的目标是从多个搜索结果中产生一个单一的输出列表。通过组合各种IR系统的输出来提高性能是一项具有挑战性的任务。一个中心点是,许多不明显的因素参与相关性的估计,导致数据之间的非线性相互关系。在信息检索领域中,对随机变量之间的复杂依赖关系建模的能力已经变得越来越流行,并且最近已经认识到需要进一步探索这些依赖关系以用于数据融合。Copula提供了一个框架来分离依赖结构和边际。受Copula理论的启发,我们提出了一种新的无监督的、动态的、非线性的、基于非代数函数对嵌套合成的秩融合方法。模型的依赖结构是通过在每个查询的基础上利用查询-文档相关性来定制的。我们实验了CLEF语料库融合3和6检索系统的三个主题集,比较我们的方法对CombMNZ技术和其他非线性无监督策略。实验表明,我们的融合方法在显式条件下提高了性能,在这种情况下,线性融合技术具有与非线性方法相当的性能。
2022-08-10 cs.IR
Poisoning Retrieval Corpora by Injecting Adversarial Passages
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
本文提出一种针对稠密检索系统的对抗性段落注入攻击,通过扰动离散token生成少量高相似度段落,证明其可跨域泛化并攻击多种最先进检索器,仅需注入500个段落即可成功。
2023-10-29 cs.CL cs.IR
Unsupervised Hashtag Retrieval and Visualization for Crisis Informatics
在Twitter这样的社交媒体中,标签携带了大量的语义信息,可以很容易地与正文区分开来。以有意义的方式探索和可视化标签空间可以为数据集提供重要的见解,特别是在危机情况下。在这篇演示论文中,我们提出了一个功能原型HashViz,它摄取了在危机情况(如拉斯维加斯枪击案)之后收集的推文语料库,并使用fastText技巧包语义嵌入算法(来自Facebook Research)将单词和标签嵌入到向量空间中。以这种方式获得的主题标签向量可以使用2D中的t-SNE降维算法来可视化。虽然存在多个Twitter可视化平台,但HashViz的特点是简单,可扩展,交互性和便携性,足以在任意灾难后收集数百万条推文语料库,而无需特殊用途的安装,技术专业知识,人工监督或昂贵的软件或基础设施投资。虽然简单,我们表明,HashViz提供了一种直观的方式来总结,并深入了解,一个发展中的危机情况。HashViz也是完全无监督的,不需要手动输入就可以从原始语料库到可视化和搜索界面。使用最近的拉斯维加斯大规模枪击事件作为案例研究,我们说明了HashViz在客户端仅使用Web浏览器的潜力。
2018-01-18 cs.IR
Legal document retrieval across languages: topic hierarchies based on synsets
立法文本的跨语言注释使我们能够探索多语言法律数据中涵盖的主要主题,并且在搜索类似文件时是语义相似性的关键促进因素。多语言概率主题模型是近年来出现的一组半监督机器学习模型,可用于对多种语言的文本集合进行主题探索。然而,这些方法需要主题对齐的训练数据来创建独立于语言的空间,这限制了可以使用该技术的场景的数量。在这项工作中,我们提供了一个无监督的文档相似性算法的基础上,层次结构的多语言的概念来描述跨语言的主题。该算法不需要并行或可比的语料库,或任何其他类型的翻译资源。在英语,西班牙语,法语和葡萄牙语版本的JCR-Accounts语料库上进行的实验显示,按相似内容对文档进行分类和排序的结果很有希望。
2019-11-28 cs.DL cs.IR
Topic supervised non-negative matrix factorization
University of San Francisco(旧金山大学)
主题模型已被广泛用于组织和解释大型非结构化文本文档语料库的内容。虽然主题模型通常在传统训练与测试集评估中表现良好,但通常情况下,主题模型的结果与人类解释不一致。这种可解释性谬误很大程度上是由于主题模型的无监督性质,它禁止用户对模型的结果进行任何指导。在本文中,我们介绍了一种半监督的方法,称为主题监督非负矩阵分解(TS-NMF),使用户能够提供标记的示例文档,以促进发现更有意义的语义结构的语料库。以这种方式,TS-NMF的结果更好地匹配用户的直觉和期望的标记。TS-NMF的核心依赖于解决一个非凸优化问题,我们推导出一个迭代算法,被证明是单调的,收敛到局部最优。我们证明了TS-NMF的路透社和PubMed语料库的实际效用,并发现TS-NMF是特别有用的概念或广泛的主题,主题的关键术语不太清楚。虽然确定一个最佳的潜在结构的数据是不是所提出的方法的主要目标,我们发现,TS-NMF实现更高的加权Jaccard相似性得分比当代的方法,(无监督)NMF和潜在的Dirichlet分配,在监督率低至10%至20%。
2017-07-02 cs.CL cs.IR cs.LG