BoostTaxo: Zero-Shot Taxonomy Induction via Boosting-Style Agentic Reasoning and Constraint-Aware Calibration
KTH Royal Institute of Technology(皇家理工学院);Monash University(莫纳什大学)
BoostTaxo通过提升式代理推理和约束感知校准方法,提升零样本分类诱导的泛化能力、结构可靠性及效率,实验证明其在WordNet、DBLP和SemEval-Sci数据集上性能优异。
2026-04-03 cs.AI cs.CL
TiFi: Taxonomy Induction for Fictional Domains [Extended version]
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
分类法是结构化知识库的重要组成部分,从文本源和维基百科构建分类法受到了广泛关注。在本文中,我们专注于虚构领域的分类法的建设,使用嘈杂的类别系统从球迷维基或文本提取作为输入。这些虚构的领域是维基百科覆盖不足的实体宇宙的原型,例如企业特定的知识库或高度专业化的垂直领域。我们的小说为目标的方法,称为TiFi,由三个阶段组成:(i)类别清洗,通过识别候选类别,真正代表感兴趣的领域中的类,(ii)边缘清洗,通过选择对应于类包容的子类关系,和(iii)顶级建设,通过映射类到一个子集的高级WordNet类别。一项全面的评估表明,TiFi能够为各种虚构领域构建分类,如指环王,The Greek Mythology或希腊神话,具有非常高的精度,并且它在分类归纳方面的表现远远优于最先进的基线。
2019-01-29 cs.AI cs.CL cs.IR
Iterative Topic Taxonomy Induction with LLMs: A Case Study of Electoral Advertising
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);Department of Computer Science, Purdue University(普渡大学计算机科学系)
本文提出基于大语言模型的迭代主题分类方法,通过选举广告案例验证,实现了无需预定义标签的自动主题分类,并在人类评估中表现出更一致和可解释的结果。
2026-10-02 cs.AI cs.CL cs.CY
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
EPFL(洛桑联邦理工学院);AXA(安盛集团);Sorbonne University(索邦大学);Polish Academy of Science(波兰科学院)
该研究探究仅通过下一个 token 预测训练的语言模型是否发展出人类式的基于类别属性归纳,通过向 Pythia、OLMo 2 模型注入潜在分类体系,发现归纳能力随预训练量增强、随模型规模增大(数据固定)减弱等规律,揭示模型归纳泛化反映训练数据的潜在组织方式。
2026-10-14 cs.CL cs.LG
Every child should have parents: a taxonomy refinement algorithm based on hyperbolic term embeddings
Universität Hamburg(汉堡大学);National Institute of Technology Mizoram(米佐拉姆国家技术学院);Saarland University(萨尔大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们介绍了使用庞加莱嵌入,以改善现有的国家的最先进的方法,以特定领域的分类法从文本中的信号,重新定位错误的下位词条款内(预诱导)分类以及附加断开的条款在分类法中的感应。这种方法大大改善了SemEval-2016任务13关于分类提取的先前最先进的结果。我们证明了庞加莱嵌入的优越性分布的语义表示,支持的假设,他们可以更好地捕捉层次的词汇语义关系比嵌入在欧几里德空间。
2019-06-05 cs.CL
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University(德拉萨大学);Samsung R&D Institute Philippines(三星菲律宾研发院)
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法,并应用于 Filipino 文本,实证表明30%归纳词义有效、40%归纳同义词集有效(含20%新颖集),助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
Watset: Automatic Induction of Synsets from a Graph of Synonyms
Ural Federal University(乌拉尔联邦大学);Krasovskii Institute of Mathematics and Mechanics(克拉索夫斯基数学力学研究所);Universität Hamburg(汉堡大学)
本文提出了一种新的基于图的方法,归纳同义词集使用同义词典和词嵌入。首先,我们构建一个从常用资源(如Wiktionary)中提取的同义词的加权图。第二,运用词义归纳法处理歧义词。最后,我们将歧义输入图的消歧版本聚类成同义词集。我们的元聚类方法让我们使用一个有效的硬聚类算法来执行模糊聚类的图形。尽管它的简单性,我们的方法表现出出色的结果,优于五个竞争力的国家的最先进的方法的F-分数方面的三个金标准数据集的英语和俄语来自大规模的手动构建的词汇资源。
2017-04-24 cs.CL
Automatic Rule Induction for Interpretable Semi-Supervised Learning
Microsoft(微软)
半监督学习在允许NLP模型从少量标记数据中概括方面表现出了希望。同时,预训练的Transformer模型充当了黑盒关联引擎,难以解释,有时行为不可靠。在本文中,我们提出通过自动规则归纳(ARI)来解决这两个挑战,ARI是一个简单而通用的框架,用于自动发现符号规则并将其集成到预训练的Transformer模型中。首先,我们从在少量标记数据上训练的低容量机器学习模型中提取弱符号规则。接下来,我们使用注意力机制将这些规则集成到高容量的预训练Transformer模型中。最后,规则增强系统成为自训练框架的一部分,以增强对未标记数据的监督信号。这些步骤可以在各种现有的弱监督和半监督NLP算法下分层,以提高性能和可解释性。九个序列分类和关系抽取任务的实验表明,ARI可以改善国家的最先进的方法,没有手动工作和最小的计算开销。
2022-10-14 cs.CL
Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification
Johns Hopkins University(约翰霍普金斯大学);Center for Language and Speech Processing(语言与语音处理中心)
本研究通过自动归纳分类体系,揭示基于检索的医学事实性评估在开放式场景中的失败模式,证明模型规模、推理努力和医学微调等改进均无法克服“先检索后验证”范式的根本局限。
2026-11-06 cs.CL cs.IR
Intent Induction from Conversations for Task-Oriented Dialogue Track at DSTC 11
AWS AI Labs(AWS人工智能实验室)
本文介绍 DSTC 11 的对话意图归纳赛道,构建真实客服场景基准、两项子任务、三个数据集与基线,并汇总34个团队的提交结果。
2023-04-25 cs.CL
RaTE: a Reproducible automatic Taxonomy Evaluation by Filling the Gap
Université de Montréal(蒙特利尔大学)
针对自动分类体系构建多依赖人工评估的问题,提出无标注自动评估流程RaTE,依托预训练语言模型,经Yelp领域实验验证其与人类判断相关性好,且能敏感反映分类体系质量变化。
2023-07-19 cs.AI cs.CL cs.LG
Automatic Taxonomy Extraction from Query Logs with no Additional Sources of Information
Tuenti Technologies(Tuenti技术公司);Universidad de Oviedo(奥维耶多大学)
搜索引擎日志存储有关Web用户交互的详细信息。因此,随着越来越多的人每天使用搜索引擎,用户常识的重要线索被记录在这些文件中。先前的研究表明,从全文文档中提取概念分类是可能的,而其他学者提出了从查询日志中获取相似查询的方法。我们提出了一个混合的两条线的研究,也就是说,挖掘查询日志不找到相关的查询,也没有查询层次结构,但实际的术语分类,可用于提高搜索引擎的有效性和效率。因此,在这项研究中,我们已经开发出一种方法,结合词汇分类与监督分类模型,成功地提取上下义关系的专业化搜索模式,从日志任务,没有额外的信息来源,并在语言独立的方式。
2015-10-05 cs.CL
CESAR: Automatic Induction of Compositional Instructions for Multi-turn Dialogs
National University of Singapore(新加坡国立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出CESAR框架,通过统一格式并自动归纳组合指令,构建了包含63个数据集、86个基础任务和68个复合任务的InstructDial++基准,使模型能遵循多约束组合提示。
2023-11-29 cs.CL
Induction of Word and Phrase Alignments for Automatic Document Summarization
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
目前,在自动单文档摘要的研究主要是由两个有效的,但幼稚的方法:通过句子提取摘要,并通过词袋模型的标题生成。虽然在某些任务中取得了成功,但这些模型都无法充分捕捉人类在生成摘要时使用的大量语言设备。这些模型被广泛使用的一个可能的解释是,已经开发出了良好的技术,可以从现有的文档/摘要和文档/标题语料库中为其提取适当的训练数据。我们相信,自动摘要的未来进展将受到更复杂的语言信息模型的开发以及更有效地利用文档/摘要语料库的推动。为了打开大门,同时实现这两个目标,我们已经开发了自动生成文档及其人类书面摘要之间的单词到单词和短语到短语对齐的技术。这些对齐使得存在于这样的文档/摘要对中的对应关系变得明确,并且创建了复杂的摘要算法可以从中学习的潜在丰富的数据源。本文介绍了我们已经进行了实验,以分析人类的能力,执行这样的路线,并根据这些分析,我们描述了实验自动创建它们。我们的比对任务模型是基于标准隐马尔可夫模型的扩展,并学习以完全无监督的方式创建比对。我们详细描述了我们的模型,并给出了实验结果,这些结果表明我们的模型能够学习可靠地识别<document,abstract>对语料库中的单词和短语级别的对齐。
2009-07-04 cs.CL
Term-Centric Hierarchy Induction from Heterogeneous Corpora
MaiNLP, Center for Information and Language Processing, LMU Munich(LMU慕尼黑大学信息与语言处理中心MaiNLP);Fraunhofer Institute for Systems and Innovation Research ISI(弗劳恩霍夫系统与创新研究所ISI);Department of Computer Science, IT University of Copenhagen(哥本哈根IT大学计算机科学系)
提出一种术语中心框架,通过自动术语提取将异构语料映射到共享表示空间,结合领域先验与数据驱动聚类构建可解释层级,在百万级多源基准上优于文本和摘要基线。
2026-06-26 cs.CL
HiExpan: Task-Guided Taxonomy Construction by Hierarchical Tree Expansion
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加利福尼亚大学);U.S. Army Research Laboratory(美国陆军研究实验室)
分类法对于许多知识丰富的应用程序具有很大的价值。由于人工分类管理耗费了大量的人力资源,自动分类构建的需求非常迫切。然而,大多数现有的自动分类构造方法只能构造上位分类,其中每个边仅限于表示“is-a”关系。这样的限制限制了它们对更多样化的现实世界任务的适用性,在这些任务中,父母-孩子可能具有不同的关系。在本文中,我们的目标是从特定领域的语料库构建一个任务引导的分类,并允许用户输入的“种子”分类,作为任务的指导。我们提出了一个基于扩展的分类构造框架,即HiExpan,它自动生成关键词列表从语料库和迭代增长的种子分类。具体来说,HiExpan查看每个分类节点下的所有子节点,这些子节点形成一个连贯的集合,并通过递归扩展所有这些集合来构建分类。此外,HiExpan还引入了弱监督的关系抽取模块来抽取新扩展节点的初始子节点,并通过优化其全局结构来调整分类树。我们在三个不同领域的真实数据集上的实验证明了HiExpan在构建任务指导分类方面的有效性。
2019-10-17 cs.AI cs.CL
APIO: Automatic Prompt Induction and Optimization for Grammatical Error Correction and Text Simplification
Grammarly
本文提出APIO方法,无需人工种子提示即可自动归纳和优化提示,在语法错误纠正与文本简化任务上实现了纯LLM提示方法的最新最优性能。
2025-08-12 cs.AI cs.CL
Learning Concept Taxonomies from Multi-modal Data
Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
我们研究了从文本和视觉数据中自动构建上位词分类的问题。以往的分类学归纳工作通常忽略了日益突出的视觉数据,这些数据编码了重要的感知语义。相反,我们提出了一个概率模型,分类感应联合利用文本和图像。为了避免手工制作的特征工程,我们基于图像和文字的分布式表示来设计端到端特征。该模型是有区别地训练给定的一小部分现有的本体,并能够从头开始建立完整的分类与相关图像的一组看不见的概念标签项。我们评估我们的模型和功能的WordNet层次结构,我们的系统优于以前的方法有很大的差距。
2016-06-29 cs.CL cs.CV cs.LG
Automatic Intent-Slot Induction for Dialogue Systems
Ping An Life Insurance of China, Ltd.(中国平安人寿保险股份有限公司)
自动和准确地识别用户意图并从他们的口语中填充相关联的槽是对话系统成功的关键。传统的方法需要手动定义DOMAIN-INTENT-SLOT模式,并要求许多领域专家注释相应的话语,在此基础上训练神经模型。这一过程带来的挑战,信息共享阻碍,模式外,或数据稀疏的开放域对话系统。为了应对这些挑战,我们探索了一个新的任务{ \em自动意图槽归纳},并提出了一个新的域独立的工具。也就是说,我们设计了一个由粗到精的三步过程,包括角色标记、概念挖掘和模式挖掘(RCAP):(1)角色标记:从用户的话语中提取关键词,并通过序列标记将其分类为四个粗略定义的意图角色;(2)概念挖掘:将提取的意图角色提及聚类并将其命名为抽象的细粒度概念;(3)模式挖掘:将Apriori算法应用于意图角色模式的挖掘,并利用这些粗粒度的意图角色标签和细粒度的概念自动推断意图槽。在域内和域外数据集上的实验结果表明:(1)RCAP可以生成令人满意的SLU模式,性能优于现有的监督学习方法:(2)RCAP可以直接应用于域外数据集,在意图检测和槽填充上分别提高了76%和41%;(3)我们的RCAP在通用意图槽提取方面表现出了强大的功能,并且人工工作量更少,这为新领域的模式归纳和可推广的对话系统的不可见意图槽发现开辟了途径。
2021-03-16 cs.AI cs.CL
Octet: Online Catalog Taxonomy Enrichment with Self-Supervision
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
分类法在各个领域都有广泛的应用,特别是在线分类、浏览和搜索。尽管在线目录分类法的使用很普遍,但实际上大多数分类法都是由人工维护的,这是劳动密集型的,难以扩展。虽然从零开始的分类学建设在文献中进行了大量的研究,但如何有效地丰富现有的不完整的分类学仍然是一个开放而重要的研究问题。分类丰富不仅需要处理新术语的健壮性,而且需要现有分类结构和新术语附件之间的一致性。在本文中,我们提出了一个自我监督的端到端的框架,Octet,在线目录分类富集。Octet利用了在线目录分类法所特有的异构信息,如用户查询、项目及其与分类法节点的关系,同时除了现有分类法之外不需要其他监督。我们建议远程训练一个序列标记模型的术语提取和采用图神经网络(GNNs)捕获的分类结构,以及查询项目分类的相互作用,长期附件。在不同的在线领域的广泛实验表明,通过自动和人工评估,Octet优于最先进的方法。值得注意的是,Octet丰富了生产中的在线目录分类,在开放世界评估中增加了2倍。
2020-06-18 cs.CL
Mapping Multilingual Hierarchies Using Relaxation Labeling
本文探讨了从已有的词汇资源中自动构建多语种词汇知识库的问题。我们提出了一个新的和强大的方法来连接已经存在的词汇/语义层次结构。我们使用了一个约束满足算法(松弛标签)选择-在所有的候选翻译提出的双语词典-正确的英语WordNet同义词集的每一个意义上的分类自动派生自西班牙语单语词典。虽然平均而言,在分类法中每个意义有15个可能的WordNet连接,但该方法的准确率超过80%。最后,我们还提出了几种方法,这种技术可以应用于丰富和改善现有的词汇数据库。
1999-06-24 cs.CL
Discovering Textual Structures: Generative Grammar Induction using Template Trees
Computer Science Department, Leuven AI(鲁汶人工智能计算机科学系);KU Leuven(鲁汶大学)
自然语言生成为设计人员提供了自动生成文本的方法,例如用于创建摘要、聊天机器人和游戏内容。在实践中,文本生成器通常要么是学习和难以解释的,要么是使用语法和模板等技术手工创建的。在本文中,我们介绍了一种新的语法归纳算法学习可解释的语法生成的目的,称为Gitta。我们还引入了新的概念,模板树发现潜在的模板语料库中派生这些生成语法。通过使用现有的人类创建的语法,我们发现,该算法可以合理地近似这些语法使用只有几个例子。这些结果表明,Gitta可以用来自动学习可解释和易于修改的语法,从而为人机共同创建生成模型提供了一个垫脚石。
2020-09-09 cs.AI cs.CL
Towards Automatic Evolution Tree Generation from Citation Graphs
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
针对现有分类学归纳方法局限于叶节点且忽略时间的问题,提出EvoTree分阶段框架,通过图感知编码器、层次聚类和时间微调生成演化树,在首个覆盖11个AI子领域的基准上取得最优性能。
2026-09-10 cs.CL
Emergent Linguistic Rules from Inducing Decision Trees: Disambiguating Discourse Clue Words
本文将决策树归纳法应用于基于遗传算法的语篇线索词义消歧问题。决策树归纳所固有的训练集的自动划分产生了语言上可行的规则。
1994-08-13 cmp-lg cs.CL
Word Sense Induction with Hierarchical Clustering and Mutual Information Maximization
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学);Université Sorbonne Paris Nord(巴黎北索邦大学)
本文提出结合层次聚类与 IIC 互信息最大化的无监督词义归纳方法,在两个任务和两种聚类设置下达到或超过现有最先进性能。
2022-10-11 cs.CL
Using Zero-shot Prompting in the Automatic Creation and Expansion of Topic Taxonomies for Tagging Retail Banking Transactions
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);BTG Pactual(BTG Pactual(巴西BTG银行))
本研究提出一种基于指令微调大语言模型的无监督方法,通过主题建模和零样本提示自动构建和扩展零售银行交易主题分类法,实验显示分类法一致性超90%,父节点预测F1超70%。
2024-02-11 cs.AI cs.CL
Inducing a Semantically Annotated Lexicon via EM-Based Clustering
我们提出了一种技术,用于自动感应槽注释的次范畴化框架,基于感应的EM框架中的统计估计的隐藏类。通过一般决策测试对模型进行了经验评估。归纳槽标签的次范畴化框架的进一步应用EM完成,并实验应用于框架观察来自大型语料库解析。我们概述了理论语言学分解词条的学习表示的解释。
1999-05-19 cs.AI cs.CL cs.LG
Taxonomy Tree Generation from Citation Graph
Emory University(埃默里大学);Shanghai University(上海大学)
针对手动构建分类体系耗时且易有偏见的问题,提出端到端框架HiGTL,通过层次化引文图聚类和基于大语言模型的节点表述,联合优化生成高质量分类树。
2025-02-27 cs.CL cs.LG
Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang University of Technology(浙江工业大学)
本文提出AutoSciRub框架,在自主科学研究前生成任务特定可执行评分准则,经多基准测试可提升智能体研究表现,为自主科研提供有效控制机制。
2026-09-01 cs.AI cs.CL cs.IR