Efficient Induction of Language Models Via Probabilistic Concept Formation
Georgia Institute of Technology（佐治亚理工学院）；Institute for the Study of Learning and Expertise（学习与专业知识研究所）
提出了一种从语料库中获取语言模型的新方法。该框架建立在Cobweb上，Cobweb是一个早期的系统，用于构建概率概念的分类层次结构，使用表格，属性值编码的训练案例和概念，使其不适合像语言这样的顺序输入。作为回应，我们探索了Cobweb的三个新扩展--Word、Leaf和Path变体。这些系统将每个训练案例编码为锚词和周围的上下文词，并且它们将概念的概率描述存储为锚和上下文信息的分布。与最初的Cobweb一样，性能元素通过层次结构向下排序一个新实例，并使用最后一个节点来预测丢失的特性。学习与性能交织，随着分类的发生更新概念概率和层次结构。因此，新方法以增量的在线方式处理训练案例，这与大多数统计语言学习方法非常不同。我们研究了这三种变体如何将同义词放在一起并保持同音异义词分开，它们回忆同义词的能力作为训练集大小的函数，以及它们的训练效率。最后，我们讨论了增量学习的相关工作和进一步研究的方向。
2022-12-22 cs.AI cs.CL cs.LG
FrameEOL: Semantic Frame Induction using Causal Language Models
Nagoya University（名古屋大学）；CyberAgent；National Institute of Informatics（日本信息处理学会）
本文提出基于因果语言模型的语义框架归纳方法FrameEOL，利用提示、上下文学习和深度度量学习获取框架嵌入并聚类，在英日FrameNet数据集上优于现有方法。
2025-10-10 cs.CL
Unsupervised Semantic Frame Induction using Triclustering
University of Mannheim（曼海姆大学）；University of Oslo（奥斯陆大学）；University of Hamburg（汉堡大学）
我们使用依赖三元组自动提取的Web规模的语料库进行无监督的语义框架归纳。我们铸造的框架感应问题作为一个三聚问题，这是一个泛化的三元数据的聚类。我们的可复制的基准测试表明，所提出的基于图的方法，Triframes，显示了最先进的结果，在这个任务上的一个FrameNet派生的数据集，并表现出与竞争对手的方法在动词类聚类任务。
2018-05-18 cs.CL
Semantic Frame Induction with Deep Metric Learning
Nagoya University（名古屋大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
针对通用上下文化嵌入与语义框架直觉不一致的问题，提出用深度度量学习微调嵌入模型，并在 FrameNet 上显著提升框架归纳聚类性能。
2023-04-27 cs.CL
Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
语义框架归纳的最新研究表明，通过使用基于聚类的方法和上下文化的词嵌入，已经取得了相对较高的性能。然而，这些方法存在两个潜在的缺陷：一是过于关注框架诱发动词的表面信息，二是倾向于将同一动词的实例划分为过多的不同框架簇。为了克服这些缺点，我们提出了一个语义框架归纳方法，使用屏蔽词嵌入和两步聚类。通过对英语FrameNet数据的实验，我们证明了使用屏蔽的词嵌入可以有效地避免对引起框架的动词的表面信息的过度依赖，并且两步聚类可以提高相同动词实例的框架聚类的数量。
2021-05-27 cs.CL
HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings
University of Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；University of Mannheim（曼海姆大学）；Samsung R&D Institute Russia（三星俄罗斯研发中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
我们提出了我们的语义框架归纳系统，该系统在子任务B.1中表现出最佳性能，并在SemEval 2019任务2的子任务A中获得亚军（QasemiZadeh等人，2019年）。我们的方法将这个任务分为两个独立的步骤：动词聚类使用词和它们的上下文嵌入和角色标签结合这些嵌入与句法特征。这些步骤的简单组合显示出非常有竞争力的结果，并且可以扩展到处理其他数据集和语言。
2019-05-05 cs.CL
Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction
Nagoya University（名古屋大学）；RIKEN（理化学研究所）
上下文化的词表示已被证明对于各种自然语言处理任务是有用的。然而，目前还不清楚这些表示在多大程度上可以覆盖手工编码的语义信息，如语义框架，它指定了与谓词相关的参数的语义角色。在本文中，我们专注于动词，唤起不同的框架取决于上下文，我们调查如何以及语境化的词表示可以识别的框架，同一个动词唤起的差异。我们还探讨了哪些类型的表示是适合语义框架归纳。在我们的实验中，我们比较了七个不同的语境化的词表示的两个英语框架语义资源，框架网络和PropBank。我们证明了几个语境化的词表示，特别是BERT及其变体，是相当翔实的语义框架归纳。此外，我们还考察了动词的语境化表征在多大程度上可以估计动词所能唤起的框架数量。
2021-05-27 cs.CL
CLUE: A Contrastive Learning Framework for Unsupervised Event Type Induction and Annotation
Iowa State University（爱荷华州立大学）
针对手动事件本体创建成本高、易有偏差的问题，提出CLUE框架，通过联合嵌入表示、对比损失引导聚类及事件命名优化，实现无监督事件类型归纳与标注，方法经实验验证有效。
2026-10-12 cs.CL
Watset: Local-Global Graph Clustering with Applications in Sense and Frame Induction
University of Mannheim（曼海姆大学）；University of Hamburg（汉堡大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
我们提出了一个详细的理论和计算分析的Watset元算法的模糊图聚类，已被发现是广泛适用于各种领域。该算法创建输入图的中间表示，反映其节点的“模糊性”。然后，它使用硬聚类来发现这个“消除歧义”的中间图中的聚类。在概述了该方法并分析其计算复杂性后，我们证明了Watset在三个应用中表现出竞争力的结果：无监督同义词图的同义词集归纳，无监督依赖三元组的语义框架归纳，以及无监督分布式词库的语义类归纳。我们的算法是通用的，也可以适用于其他网络的语言数据。
2019-06-19 cs.CL
Acquiring Frame Element Knowledge with Deep Metric Learning for Semantic Frame Induction
Nagoya University（名古屋大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对语义框架归纳中的论元聚类任务，提出基于深度度量学习的方法，通过微调预训练语言模型获取框架元素知识，在FrameNet上显著优于现有方法。
2023-05-23 cs.CL
A Property Induction Framework for Neural Language Models
Purdue University（普渡大学）；University of Chicago（芝加哥大学）
从语言中获得的经验在多大程度上有助于我们的概念知识？对这个问题的计算探索揭示了强大的神经语言模型（LM）的能力-仅通过文本输入获得信息-编码和获取有关概念和属性的信息。为了扩展这条研究路线，我们提出了一个框架，使用神经网络语言模型（LM）来执行属性归纳-一项任务，其中人类将新的属性知识（具有籽骨）从一个或多个概念（知更鸟）推广到其他概念（麻雀，金丝雀）。在人类身上观察到的属性归纳模式为人类概念知识的性质和组织提供了相当多的线索。受此启发，我们使用我们的框架来探索LM的属性归纳，并发现它们表现出归纳偏好，以类别成员资格为基础来概括新的属性，这表明它们的表示存在分类偏见。
2022-05-13 cs.CL
Finding Dataset Shortcuts with Grammar Induction
Princeton University（普林斯顿大学）
许多NLP数据集被发现包含捷径：简单的决策规则，实现惊人的高准确性。但是，很难自动发现快捷方式。之前关于自动快捷方式检测的工作主要集中在枚举像unigrams或bigrams这样的特征，这些特征只能找到低级别的快捷方式，或者依赖于像显着图这样的事后模型可解释性方法，这些方法可以在没有明确统计解释的情况下揭示定性模式。在这项工作中，我们建议使用概率语法来描述和发现NLP数据集中的捷径。具体来说，我们使用一个上下文无关文法模型的句子分类数据集的模式，并使用一个同步的上下文无关文法模型的数据集涉及句子对。由此产生的语法揭示了有趣的快捷功能，在一些数据集，包括简单的和高层次的功能，并自动识别组的测试示例上，传统的分类失败。最后，我们发现的功能，我们可以用来生成诊断对比的例子，并纳入标准的鲁棒优化方法，以提高最坏的组的准确性。
2022-10-20 cs.CL
Unsupervised Grammar Induction with Depth-bounded PCFG
The Ohio State University（俄亥俄州立大学）；Harvard University（哈佛大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近人们对在递归深度上应用认知或经验动机的界限来限制语法归纳模型的搜索空间感兴趣（Ponvert等人，2011; Noji和Johnson，2016; Shain等人，2016年）。这项工作扩展了这种深度绑定方法的概率上下文无关文法归纳（DB-PCFG），它具有比层次序列模型更小的参数空间，因此更充分地利用了空间减少的深度绑定。结果为这个模型的语法习得从转录的儿童导向的语音和新闻通讯文本超过或具有竞争力的分析准确性评估时，与其他模型。此外，从这个模型中获得的语法标记表明了对类别标签的一致使用，这是其他习得模型所没有证明的。
2018-02-26 cs.AI cs.CL
Building Probabilistic Models for Natural Language
在这篇论文中，我们研究了三个涉及语言概率建模的问题：平滑n-gram模型，统计语法归纳和双语句子对齐。这三个问题在三个不同的语言层次上使用模型;它们分别涉及基于单词的模型，基于成分的模型和基于句子的模型。我们描述的技术，以提高语言的建模在每个这些级别，并超越现有算法的性能为每个问题。我们使用三种不同的框架来处理这三个问题。我们将这些框架中的每一个与贝叶斯范式相关联，并展示了为什么每个框架都适用于给定的问题。最后，我们展示了我们的研究如何解决概率建模中的两个核心问题：稀疏数据问题和诱导隐藏结构的问题。
1996-06-11 cmp-lg cs.CL
VLGrammar: Grounded Grammar Induction of Vision and Language
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
认知语法认为语言语法的习得是建立在视觉结构的基础上的。语法是自然语言的基本表征，但它也普遍存在于视觉中，表现了部分-整体的层次结构。在这项工作中，我们研究接地语法归纳的视觉和语言的联合学习框架。具体来说，我们提出了VLGrammar，一种方法，使用复合概率上下文无关文法（复合PCFG），同时归纳的语言语法和图像语法。我们提出了一个新的对比学习框架来指导这两个模块的联合学习。为了提供一个基准的接地语法归纳任务，我们收集了一个大规模的数据集，\textsc{PartIt}，其中包含人类写的句子，描述部分级语义的3D对象。在\textsc{PartIt}数据集上的实验表明，VLGrammar在图像语法归纳和语言语法归纳方面优于所有基线。学习的VLGrammar自然会使相关的下游任务受益。具体来说，该算法将图像无监督聚类的准确率提高了30%，在图像检索和文本检索中表现良好。值得注意的是，归纳语法表现出优越的概括性，很容易概括到看不见的类别。
2021-03-24 cs.AI cs.CL cs.CV
Effective weakly supervised semantic frame induction using expression sharing in hierarchical hidden Markov models
University of Antwerp（安特卫普大学）；KU Leuven（鲁汶大学）；TEXTGAIN
我们提出了一个框架，从话语中的自适应命令和控制界面的语义框架的感应。该系统是在单个用户的话语和表示控件的相应语义框架上训练的。在训练期间，没有关于话语段与帧时隙和值之间的对准的先验信息可用。此外，训练数据中的语义帧可以包含未在话语中表达的信息。为了解决这个弱监督分类任务，我们提出了一个基于隐马尔可夫模型（HHRM）的框架。结构修改，导致一个层次的HMM，和一个扩展称为表达式共享的介绍，以尽量减少训练时间和用户所需的工作量。用于本研究的数据集是PATCOR，其中包含在语音引导的纸牌游戏Patience的上下文中发出的命令。实验进行了正字法和语音的命令，分割不同级别的n-gram粒度。实验结果表明，所有研究的系统扩展的积极影响，与不同的输入表示之间的一些效果差异。最后，通过对最优系统配置下的Hold out数据进行评价实验，证明了该扩展系统能够以相对较少的训练数据达到较高的精度。
2019-01-30 cs.CL
Dependency Grammar Induction with a Neural Variational Transition-based Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
依存语法归纳是在没有带注释的训练数据的情况下学习依存语法的任务。传统的基于图的全局推理模型在此任务上实现了最先进的结果，但它们需要$O(n^3)$运行时间。基于转换的模型可以通过$O(n)$时间复杂度实现更快的推理，但其性能仍然落后。在这项工作中，我们提出了一个基于神经转换的依存语法归纳分析器，其推理过程利用了丰富的神经功能与$O(n)$时间复杂度。我们训练的分析器与变分推理，后验正则化和方差减少技术的集成。由此产生的框架优于以前的无监督的过渡为基础的依赖解析器，并实现性能媲美基于图形的模型，无论是在英语Penn树库和通用Dependency树库。在实证比较中，我们表明，我们的方法大大提高了基于图的模型的解析速度。
2018-11-14 cs.CL
Chain-of-Layer: Iteratively Prompting Large Language Models for Taxonomy Induction from Limited Examples
University of Notre Dame（圣母大学）；University of Washington（华盛顿大学）
提出 Chain-of-Layer 框架，通过迭代提示大型语言模型自顶向下逐层选择实体并引入基于集成的排序过滤器减少幻觉，在四个基准上实现了最先进的分类体系归纳性能。
2024-07-25 cs.CL
Zero-Shot On-the-Fly Event Schema Induction
University of Pennsylvania（宾夕法尼亚大学）
大流行爆发涉及哪些事件？策划婚礼时应该采取哪些步骤？这些问题的答案可以找到通过收集许多文件的复杂事件的兴趣，提取相关信息，并分析it.We提出了一种新的方法，其中大语言模型被用来生成源文件，允许预测，给定一个高层次的事件定义，特定的事件，参数，以及它们之间的关系，构建一个模式，描述了复杂的事件在其整体。使用我们的模型，可以在没有任何手动数据汇集的情况下即时生成任何主题的完整模式，即，以zero-shot的方式。此外，我们开发了有效的方法来从文本中提取相关信息，并在一系列的实验中证明，这些模式被认为是更完整的比人类策划的，在大多数检查的情况下。最后，我们表明，这个框架是以前的监督模式归纳方法，依赖于收集真实的文本，而更一般和灵活，而不需要一个预定义的本体的性能相当。
2023-03-27 cs.CL
ItD: Large Language Models Can Teach Themselves Induction through Deduction
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xiaohongshu Inc（小红书公司）；Texas A&M University（德克萨斯农工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对大语言模型归纳能力有限的问题，提出ItD框架，通过演绎生成归纳数据并结合朴素贝叶斯优化，在两个归纳基准上较现有最优方法分别提升36%和10%的性能。
2024-03-09 cs.AI cs.CL
Unsupervised Induction of Semantic Roles within a Reconstruction-Error Minimization Framework
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；Universiteit van Amsterdam（阿姆斯特丹大学）
我们介绍了一种新的方法来无监督估计功能丰富的语义角色标注模型。我们的模型由两个部分组成：（1）编码部分：一个语义角色标注模型，预测角色给出了丰富的语法和词汇特征集;（2）重构部分：张量因子分解模型，依赖于角色预测参数填充。当组件联合估计，以尽量减少在参数重建的错误，诱导的角色在很大程度上对应于注释资源中定义的角色。我们的方法与英语和德语上最准确的角色归纳方法不相上下，尽管与以前的方法不同，我们没有结合任何关于语言的先验语言知识。
2014-12-08 cs.AI cs.CL cs.LG
Semi-supervised New Event Type Induction and Description via Contrastive Loss-Enforced Batch Attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大多数事件提取方法传统上依赖于一组带注释的事件类型。然而，创建事件本体和注释监督训练数据是昂贵和耗时的。以前的工作已经提出了半监督的方法，利用看到（注释）类型来学习如何自动发现新的事件类型。最先进的方法，无论是半监督还是完全无监督，都在上下文中对特定令牌使用某种形式的重建损失。相比之下，我们提出了一种新的方法，半监督新的事件类型的诱导使用掩蔽的对比损失，学习事件之间的相似性提到通过强制执行注意力机制的数据minibatch。我们通过近似数据中的底层流形来进一步解开所发现的集群，这使我们能够将归一化互信息和Fowlkes-Malows分数绝对值提高20%以上。在这些聚类结果的基础上，我们将我们的方法扩展到两个新的任务：预测发现的集群的类型名称，并将它们与FrameNet框架相关联。
2022-02-12 cs.AI cs.CL
Inducing a Semantically Annotated Lexicon via EM-Based Clustering
我们提出了一种技术，用于自动感应槽注释的次范畴化框架，基于感应的EM框架中的统计估计的隐藏类。通过一般决策测试对模型进行了经验评估。归纳槽标签的次范畴化框架的进一步应用EM完成，并实验应用于框架观察来自大型语料库解析。我们概述了理论语言学分解词条的学习表示的解释。
1999-05-19 cs.AI cs.CL cs.LG
IDEA: Enhancing the Rule Learning Ability of Large Language Model Agent through Induction, Deduction, and Abduction
Department of Computer Science University of Texas at Dallas（计算机科学系德克萨斯大学达拉斯分校）
虽然大语言模型（LLM）的演绎和归纳推理已经得到了彻底的评估，他们在交互式环境中的整体规则学习的熟练程度仍然很少探索。我们引入RULEARN，一个新的基准来评估规则学习能力的LLM代理在交互式设置。在RULEARN中，智能体与模拟环境进行策略性交互，以收集观察结果，识别模式并解决复杂问题。为了提高LLM代理的规则学习能力，我们提出了IDEA，一种新的推理框架，集成了归纳，演绎和溯因的过程。IDEA代理通过溯因从有限的观察中生成初始假设，设计计划来验证这些假设或通过演绎利用它们来解决问题，并通过归纳改进先前的假设，动态建立和应用模仿人类规则学习行为的规则。我们对IDEA框架的评估，其中涉及五个有代表性的LLM，表明了基线的显着改进。此外，我们对人类参与者的研究揭示了人类和LLM之间规则学习行为的显着差异。我们相信我们的基准将作为一个有价值的和具有挑战性的资源，IDEA将为LLM代理的开发提供关键的见解，能够在现实世界的场景中进行类似人类的规则学习。我们的代码和数据是公开的。
2025-05-27 cs.AI cs.CL
Open-Domain Event Graph Induction for Mitigating Framing Bias
University of Pennsylvania（宾夕法尼亚大学）；Tencent AI Lab（腾讯人工智能实验室）
针对新闻文章中固有的框架偏见问题，提出中性事件图归纳任务，通过三步框架从多输入源归纳事件图并利用图卷积网络移除偏见节点，有效缓解偏见。
2023-05-22 cs.AI cs.CL
Analogous Process Structure Induction for Sub-event Sequence Prediction
HKUST（香港科技大学）；UPenn（宾夕法尼亚大学）
事件理解的计算和认知研究表明，识别、理解和预测事件取决于对一系列事件的结构化表示，以及将其组成部分概念化（抽象化）为（软）事件类别。因此，关于诸如“买车”的已知过程的知识可以在诸如“买房”的新的但类似的过程的上下文中使用。然而，NLP中的大多数事件理解工作仍然处于底层，并且没有考虑抽象。在本文中，我们提出了一个类比过程结构归纳APSI框架，它利用过程之间的类比和子事件实例的概念化来预测以前看不见的开放域过程的整个子事件序列。正如我们的实验和分析表明，APSI支持为看不见的过程生成有意义的子事件序列，并可以帮助预测丢失的事件。
2020-10-16 cs.AI cs.CL
Large Language Models as Computable Approximations to Solomonoff Induction
UBS AG（UBS集团）；State Key Lab of AI Safety（人工智能安全国家重点实验室）
该研究首次建立大语言模型与算法信息论的形式化关联，证明其训练与下一词元预测近似所罗门诺夫归纳，为多种涌现现象提供统一解释，并提出低置信度样本优先的少样本选择策略，经实验验证可显著提升性能，尤其适用于小模型。
2025-05-21 cs.AI cs.CL cs.LG
AutoSchemaKG: Autonomous Knowledge Graph Construction through Dynamic Schema Induction from Web-Scale Corpora
CSE, HKUST（香港科技大学计算机科学与工程系）；CSE, CUHK（香港城市大学计算机科学与工程系）；Theory Lab, Huawei（华为理论实验室）
本研究提出无需预定义模式的自主知识图谱构建框架AutoSchemaKG，利用大语言模型同步提取三元组与归纳模式，构建十亿级ATLAS知识图谱系列，在多跳问答等任务上表现更优，可补充大语言模型的参数化知识。
2025-08-01 cs.AI cs.CL
Modeling Complex Behaviors: Multi-Personality Composition and Dynamic Switching in Vision-Language Models
Xi'an Jiaotong University（西安交通大学）；Beihang University（北京航空航天大学）
本研究在视觉语言模型中引入显式人格条件，建立包括单人格、多人格和人格切换的系统评估框架，发现人格提示可提升图像描述但损害精确推理任务，并观察到多特质组合与动态切换中的平衡与残留效应。
2026-06-11 cs.AI cs.CL
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
