Inductive Relation Prediction by BERT
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
知识图谱中的关系预测主要由基于嵌入的方法主导,这些方法主要集中在转换设置上。不幸的是,他们无法处理归纳学习,其中存在看不见的实体和关系,并且无法利用先验知识。此外,他们的推理过程不容易解释。在这项工作中,我们提出了一个一体化的解决方案,称为BERTRL(BERT-based Relational Learning),它利用预先训练好的语言模型,并通过将关系实例及其可能的推理路径作为训练样本对其进行微调。在18种情况下,BERTRL在感应和传导设置中的15种情况下优于SOTA。同时,它在少样本学习中表现出很强的泛化能力,并且是可解释的。
2021-03-12 cs.CL
Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning
Brigham Young University(杨百翰大学)
大型自然语言模型(如GPT-3或T5)在一系列一般NLP任务中表现出令人印象深刻的能力。在这里,我们表明,嵌入在这样的模型中的知识提供了一个有用的归纳偏见,不仅在传统的NLP任务,而且在训练符号推理引擎的非传统任务。我们观察到,这些引擎学习速度很快,并以反映人类直觉的自然方式进行概括。例如,训练这样一个系统来建模块堆叠可能会自然地推广到堆叠其他类型的对象,因为在现实世界中的结构,已经部分地被描述它的语言所捕获。我们研究了几个抽象的文本推理任务,如对象操作和导航,并展示了多种类型的泛化到新的场景和组成它们的符号。我们还展示了令人惊讶的实用程序的\textit{compositional learning},其中一个学习者致力于掌握一个复杂的任务获得的优势,通过训练相关的简单的任务,而不是直接跳到复杂的任务。
2021-10-05 cs.AI cs.CL
LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs
Nanyang Technological University(南洋理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对知识图谱低资源归纳推理难题,提出利用LLM生成图结构提示增强预训练GNN的ProLINK框架,无需额外训练即可适配任意KG,在多类低资源任务上显著优于现有方法且鲁棒性强。
2024-06-19 cs.AI cs.CL cs.SI
Incorporating Structured Sentences with Time-enhanced BERT for Fully-inductive Temporal Relation Prediction
National University of Defense Technology(国防科技大学);International Digital Economy Academy(国际数字经济学院)
针对时序知识图补全中符号规则不灵活和预训练语言模型非时间特定的问题,提出结合结构化句子与时间增强BERT的SST-BERT模型,通过编码结构化句子隐式学习规则并利用时间掩码预训练增强时间敏感性,在全归纳和直推式基准上均超越基线。
2023-04-10 cs.AI cs.CL
The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在大型语料库上预训练神经语言模型(NLM)涉及将文本分块成训练样本,这些样本是神经架构可处理的大小的连续文本段。我们强调了这种常见做法引入的偏见:我们证明了预训练的NLM可以对出现在同一训练示例中的文本段之间的依赖关系进行建模,而不是出现在不同训练样本中的文本段之间的依赖关系。这个直观的结果具有双重作用。首先,它形式化了最近成功的NLM培训策略背后的动机,这些策略是针对预训练和微调阶段提出的,乍一看并不一定相关。其次,我们的结果清楚地表明,NLM预训练的进一步改进,有利于自然语言理解任务。作为一个例子,我们提出了“kNN预训练”:我们表明,包括语义相关的非相邻句子在同一预训练的例子产生改进的句子表示和开放域问答能力。这种理论上的自由度为预训练的例子设计表明新的培训计划,自我改进的表示。
2022-03-21 cs.CL cs.LG
Aligned Image-Word Representations Improve Inductive Transfer Across Vision-Language Tasks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Inc.(谷歌公司)
计算机视觉的一个重要目标是构建能够随着时间的推移学习视觉表示的系统,这些系统可以应用于许多任务。在本文中,我们研究了视觉语言嵌入作为核心表示,并表明它比标准的多任务学习更好地实现了跨任务迁移。特别是,视觉识别的任务与视觉问答的任务是一致的,通过强制每个任务使用相同的词区域嵌入。我们表明,这导致更大的感应传输识别VQA比标准的多任务学习。视觉识别也得到了改善,特别是对于识别训练标签相对较少但经常出现在VQA设置中的类别。因此,我们的论文通过展示可解释、灵活和可训练的核心表示的好处,朝着创建更通用的视觉系统迈出了一小步。
2017-10-16 cs.AI cs.CV cs.LG
Probabilistic Soundness Guarantees in LLM Reasoning Chains
University of Pennsylvania(宾夕法尼亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对 LLM 推理链中的错误传播问题,本文提出仅基于已验证前提逐步评估的概率框架 ARES,提供认证统计保证,并在四个基准及长合成链上取得最优检测性能。
2025-09-28 cs.CL cs.LG
Query Structure Modeling for Inductive Logical Reasoning Over Knowledge Graphs
Fudan University(复旦大学);Research Institute of Intelligent and Complex Systems, Fudan University(复旦大学智能复杂系统研究院);Huawei Poisson Lab(华为泊松实验室);CEC GienTech Technology Co., Ltd(中国电子金智科技有限公司)
针对知识图谱归纳逻辑推理中复杂查询结构建模困难的问题,提出一种结构建模文本编码框架,通过逐步指令和额外注意力与maxout层分别建模几何操作,有效提升了归纳与转导设置下的推理效果。
2023-05-23 cs.CL
On the Inductive Bias of Stacking Towards Improving Reasoning
Google Research(谷歌研究院)
本文提出渐进式堆叠变体 MIDAS,在提升训练效率最高达 40% 的同时,发现其具有增强推理能力的归纳偏置,并通过推理原语实验及与循环模型的关联分析加以验证。
2024-09-27 cs.AI cs.CL cs.LG
Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations
University of Edinburgh(爱丁堡大学);Saarland University(萨尔大学);University of Amsterdam(阿姆斯特丹大学)
本文提出通过中间预训练执行依存树句法变换来强化Transformer的结构性归纳偏置,实验证明该方法能提升句法任务的少样本学习和语义解析的结构泛化能力。
2024-07-05 cs.CL
Updater-Extractor Architecture for Inductive World State Representations
University of California, Irvine(加州大学尔湾分校);K-Sky Limited(K-Sky有限公司)
开发NLP模型传统上包括两个阶段-培训和应用。在训练之后(在应用时)获取的信息的保留在架构上受到模型的上下文窗口的大小(在Transformers的情况下)或与长序列相关的实际困难(在RNN的情况下)的限制。在本文中,我们提出了一种新的基于transformer的Updater-Extractor架构和一个训练过程,可以处理任意长度的序列,并根据语言输入完善其对世界的知识。我们显式地训练模型,将传入的信息纳入其世界状态表示,获得强大的归纳概括和处理极长范围的依赖关系的能力。我们证明了一个引理,为我们的方法提供了理论基础。结果还提供了对使用截断反向传播时间变体(例如Transformer XL)训练的模型的成功和失败模式的洞察。从经验上讲,我们研究了模型在三个不同任务上的性能,证明了它的承诺。这个预印本仍然是一个正在进行的工作。目前,我们专注于易于解释的任务,将所提出的思想应用于未来的实际NLP应用。
2021-04-12 cs.AI cs.CL cs.LG
SIP: Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation
University of Edinburgh(爱丁堡大学);Saarland University(萨尔大学);University of Amsterdam(阿姆斯特丹大学)
针对Transformer等序列到序列模型系统性泛化能力弱的问题,提出SIP方法,通过预训练模拟有限状态转换器注入结构归纳偏置,有效提升了相关任务的泛化与少样本学习能力。
2024-07-10 cs.CL
Training the Untrainable: Introducing Inductive Bias via Representational Alignment
MIT CSAIL, CBMM(麻省理工学院计算机科学与人工智能实验室,CBMM);Department of Cognitive Science, Johns Hopkins University(约翰霍普金斯大学认知科学系)
提出引导方法,通过神经距离函数对齐目标网络与引导网络的逐层表征,迁移架构先验与知识,使传统不可训练架构(如全连接网络、普通RNN/CNN)在ImageNet等任务上显著提升性能,并可用于研究架构先验。
2025-10-23 cs.AI cs.CL cs.LG
InducT-GCN: Inductive Graph Convolutional Networks for Text Classification
The University of Sydney(悉尼大学)
文本分类的目的是利用全局信息为文本单元分配标签。最近的研究应用图神经网络(GNN)来捕获语料库中的全局词共现。现有的方法要求图中的所有节点(训练和测试)在训练期间都存在,这是传导性的,不会自然地推广到看不见的节点。为了使这些模型具有归纳性,它们使用了额外的资源,比如预训练的词嵌入。然而,高质量的资源并不总是可用的,并且难以训练。在没有额外资源和训练集数量有限的极端情况下,我们还能学习到一个基于归纳图的文本分类模型吗?在本文中,我们介绍了一种新的归纳图为基础的文本分类框架,归纳GCN(归纳图卷积网络的文本分类)。与在训练中需要测试文档的转换模型相比,我们仅基于训练文档的统计数据构建一个图,并用词向量的加权和表示文档向量。然后,我们在测试过程中进行单向GCN传播。在五个文本分类基准中,我们的InducT-GCN优于最先进的方法,这些方法要么是本质上的转换,要么是预先训练的额外资源。我们还通过逐步增加数据大小进行了可扩展性测试,结果表明我们的InducT-GCN可以降低时间和空间复杂度。代码可在www.example.com上获得。
2022-06-01 cs.CL
Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent
Allen Institute for AI(艾伦人工智能研究所);New York University(纽约大学);University of Washington(华盛顿大学);Bar Ilan University(巴伊兰大学);Hebrew University of Jerusalem(希伯来大学)
众所周知,像广泛采用的Transformer这样的神经网络的容量非常高。有证据表明,由于训练程序中的归纳偏差,它们成功地学习,通常是梯度下降(GD)的变体。为了更好地理解这种偏差,我们研究了Transformer参数在训练过程中幅度增长的趋势($\ell_2$范数),以及它对自注意力层内的涌现表征的影响。从经验上讲,我们记录了Transformer语言模型训练中的规范增长,包括预训练期间的T5。随着参数的增长,我们证明了网络近似饱和激活函数的离散网络。已知这种“饱和”网络与可以用形式语言和自动机描述的完整网络族相比具有减小的容量。我们的研究结果表明,饱和度是一个新的表征的感应偏置隐含在GD的特别感兴趣的NLP。我们利用饱和的Transformer中涌现的离散结构来分析不同注意力头的作用,发现一些注意力集中在少数位置上,而其他注意力头计算全局平均值,允许计数。我们相信理解这两种能力之间的相互作用可能会进一步阐明大型Transformers中的计算结构。
2023-03-07 cs.CL cs.LG
Language Models Need Inductive Biases to Count Inductively
Carnegie Mellon University(卡内基梅隆大学)
本文研究了语言模型的归纳计数能力,发现传统RNN能轻松实现归纳计数,而Transformer和现代RNN因架构设计需依赖位置嵌入或丧失循环特性而表现不佳。
2024-10-25 cs.CL cs.LG
On Semantic Cognition, Inductive Generalization, and Language Models
Purdue University(普渡大学)
我的博士研究重点是理解仅用于预测自然语言的神经网络模型(称为语言模型或LM)中的语义知识,通过借鉴认知科学中概念和类别研究的见解。我提出了一个框架的灵感来自“归纳推理”,一种现象,揭示了人类如何利用背景知识,使归纳的飞跃和概括新的信息片段的概念和它们的属性。从研究归纳推理的实验中,我建议分析语义归纳概括在LM使用人类感应文献中观察到的现象,研究归纳行为的任务,如隐式推理和紧急特征识别,并分析和感应动态学的概念表征空间。
2021-11-04 cs.AI cs.CL
On The Inductive Bias of Words in Acoustics-to-Word Models
Massachusetts Institute of Technology(麻省理工学院)
声学到单词模型是端到端的语音识别器,它使用单词作为目标,而不依赖于发音词典或字素。由于缺乏语言知识,这些模型非常难以训练。目前还不清楚训练数据的数量如何影响这些模型的优化和泛化。在这项工作中,我们研究了不同数量的训练数据下的声学到词模型的优化和推广。此外,我们研究了三种类型的归纳偏见,利用发音词典,词边界注释,和词的持续时间的限制。我们发现,限制词的持续时间导致最大的改善。最后,我们分析了模型学习到的词嵌入空间,发现该空间具有由词的发音主导的结构。这表明,词的上下文,而不是他们的语音结构,应该是未来的重点归纳偏见的声学到词的模型。
2018-11-12 cs.CL cs.LG cs.SD
Towards One-Shot Learning for Text Classification using Inductive Logic Programming
University of Surrey(萨里大学)
本文提出利用归纳逻辑编程中的元解释学习框架,结合ConceptNet常识知识,实现从极少量样本进行文本分类的一次性学习,并发现示例复杂度越高准确率越高。
2023-08-30 cs.CL cs.LG cs.LO
Information Locality as an Inductive Bias for Neural Language Models
The University of Tokyo(东京大学);ETH Zürich(苏黎世联邦理工学院);McGill University(麦吉尔大学)
本文提出$m$-局部熵这一信息论度量,通过受控实验证明神经语言模型与人类一样对语言局部统计结构高度敏感,局部熵越高越难学习。
2025-06-05 cs.CL
How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
本文探究预训练架构与语料对Transformer句法层级归纳偏置的影响,发现模型深度比宽度更关键,且用儿童导向言语预训练能以少一个数量级的数据诱导层级偏置,表明神经语言模型在认知合理的习得场景中数据效率更高。
2023-05-31 cs.CL
Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?
Georgetown University(乔治城大学)
本文检验句法归纳偏置方法在五种低资源语言上的效果,发现其在低资源场景下结果不一致且多数情况下收益甚微。
2023-11-01 cs.CL
Coloring the Blank Slate: Pre-training Imparts a Hierarchical Inductive Bias to Sequence-to-sequence Models
Johns Hopkins University(约翰斯·霍普金斯大学);Yale University(耶鲁大学);New York University(纽约大学)
词与词之间的关系是由层次结构而不是线性排序决定的。序列到序列(seq 2seq)模型尽管在下游NLP应用中取得了成功,但在执行句法转换时,通常无法以层次敏感的方式进行概括-例如,将陈述句转换为问题。然而,seq 2seq模型的句法评估仅观察到在被训练以执行句法转换之前未在自然语言数据上预训练的模型,尽管已经发现预训练在语言模型中诱导分层语言概括的事实;换句话说,seq 2seq模型的句法能力可能被大大低估。我们使用预训练的seq 2seq模型T5和BART以及它们的多语言变体mT5和mBART来解决这个差距。我们评估他们是否在两种语言中的两个转换层次概括:英语和德语中的问题形成和被动化。我们发现,预先训练的seq 2seq模型在执行语法转换时会分层概括,而从头开始训练的模型则不会。这一结果为来自无注释自然语言文本的分层句法信息的可学习性提供了证据,同时也证明了seq 2seq模型能够进行句法泛化,尽管只有在接触到比人类学习者接收到的更多的语言数据之后。
2022-03-17 cs.CL