ClassicLogic: A Knowledge-Driven Benchmark of Classic Puzzle Games for Evaluating Compositional Generalization
Universität Duisburg-Essen(杜伊斯堡-埃森大学)
针对现有组合泛化基准缺乏复杂显式结构的问题,构建含4类经典逻辑谜题的新基准,可细粒度评估智能体从基础规则学习到多步组合推理的能力。
2026-07-07 cs.AI cs.SC
Holographic Embeddings of Knowledge Graphs
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院);Universita Degli Studi Di Genova(热那亚大学)
实体和关系的学习嵌入是对诸如知识图谱的关系数据执行机器学习的有效且通用的方法。在这项工作中,我们提出了全息嵌入(HolE)来学习整个知识图谱的组成向量空间表示。所提出的方法与关联记忆的全息模型有关,因为它采用循环相关来创建组合表示。通过使用相关性作为组合算子,HolE可以捕获丰富的交互,但同时保持计算效率,易于训练,并且可扩展到非常大的数据集。在大量的实验中,我们表明,全息嵌入能够优于最先进的方法,在知识图谱和关系学习基准数据集的链接预测。
2015-12-07 cs.AI cs.LG stat.ML
Neural Compositional Rule Learning for Knowledge Graph Reasoning
UCLA(加州大学洛杉矶分校);Intel Labs(英特尔实验室)
学习逻辑规则对于提高幼儿园的推理能力至关重要。这是由于它们在用于预测时能够提供逻辑和可解释的解释,以及它们概括到其他任务、领域和数据的能力。虽然最近的方法已经被提出来学习逻辑规则,但这些方法中的大多数要么受到其计算复杂性的限制,并且不能处理大规模KG的大搜索空间,要么在暴露于训练集之外的数据时表现出较差的泛化能力。在本文中,我们提出了一个端到端的神经模型学习组合逻辑规则称为NCRL。NCRL检测规则体的最佳组合结构,并将其分解为小的组合以推断规则头。通过递归合并规则体中的组合与递归注意单元,NCRL最终预测单个规则头。实验结果表明,NCRL学习到的规则质量较高,具有较好的泛化能力。具体来说,我们表明,NCRL是可扩展的,高效的,并产生国家的最先进的结果,知识图谱完成大规模的KG。此外,我们测试NCRL的系统推广,学习原因小规模的观察图和评估较大的看不见的。
2023-03-07 cs.AI
Traversing Knowledge Graphs in Vector Space
Stanford University(斯坦福大学)
知识图谱上的路径查询可用于回答组合问题,例如“里斯本的人们说什么语言?".然而,知识图谱通常具有丢失的事实(边),这破坏了路径查询。最近的知识库补全模型通过在向量空间中嵌入知识图谱来估算缺失的事实。我们表明,这些模型可以递归地应用于回答路径查询,但他们遭受级联错误。这激发了一个新的“组合”训练目标,它大大提高了所有模型回答路径查询的能力,在某些情况下,准确率提高了一倍以上。在一个标准的知识库完成任务中,我们还证明了组合训练作为一种新的结构正则化形式,可靠地提高了所有基础模型的性能(将错误减少高达43%),并实现了新的最先进的结果。
2015-08-19 cs.AI cs.CL cs.DB
Compositional Zero-Shot Domain Transfer with Text-to-Text Models
University of Cambridge(剑桥大学);Microsoft Health Futures(微软健康未来部门)
标签稀缺是提高专业领域任务性能的瓶颈。我们提出了一种新的成分迁移学习框架(DoT5域成分zero-shot T5)的zero-shot域迁移。在不访问域内标签的情况下,DoT5以多任务的方式联合学习领域知识(来自未标记的域内自由文本的MLM)和任务知识(来自更容易获得的通用领域数据的任务训练)。为了提高任务训练的可移植性,我们设计了一种名为NLGU的策略:我们同时训练NLG进行域内标签到数据的生成,这使得数据增强用于自微调,NLU用于标签预测。我们在生物医学领域和资源贫乏的放射学子域上评估DoT5,重点是NLI,文本摘要和嵌入式学习。DoT5通过多任务学习证明了组合迁移学习的有效性。特别是,DoT5在RadNLI上的zero-shot传输中的精度超过当前SOTA 7个绝对点。我们通过消融和案例研究验证了DoT5,证明其能够解决需要领域内专业知识的具有挑战性的NLI示例。
2023-03-23 cs.CL cs.LG
Quantifying Compositionality of Classic and State-of-the-Art Embeddings
University of Oxford(牛津大学);University of Bristol(布里斯托大学);University of Amsterdam(阿姆斯特丹大学)
本文提出一种两步评估方法,通过典型相关分析和重建指标量化不同嵌入(包括静态、Transformer和图模型)的加性组合性,发现后期训练和深层中组合性更强。
2025-09-14 cs.AI cs.CL
Disentangled Action Recognition with Knowledge Bases
University of California, Berkeley(加州大学伯克利分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);Fujitsu Laboratories Ltd.(富士通实验室有限公司);Pennsylvania State University(宾夕法尼亚州立大学)
视频中的动作通常涉及人与物体的交互。动作标签通常由动词和名词的各种组合组成,但我们可能没有所有可能组合的训练数据。在本文中,我们的目标是提高合成动作识别模型的泛化能力,新的动词或新的名词是看不见的训练时间,通过利用知识图谱的力量。以前的工作利用动词-名词组成的动作节点的知识图谱,使其效率低下的规模,因为组成的动作节点的数量的增长二次方相对于动词和名词的数量。为了解决这个问题,我们提出了我们的方法:与知识库(DARK),它利用了固有的组合性的行动的分离动作识别。DARK首先提取动词和名词的分解特征表示,然后使用外部知识图谱中的关系预测分类权重,从而训练因子化模型。动词和名词之间的类型约束是从外部知识库中提取的,并最终应用于组合动作。DARK在对象和动词的数量方面具有更好的可扩展性,并在Charades数据集上实现了最先进的性能。我们进一步提出了一个新的基准分裂的基础上Epic-kitchen数据集,这是一个数量级更大的类和样本的数量级,并基准各种模型在这个基准。
2022-07-04 cs.AI cs.CL cs.CV
Holographic Memory for Zero-Shot Compositional Reasoning in Knowledge Graphs: A Mechanistic Study of Where and Why It Fails
Independent Researcher(独立研究者)
研究全息简化表示(HRR)在知识图谱零样本组合查询中的表现,发现即使单跳检索准确,组合仍失败,瓶颈在于叠加记忆的检索容量和干扰效应。
2026-06-25 cs.AI cs.LG
AGEL-Comp: A Neuro-Symbolic Framework for Compositional Generalization in Interactive Agents
Universität Duisburg-Essen(杜伊斯堡- Essen大学)
AGEL-Comp通过动态因果程序图、归纳逻辑编程引擎和混合推理核心,实现基于符号和神经网络的组合泛化学习,优于纯LLM模型。
2026-04-29 cs.AI cs.LG cs.LO
Compositional Belief Update
Simon Fraser University(西蒙菲莎大学)
在本文中,我们探讨了一类信念更新算子,在该算子的定义是合成相对于要添加的句子。我们的目标是提供一个更新操作是直观的,因为它的定义是基于更新语句结构的递归分解,并且可以合理地实现。在解决更新,我们首先提供了一个定义措辞的知识库的模型。虽然该算子满足基准Katsuno-Mendelzon更新假设的核心组,但并不是所有的假设都得到满足。其他胜野-门德尔松假设可以通过适当地限制更新句子的句法形式来获得,正如我们所展示的。在限制的句法形式的句子更新,我们也得到了一个层次的更新操作符与温斯莱特标准语义作为最基本的有趣的方法捕获。随后,我们给出了一个算法,捕捉这种方法,在一般情况下,该算法是指数,但与一些不合理的假设,我们得到一个算法,是线性的知识库的大小。因此,在某些情况下,所得到的方法具有比其他算子更好的复杂度特性。我们还探讨了其他组成的信念改变运营商:擦除开发作为一个双重运营商更新,我们表明,一个忘记运营商是可定义的更新方面,我们给出了一个定义的组成修订运营商。我们得到的组成修订,在最自然的定义下,产生Satoh修订运营商。
2014-01-15 cs.AI
Compositional Fairness Constraints for Graph Embeddings
McGill University(麦吉尔大学);Mila;Facebook AI Research(Facebook人工智能研究院)
学习高质量的节点嵌入是机器学习模型的关键构建块,这些模型对图数据进行操作,例如社交网络和推荐系统。然而,现有的图嵌入技术无法应对公平性约束,例如,确保所学习的表示不与某些属性(诸如年龄或性别)相关。在这里,我们引入了一个对抗框架来对图嵌入实施公平性约束。我们的方法是组合-这意味着它可以灵活地适应不同的组合的公平性约束在推理过程中。例如,在社交推荐的背景下,我们的框架将允许一个用户请求他们的推荐对他们的年龄和性别都是不变的,同时也允许另一个用户请求对他们的年龄的不变性。在标准知识图谱和推荐系统基准上的实验突出了我们提出的框架的实用性。
2019-07-16 cs.AI cs.LG stat.ML
A Boxology of Design Patterns for Hybrid Learning and Reasoning Systems
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
我们提出了一组组合设计模式来描述各种各样的系统,这些系统将机器学习的统计技术与知识表示的符号技术相结合。与计算机科学的其他领域(知识工程、软件工程、本体工程、过程挖掘等)一样,这种设计模式有助于将文献系统化,澄清哪些技术组合服务于哪些目的,并鼓励重用软件组件。我们已经验证了我们的一套组合设计模式对最近的大量文献。
2019-05-29 cs.AI
A Compositional Atlas for Algebraic Circuits
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of São Paulo(圣保罗大学);Arizona State University(亚利桑那州立大学)
本文从代数视角将多种推理查询统一为半环上基本算子的组合,并基于电路属性推导出通用可处理性条件,为组合推理分析提供蓝图。
2025-02-24 cs.AI cs.LG cs.LO
LLM-Guided Monte Carlo Tree Search over Knowledge Graphs: Composing Mechanistic Explanations for Drug-Disease Pairs
Institute of Data Science, Department of Advanced Computing Sciences, Maastricht University(数据科学研究所,高级计算科学系,马斯特里赫特大学)
本文提出TESSERA框架,结合LLM和知识图谱进行多步解释提取,通过约束结构和反向传播实现长周期搜索,验证了其在药物机制解释中的有效性。
2026-05-10 cs.AI
MemEIC: A Step Toward Continual and Compositional Knowledge Editing
Electronics and Telecommunications Research Institute, Republic of Korea(韩国电子电信研究院);POSTECH;Sungkyunkwan University(全南大学)
针对大型视觉语言模型多模态知识连续更新问题,提出MemEIC方法,通过混合内外编辑器、双重外部记忆、双重LoRA适配器及受大脑启发的知识连接器,实现持续与组合式知识编辑,显著提升多模态问答性能并有效保留历史编辑。
2025-10-29 cs.AI cs.CL cs.LG
Contextual Compositionality Detection with External Knowledge Bases andWord Embeddings
University of Copenhagen(哥本哈根大学);University of Padua(帕多瓦大学)
当一个短语的含义不能从其单词的单个含义推断时(例如,热狗),则该短语被称为非合成。多词短语中的自动组合性检测在任何语义处理应用中都是至关重要的,例如搜索引擎;未能检测到非组合短语会显着损害系统的有效性。现有的研究将短语以确定性的方式分为合成短语和非合成短语。在本文中,我们操作的观点,组合性是上下文,而不是确定性,即,一个短语是合成的还是非合成的取决于它的上下文。例如,“绿卡”一词在指绿色卡时是合成的,而在指永久居留许可时是非合成的。我们解决的挑战,检测这种类型的上下文组合如下:给定一个多字的短语,我们丰富的词嵌入表示其语义的证据,其全球范围内(条款,它经常搭配),以及其本地上下文(叙述,该短语被使用,我们称之为使用场景)。我们进一步扩展这种表示与外部知识库中提取的信息。由此产生的表示合并本地化的上下文和更一般的短语的用法,并允许检测其组合在一个非确定性和上下文的方式。通过众包上下文组合性评估手动收集的短语组合性数据集对我们的模型进行了实证评估,结果表明我们的模型在检测短语组合性方面优于最先进的基线。
2019-03-20 cs.AI cs.CL
Are Transformers Able to Reason by Connecting Separated Knowledge in Training Data?
Northwestern University(西北大学)
本文引入FTCT任务验证Transformers连接分离知识进行组合推理的能力,发现少样本思维链提示能促使其推断完整因果图轨迹,且该能力与模型复杂度和训练-测试数据相似度高度相关。
2025-10-11 cs.AI cs.CL cs.LG
Rehearsal-Free Modular and Compositional Continual Learning for Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);Hochschule der Medien(斯图加特媒体大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
本文提出无排练的模块化与组合式持续学习框架MoCL,通过持续添加并组合模块,在避免遗忘的同时促进任务间知识迁移,并在多个基准上超越现有方法。
2024-03-31 cs.CL cs.LG
Augmenting Compositional Models for Knowledge Base Completion Using Gradient Representations
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research AI(微软人工智能研究院)
知识库数据的神经模型通常采用图对象的组合表示:实体和关系嵌入被系统地结合起来,以评估候选知识库条目的真实性。使用一个模型的灵感来自谐波语法,我们建议标记三重嵌入,使他们的优化过程中学习良好的知识库三元组的条件。由此产生的模型(称为梯度图)在作为组合模型的伴侣实现时会带来相当大的改进。此外,我们表明,它产生的“超组合”三重标记嵌入具有可解释的属性,证明有助于在所产生的三重表示进行推理。
2019-08-12 cs.CL
Lexicalization Is All You Need: Examining the Impact of Lexical Knowledge in a Compositional QALD System
Bielefeld University(比勒费尔德大学)
本文提出一种利用显式词汇知识的组合式 QALD 系统,证明其在 QALD-9 上较最佳系统最高提升 35.8% micro F1,并指出 LLM 的组合式词汇利用能力有限。
2024-12-05 cs.AI cs.CL cs.IR
Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
许多NLP任务都受益于从上下文化的词嵌入中转移知识,然而,转移的知识类型的图片是不完整的。本文研究了会话问答任务中语言模型所解释的语言现象类型。我们通过系统的错误分析-基本的算术(计数短语),成分语义(否定和语义角色标注),词汇语义(反义词和反义),确定了微调的RoBERTa,BERT和DistilBERT模型的问题领域。当通过多任务学习增强相关的语言知识时,模型的性能会提高。增强模型的集合在F1整体得分上提高了2.2到2.7分,在最难的问题类上提高了42.1分。结果表明,RoBERTa、BERT和DistilBERT在表征成分和词汇信息的能力上存在差异。
2020-09-17 cs.CL cs.LG
Compositional Generalization for Primitive Substitutions
Baidu Research(百度研究院)
成分泛化是人类语言学习的一个基本机制,但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示,使得很难应用组合性的先验知识。相比之下,我们的方法利用这样的知识与两个表示,一个生成注意力地图,和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明,在五个自然语言处理任务,包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中,Jump任务的准确率从14.0%提高到98.8%,TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上,它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Continual Sequence Generation with Adaptive Compositional Modules
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
持续学习对于需要快速调整模型以适应新任务而不忘记旧任务知识的实际部署至关重要。现有的连续序列生成工作要么总是重用现有的参数来学习新的任务,这是脆弱的灾难性遗忘对不同的任务,或盲目地添加新的参数,这可能会阻止类似的任务之间的知识共享。为了两全其美,在这项工作中,我们提出了连续的序列生成自适应组合模块自适应地添加模块在Transformer架构和组成新的任务的新旧模块。我们还将伪经验重放,以促进知识转移,在这些共享模块。在不同序列的生成任务上的实验结果表明,该框架可以根据任务相似性自适应地添加模块或重用模块,在性能和参数效率方面均优于最先进的基线。我们在https://github.com/GT-SALT/Adaptive-Compositional-Modules上公开我们的代码。
2022-04-05 cs.AI cs.CL
MAC-Tuning: LLM Multi-Compositional Problem Reasoning with Enhanced Knowledge Boundary Awareness
Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);UMass Amherst(马萨诸塞大学阿姆赫斯特分校);William & Mary(威廉与玛丽学院)
针对LLM在多问题设定下捏造事实的幻觉问题,提出MAC-Tuning方法,在指令微调时分离答案预测与置信度估计的学习,实验表明其平均精度较基线提升达25%。
2025-09-14 cs.AI cs.CL
Compositional Learning of Relation Path Embedding for Knowledge Base Completion
Jilin University(吉林大学);Zhuhai College of Jilin University(吉林大学珠海学院);University of Trento(特伦托大学)
大规模的知识库目前已经达到了令人印象深刻的规模;然而,这些知识库仍然远远没有完成。此外,现有的知识库补全方法大多只考虑实体之间的直接联系,忽略了关系路径语义一致性的重要影响。本文研究了如何充分利用关系路径的附加语义,将知识库中的实体和关系更好地嵌入到不同的低维空间中,提出了一种关系路径嵌入的组合学习模型(RPE)。具体地说,通过对应的关系和路径投影,RPE可以同时将每个实体嵌入到两种类型的潜在空间中。本文还提出了将传统的关系型约束扩展到路径型约束的方法。实验结果表明,与现有算法相比,该模型取得了显著的一致性改进。
2017-02-24 cs.CL
Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海智能信息处理重点实验室)
本研究构建含逻辑陷阱的MathTrap数据集,发现LLMs虽具备所需知识却无法自发组合以处理数学推理中的新案例,并验证了提示、微调及类人“慢思考”可部分缓解此组合性缺陷。
2024-10-10 cs.AI cs.CL
Compositional Generalization with Grounded Language Models
University of Oslo(奥斯陆大学)
本文通过生成自然语言问题与知识图谱配对的数据集,系统评估了基于知识图谱的语言模型在组合泛化上的表现,发现现有方法在未见长度序列和新组合上存在困难,并发布了数据集以推动后续研究。
2024-06-07 cs.CL
Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario
Peking University(北京大学);Baidu Inc.(百度公司);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
人们可以通过阅读以无监督的方式获取知识,并将知识组合成新颖的组合。在本文中,我们研究了预训练的语言模型是否可以在现实环境中执行组合泛化:配方生成。我们设计了反事实配方生成任务,要求模型根据原料的变化修改基本配方。这项任务需要在两个层面上进行成分概括:将新成分纳入基本配方的表面层面,以及与变化成分相关的调整行动的更深层次。我们收集了一个大规模的中文食谱数据集,用于学习烹饪知识的模型,以及一个用于评估的动作级细粒度注释子集。我们在食谱语料库上微调预训练的语言模型,并使用无监督的反事实生成方法来生成修改后的食谱。结果表明,现有的模型很难修改的成分,同时保持原始文本的风格,往往错过了需要调整的动作。虽然预训练的语言模型可以生成流畅的食谱文本,但它们无法以组合的方式真正学习和使用烹饪知识。代码和数据可在https://github.com/xxxiaol/counterfactual-recipe-generation上获得。
2022-10-20 cs.CL
KQA Pro: A Dataset with Explicit Compositional Programs for Complex Question Answering over Knowledge Base
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);ETH Zürich(苏黎世联邦理工学院);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);Nanyang Technological University(南洋理工大学);Cloud BU, Huawei Technologies(华为技术有限公司云业务部)
基于知识库的复杂问答(Complex KBQA)是一个具有挑战性的问题,因为它需要多种组合推理能力,如多跳推理、属性比较、集合运算等。现有的基准测试存在以下不足:1)只提供问答对,没有明确的推理过程; 2)问题的多样性和规模性较差。为此,我们介绍了KQA Pro,这是一个用于复杂KBQA的数据集,包括约12万个不同的自然语言问题。我们引入了一个组合和可解释的程序设计语言KoPL来表示复杂问题的推理过程。对于每个问题,我们提供了相应的KoPL程序和SPARQL查询,使KQA Pro服务于KBQA和语义解析任务。实验结果表明,SOTA KBQA方法不能在KQA Pro上取得有希望的结果,这表明KQA Pro具有挑战性,复杂KBQA需要进一步的研究工作。我们还将KQA Pro视为测试多种推理技能的诊断数据集,对现有模型进行全面评估,并讨论复杂KBQA的进一步方向。我们的代码和数据集可以从https://github.com/shijx12/KQAPro_Baselines获得。
2022-06-23 cs.CL
Multi-Hop Knowledge Composition is Bound by Pretraining Exposure
Inria, Paris, France(法国国家信息与自动化研究所(巴黎));Inria, Chile(法国国家信息与自动化研究所(智利));Dept. of Computer Science, Universidad de Chile(智利大学计算机科学系)
研究发现,即使单跳准确率达97%,大语言模型仍无法进行隐式多跳推理,原因是预训练中缺乏组合上下文,而非知识缺失。
2026-09-17 cs.CL
Compositional Vector Space Models for Knowledge Base Completion
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
知识库(KB)完成通过从现有事实进行推断来向KB添加新的事实,例如通过以高似然性国籍(X,Y)从KNOWIn(X,Y)进行推断。以前的大多数方法都是像这样推断简单的单跳关系同义词,或者使用被视为原子特征的多跳关系路径作为证据,例如CNOWIn(X,Z)-> containedIn(Z,Y)。本文提出了一种非原子地推理多跳关系的合取的方法,使用递归神经网络(RNN)来组成路径的含义,该网络将路径中二元关系的向量嵌入作为输入。这不仅允许我们推广到训练时看不到的路径,而且,使用单个高容量RNN,以预测在训练组合模型时未看到的新关系类型(零样本学习)。我们组装了一个超过5200万个关系三元组的新数据集,并表明我们的方法比传统分类器提高了11%,而利用预训练嵌入的方法提高了7%。
2015-05-27 cs.CL stat.ML
Self-DC: When to Reason and When to Act? Self Divide-and-Conquer for Compositional Unknown Questions
The Chinese University of Hong Kong(香港中文大学);Nankai University(南开大学);MoE Key Lab of High Confidence Software Technologies, CUHK(香港中文大学教育部高可信软件技术重点实验室);Westlake University(西湖大学);Jarvis Research Center, Tencent YouTu Lab(腾讯优图实验室贾维斯研究中心);Southern University of Science and Technology(南方科技大学)
针对由已知和未知子问题组成的组合未知问题,提出Self-DC框架,使LLM自适应选择内部推理或外部检索,并构建CuQA数据集,以更少外部调用实现更优效果与效率权衡。
2025-01-25 cs.AI cs.CL
Mixtures of SubExperts for Large Language Continual Learning
研究大语言持续学习中稳定性-可塑性困境及可扩展性问题,提出子专家混合模型MoSEs,通过模块化稀疏性和组合路由,平衡困境,实现知识隔离、重组扩展及亚线性增长,实验验证其性能优于基线,为持续学习基础模型提供关键归纳偏置。
2026-07-17 cs.AI cs.CL cs.LG
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen(哥本哈根大学)
语义解析(SP)允许人类通过自然交互来利用大量的知识资源。然而,解析器大多是针对英语资源设计和评估的,例如CFQ(Keysers等人,2020),目前的标准基准基于从语法规则生成的英语数据,并面向Freebase,一个过时的知识库。我们提出了一种方法,用于创建一个多语言的,并行的数据集的问题查询对,接地在维基数据。我们引入这样一个数据集,我们称之为多语言组成维基数据问题(MCWQ),并使用它来分析组成的概括语义分析器在希伯来语,卡纳达语,中文和英文。虽然语言内泛化在不同语言之间是可比的,但zero-shot跨语言迁移的实验表明,跨语言合成泛化失败,即使使用最先进的预训练多语言编码器也是如此。此外,我们的方法,数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
Multilingual Relation Extraction using Compositional Universal Schema
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通用模式通过联合嵌入输入知识库中的所有关系类型以及表达原始文本中的关系的文本模式来构建实体和关系的知识库(KB)。在以前的大多数通用模式应用中,每个文本模式都表示为单个嵌入,防止泛化到看不见的模式。最近的工作采用了神经网络来捕捉模式的组合语义,为所有可能的输入文本提供泛化。作为回应,本文介绍了显着的进一步改进的覆盖面和灵活性的通用模式关系抽取:预测的实体看不见的训练和多语言迁移学习域没有注释。我们通过对英语和西班牙语TAC KBP基准的广泛实验来评估我们的模型,在没有手写模式或额外注释的情况下,性能优于TAC 2013插槽填充的顶级系统。我们还考虑了一种多语言设置,其中英语训练数据实体与种子KB重叠,但西班牙语文本不重叠。尽管没有对西班牙语数据的注释,我们训练了一个准确的预测器,并通过跨语言绑定词嵌入获得了额外的改进。此外,我们发现,多语言训练提高英语关系抽取的准确性。因此,我们的方法适合于广泛覆盖的自动化知识库建设在各种语言和领域。
2016-03-03 cs.CL cs.LG
On-Policy Distillation Teaches New Skills but Not New Knowledge
The Hong Kong University of Science and Technology(香港科技大学)
本文通过受控合成框架和多种模型实验,发现反向KL在策略蒸馏主要传递组合推理技能而非新事实知识,而前向KL可恢复事实传递,表明该方法教会模型组织已有知识而非扩展参数知识。
2026-10-08 cs.CL
Synthetic Dataset for Evaluating Complex Compositional Knowledge for Natural Language Inference
University of Arizona(亚利桑那大学)
本文构建包含1,304对句子的合成数据集SICCK,通过自然逻辑中的量词、否定等修饰语检验NLI模型的逻辑组合理解能力,发现模型在零样本与微调后均难以处理否定及量词修饰。
2025-10-20 cs.CL
Linear Correlation in LM's Compositional Generalization and Hallucination
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文发现语言模型在知识组合中存在线性相关现象,该线性变换对微调具有鲁棒性,既能泛化更新知识也会导致幻觉,并证明其可借助预训练词汇表示学习,可作为模型泛化能力的识别指标。
2025-02-06 cs.CL
Compositional Neural Machine Translation by Removing the Lexicon from Syntax
MIT Department of Brain and Cognitive Sciences(麻省理工学院脑与认知科学系)
自然语言话语的意义在很大程度上取决于其句法和词汇。此外,有证据表明,人类通过将有关词汇的知识与句法知识分开来处理话语。语义学和神经科学的理论声称,完整的词义并不编码在句法的表征中。在本文中,我们提出了可以在LSTM编码器和解码器上执行此约束的神经单元。我们证明了我们的模型在各种领域,包括语义解析,句法分析,和英语到汉语普通话的翻译,取得了有竞争力的性能。在这些情况下,我们的模型在许多或所有指标上都优于标准LSTM编码器和解码器架构。为了证明我们的模型实现了词汇和语法之间的理想分离,我们分析了它的权重,并探索了它在不同神经模块受损时的行为。当受损时,我们发现模型显示出失语症患者被证明具有的知识扭曲。
2020-02-06 cs.CL
Compositional Chain-of-Thought Prompting for Large Multimodal Models
University of California, Berkeley(加州大学伯克利分校)
本文提出零样本组合式思维链提示方法CCoT,通过让大型多模态模型先生成场景图再据此作答,在不微调、无需场景图标注的情况下提升组合视觉推理与通用多模态基准性能。
2024-04-01 cs.AI cs.CL cs.CV
A Structured Distributional Model of Sentence Meaning and Processing
大多数组合分布语义模型用单个向量表示句子意义。在本文中,我们提出了一个结构化分布模型(SDM),结合词嵌入与形式语义,是基于假设的句子表示的事件和情况。句子的语义表征是从话语表征理论中衍生出来的包含分布向量的形式结构。这种结构是动态和增量式的建立,通过整合有关事件及其典型参与者的知识,因为它们被词汇项激活。事件知识被建模为从解析的语料库中提取的图,并对表示为分布向量的参与者之间的角色和关系进行编码。SDM基于广泛的心理语言学研究,研究表明存储在语义记忆中的关于事件的广义知识在句子理解中起着关键作用。我们在两个最近推出的组合数据集上评估SDM,我们的结果表明,将简单的组合模型与事件知识相结合,即使使用不同类型的词嵌入,也能不断提高性能。
2019-06-17 cs.CL
Compositional generalization in semantic parsing with pretrained transformers
New York University(纽约大学)
大规模的预训练将大量的知识灌输到深度神经网络中。这反过来又改善了这些模型在下游任务中的泛化行为。大规模预训练的泛化优势究竟有哪些限制?在这里,我们报告的意见,从一些简单的实验,旨在解决这个问题的背景下,涉及自然语言,扫描和COGS的两个语义解析任务。我们发现,与从头开始训练的模型相比,专门用非英语语料库,甚至用程序设计语言语料库预训练的语言模型在这些基准测试中显着提高了分布外泛化,即使这两个基准测试都是基于英语的。这证明了预先训练的表示和知识具有惊人的广泛可移植性。另一方面,使用大规模蛋白质序列预测任务进行预训练主要会恶化SCAN和COGS中的泛化性能,这表明预训练的表示不会普遍转移,并且预训练和下游域之间的相似性存在限制,以便成功转移。最后,我们表明,较大的模型更难从头开始训练,并且在相对较小的SCAN和COGS数据集上训练收敛时,其泛化精度较低,但大规模预训练的好处在较大的模型中变得更加清晰。
2022-12-22 cs.CL cs.LG cs.NE
SCRIPT: A Subcharacter Compositional Representation Injection Module for Korean Pre-Trained Language Models
Department of Artificial Intelligence, Korea University, Seoul, South Korea(人工智能系,韩国大学,首尔,韩国);Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国)
SCRIPT通过注入子字符组合知识提升韩语PLM的结构粒度,无需修改架构或额外预训练,在多种NLU和NLG任务中提升性能,并改进语法规律和语义连贯性。
2026-04-14 cs.AI cs.CL
SETI: Systematicity Evaluation of Textual Inference
Heidelberg University(海德堡大学)
提出SETI基准,通过三种NLI任务评估PLMs在文本推理中的系统性能力,发现模型在具备组合知识时表现良好,否则大幅下降,且少量关键知识可显著提升性能。
2023-05-24 cs.CL
Compositional Approaches for Representing Relations Between Words: A Comparative Study
The University of Liverpool(利物浦大学)
识别词(或实体)之间存在的关系对于各种自然语言处理任务(诸如,关系搜索、名词修饰语分类和类比检测)是重要的。从语料库中提取词与词共现的模式,并为每个词对分配一个模式频率向量,是表示词对之间关系的一种流行方法。尽管这种方法很简单,但它存在数据稀疏性,信息可扩展性和语言创造性的问题,因为该模型无法处理语料库中以前未见过的单词对。相比之下,用于表示单词之间的关系的合成方法通过使用每个单独单词的属性来间接地组成两个单词之间的共同关系的表示来克服这些问题。本研究的目的是比较不同的操作创建关系表征的词级表示。我们调查的组合方法的性能,通过测量的关系相似性,使用几个基准数据集的词类比。此外,我们评估了不同的关系表示在知识库完成任务。
2017-09-04 cs.CL
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
关于隐含关系的推理(例如,词对之间的释义、常识、百科全书)对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对,隐含地表示背景知识,这种关系。我们的成对嵌入被计算为单词表示的组合函数,这是通过最大化两个单词共同出现的上下文的逐点互信息(PMI)来学习的。我们将这些表示添加到现有推理模型的跨句注意力层(例如,QA的Biorean,NLI的ESIM),而不是扩展或替换现有的词嵌入。实验表明,在最近发布的SQuAD 2.0上的增益为2.7%,在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化,在对抗SQuAD数据集上获得约6-7%的收益,在Glockner et al.(2018)的对抗蕴涵测试集上获得8.8%的收益。
2019-04-05 cs.CL
Grounded Compositional Outputs for Adaptive Language Modeling
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
语言模型已经成为NLP的核心组件,并且大量的进展取决于廉价地适应它们的能力(例如,通过微调)到新的域和任务。语言模型的词汇表$-$通常在训练前选择,并在以后永久固定$-$,这会影响其大小,并且是使其抵抗这种适应的部分原因。先前的工作已经使用基于表面形式的合成输入嵌入来改善这个问题。在这项工作中,我们更进一步,并提出了一个完全组成的输出嵌入层的语言模型,这是进一步接地从结构化词典(WordNet)的信息,即语义相关的单词和自由文本的定义。据我们所知,结果是第一个单词级语言模型,其大小不依赖于训练词汇表。我们对传统语言建模以及具有开放词汇的跨域设置进行了评估,发现它匹配或优于以前最先进的输出嵌入方法和自适应方法。我们的分析将改进归因于样本效率:我们的模型对低频词更准确。
2020-10-05 cs.CL
Open-Vocabulary Semantic Parsing with both Distributional Statistics and Formal Knowledge
Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
传统的语义解析器将语言映射到固定模式中的组合可执行查询。这种映射使他们能够有效地利用大型正式知识库(KB)中包含的信息,Freebase)来回答问题,但它也有根本性的限制--这些语义解析器只能为属于KB手动生成的模式的语言分配含义。最近提出的开放式词汇表语义解析方法通过学习任意语言的执行模型来克服这一限制,基本上使用文本语料库作为一种知识库。然而,所有先前的开放词汇表语义解析方法都用文本信息替换了正式的KB,在它们的模型中没有使用KB。我们展示了如何结合这两种方法所使用的不同的表示,首次提出了一个语义解析器,(1)产生成分,可执行的语言表示,(2)可以成功地利用包含在一个正式的知识库和大型语料库的信息,(3)不限于底层知识库的模式。我们展示了显着提高性能的最先进的基线上的一个开放域的自然语言问答任务。
2016-11-28 cs.CL
A Factorization Machine Framework for Testing Bigram Embeddings in Knowledgebase Completion
University College London(伦敦大学学院)
到目前为止,基于嵌入的知识库补全模型大多结合了单个实体或关系的分布式表示来计算缺失链接的真值分数。然而,事实也可以使用成对嵌入来表示,即实体和关系对的嵌入。在本文中,我们探索这样的二元模型嵌入与灵活的分解机模型和几个消融从它。我们调查的相关性的各种二元模型类型的fb15k237数据集,并找到相对的改进相比,组合模型。
2016-04-20 cs.AI cs.CL cs.NE