Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract
Department of Information Management, Nanjing University of Science and Technology（南京理工大学信息管理学院）
本文通过整合摘要与高亮内容提升学术论文的无监督关键词提取，实验表明结合两者能显著提高提取性能，同时探讨了摘要与高亮内容在关键词覆盖和内容上的差异及其对提取结果的影响。
2026-04-21 cs.CL cs.DL cs.IR
ReaORE: Reasoning-Guided Progressive Open Relation Extraction Empowered by Large Reasoning Models
National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康医疗大数据国家研究院）；School of Informatics, Xiamen University（厦门大学信息学院）
提出ReaORE框架，通过粗到细的关系推理（关系过滤与关系预测）解决开放关系抽取中关系标签生成和易混淆关系区分难题，在数据集上超越现有方法。
2026-06-26 cs.AI cs.CL
Open Relation and Event Type Discovery with Type Abstraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
传统的封闭世界信息抽取（IE）方法依赖于人类本体来定义用于抽取的范围。因此，当应用于新领域时，这种方法就显得不足了。这就要求系统能够从给定的语料库中自动推断出新的类型，我们称之为类型发现。为了解决这个问题，我们引入了类型抽象的思想，其中模型被提示泛化并命名类型。然后，我们使用推断的名称之间的相似性，诱导集群。观察到这种基于抽象的表示通常是对实体/触发令牌表示的补充，我们将这两种表示设置为两个视图，并将我们的模型设计为一个协同训练框架。我们在多个关系抽取和事件抽取数据集上的实验一致地显示了我们的类型抽象方法的优势。代码可在https://github.com/raspberryice/type-discovery-abs获得。
2022-11-30 cs.CL
Document-level Relation Extraction with Cross-sentence Reasoning Graph
University of Electronic Science and Technology of China（电子科技大学）；TROY Information Technology Co., Ltd.（Troy信息技术有限公司）
关系抽取（RelationExtraction，RE）最近已经从文档级转移到文档级，这需要聚集文档信息并使用实体和提及进行推理。现有的工作将实体节点和提及节点以相似的方式表示在文档级图中，其复杂的边可能会产生冗余信息。此外，现有的研究只关注实体级的推理路径，没有考虑跨句实体间的全局交互。为此，我们提出了一种新的文档级RE模型与GRaph信息聚合和跨句子推理网络（GRACR）。具体而言，构建了简化的文档级图来描述文档中所有提及和句子的语义信息，并设计了实体级图来探索长距离跨句子实体对之间的关系。实验结果表明，GRACR在两个文档级RE公共数据集上取得了良好的性能。它在提取跨句子实体对的潜在关系时特别有效。我们的代码可在https://github.com/UESTC-LHF/GRACR上获得。
2023-03-07 cs.AI cs.CL cs.LG
Two-Stage Prompt Optimization for Few-Shot Relation Extraction: From Reasoning-Guided Search to Gradient-Guided Refinement
University of Arizona（亚利桑那大学）
提出两阶段框架，结合推理和梯度优化自动优化提示，在少样本关系抽取任务中取得最优性能。
2026-06-28 cs.AI cs.CL
Temporal Knowledge Question Answering via Abstract Reasoning Induction
Laboratory for Big Data and Decision, National University of Defense Technology（国防科技大学大数据与决策实验室）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对大语言模型时序知识推理能力不足的问题，提出将时序推理分为知识无关与知识相关阶段的ARI框架，结合建构主义引导模型主动从历史推理样本学习，在两个时序问答数据集上分别取得29.7%与9.27%的相对提升。
2024-05-17 cs.AI cs.CL
Question Answering as Global Reasoning over Semantic Abstractions
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence (AI2)（艾伦人工智能研究所（AI2））
我们提出了一种新的方法，利用文本的语义结构来回答多项选择题。该方法特别适用于需要对不同语言结构进行推理但训练数据有限的领域。为了解决这些挑战，我们提出了第一个系统，据我们所知，原因在广泛的语义抽象的文本，这是使用现成的，通用的，预先训练的自然语言模块，如语义角色标签，共指解析器和依赖解析器。代表多个抽象作为一个家庭的图形，我们翻译问答（QA）到一个最佳的子图，满足一定的全球和当地的属性搜索。该公式概括了几个先前的结构化QA系统。我们的系统SEMANTICILP同时在两个领域表现出强大的性能。特别是，在一系列具有挑战性的科学QA数据集上，它的表现优于各种最先进的方法，包括神经模型、广泛覆盖的信息检索和使用结构化知识库的专业技术，提高了2%-6%。
2019-06-09 cs.AI cs.CL
Discriminative Reasoning for Document-level Relation Extraction
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信技术研究所）
文档级关系抽取（DocRE）模型通常使用图网络来隐式地对推理技能（即，模式识别、逻辑推理、共指推理等）与文档中一个实体对之间的关系相关。在本文中，我们提出了一种新的判别式推理框架，明确建模的路径，这些推理技能之间的每个实体对在本文件中。因此，一个判别推理网络的设计，以估计不同的推理路径的关系概率分布的基础上构建的图和矢量化的文档上下文为每个实体对，从而识别它们的关系。实验结果表明，我们的方法优于以前的国家的最先进的性能上的大规模DocRE数据集。该代码可在https://github.com/xwjim/DRN上公开获取。
2021-06-03 cs.CL
Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction
关系抽取中的大多数工作通过查看包含单个实体对提及的单个句子内的短跨度文本来形成预测。这种方法通常不考虑跨提及的交互，需要对每个提及对进行冗余计算，并且忽略跨句子边界表达的关系。生物学文本中常见的文档（而不是句子）级注释加剧了这些问题。作为回应，我们提出了一个模型，同时预测在一个文件中的所有提及对之间的关系。我们使用一个高效的自我注意编码器对整个论文摘要进行成对预测。所有对提及分数允许我们通过聚合提及以形成实体对表示来执行多实例学习。我们通过联合训练来预测命名实体并添加弱标记数据的语料库，进一步适应没有提及级别注释的设置。在两个Biocreative基准数据集上的实验中，我们在Biocreative V Chemical Disease Relation数据集上实现了最先进的性能，用于没有外部KB资源的模型。我们还引入了一个新的数据集的数量级大于现有的人类注释的生物信息抽取数据集和更准确的比远程监督的替代品。
2018-02-28 cs.CL
Attending to All Mention Pairs for Full Abstract Biological Relation Extraction
Chan Zuckerberg Initiative（陈-扎克伯格倡议）
关系抽取中的大多数工作通过查看包含单个实体对提及的单个句子内的短跨度文本来形成预测。然而，许多关系类型，特别是在生物医学文本中，是跨句子表达的，或者需要大量的上下文来消除歧义。我们提出了一个模型，同时考虑所有提及和实体对，以作出预测。我们使用高效的自注意编码器对全文摘要进行编码，并使用双仿射操作在所有提及之间形成成对预测。实体对池化聚合提及对得分以进行最终预测，同时通过在文档内执行多实例学习来减轻训练噪声。我们通过联合训练模型来预测命名实体并添加弱标记数据的额外语料库来提高模型的性能。我们证明了我们的模型的有效性，实现了最先进的生物创造性V化学疾病关系数据集的模型没有KB资源，优于使用手工制作的功能和额外的语言资源的模型的合奏。
2017-11-15 cs.CL
IE as Cache: Information Extraction Enhanced Agentic Reasoning
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
本文提出IE-as-Cache框架，将信息提取用作认知缓存以提升代理推理能力，通过查询驱动提取与缓存感知推理动态维护紧凑中间信息并过滤噪声，实验表明在多种LLM上显著提升推理准确性。
2026-04-16 cs.CL
Data Augmented Pipeline for Legal Information Extraction and Reasoning
Center for Juris-Informatics, ROIS-DS（司法信息中心，ROIS-DS）；Japan Advanced Institute of Science and Technology（日本先进科学研究所）；Research and Development Center for LLMs, NII（大语言模型研发中心，NII）
本文提出了一种基于大型语言模型的数据增强管道，用于提升法律领域信息抽取与推理的效率和鲁棒性，同时具备跨领域应用的通用性。
2026-01-09 cs.CL
Graph Neural Networks with Generated Parameters for Relation Extraction
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Université de Montréal（蒙特利尔大学）
近年来，在机器学习领域中，关系推理的改进已经取得了进展。在现有的模型中，图神经网络（GNNs）是多跳关系推理最有效的方法之一。事实上，多跳关系推理在诸如关系抽取等许多自然语言处理任务中是必不可少的。本文提出根据自然语言句子生成图神经网络（GP-GNNs）的参数，使GNNs能够对非结构化文本输入进行关系推理。我们在文本的关系抽取中验证了GP-GNNs。在人类注释数据集和两个远程监督数据集上的实验结果表明，与基线相比，我们的模型实现了显着的改进。我们还进行了定性分析，以证明我们的模型可以发现更准确的多跳关系推理的关系。
2019-02-02 cs.CL
Document-level Relation Extraction with Context Guided Mention Integration and Inter-pair Reasoning
Hunan Normal University（湖南师范大学）；Changsha University of Science & Technology（长沙理工大学）
文档级关系抽取（DRE）的目的是识别两个实体之间的关系。实体可以对应于跨越句子边界的多个提及。以前很少有研究探讨提及整合，这可能是有问题的，因为共指提及并不等同于一个特定的关系。此外，以前的努力主要集中在实体级的推理，而不是捕捉实体对之间的全局交互。在本文中，我们提出了两个新的技术，上下文引导提及集成和对间推理（CGM2IR），以提高DRE。与简单地应用平均池不同，上下文被用来以加权和的方式指导共指提及的整合。此外，对间推理在实体对图上执行迭代算法，以便对关系的相互依赖性进行建模。我们在三个广泛使用的基准数据集上评估了我们的CGM2IR模型，即DocRED，CDR和GDA。实验结果表明，我们的模型优于以前的国家的最先进的模型。
2022-01-13 cs.CL
Revisiting Prompt Optimization with Large Reasoning Models-A Case Study on Event Extraction
George Mason University（乔治·马歇尔大学）
本研究以事件抽取为案例，系统验证了大型推理模型（如DeepSeek-R1和o1）仍需提示优化，且作为优化器效果更佳，并推广至其他任务，同时分析了其常见错误与稳定性。
2025-10-16 cs.CL
A Densely Connected Criss-Cross Attention Network for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取（RE）旨在识别给定文档中两个实体之间的关系。与文档级RE相比，文档级RE需要复杂的推理。以往的研究通常通过在文档图的提及层或实体层上进行信息传播来完成推理，而很少考虑到实体对层上的推理，本文提出了一种新的文档级RE模型--密集连接交叉注意网络（Densely Connected Criss-Cross Attention Network，Dense-CCNet），该模型能够在实体对层上完成逻辑推理。具体而言，Dense-CCNet通过交叉注意（CCA）进行实体对级别的逻辑推理，可以在实体对矩阵上收集水平和垂直方向的上下文信息，以增强相应的实体对表示。此外，我们密集地连接CCA的多个层，以同时捕获单跳和多跳逻辑推理的特征。我们在三个公共文档级RE数据集DocRED，CDR和GDA上评估了我们的Dense-CCNet模型。实验结果表明，我们的模型在这三个数据集上达到了最先进的性能。
2022-03-26 cs.CL
Reasoning with Latent Structure Refinement for Document-Level Relation Extraction
Singapore University of Technology and Design（新加坡科技设计大学）；Università della Svizzera italiana（提契诺大学）
文档级关系抽取需要在文档的多个句子中整合信息，并捕获句子间实体之间的复杂交互。然而，有效地汇总文件中的相关信息仍然是一个具有挑战性的研究问题。现有的方法构造静态文档级图的基础上的语法树，共引用或从非结构化文本的依赖建模。与以前的方法，可能无法捕获丰富的非本地的相互作用进行推理，我们提出了一种新的模型，通过自动诱导潜在的文档级图，使跨句子的关系推理。我们进一步开发了一个细化策略，使模型能够增量聚合多跳推理的相关信息。具体来说，我们的模型在大规模文档级数据集（DocRED）上获得了59.05的F1分数，比以前的结果有了显著改善，并且在CDR和GDA数据集上也产生了新的最先进的结果。此外，大量的分析表明，该模型能够发现更准确的句间关系。
2020-07-28 cs.CL
Graphical Reasoning: LLM-based Semi-Open Relation Extraction
University of Michigan（密歇根大学）
本文提出结合思维链与图形推理的关系抽取方法，利用GPT-3.5上下文学习将抽取任务分解为顺序子任务，在多个数据集上取得显著性能提升。
2024-04-30 cs.AI cs.CL cs.LG
CausalARC: Abstract Reasoning with Causal World Models
CausalARC通过因果世界模型进行低数据和分布外推理，结合原则性数据增强提供少量示例反馈，用于评估语言模型在抽象推理、反事实推理、程序合成和因果发现中的表现。
2026-03-19 cs.AI cs.CL cs.LG
Abstract Visual Reasoning with Tangram Shapes
Cornell University（康奈尔大学）；Allen Institute for AI（艾伦人工智能研究所）；New York University（纽约大学）；Princeton University（普林斯顿大学）
我们介绍KiloGram，这是一个用于研究人类和机器的抽象视觉推理的资源。借鉴七巧板作为认知科学中刺激的历史，我们建立了一个注释丰富的数据集，该数据集具有>1k个不同的刺激，比现有资源大几个数量级，并且更加多样化。它在视觉上和语言上都更丰富，超越了整个形状描述，包括分割图和部分标签。我们使用这个资源来评估最近的多模态模型的抽象视觉推理能力。我们观察到，预先训练的权重表现出有限的抽象推理，这在微调后会显着改善。我们还观察到，明确地描述部件有助于人类和模型的抽象推理，特别是在联合编码语言和视觉输入时。KiloGram可在https://lil.nlp.cornell.edu/kilogram上获得。
2022-11-29 cs.AI cs.CL cs.CV
Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models
Google DeepMind（谷歌DeepMind）
本研究提出Step-Back Prompting提示技术，引导大语言模型抽象出高层概念与第一性原理来指导推理，在多个推理密集型任务上实现显著性能提升。
2024-03-12 cs.AI cs.CL cs.LG
Meaningful Learning: Enhancing Abstract Reasoning in Large Language Models via Generic Fact Guidance
Fudan University（复旦大学）；Du Xiaoman (Beijing) Science Technology Co., Ltd.（度小满（北京）科技有限公司）
针对大型语言模型在抽象推理上的不足，本文定制了AbsR数据集并提出有意义的学习范式，通过通用事实引导有效提升了模型的一般与抽象推理能力。
2024-11-11 cs.AI cs.CL
Emergent Symbolic Mechanisms Support Abstract Reasoning in Large Language Models
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
通过分析LLM内部机制，发现其抽象推理依赖由符号抽象、符号归纳和检索三个计算阶段构成的涌现符号架构，为符号与神经网络之争提供了新证据。
2025-06-06 cs.AI cs.CL
Neural networks for abstraction and reasoning: Towards broad generalization in machines
University of Cambridge（剑桥大学）
本研究探索多种神经网络方法（包括改进的DreamCoder和大型语言模型）解决抽象与推理语料库（ARC）任务，通过新语言、识别模型、编码方案及集成分析提升广泛泛化能力，并发布arckit库。
2024-02-05 cs.AI cs.CL cs.LG
Abstract Reasoning with Distracting Features
Google Research（谷歌研究院）
摘要抽象推理是人工智能中一个长期存在的挑战。最近的研究表明，许多在其他领域取得胜利的深层架构在抽象推理中表现不佳。在本文中，我们首先说明，在这样的推理任务的主要挑战之一是存在的分散注意力的功能，这需要学习算法利用反证，并拒绝任何虚假的假设，以学习真正的模式。我们后来表明，精心设计的学习轨迹在不同类别的训练数据可以有效地提高学习性能，通过减轻分散注意力的功能的影响。受此启发，我们提出了特征鲁棒抽象推理（FRAR）模型，该模型由一个基于强化学习的教师网络和一个用于预测的学生网络组成。实验结果表明，与基线算法相比，我们能够在RAVEN数据集中击败最先进的模型18.7%，在PGM数据集中击败最先进的模型13.3%。
2019-12-02 cs.AI cs.CL
AR$^2$: Adversarial Reinforcement Learning for Abstract Reasoning in Large Language Models
Department of Mathematical Sciences National Chengchi University Taipei Taiwan（数学科学系 国立政治大学 台北 台湾）；Department of Computer Science National Chengchi University Taipei Taiwan（计算机科学系 国立政治大学 台北 台湾）；Institute of Information Science Academia Sinica Taipei Taiwan（信息科学研究所 中国学术院 台北 台湾）；National Chengchi University（国立政治大学）
针对现有大语言模型强化学习训练忽略抽象能力显式培养的问题，提出AR²对抗强化学习框架，通过教师模型改写问题、学生模型提取核心求解的方式，显著提升模型在陌生高难度编程任务上的准确率与泛化能力。
2025-08-27 cs.AI cs.CL cs.LG
AbstRaL: Augmenting LLMs' Reasoning by Reinforcing Abstract Thinking
AbstRaL通过强化学习提升LLM的抽象推理能力，有效缓解GSM扰动基准测试中的性能下降，并提升模型在OD数学和一般推理任务上的泛化能力。
2026-02-23 cs.AI cs.CL cs.SC
Abstraction-of-Thought Makes Language Models Better Reasoners
Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
本文提出新型结构化推理格式思维抽象（AoT），通过构建包含348k样本的微调数据集AoT Collection，引导语言模型在推理中先进行抽象思考再融入具体细节，在Big-Bench Hard基准上显著优于传统思维链方法。
2024-09-26 cs.AI cs.CL
ArcMemo: Abstract Reasoning Composition with Lifelong LLM Memory
针对大语言模型推理轨迹中模式易丢失的问题，提出概念级终身记忆方法ArcMemo，在ARC-AGI基准上较无记忆基线获7.5%相对提升，实现测试时持续自我提升。
2025-10-04 cs.AI cs.CL cs.LG
Abstract Activation Spaces for Content-Invariant Reasoning in Large Language Models
Human Centric ART, University of Rome Tor Vergata（人类中心ART，罗马大学托尔维加塔分校）；ILCC, School of Informatics, University of Edinburgh（ILCC，信息学院，爱丁堡大学）；School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）；Almawave S.p.A.（Almawave公司）
本研究提出了一种抽象引导推理框架，通过分离结构推理与词法语义，减少语义干扰对形式推理的影响，提升大语言模型的推理鲁棒性。
2026-02-02 cs.AI cs.CL
Distinguishing Performance From Competence in Evaluations of Humanlike Abstract Reasoning
Santa Fe Institute, New Mexico, USA（圣菲研究所）；Sandia National Laboratories, New Mexico, USA（桑迪亚国家实验室）；Advanced Micro Devices Inc., Texas, USA（先进微器件公司）
本文研究了AI模型在不同模态下进行抽象推理的能力，发现其在文本和视觉模态中的表现存在显著差异，表明仅依赖准确率评估抽象推理能力存在偏差。
2026-10-20 cs.AI cs.CL
Learning to Reason With Relational Abstractions
Stanford University（斯坦福大学）；NYU（纽约大学）
大语言模型最近在数学推理方面取得了可喜的进展，当与人类生成的序列进行微调时，通过一系列解决方案步骤。然而，解决方案序列没有正式结构化，并且由此产生的模型生成的序列可能无法反映我们可能期望专家人类产生的那种系统推理。本文研究了如何利用关系抽象的思想在语言模型中建立更强的推理能力。我们引入了新类型的序列，更明确地提供了一个抽象的表征过渡到目标状态的中间解决方案的步骤。我们发现，提供此类序列作为提示的模型可以以更高的准确性解决任务，并且经过训练以产生此类序列的模型比使用先前使用的人类生成的序列和其他基线训练的模型更好地解决问题。因此，我们的工作采取了几个步骤，阐明和改善语言模型如何执行需要多步数学推理的任务。
2022-12-05 cs.AI cs.CL cs.LG
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University（浙江大学）；HKUST（香港科技大学）；University of Edinburgh（爱丁堡大学）
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力，并提出Abstraction-of-Thought（AoT）提示方法，通过概念抽象将对抗样本恢复为正常样本，显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
IconQA: A New Benchmark for Abstract Diagram Understanding and Visual Language Reasoning
Sun Yat-sen University（中山大学）；East China Normal University（华东师范大学）；Columbia University（哥伦比亚大学）
当前的视觉问答任务主要考虑回答自然图像的人工标注问题。然而，除了自然图像之外，具有语义丰富性的抽象图在视觉理解和推理研究中仍然是不足的。在这项工作中，我们引入了一个新的挑战图标问答（IconQA）的目标是回答一个问题的图标图像的上下文中。我们发布了IconQA，这是一个大规模的数据集，包括107，439个问题和三个子任务：多图像选择，多文本选择和填空。IconQA数据集的灵感来自现实世界的图表文字问题，这些问题突出了抽象图表理解和全面认知推理的重要性。因此，IconQA不仅需要对象识别和文本理解等感知技能，还需要多种认知推理技能，如几何推理，常识推理和算术推理。为了方便潜在的IconQA模型学习图标图像的语义表示，我们进一步发布了一个图标数据集Icon 645，其中包含377个类的645，687个彩色图标。我们进行了广泛的用户研究和盲实验，并复制了广泛的先进的VQA方法，以基准测试IconQA任务。此外，我们开发了一个强大的IconQA基线Patch-TRM，它应用了一个金字塔跨模态Transformer，并在图标数据集上预先训练了输入图嵌入。IconQA和Icon 645可在https://iconqa.github.io上获得。
2022-07-25 cs.AI cs.CL cs.CV
Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought
IBM Research AI（IBM人工智能研究院）
本文提出Abstract Chain-of-Thought，通过离散潜在推理机制在训练后实现高效推理，减少推理token数量同时保持性能，发现抽象词汇的幂律分布。
2026-04-27 cs.CL
Navigating Semantic Relations: Challenges for Language Models in Abstract Common-Sense Reasoning
University of Southern California（南加州大学）
该研究针对大语言模型抽象常识推理能力不足的问题，提出指令提示和少样本提示两种方法，基于ConceptNet的实验揭示了商用模型的性能差距与偏差，验证了选择性检索提示工程的优化潜力。
2025-02-19 cs.AI cs.CL
Thinking with Visual Abstract: Enhancing Multimodal Reasoning via Visual Abstraction
Tsinghua University（清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院（AIR））；Nankai University（南开大学）
通过引入视觉抽象思考范式，提升多模态大语言模型在视觉感知和推理任务中的性能，实现更高效的视觉推理机制。
2025-12-15 cs.CL
Towards Abstraction from Extraction: Multiple Timescale Gated Recurrent Unit for Summarization
Kyungpook National University（庆北国立大学）
在这项工作中，我们引入时间层次的序列到序列（seq 2seq）模型来解决科学文章的抽象摘要的问题。建议的门控递归单元（MTGRU）的多时间尺度模型在编码器-解码器设置中实现，以更好地处理较大文本中存在的多个组合。将该模型与传统的RNN编码器-解码器进行了比较，结果表明，我们的模型训练速度更快，并且表现出显着的性能增益。结果还表明，时间层次结构有助于提高seq 2seq模型的能力，以更好地捕捉组合，而不存在高度复杂的架构层次结构。
2016-07-04 cs.CL
Latent JEPA: Abstract Future Prediction for Latent Reasoning in Chemistry
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究提出潜在JEPA框架，结合自回归学习与联合嵌入预测，通过训练连续潜在思维预测未来视图，在ChemCoTBench上提升分子优化及编辑反应指标，验证抽象未来预测作为连接潜在推理与科学结果的学习原则。
2026-10-02 cs.CL cs.LG
Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning
Brigham Young University（杨百翰大学）
大型自然语言模型（如GPT-3或T5）在一系列一般NLP任务中表现出令人印象深刻的能力。在这里，我们表明，嵌入在这样的模型中的知识提供了一个有用的归纳偏见，不仅在传统的NLP任务，而且在训练符号推理引擎的非传统任务。我们观察到，这些引擎学习速度很快，并以反映人类直觉的自然方式进行概括。例如，训练这样一个系统来建模块堆叠可能会自然地推广到堆叠其他类型的对象，因为在现实世界中的结构，已经部分地被描述它的语言所捕获。我们研究了几个抽象的文本推理任务，如对象操作和导航，并展示了多种类型的泛化到新的场景和组成它们的符号。我们还展示了令人惊讶的实用程序的\textit{compositional learning}，其中一个学习者致力于掌握一个复杂的任务获得的优势，通过训练相关的简单的任务，而不是直接跳到复杂的任务。
2021-10-05 cs.AI cs.CL
Disentangling Extraction and Reasoning in Multi-hop Spatial Reasoning
Michigan State University（密歇根州立大学）
本文提出将多跳空间推理中的信息提取与推理过程解耦，设计了多种分离提取与推理的模型，实验证明该方法能有效提升模型在真实数据领域的泛化能力。
2023-10-25 cs.CL
Large Language Model (LLM) as a System of Multiple Expert Agents: An Approach to solve the Abstraction and Reasoning Corpus (ARC) Challenge
National University of Singapore（新加坡国立大学）
本研究提出将LLM构建为多专家智能体系统，通过文本抽象空间转换、联想推导动作程序及迭代环境反馈解决ARC挑战，在111道训练题上达45%准确率，证明了该思路的可行性与拓展潜力。
2023-10-08 cs.AI cs.CL
On Data Synthesis and Post-training for Visual Abstract Reasoning
Nanjing University（南京大学）；Baidu VIS（百度视觉智能部）
本文提出创新的数据合成与后训练方法，使LLaVA-NeXT 7B模型在抽象视觉推理任务上显著超越GPT-4o等大模型，且保持通用多模态能力。
2025-04-02 cs.AI cs.CL cs.CV
Benchmarking Abstract and Reasoning Abilities Through A Theoretical Perspective
Xiamen University（厦门大学）
本文提出一个有理论基础的抽象推理基准，通过数学框架定义抽象推理并引入两个互补指标，揭示当前LLMs在符号重映射下存在记忆依赖且缺乏稳健的抽象推理能力。
2025-05-28 cs.CL
Symbolic and Abstractive Reasoning with Complex Visual Queries
Zhejiang University（浙江大学）；Nanjing University（南京大学）；Ant Group（蚂蚁集团）
提出复杂视觉查询（CVQ）概念，通过多模态知识图谱合成数据集，并设计两阶段训练框架，提升多模态大语言模型的符号与抽象推理能力。
2026-06-08 cs.CL
Symbolic Grounding Reveals Representational Bottlenecks in Abstract Visual Reasoning
Applied Artificial Intelligence Group, Tallinn University of Technology, Estonia（塔林技术大学应用人工智能小组，爱沙尼亚）；Kimova AI, Tallinn, Estonia（Kimova AI，塔林，爱沙尼亚）
本文通过Bongard-LOGO基准测试，发现符号输入能显著提升抽象视觉推理性能，揭示了表征能力是核心瓶颈。
2026-04-23 cs.AI cs.CL cs.CV
Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus
GIST（光州科学技术院）；Electrical Engineering and Computer Science, GIST（光州科学技术院电气工程与计算机科学系）；AI Graduate School, GIST（光州科学技术院人工智能研究生院）
本文提出基于思维语言假说的过程导向评估方法，利用ARC基准分析LLMs在逻辑连贯性、组合性和生成性上的推理能力，发现其仍显著落后于人类水平，为发展人类级AI推理提供了新视角。
2024-11-23 cs.AI cs.CL cs.ET
DYLE: Dynamic Latent Extraction for Abstractive Long-Input Summarization
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）；Penn State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）
基于transformer的模型在短输入摘要方面已经达到了最先进的性能。然而，他们仍然在努力总结较长的文本。在本文中，我们提出了DYLE，一种新的动态潜在提取方法的抽象长输入摘要。DYLE联合训练提取器和生成器，并将提取的文本片段视为潜在变量，允许在解码期间动态片段级注意力权重。为了提供足够的监督，我们提出了简单而有效的Oracle提取算法以及一致性损失项，它鼓励提取器近似生成器预测的平均动态权重。我们在不同的长文档和长对话摘要任务上评估了我们的方法：GovReport，QMSum和arXiv。实验结果表明，DYLE在GovReport和QMSum上的性能优于所有现有方法，增益高达6.1 ROUGE，而在arXiv上则获得了很好的结果。进一步的分析表明，所提出的动态权重提供了我们的生成过程的可解释性。
2022-04-24 cs.CL
MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables
本文提出了基于历史寓言的基准 MORABLES，通过多项选择和对抗性变体评估 LLMs 的抽象道德推理能力，发现大模型虽表现更好但仍易受对抗操纵，且性能提升主要依赖规模而非推理能力。
2025-09-15 cs.AI cs.CL
Large Language Models Show Signs of Alignment with Human Neurocognition During Abstract Reasoning
本研究通过抽象图案补全任务对比了8个开源LLM与人类的神经表征，发现最大模型不仅准确率与人类相当，其中间层表征也与人类额叶脑电信号正相关，揭示了人工与生物智能在抽象推理上的共享机制。
2025-08-12 cs.AI cs.CL q-bio.NC
Analogical Reasoning Inside Large Language Models: Concept Vectors and the Limits of Abstraction
University of Amsterdam（阿姆斯特丹大学）
本文研究了大型语言模型内部的类比推理，发现功能向量对输入变化不具不变性，并定位了编码不变概念向量的注意力头，这些向量可独立于输出运行并因果引导模型行为，但更抽象概念缺乏不变线性表征，揭示了LLM的泛化局限。
2025-03-05 cs.CL cs.LG
A Systematic Study of Small Language Models on Abstract Reasoning Tasks
Leibniz University of Hanover（莱布尼茨汉诺威大学）；TIB – Leibniz Information Centre for Science and Technology and University Library（TIB – 莱布尼茨科学技术信息中心与大学图书馆）；Amazon（亚马逊）
本研究系统剖析小语言模型在抽象推理任务上的表现，发现分布内准确率可达但习得敏感且分布外性能骤降，模型、适应机制、评估分布和响应格式均影响推理分数。
2026-10-07 cs.CL cs.LG
LLMs and the Abstraction and Reasoning Corpus: Successes, Failures, and the Importance of Object-based Representations
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Scale AI Research（Scale AI研究）
本文系统分析了GPT在抽象和推理语料库（ARC）上的表现，发现其识别和推理对象的能力受文本序列性影响，提出基于对象的表示方法，使任务解决率近乎翻倍，显著提升了LLM在非语言领域的推理能力。
2024-02-14 cs.AI cs.CL
RexDrug: Reliable Multi-Drug Combination Extraction through Reasoning-Enhanced LLMs
RexDrug通过增强推理的大型语言模型，实现了可靠的多药物组合提取，优于现有方法并在二元和n元任务中均表现优异。
2026-09-24 cs.CL
