arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2501.04424cs.AIcs.CL
收藏

NSA: 神经符号 ARC 挑战

NSA: Neuro-symbolic ARC Challenge

Heinrich Heine Universität Düsseldorf(杜伊斯堡-艾森大学);University of Mannheim(曼海姆大学)

Paweł Batorski, Jannik Brinkmann, Paul Swoboda

AI总结:

提出一种结合 transformer 提案生成与领域特定语言组合搜索的神经符号方法,在 ARC 评估集上超越现有最优方法 27%。

摘要:

抽象与推理语料库 (ARC) 评估了机器学习模型和组合搜索方法都难以处理的通用推理能力。我们提出了一种神经符号方法,该方法结合了用于提案生成的 transformer 和使用领域特定语言的组合搜索。Transformer 通过提出有希望的搜索方向来缩小搜索空间,从而使组合搜索能够在短时间内找到实际解决方案。我们使用合成生成的数据预训练 transformer。在测试时,我们生成额外的任务特定训练任务并微调我们的模型。我们的结果在 ARC 评估集上比现有最优方法高出 27%,并且在 ARC 训练集上表现良好。我们在 https://github.com/Batorskq/NSA 公开了我们的代码和数据集。

英文摘要:

The Abstraction and Reasoning Corpus (ARC) evaluates general reasoning capabilities that are difficult for both machine learning models and combinatorial search methods. We propose a neuro-symbolic approach that combines a transformer for proposal generation with combinatorial search using a domain-specific language. The transformer narrows the search space by proposing promising search directions, which allows the combinatorial search to find the actual solution in short time. We pre-train the trainsformer with synthetically generated data. During test-time we generate additional task-specific training tasks and fine-tune our model. Our results surpass comparable state of the art on the ARC evaluation set by 27% and compare favourably on the ARC train set. We make our code and dataset publicly available at https://github.com/Batorskq/NSA.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑