E-KAR: A Benchmark for Rationalizing Natural Language Analogical Reasoning
Fudan University(复旦大学);Brain Technologies, Inc.(脑技术公司);South China University of Technology(华南理工大学);ByteDance AI Lab(字节跳动人工智能实验室);University of California Santa Barbara(加州大学圣巴巴拉分校);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
识别类比的能力是人类认知的基础。现有的测试词类比的基准并没有揭示神经模型类比推理的底层过程。我们认为,能够推理的模型应该是正确的,因为正确的原因,我们提出了一个第一个同类可解释的知识密集型类比推理基准(E-KAR)。我们的基准包括1,655道(中文)和1,251道(英文)来自公务员考试的问题,这些问题需要深入的背景知识来解决。更重要的是,我们设计了一个自由文本解释方案来解释是否应该进行类比,并为每个问题和候选答案手动注释它们。实证结果表明,这一基准是非常具有挑战性的一些国家的最先进的模型,解释生成和类比问答任务,邀请在这一领域的进一步研究。
2022-03-16 cs.AI cs.CL
Emergent Analogical Reasoning in Large Language Models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究对比了GPT-3与人类在类比推理任务上的表现,发现GPT-3展现出惊人的抽象模式归纳能力,在多数场景下与人类相当甚至超越,表明大型语言模型已获得零样本解决类比问题的涌现能力。
2023-08-03 cs.AI cs.CL
Solving Visual Analogies Using Neural Algorithmic Reasoning
BITS Pilani, K.K. Birla Goa Campus(印度比尔拉理工学院果阿校区);TCS Research, New Delhi(塔塔咨询服务公司研究院)
我们考虑一类视觉类比推理问题,涉及到发现的序列的转换对输入/输出图像相关,以便类似地转换未来的输入。这个程序合成任务可以很容易地通过符号搜索来解决。使用(Velickovic和Blundell 2021)的“神经类比推理”方法的变体,我们转而搜索一系列基本神经网络变换,这些变换操纵从符号空间导出的分布式表示,输入图像直接编码到符号空间。我们评估的程度,我们的“神经推理”的方法概括了看不见的形状和位置的图像。
2021-11-19 cs.AI cs.LG
Learning to Make Analogies by Contrasting Abstract Relational Structure
Deepmind(深度思维)
类比推理一直是各种人工智能研究浪潮的主要焦点。类比对于机器来说尤其具有挑战性,因为它需要表示关系结构,以便它们可以灵活地应用于不同的经验领域。在这里,我们研究如何类比推理可以诱导神经网络,学习感知和原始视觉数据的原因。我们发现,诱导这种能力的关键因素不是一个精心设计的架构,而是仔细注意数据的选择和它被呈现给模型的方式。当网络通过对比输入域中的抽象关系结构来学习类比时,类比推理的能力最强大,这种训练方法只使用输入数据来迫使模型学习重要的抽象特征。使用这种技术,我们证明了复杂的,视觉和象征性的类比,即使是最简单的神经网络架构和概括的能力。
2019-01-31 cs.AI
On the Transferability of Neural Models of Morphological Analogies
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室);HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
类比比例是以“A对B如同C对D”的形式表达的陈述,用于人工智能和自然语言处理(NLP)中的几个推理和分类任务。在本文中,我们专注于形态任务,我们提出了一个深度学习方法来检测形态类比。我们提出了一个实证研究,看看我们的框架如何跨语言传输,并强调这些语言之间有趣的相似性和差异。鉴于这些结果,我们还讨论了建立多语种形态学模型的可能性。
2021-08-09 cs.AI cs.CL
A Neural Approach for Detecting Morphological Analogies
Université de Lorraine(洛林大学);HIIT, Aalto University(阿尔托大学HIIT研究所)
类比比例是“A对B如同C对D”的形式的陈述,用于人工智能和自然语言处理(NLP)中的若干推理和分类任务。例如,语义学和形态学都有基于类比的方法。事实上,符号方法被开发来解决或检测字符串之间的类比,例如,公理化方法以及基于Kolmogorov复杂性的方法。在本文中,我们提出了一种深度学习方法来检测形态学类比,例如,使用reversion或conjugation。我们目前的实证结果表明,我们的框架是有竞争力的,与上述国家的最先进的象征性的方法。我们还探讨了经验的跨语言,这突出了有趣的相似之处,它的可转移能力。
2021-08-09 cs.AI cs.CL cs.LG
Solving morphological analogies: from retrieval to generation
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室)
本研究提出一种深度学习框架,结合检索式与生成式方法处理词形态类比的检测与求解任务,在多语言数据集上性能优于传统符号方法与基线模型,并给出应用指导。
2024-04-17 cs.AI cs.CL cs.LG
Solving ARC visual analogies with neural embeddings and vector arithmetic: A generalized method
University of Amsterdam(阿姆斯特丹大学)
本研究将词嵌入的向量算术机制推广到视觉类比,用VAE将ARC项编码为潜在向量并通过向量运算求解,在简单项上效果良好,官方ARC得分2%,ConceptARC得分8.8%,方法可推广至其他抽象视觉推理任务。
2023-11-14 cs.AI cs.CV cs.LG
Neuropsychology and Explainability of AI: A Distributional Approach to the Relationship Between Activation Similarity of Neural Categories in Synthetic Cognition
Neocognition (Chrysippe R&D)(新认知(克律西普研发中心));University of Paris(巴黎大学);Free Faculties of Philosophy and Psychology of Paris(巴黎自由哲学与心理学学院);University of Côte d’Azur(蔚蓝海岸大学);University of Grenoble(格勒诺布尔大学);University of Paris Cité(巴黎西岱大学);University of California Los Angeles(加利福尼亚大学洛杉矶分校);Epitech Paris(巴黎高等科技学院);Russian Academy of Sciences(俄罗斯科学院);FRC CSC RAS(俄罗斯科学院联邦研究中心计算机科学与控制研究所);University Lyon 1(里昂第一大学);University of Paris 8(巴黎第八大学)
本文提出一种基于人类认知心理学的神经网络可解释性方法,利用分类与相似性概念,揭示了合成认知中高度激活token的类别收敛过程,并指出神经元类别片段是输入向量空间内子维度叠加的结果。
2024-10-23 cs.AI cs.NE q-bio.NC
Learning Neural Strategy-Proof Matching Mechanism from Examples
Kyoto University(京都大学)
针对现有匹配机制学习框架无法保证策略防抵赖性、难适配可变代理数及上下文信息的问题,提出基于序列独裁制的NeuralSD架构与可微松弛TSD,实现满足策略防抵赖性的端到端匹配机制学习,效果优于基线。
2025-07-30 cs.AI
A Flow Matching Framework for Neural Representational Dissimilarity
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出流匹配框架统一神经表征差异性度量,将多种距离视为不同速度约束下的杰弗里斯散度,并支持新度量设计。
2026-09-28 cs.AI cs.IT cs.LG
A Theory on Flow Matching with Neural Networks
Princeton University(普林斯顿大学);The University of Hong Kong(香港大学);Northwestern University(西北大学)
本文为神经网络参数化的条件速度场流匹配建立了理论基础,证明了过参数化两层ReLU网络中梯度下降的收敛性,推导了条件速度场匹配目标的泛化界,并提供了生成样本的Wasserstein距离保证。
2026-06-08 cs.AI cs.LG
Online Limited Memory Neural-Linear Bandits with Likelihood Matching
Technion Institute of Technology(以色列理工学院);DeepMind(深度思维);Nvidia Research(英伟达研究院)
我们研究神经线性强盗解决问题,{\em两者}探索和表示学习发挥了重要作用。神经线性强盗利用深度神经网络(DNN)的表示能力,并通过利用模型的不确定性估计将其与高效的探索机制相结合,该模型专为最后一个隐藏层上的线性上下文强盗而设计。为了减轻在处理期间表示变化的问题,使用来自无限缓冲器的存储数据来计算新的不确定性估计。然而,当存储的数据量有限时,就会出现一种称为灾难性遗忘的现象。为了缓解这一点,我们提出了一个似然匹配算法,是弹性的灾难性遗忘,是完全在线的。我们应用我们的算法,有限记忆神经线性与Likestival匹配(NeuralLinear-LiM2)在各种数据集上,并观察到我们的算法实现了与无限记忆方法相当的性能,同时表现出对灾难性遗忘的弹性。
2021-06-08 cs.AI cs.LG
Real-time elastic partial shape matching using a neural network-based adjoint method
Inria(法国国家信息与自动化研究所)
由于缺乏物理策略,表面匹配通常会产生显著的变形,从而导致结构失效。在这种背景下,非线性变形体的部分表面匹配在工程中至关重要,以控制结构变形。在这篇文章中,我们建议制定的注册问题作为一个最优控制问题,使用人工神经网络,其中未知的是表面力分布,适用于对象和使用超弹性模型计算得到的变形。使用伴随方法解决优化问题,其中超弹性问题使用前馈神经网络解决,并且伴随问题通过网络的反向传播获得。我们的过程提高了多个数量级的计算速度,同时提供可接受的配准误差。
2023-03-16 cs.AI math.OC
Towards Metric-Faithful Neural Graph Matching
National Institute of Science Education and Research (NISER)(国家科学教育与研究研究所);Homi Bhabha National Institute(霍米·巴布哈国家研究所)
本文提出理论框架,探讨编码几何对神经图匹配中图编辑距离估计质量的影响,通过改进编码器几何提升图相似性预测和排名稳定性。
2026-05-07 cs.AI cs.LG
Neural Graph Navigation for Intelligent Subgraph Matching
NeuGN通过神经导航机制显著提升子图匹配效率,减少首次匹配步骤达98.2%
2025-11-22 cs.AI cs.LG
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology(以色列理工学院)
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力,并将其与为线性上下文强盗设计的高效探索机制相结合,在最后一个隐藏层之上。由于表示在学习期间被优化,因此关于使用“旧”特征的探索的信息丢失。在这里,我们提出了第一个有限的记忆神经线性强盗,是弹性的这种现象,我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集,包括回归,分类和情感分析,并观察到我们的算法是弹性的灾难性遗忘,并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
A Compare-Aggregate Model for Matching Text Sequences
Singapore Management University(新加坡管理大学)
许多NLP任务,包括机器理解,答案选择和文本蕴涵需要序列之间的比较。序列间重要单元的匹配是解决这些问题的关键。在本文中,我们提出了一个通用的“比较聚合”框架,执行字级匹配,然后使用卷积神经网络聚合。我们特别关注我们可以用来匹配两个向量的不同比较函数。我们使用四个不同的数据集来评估模型。我们发现,一些简单的比较功能的基础上元素的操作可以更好地工作比标准的神经网络和神经张量网络。
2016-11-06 cs.AI cs.CL
Neural Graph Matching based Collaborative Filtering
University of Melbourne(墨尔本大学)
用户和项目属性是基本的辅助信息;它们的交互(即,它们在样本数据中的共同出现)可以显著地提高各种推荐系统中的预测准确性。我们确定了两种不同类型的属性交互,内部交互和交叉交互:内部交互是指仅用户属性之间的交互或仅项目属性之间的交互;交叉交互是指用户属性和项目属性之间的交互。现有的模型没有区分这两种类型的属性交互,这可能不是利用交互所携带的信息的最有效的方式。为了解决这个问题,我们提出了一个基于神经图匹配的协同过滤模型(GMCF),它有效地捕捉这两种类型的属性的相互作用,通过建模和聚合属性的相互作用在一个图匹配结构的推荐。在我们的模型中,两个基本的推荐过程,特征学习和偏好匹配,明确地通过图学习(基于内部交互)和节点匹配(基于交叉交互),分别进行。实验结果表明,我们的模型优于国家的最先进的模型。进一步的研究验证了GMCF在提高推荐准确率方面的有效性。
2021-07-23 cs.AI cs.IR
Combining Fact Extraction and Verification with Neural Semantic Matching Networks
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
对错误信息的日益关注刺激了对自动事实核查的研究。最近发布的FEVER数据集引入了一个基准事实验证任务,要求系统使用维基百科文档中的证据句子来验证声明。在本文中,我们提出了一个连接的系统,由三个同质的神经语义匹配模型,进行文件检索,句子选择,并声称验证联合事实提取和验证。对于证据检索(文档检索和句子选择),与传统的向量空间IR模型不同,在传统的向量空间IR模型中,查询和源在一些预先设计的术语向量空间中进行匹配,我们开发了神经模型来从原始文本输入中进行深度语义匹配,假设没有中间术语表示,也无法访问结构化的外部知识库。我们还表明,浏览频率也可以帮助提高证据检索结果的性能,以后可以使用我们的神经语义匹配网络进行匹配。对于索赔验证,不像以前的方法,简单地饲料上游检索到的证据和索赔的自然语言推理(NLI)模型,我们进一步增强了NLI模型提供内部语义相关性分数(因此将其与证据检索模块)和本体论WordNet功能。在FEVER数据集上的实验表明,(1)我们的神经语义匹配方法优于流行的TF-IDF和编码器模型,在所有证据检索指标上都有显著的优势,(2)额外的相关性得分和WordNet特征通过更好的语义感知改进了NLI模型,(3)通过将所有三个子任务形式化为类似的语义匹配问题并在所有三个阶段进行改进,完整的模型能够在FEVER测试集上获得最先进的结果。
2018-11-16 cs.AI cs.CL
Learning Visual Relation Priors for Image-Text Matching and Image Captioning with Neural Scene Graph Generators
Microsoft AI and Research(微软人工智能与研究事业部)
将语言与视觉关系联系起来对于各种语言和视觉应用至关重要。在这项工作中,我们解决了两个基本的语言和视觉任务:图像-文本匹配和图像描述,并证明神经场景图生成器可以学习有效的视觉关系特征,以促进接地语言视觉关系,并随后改善两个终端应用程序。通过将关系特征与最先进的模型相结合,我们的实验显示出对标准Flickr 30 K和MSCOCO基准的显着改进。我们的实验结果和分析表明,关系特征提高了下游模型捕捉视觉关系的能力,在最终的视觉和语言应用程序。我们还证明了学习场景图生成器与视觉相关的关系,关系功能的有效性的重要性。
2019-09-22 cs.AI cs.CV
ContinualFlow: Learning and Unlearning with Neural Flow Matching
Department of Computer Science, University of Pisa, Pisa, Italy(比萨大学计算机科学系);School of Public Health, Yale University, New Haven, U.S.A.(耶鲁大学公共卫生学院)
ContinualFlow提出基于流匹配和能量重加权损失的生成模型目标遗忘框架,无需重训或访问样本,通过代理引导实现软性分布减去,并在二维和图像域验证有效性。
2025-06-23 cs.AI cs.LG
Flow to Learn: Flow Matching on Neural Network Parameters
University of Toronto(多伦多大学);University of Tokyo(东京大学)
针对图像领域上下文学习滞后问题,提出FLoWN流匹配模型,在潜在空间上以上下文数据为条件生成神经网络参数,实现元学习,并在分布内外任务上表现优异。
2025-04-19 cs.AI cs.LG
Hyper-Network Neural Functional Maps for Unsupervised Robust 3D Shape Matching
University of Bonn(波恩大学)
针对非刚性3D形状匹配中部分性、拓扑噪声等挑战,提出超网络预测非线性神经功能映射(NFM),以无监督方式学习对齐谱基,显著提升匹配精度。
2026-06-29 cs.AI cs.CV
PharmacoMatch: Efficient 3D Pharmacophore Screening via Neural Subgraph Matching
University of Vienna(维也纳大学);Faculty of Life Sciences, University of Vienna(维也纳大学生命科学学院)
针对3D药效团筛选在超大规模分子库中计算成本高的问题,提出基于神经子图匹配与对比学习的 PharmacoMatch,在零样本预筛选中实现显著加速并保持相当性能。
2025-03-14 cs.AI cs.LG q-bio.QM
Improving Subgraph Matching by Combining Algorithms and Graph Neural Networks
SKLCCSE, Beihang University(北京航空航天大学软件学院);TravelSky Technology Limited(TravelSky科技有限公司);Beijing Engineering Research Centerof Civil Aviation Big Data(民航大数据北京工程研究中心)
HFrame通过结合传统算法与图神经网络,提高了子图同态的匹配效率和准确性。
2025-12-17 cs.AI
Neural Minimum Weight Perfect Matching for Quantum Error Codes
本文提出神经最小权重完美匹配解码器,结合图神经网络和Transformer预测动态边权重,提升量子纠错性能,实验显示在去极化噪声下阈值达到17.9%和10.95%。
2026-06-28 cs.AI cs.IT cs.LG
Hierarchical Graph Neural Network with Cross-Attention for Cross-Device User Matching
NVIDIA(英伟达);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对跨设备用户匹配中难以处理日志间长程依赖和高阶连接的问题,提出层次图神经网络(HGNN)和交叉注意力机制,计算效率优于TGCE且性能提升5%。
2023-10-20 cs.AI cs.CR cs.LG
Neural Intrinsic Embedding for Non-rigid Point Cloud Matching
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室)
点云作为一种原始的三维数据表示形式,在三维传感中占有重要地位,但缺乏底层物体的内在结构信息。这种差异对直接建立从可变形形状采样的点云之间的对应关系提出了巨大的挑战。鉴于此,我们提出了神经内在嵌入(NIE),以尊重内在结构的方式将每个顶点嵌入到高维空间中。在此基础上,我们进一步提出了一个弱监督学习的非刚性点云配准框架。与先前的工作不同,我们不需要扩展和敏感的离线基础构造(例如,拉普拉斯算子的特征分解),我们也不需要用于监督的地面真实对应标签。我们的经验表明,我们的框架表现与最先进的基线相当,甚至更好,这通常需要更多的监督和/或更多的结构几何输入。
2023-03-02 cs.AI cs.CV
Generative Moment Matching Network-based Random Modulation Post-filter for DNN-based Singing Voice Synthesis and Neural Double-tracking
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
本文提出了一种基于生成矩匹配网络(GMMN)的后置滤波器,为基于深度神经网络(DNN)的歌唱声合成提供话语间音高变化。人类歌唱声音的自然音高变化带来了更丰富的音乐体验,并用于双声道,这是一种记录方法,其中同一乐句的两次表演被记录和混合,以创造更丰富,层次感更强的声音。然而,使用传统的基于DNN的方法合成的歌唱声音永远不会变化,因为合成过程是确定性的,并且从一个乐谱仅合成一个波形。为了解决这个问题,我们使用GMMN来模拟自然歌唱声音的音调轮廓的调制频谱的变化,并将随机话语间变化添加到由传统的基于DNN的歌唱声音合成生成的音调轮廓。实验结果表明,1)我们的方法可以提供可感知的话语间的音高变化,同时保持语音质量。我们将我们的方法扩展到双重跟踪,并且评估表明2)基于GMMN的神经双重跟踪比传统的基于信号处理的人工双重跟踪在感知上更接近自然双重跟踪。
2019-02-09 cs.AI cs.LG cs.MM
CodecFlow: Efficient Bandwidth Extension via Conditional Flow Matching in Neural Codec Latent Space
Singapore Institute of Technology(新加坡理工学院);Nanyang Technological University(南洋理工大学);National University of Singapore(国立新加坡大学)
CodecFlow通过条件流匹配和结构受限量化器,在神经编解码器潜在空间中实现高效语音带宽扩展,提升频谱保真度和感知质量。
2026-10-14 cs.AI cs.SD
UniFluids: Unified Neural Operator Learning with Conditional Flow-matching
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Microsoft Research Asia(微软亚洲研究院);Renmin University of China(中国人民大学);Institute of Zoology, Chinese Academy of Sciences(中国科学院动物研究所)
本文提出UniFluids框架,利用扩散Transformer的可扩展性,统一学习不同维度和物理变量的PDE解算子,通过四维时空表示实现联合训练与条件编码,提升预测精度与泛化能力。
2026-03-19 cs.AI cs.LG
xNeuSM: Explainable Neural Subgraph Matching with Graph Learnable Multi-hop Attention Networks
Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);Vietnam National University Ho Chi Minh City(胡志明市越南国家大学);Griffith University(格里菲斯大学)
本文提出xNeuSM可解释神经子图匹配方法,通过图可学习多跳注意力网络GLeMA自适应学习每个节点的注意力衰减参数,在提升预测准确率高达34%的同时实现比精确算法快七倍以上的查询速度。
2023-12-04 cs.AI cs.LG
Generative Latent Neural PDE Solver using Flow Matching
Carnegie Mellon University(卡内基梅隆大学)
提出一种基于流匹配的潜在扩散模型,将PDE状态嵌入低维空间,降低计算成本,并在准确性和长期稳定性上优于确定性基线。
2025-03-28 cs.AI cs.LG
Matching Learned Causal Effects of Neural Networks with Domain Priors
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);Microsoft Research(微软研究院)
一个经过训练的神经网络可以被解释为一个结构因果模型(SCM),它提供了改变输入变量对模型输出的影响。然而,如果训练数据包含因果关系和相关关系两者,则优化预测精度的模型可能不一定学习输入变量和输出变量之间的真实因果关系。另一方面,专家用户通常具有关于某些输入变量与来自领域知识的输出之间的因果关系的先验知识。因此,我们提出了一种正则化方法,该方法将神经网络的学习因果效应与域先验(包括直接因果效应和总因果效应)对齐。我们表明,这种方法可以推广到不同类型的域先验,包括单调性的因果效应的输入变量对输出或零因果效应的变量对输出的公平性的目的。我们在12个基准数据集上的实验表明,它在正则化神经网络模型以保持期望的因果效应方面具有实用性,而不影响准确性。重要的是,我们还证明了这样训练的模型是鲁棒的,并且在有噪声的输入上提高了准确性。
2022-06-29 cs.AI cs.LG