Modeling Hierarchical Structures with Continuous Recursive Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
递归神经网络（RvNN），根据其底层的层次句法结构组成序列，在几个自然语言处理任务中表现良好，与没有结构偏差的类似模型相比。然而，传统的RvNN无法自己在纯文本序列中诱导潜在结构。已经提出了几种扩展来克服这种限制。然而，这些扩展往往依赖于代理梯度或强化学习，代价是更高的偏差或方差。在这项工作中，我们提出了连续递归神经网络（CRvNN）作为一个反向传播友好的替代方案，以解决上述限制。这是通过将连续弛豫结合到诱导结构来完成的。我们证明了CRvNN在逻辑推理和ListOps等具有挑战性的合成任务中具有很强的性能。我们还表明，CRvNN在现实世界的任务，如情感分析和自然语言推理上的表现优于或优于先前的潜在结构模型。
2021-06-10 cs.AI cs.CL cs.LG
Recursive Estimation of Conditional Kernel Mean Embeddings
Institute for Computer Science and Control (SZTAKI)（计算机科学与控制研究所（SZTAKI））；Eötvös Loránd University (ELTE)（厄特沃什·罗兰大学（ELTE））
本文提出一种在Bochner空间中递归估计条件核均值映射的新算法，将Stone定理推广到局部紧波兰空间上的希尔伯特空间值回归，证明了弱与强L2一致性并给出强渐近界，在欧氏空间、黎曼流形和函数空间子集上验证了效果。
2024-08-30 cs.LG stat.ME stat.ML
Recursive Multikernel Filters Exploiting Nonlinear Temporal Structure
University of Cantabria（坎塔布里亚大学）；Sapienza University（罗马大学）
在核方法中，通常通过使用时间延迟嵌入作为输入来包括关于数据的时间信息。最近，通过在再生核Hilbert空间中显式定义伽马滤波器，提出了一种替代公式，从而产生了一个复杂的模型，其中多个核对输入信号的不同时间组合进行操作。在原始公式中，然后简单地组合内核以获得单个内核矩阵（例如通过平均），这提供了计算优势，但丢弃了关于信号的时间结构的重要信息。受多核学习工作的启发，我们通过单独考虑不同的内核来克服这个缺点。我们提出了一种有效的策略，在训练阶段自适应地组合和选择这些内核。由此产生的批处理和在线算法自动学习处理从输入信号中提取的高度非线性的时间信息，这些信息隐式地编码在核值中。我们评估了我们的建议在几个人工和真实的任务，表明它可以优于经典的方法，在批量和在线设置。
2017-06-12 cs.LG stat.ML
The Impact of Isolation Kernel on Agglomerative Hierarchical Clustering Algorithms
Deakin University（迪肯大学）；Nanjing University（南京大学）
针对现有基于距离的凝聚层次聚类难以识别密度不同的相邻簇的问题，本文分析问题成因，提出用数据依赖核解决该问题，并将Isolation Kernel应用于多种层次聚类算法，实验证明其生成的树图质量与纯度更优。
2020-10-12 cs.LG
Recursive Sampling for the Nyström Method
MIT（麻省理工学院）
我们给出了核Nyström近似的第一个算法，该算法在训练点数量 * 的线性时间内运行，并且对所有核矩阵都是可证明准确的，而不依赖于正则性或不相干条件。该算法将内核投影到一组$s$界标点上，这些界标点通过它们的 * 脊杠杆分数 * 进行采样，仅需要$O(ns)$内核评估和$O(ns^2)$额外的运行时间。虽然杠杆分数采样一直被认为是Nyström近似的强有力的理论保证，通过采用快速递归采样方案，我们的算法是第一个使该方法可扩展的。从经验上讲，我们发现，它更准确，更低的秩核近似在更短的时间比流行的技术，如均匀采样Nyström近似和随机傅立叶特征的方法。
2017-11-03 cs.DS cs.LG stat.ML
Transport based Graph Kernels
Department of Computer Science and Technology（计算机科学与技术系）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Jiangsu Province（江苏省）
图核是度量图之间相似性的有力工具。现有的图核大多集中在节点标签或属性上，忽略了图的层次结构信息。为了有效利用图的层次结构信息，提出了基于最优传输的金字塔图核。每个图都嵌入到金字塔的分层结构中。然后，OT距离被用来衡量图之间的相似性的层次结构。利用OT距离度量子图之间的相似性，提出了基于OT的子图核。基于最优传输距离的图核的半正定性（p.s.d）不一定是可能的。我们进一步提出了基于OT的正则化图核，其中我们将核正则化添加到原始的最优传输距离以获得p.s.d核矩阵。我们在几个基准分类任务上评估了所提出的图内核，并将其性能与现有的最先进的图内核进行了比较。在大多数情况下，我们提出的图核算法优于竞争的方法。
2020-11-02 cs.LG
Fractal Flow: Hierarchical and Interpretable Normalizing Flow via Topic Modeling and Recursive Strategy
School of Mathematics Harbin Institute of Technology（哈尔滨工业大学数学学院）；School of Mathematics and Institute for Artificial Intelligence Harbin Instiute of Technology（哈尔滨工业大学数学学院和人工智能研究院）；School of Earth and Space Sciences and Institute for Artificial Intelligence Peking University（北京大学地球和空间科学学院和人工智能研究院）
本文提出分形流，通过结合Kolmogorov-Arnold网络、Latent Dirichlet Allocation和递归模块化设计，构建层次化可解释的归一化流，在多个数据集上实现潜在聚类、可控生成和更高估计精度。
2025-08-27 cs.LG stat.ML
Interaction Locality in Hierarchical Recursive Reasoning
CyberAgent Inc.（CyberAgent公司）
本文提出交互局部性框架，用于测量信息流是否在附近单元或语义段内传输或跨越，通过在HRM和TRM等层次递归推理模型上应用，验证了局部执行与全局规划的可重复测量框架。
2026-05-20 cs.AI cs.LG
Cortex: A Compiler for Recursive Deep Learning Models
Carnegie Mellon University（卡内基梅隆大学）；OctoML
优化深度学习模型通常分两步执行：（i）高级图优化，例如内核融合;以及（ii）低级内核优化，例如在供应商库中找到的那些内核优化。这种方法通常会留下显著的性能，特别是对于递归深度学习模型的情况。在本文中，我们提出了Cortex，一种基于编译器的方法，用于为低延迟推理的递归模型生成高效代码。我们的编译器方法和对供应商库的低依赖性使我们能够执行端到端优化，在不同的后端上，与过去的工作相比，推理延迟降低了14倍。
2021-03-05 cs.DC cs.LG
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了内存效率和可扩展的算法，用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求，浮点运算的数量，和执行时间大大减少相比，标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分（HSS）矩阵。此外，我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实，-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比，确切的-未压缩-核矩阵，我们的方法可以扩展到$\mathcal{O}(1M)$数据集，其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区，范围从8到784。
2018-03-27 cs.LG stat.ML
Recursive Abstractive Processing for Retrieval in Dynamic Datasets
EPFL（洛桑联邦理工学院）；Philico SA（菲利科公司）
针对动态数据集层次检索结构难以更新的问题，本文提出递归抽象树维护算法及兼容任意检索器的查询导向黑盒检索后处理层，实验证明可有效处理动态数据并提升检索性能。
2024-10-02 cs.CL cs.LG
Hierarchical Clustering: $O(1)$-Approximation for Well-Clustered Graphs
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
层次聚类研究的是将数据集递归地划分为大小依次减小的簇，是数据分析中的一个基本问题。在这项工作中，我们研究了Dasgupta引入的层次聚类的成本函数，并提出了两个多项式时间近似算法：我们的第一个结果是一个$O(1)$ -近似算法的图形的高电导。我们简单的构造绕过了文献中已知的寻找稀疏切割的复杂递归例程。我们的第二个和主要的结果是一个$O(1)$ -近似算法的一个广泛的家庭表现出良好的集群结构的图形。这一结果概括了以前的国家的最先进的，这只适用于从随机模型生成的图形。我们的工作的意义是证明了合成和现实世界的数据集，我们提出的算法优于先前提出的算法具有明确的聚类结构的图的实证分析。
2021-12-16 cs.DS cs.LG
Neural Nonnegative Matrix Factorization for Hierarchical Multilayer Topic Modeling
本文提出了一种基于非负矩阵分解的新方法--神经NMF，用于检测数据中潜在的层次结构。具有层次结构的数据集出现在诸如文档分类、图像处理和生物信息学的各种领域中。神经NMF递归地在层中应用NMF，以发现包含较低级别特征的总体主题。我们推导出一个反向传播优化方案，使我们能够框架分层NMF作为一个神经网络。我们在一个合成的分层数据集、20个新闻组数据集和MyLymeData症状数据集上测试了神经NMF。数值结果表明，神经NMF优于其他层次NMF方法对这些数据集，并提供更好的学习层次结构和主题的可解释性。
2023-02-28 cs.LG stat.ML
On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland at College Park（马里兰大学帕克分校）
我们通过高斯过程和神经切线核研究了各种过参数化卷积神经结构的性质。我们证明，在归一化多通道输入和ReLU激活的情况下，这些具有统一度量的内核的特征函数由球谐函数的乘积形成，定义在不同像素的通道上。接下来，我们使用分层可因子分解核来绑定它们各自的特征值。我们表明，多项式的特征值衰减，量化的衰减率，并得出措施，反映在这些网络中的分层功能的组成。我们的研究结果提供了过参数化卷积网络架构的具体定量表征。
2022-03-17 cs.AI cs.LG
Recursive Bayesian Networks: Generalising and Unifying Probabilistic Context-Free Grammars and Dynamic Bayesian Networks
Digital and Cognitive Musicology Lab（数字与认知音乐学实验室）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
概率上下文无关文法（PCFG）和动态贝叶斯网络（DBN）是两种广泛使用的序列模型，它们具有互补的优势和局限性。虽然PCFG允许嵌套的分层依赖关系（树结构），但它们的潜在变量（非终结符）必须是离散的。相反，DBN允许连续的潜在变量，但依赖关系是严格顺序的（链结构）。因此，如果假设潜变量是连续的，并且还具有嵌套的分层依赖结构，则两者都不能应用。在本文中，我们提出了递归贝叶斯网络（RBN），它概括和统一PCFG和DBN，结合它们的优势，并包含两者作为特例。RBN定义了具有离散或连续潜在变量的树结构贝叶斯网络的联合分布。主要的挑战在于在可能的结构和连续变量的指数数量上执行联合推断。我们提供两种解决方案：1）对于任意RBN，我们将内部和外部概率从PCFG推广到混合离散-连续情况，这允许通过梯度下降对连续潜变量进行最大后验估计，同时对网络结构进行边缘化。2)对于高斯RBN，我们还推导出一个解析近似，允许鲁棒的参数优化和贝叶斯推理。RBN的能力和不同的应用程序上说明了两个例子：在合成数据的定量评估，我们展示和讨论的优势，RBN的分割和树诱导噪声序列，相比，变点检测和层次聚类。在音乐数据的应用程序中，我们从原始音符水平的层次音乐分析的未解决的问题，并比较我们的结果，专家注释。
2022-01-15 cs.AI cs.IR cs.LG
An algorithm for the computation of joint Hawkes moments with exponential kernel
Nanyang Technological University（南洋理工大学）
本文给出了一种计算具有指数核的Hawkes过程的联合矩和累积量的递推算法及其在Maple和Mathematica中的实现。数值结果和计算时间也进行了讨论。获得封闭形式的表达式可能是计算密集型的，因为联合五阶累积量和矩公式可以分别扩展到多达3，288和27，116个被加数。
2021-10-25 cs.LG cs.NA math.NA
