Transfer Learning for Content-Based Recommender Systems using Tree Matching
Deutsche Telekom Labs（德国电信实验室）；Ben-Gurion University（本-古里安大学）
在本文中，我们提出了一种新的方法，基于内容的迁移学习解决数据稀疏性问题的情况下，用户的偏好在目标域是稀缺的或不可用的，但必要的信息存在于另一个域的偏好。我们表明，训练系统使用跨域的信息可以产生更好的性能。具体来说，我们表示用户的行为模式的基础上的拓扑图结构。每个行为模式代表一组用户的行为，当用户的行为被定义为他们评分的项目和项目的评分值时。在下一步中，我们将找到源域中的行为模式与目标域中的行为模式之间的相关性。这种映射被认为是两个域之间的桥梁。基于项目的相关性和内容属性，我们训练一个机器学习模型来预测用户在目标领域的评分。当我们将我们的方法与真实世界数据集上的流行度方法和KNN跨域方法进行比较时，结果显示，在平均83个$%$的情况下，我们的方法优于这两种方法。
2013-05-15 cs.IR cs.LG
DecisioNet: A Binary-Tree Structured Neural Network
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
深度神经网络（DNN）和决策树（DT）都是最先进的分类器。DNN由于其代表性学习能力而表现良好，而DT在计算上是高效的，因为它们沿着依赖于输入数据的一条路线（根到叶）执行推理。在本文中，我们提出了DecisioNet（DN），二叉树结构的神经网络。我们提出了一种系统的方法来将现有的DNN转换为DN，以创建原始模型的轻量级版本。DecisioNet两全其美-它使用神经模块来执行代表性学习，并利用其树结构来执行仅一部分计算。我们评估了各种DN架构，以及它们在FashionMNIST、CIFAR 10和CIFAR 100数据集上的相应基线模型。我们表明，DN变体实现了类似的准确性，同时显着降低了原始网络的计算成本。
2022-11-19 cs.CV cs.LG
Tree-structured composition in neural networks without tree-structured architectures
Stanford University（斯坦福大学）
树结构神经网络在网络设计中为句子编码特定的树几何形状。然而，这些模型充其量只是稍微优于更简单的基于序列的模型。我们假设像LSTM这样的神经序列模型实际上能够发现并隐式地使用递归组合结构，至少对于数据中具有该结构的明确线索的任务来说。我们证明了这种可能性，使用人工数据任务的递归组成结构是至关重要的，并发现一个基于LSTM的序列模型确实可以学习利用底层的树结构。然而，它的性能始终落后于树模型，即使在大型训练集上也是如此，这表明树结构模型在利用递归结构方面更有效。
2015-11-09 cs.CL cs.LG
Personalized News Recommendation with Context Trees
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
大量的在线新闻文章使得很难找到有趣的文章，这个问题可以通过使用推荐系统来缓解，从而将最相关的新闻故事带给读者。然而，新闻推荐具有挑战性，因为最相关的文章通常是很少用户看到的新内容。此外，它们会随着时间的推移而受到趋势和偏好变化的影响，在许多情况下，我们没有足够的信息来分析读者。本文介绍了一类基于上下文树的新闻推荐系统。他们可以提供高质量的新闻推荐给匿名访问者的基础上，目前的浏览行为。我们表明，上下文树推荐系统提供了良好的预测精度和推荐新颖性，他们是足够灵活的捕捉新闻文章的独特属性。
2014-11-03 cs.IR cs.LG stat.ML
Tensor Decompositions in Recursive Neural Networks for Tree-Structured Data
Dipartimento di Informatica - Università di Pisa（比萨大学信息学系）
本文介绍了两个新的聚合函数编码的结构知识，从树结构的数据。它们利用Canonical和Tensor-Train分解来产生富有表现力的上下文聚合，同时限制模型参数的数量。最后，我们定义了两个新的神经递归模型的树利用这样的聚合功能，我们测试它们的两个树分类任务，显示出所提出的模型的优势时，树outdegree增加。
2020-08-13 cs.LG stat.ML
Modified Adaptive Tree-Structured Parzen Estimator for Hyperparameter Optimization
Warsaw University of Technology（华沙理工大学）；AGH University of Krakow（克拉科夫AGH大学）
本文回顾了机器学习超参数优化方法，重点针对ATPE算法提出多项修改，并在标准基准函数上验证了其显著提升优化效果，具有实际应用价值。
2025-02-02 cs.LG
Tree-Structured Boosting: Connections Between Gradient Boosted Stumps and Full Decision Trees
University of Pennsylvania（宾夕法尼亚大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）；University of Maryland Medical Center（马里兰大学医学中心）
加法模型，例如由梯度提升产生的，以及全交互模型，例如分类和回归树（CART），是广泛使用的算法，这些算法在很大程度上被孤立地研究。我们表明，这些模型存在于一个频谱，揭示了这两种方法之间前所未有的联系。本文介绍了一种新的技术，称为树结构的提升，用于创建一个单一的决策树，并表明，这种方法可以产生模型相当于CART或梯度提升树桩在极端情况下，通过改变一个参数。虽然树结构提升的设计主要是为了提供模型的可解释性和高风险应用（如医学）所需的预测性能，但它也可以产生由CART和提升的树桩之间的混合模型表示的决策树，这些混合模型可以优于这些方法。
2017-11-18 cs.LG stat.ML
Tree-Structured Neural Machine for Linguistics-Aware Sentence Generation
University of Chinese Academy of Sciences（中国科学院大学）；Department of Computer Science, University of California Santa Barbara（加州大学圣塔芭芭拉分校计算机科学系）；WeChat Search Application Department, Tencent（腾讯微信搜索应用部）
与其他序列数据不同，自然语言中的句子是由语言语法构成的。以前的生成会话模型与链结构解码器忽略了人类语言中的这种结构，可能会产生令人满意的相关性和流畅性较差的似是而非的反应。在这项研究中，我们的目标是将语言分析的结果融入到句子生成的过程中，以生成高质量的会话。具体来说，我们使用依赖分析器将每个响应句子转换为依赖树，并构建一个训练语料库的依赖树对。一个树结构的解码器被开发来学习从一个句子到它的树的映射，其中不同类型的隐藏状态被用来描述从一个内部树节点到它的孩子的局部依赖。为了加快训练速度，我们提出了一种树规范化方法，将树转换为等价的三叉树。然后，提出了一种树结构的搜索方法，该模型能够生成最可能的响应的依赖树的形式，这是最后平整成序列作为系统输出。实验结果表明，提出的X2Tree框架优于基线方法超过11.15%的接受率增加。
2018-01-03 cs.AI cs.CL cs.LG
SRT: Accelerating Reinforcement Learning via Speculative Rollout with Tree-Structured Cache
Cornell University（康奈尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；University of Washington（华盛顿大学）；ByteDance（字节跳动）
SRT通过树结构缓存的推测式回滚方法，有效加速语言模型的在线强化学习，提升生成效率并降低推理成本。
2026-01-14 cs.LG
Learning Program Representations with a Tree-Structured Transformer
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
学习程序的向量表示是将深度学习技术应用于程序理解任务的关键步骤。提出了各种神经网络模型来从树结构的程序表示学习，例如，抽象语法树（AST）和具体语法树（CST）。然而，大多数神经架构要么无法捕获程序中普遍存在的长程依赖关系，要么无法学习语法树节点的有效表示，使它们无法执行节点级预测任务，例如，缺陷定位在本文中，我们提出了Tree-Transformer，一种新的递归树结构的神经网络学习的矢量表示的源代码。我们提出了一个多头注意力机制来模拟兄弟节点和父子节点对之间的依赖关系。此外，我们提出了一个双向传播策略，让节点的信息传递在两个方向，自下而上和自上而下沿树。通过这种方式，Tree-Transformer可以学习节点特征的信息以及全局上下文信息。大量的实验结果表明，我们的Tree-Transformer显着优于现有的基于树和基于图的程序表示学习方法在树级和节点级的预测任务。
2023-01-07 cs.LG cs.SE
A constrained recursion algorithm for batch normalization of tree-sturctured LSTM
National Institute of Informatics（国立信息学研究所）；Keio University（庆应义塾大学）
树结构的LSTM是考虑层次结构上的长距离交互的有前途的方法。然而，关于树结构LSTM的构造和遍历的超参数调整的研究很少。举几个例子，诸如状态初始化的间隔、用于规范化的批量的数量之类的超参数在应用批量归一化以降低训练成本和并行化时没有被特别地探索。在本文中，我们提出了一种新的递归算法来遍历批量规范化树结构的LSTM。在建议方法中，我们对递归算法施加约束，用于LSTM二叉树表示的深度优先搜索，其中应用了批量归一化。通过约束递归，我们可以控制在批量归一化过程中生成的多个树结构LSTM的遍历中的超参数。树遍历分为两步。在第一阶段，对模型进行宽度优先搜索，以发现最新的树结构LSTM块的起点。然后，运行深度优先搜索来遍历树结构的LSTM。所提出的方法使我们能够探索递归神经网络实现的超参数的优化选择，通过改变我们的递归算法的约束。在实验中，我们测量并绘制了验证损失和计算时间随树结构LSTM状态初始化的内部长度的变化。实验结果表明，该方法对于树型结构LSTM的批处理次数和状态初始化间隔长度等超参数整定是有效的。
2020-08-21 cs.LG cs.NE
HTML-LSTM: Information Extraction from HTML Tables in Web Pages using Tree-Structured LSTM
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Sony Group Corporation（索尼集团公司）
本文提出HTML-LSTM方法，通过扩展树结构LSTM融合语言与结构信息，将结构不同但内容相似的多个HTML表格整合为单一表格，以支持跨网页信息检索。
2024-09-28 cs.IR cs.LG
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University（波士顿大学）；Draper（德雷珀实验室）
许多常见的顺序数据源（如源代码和自然语言）都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成，从而产生序列中标记的层次排序。这种结构编码了高度的句法信息，使其成为解决语法纠正等问题的理想方法。然而，很少有工作已经做了开发神经网络，可以操作和利用树结构的数据。在本文中，我们提出了树转换器\textemdash{}，一种新的神经网络架构，旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上，我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面，我们取得了与最复杂的最先进系统相当的结果，在CoNLL 2014基准测试中获得了$10\%$召回率的改善，并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Near-Optimal Learning of Tree-Structured Distributions by Chow-Liu
National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
我们为经典的Chow-Liu算法（IEEE Trans.~通知。~理论，1968年）来学习一个分布的树结构图形模型。对于$Σ^n$上的分布$P$和$n$节点上的树$T$，如果存在$T$结构的分布$Q$使得$D(P\;||\;Q)$至多比$P$的最佳可能树结构分布多$\varepsilon$，则我们说$T$是$P$的$\varepsilon$近似树。我们证明了如果$P$本身是树结构的，那么带有$\widetilde{O}(|Σ|^3 n\varepsilon^{-1})$ i.i.d.~ samples以恒定概率输出$P$的$\varepsilon$近似树。相反，对于一般的$P$（可能不是树结构），需要$Ω(n^2\varepsilon^{-2})$样本来找到$\varepsilon$近似树。我们的上界基于一个新的条件独立性测试器，该测试器解决了Canonne，Diakonikolas，Kane和Stewart~（STOC，2018）提出的一个开放问题：我们证明了对于三个随机变量$X,Y,Z$，每个随机变量都超过$Σ$，测试$I(X; Y \mid Z)$是否是$0$或$\geq \varepsilon$是可能的，使用$\widetilde{O}(|Σ|^3/\varepsilon)$样本。最后，我们表明，对于一个特定的树$T$，与$\widetilde{O} (|Σ|^2n\var…
2021-07-22 cs.DS cs.IT cs.LG
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
Stanford University（斯坦福大学）；MetaMind Inc.（MetaMind公司）
由于其随时间推移保留序列信息的卓越能力，长短期记忆（LSTM）网络（一种具有更复杂计算单元的递归神经网络）在各种序列建模任务上获得了很好的结果。到目前为止，我们唯一探索过的LSTM底层结构是线性链。然而，自然语言表现出自然地将单词组合成短语的句法属性。我们介绍了Tree-LSTM，这是LSTM对树结构网络拓扑的推广。Tree-LSTM在两个任务上优于所有现有系统和强大的LSTM基线：预测两个句子的语义相关性（SemEval 2014，任务1）和情感分类（斯坦福情感树库）。
2015-05-30 cs.AI cs.CL cs.LG
Additive Tree-Structured Covariance Function for Conditional Parameter Spaces in Bayesian Optimization
ESAT-PSI, KU Leuven, Belgium（比利时鲁汶大学ESAT-PSI实验室）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们在优化基准函数以及神经网络模型压缩问题上演示了我们的方法，实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-06-21 cs.LG stat.ML
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
On the Expressive Power of Tree-Structured Probabilistic Circuits
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究树结构与 DAG 结构概率电路的表达能力差异，证明无深度限制时等价树仅需拟多项式大小，但深度受限时二者存在超多项式分离。
2024-10-24 cs.AI cs.LG
Discrete Tree Flows via Tree-Structured Permutations
Purdue University（普渡大学）
虽然连续数据流的标准化已经得到了广泛的研究，但离散数据流直到最近才被探索。然而，这些先前的模型受到与连续流不同的限制。最值得注意的是，基于离散流的模型不能用传统的深度学习方法直接优化，因为离散函数的梯度是未定义的或为零。以前的工作近似的伪梯度的离散函数，但没有解决问题的基本水平。除此之外，与诸如决策树算法的替代离散算法相比，反向传播可能在计算上是繁重的。我们的方法旨在减少计算负担，并消除伪梯度的需要，通过开发一个基于决策树的离散流-建立在有效的基于树的方法的分类和回归离散数据的成功。我们首先定义了一个树结构的置换（TSP），压缩编码的置换的离散数据的逆是很容易计算的，因此，我们可以有效地计算密度值和采样新的数据。然后，我们提出了一个决策树算法来建立TSP，学习的树结构和排列在每个节点通过新的标准。我们实证证明了我们的方法在多个数据集上的可行性。
2022-07-04 cs.AI cs.LG
What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context
Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系）；ByteDance, US（字节跳动（美国））；Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系）
本文研究了LLMs在序列推荐中有效性的关键因素，提出RecPO框架通过整合显式和隐式反馈，提升推荐性能，强调偏好强度和时间上下文的重要性。
2026-04-16 cs.IR cs.LG
TreeAdv: Tree-Structured Advantage Redistribution for Group-Based RL
Huawei Technologies Co., Ltd., China（华为技术有限公司）
TreeAdv通过引入树状结构显式化群体回放的探索和优势分配，提升群体强化学习在复杂推理任务中的效率与逻辑深度。
2026-04-09 cs.AI cs.LG
Robust Estimation of Tree Structured Ising Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑学习伊辛模型的任务时，不同的随机变量的符号翻转独立可能不平等的，未知的概率。本文主要研究树型Ising模型的稳健估计问题。如果没有任何附加的边信息假设，这是一个开放的问题。我们首先证明，这个问题是不可识别的，但是，这种不可识别性是有限的一个小的等价类的树形成的叶节点交换位置与他们的邻居。接下来，我们提出了一个算法来解决上述问题的对数样本复杂度的节点数和多项式的运行时间复杂度。最后，我们的经验表明，正如预期的那样，现有的算法并不固有的鲁棒性，而我们的算法正确地恢复基本的等价类。
2020-06-10 cs.LG stat.ML
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Centroid Based Binary Tree Structured SVM for Multi Classification
BITS-Pilani（比尔拉科学技术学院皮拉尼分校）
支持向量机（Support Vector Machines，SVMs）主要用于两类分类。但在实际应用中，基于多类分类的需求，它们也被扩展到N类分类。虽然使用SVM的N类分类有相当大的研究关注，在训练和测试时获得最小数量的分类器仍然是一个持续的研究。我们提出了一种新的算法CBTS-SVM（基于质心的二叉树结构的SVM），解决了这个问题。在此，我们建立了一个二叉树的SVM模型的基础上的相似性的类标签，找到他们的距离，从相应的质心在根级别。实验结果表明，CBTS与OVO具有合理的伽马值和成本值的可比精度。另一方面，当CBTS与OVA相比，它提供了更好的准确性，减少了训练时间和测试时间。此外，CBTS也是可扩展的，因为它能够处理大型数据集。
2015-12-02 cs.LG
Structured Multi-Label Biomedical Text Tagging via Attentive Neural Tree Decoding
University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Northeastern University（东北大学）
我们提出了一个模型，用于标记非结构化文本，其中任意数量的术语来自树结构词汇表（即，本体）。我们将其视为序列到序列学习的特殊情况，其中解码器从本体树的根结点开始，并递归地选择扩展子节点作为输入文本、当前节点和潜在解码器状态的函数。在我们的实验中，所提出的方法优于国家的最先进的方法的重要任务，自动分配MeSH术语的生物医学摘要。
2018-10-02 cs.IR cs.LG stat.ML
From WiscKey to Bourbon: A Learned Index for Log-Structured Merge Trees
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；Microsoft Gray Systems Lab（微软格雷系统实验室）
我们介绍BOURBON，这是一种利用机器学习来提供快速查找的日志结构合并（LSM）树。我们的设计和实施的BOURBON的基础上，我们通过仔细分析LSM设计的原理，我们得出的。BOURBON使用贪婪分段线性回归来学习密钥分布，从而实现以最小计算量快速查找，并应用成本效益策略来决定何时值得学习。通过对合成数据集和真实数据集的一系列实验，我们表明，与最先进的生产LSM相比，BOURBON将查找性能提高了1.23倍-1.78倍。
2020-10-30 cs.DB cs.LG
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
Sum-Product-Set Networks: Deep Tractable Models for Tree-Structured Graphs
Artificial Intelligence Center, Czech Technical University（捷克技术大学人工智能中心）
针对现有生成式概率模型在树结构图上推断不可处理的问题，提出将概率电路扩展到树结构图数据的和积集网络，通过随机有限集实现高效精确推断，性能与多种神经网络类不可处理模型相当。
2024-08-18 cs.AI cs.LG
Robust estimation of tree structured Gaussian Graphical Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
联合考虑高斯随机变量，其条件独立结构由图模型指定。如果我们观察变量的实现，我们可以计算协方差阵，众所周知，逆协方差阵的支持对应于图形模型的边缘。相反，假设我们只有噪声观测。如果每个节点上的噪声是独立的，我们可以计算协方差阵和一个未知对角线的和。这个和的逆（一般来说）是稠密的。我们要问：原来的独立结构还能恢复吗？我们解决这个问题的树结构的图形模型。我们证明了这个问题是不可识别的，但这种不可识别性仅限于一类候选树。我们进一步提出了额外的限制下，这个问题是可以识别的。最后，我们提供了一个O（n^3）算法来找到这个等价类的树。
2019-01-25 cs.LG stat.ML
Dynamic Trees: A Structured Variational Method Giving Efficient Propagation Rules
动态树是树结构信念网络的混合。它们解决了固定树网络的一些问题，但代价是使精确推理变得难以处理。为此，使用了诸如采样或平均场方法之类的近似方法。然而，平均场近似假设在节点状态上的分解分布。这样的分布在后验中看起来很不协调，因为节点在前验中高度相关。在这里，使用结构化变分方法，其中非证据节点的后验分布本身由动态树近似。事实证明，这种形式可以灵活有效地使用。其结果是一组更新规则，可以通过网络传播信息，以获得完整的变分近似和相关的边缘。该规则比平均场方法更有效，在推理的定量和定性方面都有明显的改进。计算的边缘给出了更好的近似后比一个小玩具问题上的循环传播。
2013-01-16 cs.AI cs.LG stat.ML
Robust estimation of tree structured models
Institut de Matemàtiques de la UPC-BarcelonaTech (IMTech)（加泰罗尼亚理工大学巴塞罗那技术学院数学研究所（IMTech））；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Centre de Recerca Matemàtica（数学研究中心）；Universitat Pompeu Fabra（庞培法布拉大学）
考虑从损坏的数据中学习树上的无向图模型的问题。最近，Katiyar等人证明了从噪声二进制数据中恢复树到一个小的等价类的可能树是可能的。他们的另一篇关于高斯情形的论文遵循类似的模式。通过将其作为一个特殊的系统发育恢复问题，我们在很大程度上概括了这两种情况。利用线性潜在树模型的框架，我们讨论了连续损坏模型下的二进制数据的树可识别性。对于伊辛和高斯树模型，我们还提供了一个特征时，Chow-Liu算法始终学习的基础树的噪声数据。
2021-02-10 cs.LG math.ST stat.ML
Approximation capability of neural networks on spaces of probability measures and tree-structured domains
Czech Technical University in Prague（捷克理工大学）；Cisco Systems, Inc.（思科系统公司）；Charles University（查理大学）
本文将欧氏空间上连续（甚至可测）函数空间中神经网络的稠密性证明推广到概率测度紧集上的函数。通过这样做的工作平行的平均映射嵌入的概率测度在再生核希尔伯特空间的一个多，然后十年的老结果。这项工作对多示例学习有着广泛的实际影响，它在理论上证明了一些最近提出的结构。然后将结果扩展到笛卡尔积，得到树结构域的通用近似定理，这些域自然会出现在JSON，XML，YAML，AVRO和ProtoBuffer等数据交换格式中。这具有重要的实际意义，因为它能够自动创建用于处理结构化数据（AutoML范式）的神经网络架构，如JSON格式的附带库所示。
2019-06-03 cs.LG stat.ML
Learning of Tree-Structured Gaussian Graphical Models on Distributed Data under Communication Constraints
Sharif University of Technology（谢里夫理工大学）
在本文中，学习树结构的高斯图形模型从分布式数据。在我们的模型中，样本存储在一组分布式机器中，其中每台机器只能访问一个子集的功能。然后，中央机器负责基于从其他节点接收的消息来学习结构。我们提出了一套有效的沟通策略，理论上证明，传达足够的信息，可靠的学习的结构。特别是，我们的分析表明，即使每台机器只发送其本地数据样本的标志到中心节点，树结构仍然可以恢复高精度。我们在合成和真实世界数据集上的模拟结果表明，我们的策略在推断底层结构方面达到了预期的准确性，同时在通信上花费了少量预算。
2018-09-21 cs.LG stat.ML
Tree-structured Attention with Hierarchical Accumulation
Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
类似选区树的分层结构已经被证明对于各种自然语言处理（NLP）任务是有效的。然而，很明显，像Transformer这样的基于序列的最新技术（SOTA）模型很难固有地编码这样的结构。另一方面，像Tree-LSTM这样的专用模型，虽然显式地对层次结构进行建模，但性能不如Transformer。在本文中，我们试图弥合这一差距与“分层积累”编码解析树结构到自注意在恒定的时间复杂度。我们的方法优于SOTA方法在四个IWITOS翻译任务和WMT'14英语-德语翻译任务。它还在三个文本分类任务上对Transformer和Tree-LSTM进行了改进。我们进一步证明，使用分层先验可以弥补数据短缺，我们的模型更喜欢短语级的注意力令牌级的注意力。
2020-02-19 cs.CL cs.LG
Decentralized Learning of Tree-Structured Gaussian Graphical Models from Noisy Data
Shanghai Jiao Tong University（上海交通大学）
本文研究了噪声数据中树结构高斯图模型的分散学习问题。在分散式学习中，数据集分布在不同的机器（传感器）上，GGM被广泛用于对基因调控网络和社交网络等复杂网络进行建模。所提出的分散学习使用Chow-Liu算法来估计树结构GGM。在以前的工作中，上界的概率不正确的树结构恢复大多是没有任何实际的噪音简化。本文研究了三种常见的噪声信道：高斯信道、擦除信道和二进制对称信道。对于高斯信道的情况下，为了满足故障概率上界$δ> 0$在恢复$d$节点树结构，我们提出的定理只需要$\mathcal{O}(\log(\frac{d}δ))$样本的最小样本大小（$n$）相比，以前的文献\cite{Nikolakakis}与$\mathcal{O}(\log^4(\frac{d}δ))$样本，通过使用正相关系数的假设，在文献中的一些重要的工作。此外，近似有界高斯随机变量的假设没有出现在\cite{Nikolakakis}。在给定关于树结构的一些知识的情况下，所提出的聚类界限将在小样本大小的情况下实现明显更好的性能（例如，$< 2000$）与公式化界限的比较。最后，我们通过在合成数据集上进行模拟来验证我们的理论结果。
2021-09-22 cs.AI cs.LG
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University（南京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Squirrel AI Learning（松鼠AI智适应教育）
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能，例如神经机器翻译，语义解析和数学单词问题解决。然而，这些模型要么只考虑输入对象作为序列，而忽略了重要的结构信息的编码，或他们简单地处理输出对象作为序列输出，而不是结构对象的解码。在本文中，我们提出了一种新的图到树神经网络，即Graph 2 Tree组成的图编码器和分层树解码器，编码增强的图结构的输入和解码的树结构的输出。特别是，我们研究了我们的模型解决两个问题，神经语义解析和数学单词问题。我们广泛的实验表明，我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
A Framework for End-to-End Learning on Semantic Tree-Structured Data
Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）
虽然学习模型通常是针对固定维度特征向量形式的输入进行研究的，但现实世界的数据很少以这种形式出现。为了满足传统学习模型的基本要求，结构化数据通常需要手工转换为固定长度的向量，这不仅繁琐，而且可能导致信息丢失。结构化数据的一种常见形式是我们所称的“语义树结构”，对应于其中丰富的语义信息以组合方式编码的数据，例如以JavaScript对象表示法（JSON）和可扩展置标语言（XML）表示的那些。对于树结构数据，已经研究了几种学习模型以允许直接对原始树结构数据进行工作。然而，这样的学习模型限于特定的树拓扑或特定的树结构数据格式，例如，合成解析树在本文中，我们提出了一个新的框架，通用语义树结构的数据的任意拓扑结构和异构数据类型，如数据表示的JSON，XML等的端到端的学习受到的工作在递归和递归神经网络，我们开发了我们的框架的JSON格式的示例神经实现。我们在几个UCI基准数据集上评估了我们的方法，包括消融和数据效率研究，以及玩具强化学习任务。实验结果表明，我们的框架产生相当的性能使用标准模型与专用的特征向量一般，甚至超过基线性能的情况下，组成性质的数据是特别重要的。我们的框架的基于JSON的实现的源代码以及实验可以在https://github.com/EndingCredits/json2vec下载。
2020-02-13 cs.LG stat.ML
Identifying Protein-Protein Interaction using Tree LSTM and Structured Attention
University of Western Ontario（西安大略大学）
识别蛋白质之间的相互作用对于理解潜在的生物过程非常重要。从原始文本中提取蛋白质相互作用（PPI）通常非常困难。以前的监督学习方法在人类注释的数据集上使用手工制作的特征。在本文中，我们提出了一种新的树递归神经网络结构的注意力架构进行PPI。我们的架构在AIMed和BioInfer基准数据集上实现了最先进的结果（精度，召回率和F1分数）。此外，我们的模型实现了显着的改进，以前的最佳模型没有任何显式的特征提取。我们的实验结果表明，传统的递归网络的监督PPI问题相比，树递归网络的性能较差。
2018-07-27 cs.CL cs.IR cs.LG
TreeQN and ATreeC: Differentiable Tree-Structured Models for Deep Reinforcement Learning
University of Oxford（牛津大学）
将深度无模型强化学习无模型强化学习与在线规划相结合是建立在深度强化学习成功基础上的一种有前途的方法。事实证明，在先验已知过渡模型的环境中，使用前瞻树的在线规划是成功的。然而，在需要从数据中学习过渡模型的复杂环境中，学习模型的缺陷限制了它们在规划中的实用性。为了解决这些挑战，我们提出了TreeQN，这是一种可微分的递归树结构模型，可以作为深度RL中任何具有离散动作的价值函数网络的替代品。TreeQN通过在学习的抽象状态空间中递归地应用转换模型来动态地构建树，然后使用树备份来聚合预测的奖励和状态值以估计Q值。我们还提出了ATreeC，这是一个演员-评论家变体，它用softmax层增强了TreeQN，形成了一个随机策略网络。这两种方法都是端到端训练的，因此学习的模型在树中的实际使用中得到了优化。我们发现，TreeQN和ATreeC在推箱子任务上的表现优于n步DQN和A2 C，以及在多个Atari游戏上的n步DQN和价值预测网络（Oh et al. 2017）。此外，我们提出了消融研究，证明了不同的辅助损失对学习过渡模型的影响。
2018-03-08 cs.AI cs.LG cs.NE
Structured Prediction of Sequences and Trees using Infinite Contexts
Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）
语言结构呈现出丰富的全局现象，然而常用的马尔可夫模型由于其强局部性假设而无法充分描述这些现象。我们提出了一种新的层次模型，利用全局上下文的序列和树的结构化预测的条件下，每一代的决策上的一个无界的上下文先前的决定。这建立在马尔可夫模型的成功基础上，但没有强加一个固定的界限，以便更好地代表全球现象。为了便于学习这个大的和无界的模型，我们使用一个分层Pitman-Yor过程之前，它提供了一个递归形式的平滑。我们提出了基于A* 和马尔可夫链蒙特卡罗抽样的预测算法。实证结果表明，我们的模型相比，基线有限上下文马尔可夫模型的词性标注和句法分析的潜力。
2015-03-09 cs.CL cs.LG
T-WaveNet: Tree-Structured Wavelet Neural Network for Sensor-Based Time Series Analysis
The Chinese University of Hong Kong（香港中文大学）
基于传感器的时间序列分析是活动识别和脑机接口等应用的基本任务。最近，使用深度神经网络（DNN）提取的特征被证明比传统的手工提取的特征更有效。然而，这些解决方案中的大多数仅依赖于网络来提取传感器数据中携带的特定于应用的信息。由于传感器数据的主要信息通常来自于频率分量的一个小子集，本文提出了一种新的用于传感器数据分析的树型小波神经网络，即\emph{T-WaveNet}。具体来说，使用T-WaveNet，我们首先对传感器数据进行功率谱分析，并将输入信号相应地分解为各个频率子带。然后，我们构建了一个树型结构的网络，树上的每个节点（对应于一个频率子带）是建立一个可逆的神经网络（INN）基于小波变换。通过这样做，T-WaveNet为传感器信息提供了比现有的基于DNN的技术更有效的表示，并且它在各种传感器数据集上实现了最先进的性能，包括用于活动识别的UCI-HAR，用于手势识别的OPPORTUNITY，用于意图识别的BCICIV 2a和用于肌肉运动识别的NinaPro DB 1。
2020-12-10 cs.LG eess.SP
Variational Bayesian Methods for a Tree-Structured Stick-Breaking Process Mixture of Gaussians by Application of the Bayes Codes for Context Tree Models
Center for Data Science Waseda University（早稻田大学数据科学中心）
针对树结构断棍过程混合模型现有MCMC方法计算成本高的问题，提出基于上下文树模型贝叶斯编码子程序的变分贝叶斯学习算法，在有限树宽树深假设下实现高效计算，并通过基准数据集实验验证了效率。
2024-09-11 cs.IT cs.LG math.IT
Rethinking Token Prediction: Tree-Structured Diffusion Language Model
本文提出树结构扩散语言模型，通过利用标记间的内在结构，减少参数和内存使用，实现在有限资源下提升性能。
2026-04-04 cs.CL cs.LG
Dynamic sparsity in tree-structured feed-forward layers at scale
CITEC, Bielefeld University（比勒费尔德大学认知交互技术研究中心）；Department of Computer Science, Royal Holloway, University of London（伦敦大学皇家霍洛威学院计算机科学系）
本文研究了树状结构前馈层作为Transformer中密集MLP块的替代方案，实现条件计算无需额外路由网络。通过动态稀疏性技术，在大规模模型中实现高效的语言建模和问答任务。
2026-03-18 cs.AI cs.CL cs.LG
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
Tree-Structured Parzen Estimator: Understanding Its Algorithm Components and Their Roles for Better Empirical Performance
Preferred Networks Inc.（Preferred Networks公司）；University of Freiburg（弗赖堡大学）
本文通过消融实验分析树结构帕森估计器（TPE）各控制参数的作用，提出改进性能的推荐设置。
2026-05-31 cs.AI cs.LG
On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models
Duke University（杜克大学）；Meta Inc.（元公司）
针对深度神经网络缺乏明确概率解释的问题，研究构建了与神经网络精确对应的无限树结构概率图模型，证明其前向传播是该结构下的精确推理近似，补充了相关理论并为融合两类模型优势提供了可能。
2025-01-17 cs.LG stat.ML
Hidden Tree Markov Networks: Deep and Wide Learning for Structured Data
Università di Pisa（比萨大学）
本文介绍了隐树马尔可夫网络（HTN），神经概率混合融合的生成模型的表示能力与神经网络的增量和判别式学习能力的树木。我们提出了一种模块化架构，在该架构中，训练复杂度有限的多个生成模型来学习结构特征检测器，然后在稍后阶段将其输出组合并由神经层集成。在这方面，由于生成模型在输入结构上的展开，该模型既很深，又很宽，因为可以并行训练的生成模块可能很多。实验结果表明，该方法可以优于最先进的语法内核，以及生成内核建立在相同的概率模型的HTN。
2017-11-21 cs.AI cs.LG cs.NE
A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）
近年来，图神经网络（GNNs）由于具有处理图相关问题的优异能力而受到越来越多的关注。在实践中，超参数优化（HPO）对于GNN实现令人满意的结果至关重要，但这个过程成本很高，因为不同超参数设置的评估需要过度训练许多GNN。已经提出了许多方法HPO，其目的是有效地识别有前途的超参数。特别地，已经探索了用于HPO的遗传算法（GA），其将GNN视为黑盒模型，给定一组超参数，只能观察其输出。然而，由于GNN模型非常复杂，并且对GNN上的超参数进行评估非常昂贵，因此GA需要先进的技术来平衡搜索的探索和利用，并在有限的计算资源下使优化更加有效。因此，我们提出了一个树结构的变异策略，遗传算法来缓解这个问题。同时，我们回顾了HPO的最新研究成果，为树结构的思想提供了发展的空间，希望我们的方法能在未来进一步完善这些HPO方法。
2021-04-28 cs.LG cs.NE
TreeCaps: Tree-Structured Capsule Networks for Program Source Code Processing
A*STAR（新加坡科技研究局）；Singapore Management University（新加坡管理大学）
程序理解是软件开发和维护过程中的一项基本任务。软件开发人员通常需要了解大量现有代码，然后才能开发新功能或修复现有程序中的错误。能够自动处理程序设计语言代码并准确地提供代码功能的摘要可以显著帮助开发人员减少在代码导航和理解上花费的时间，从而提高生产力。与自然语言文章不同，程序设计语言中的源代码通常遵循严格的语法结构，并且在通过复杂的控制流和数据流彼此远离的代码元素之间可能存在依赖关系。现有的基于树的卷积神经网络（TBCNN）和门控图神经网络（GGNN）的研究不能准确地捕捉代码元素之间的基本语义依赖。在本文中，我们提出了新的基于树的胶囊网络（TreeCaps）和相关技术，用于以自动化的方式处理程序代码，编码代码语法结构，并更准确地捕获代码依赖关系。基于不同的程序设计语言编写的程序的评价，我们表明，我们的TreeCaps为基础的方法可以优于其他方法在许多程序的功能分类。
2019-10-27 cs.LG cs.SE stat.ML
DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees
Huawei（华为）
针对传统学习型索引忽略存储数据访问成本的问题，本文提出面向LSM树的双目标学习索引DobLIX，结合强化学习动态调参，在RocksDB中相比现有最优方法吞吐量提升1.19-2.21倍。
2025-09-02 cs.DB cs.LG math.OC
Exact Asymptotics for Learning Tree-Structured Graphical Models with Side Information: Noiseless and Noisy Samples
National University of Singapore（新加坡国立大学）
给定边信息，伊辛树结构的图形模型是均匀的，没有外部字段，我们推导出精确的渐近学习其结构从独立绘制的样本。我们的研究结果，利用概率工具从理论上的强大偏差，完善大偏差（误差指数）的结果谭，Anandkumar，童，和Willsky [IEEE trans.日，57（3）：1714- 1735，2011]，并严格改进Bresler和Karzand [Ann. Statist.，2020年]。此外，我们将我们的结果扩展到随机噪声中观察样本的情况。在这种情况下，我们证明了它们严格改进了Nikolakakis，Kalogerias和Sarwate的最近结果[Proc. AISTATS，1771- 1782，2019]。我们的理论结果表明，与实验结果的样本量小到几百。
2020-05-09 cs.IT cs.LG math.IT
Large-scale Interactive Recommendation with Tree-structured Policy Gradient
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
强化学习（RL）最近被引入到交互式推荐系统（IRS）中，因为它具有从动态交互中学习和规划长期性能的性质。由于国税局总是有成千上万的项目推荐（即，成千上万的动作），然而，大多数现有的基于RL的方法不能处理这样大的离散动作空间问题，因此变得低效。现有的工作试图通过利用深度确定性策略梯度框架来处理大的离散动作空间问题，但是连续动作表示（Actor网络的输出）与实际离散动作之间存在不一致。为了避免这种不一致性，并实现高效率和推荐效果，在本文中，我们提出了一个树结构的策略梯度推荐（TPGR）框架，其中一个平衡的层次聚类树的项目和挑选一个项目被制定为寻找路径从根到树的某个叶子。在基于两个真实数据集的精心设计的环境中进行的大量实验表明，我们的模型提供了卓越的推荐性能，并在最先进的方法上显着提高了效率。
2018-11-14 cs.AI cs.LG stat.ML
Predictive Learning on Hidden Tree-Structured Ising Models
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Michigan State University（密歇根州立大学）
我们提供了高概率的样本复杂性保证，使用来自非循环（树形）图形模型的噪声损坏样本进行精确的结构恢复和准确的预测学习。隐变量遵循树结构的伊辛模型分布，而可观测变量是由二进制对称通道生成的，该通道将隐变量作为其输入（以某个恒定概率$q\in [0,1/2)$独立翻转每个位）。在没有噪声的情况下，Bresler和Karzand（2020）最近研究了Ising模型的预测学习;本文通过证明样本复杂度的上限和下限，量化了隐藏模型中的噪声如何影响结构恢复和边缘分布估计的任务。我们的结果概括了现有工作中报道的最先进的界限，他们完全恢复无噪声的情况下（$q=0$）。事实上，对于具有$p$顶点和不正确恢复概率$δ>0$的任何树，足够数量的样本与无噪声情况一样保持对数，即，$\mathcal{O}(\log(p/δ))$，而对$q$的依赖是$\mathcal{O}\big( 1/(1-2q)^{4} \big)$。我们还提出了一个新的等价的符号值树结构分布的Isserlis定理，产生一个新的低复杂度的高阶矩估计算法。
2021-02-17 cs.IT cs.LG math.IT
