Nested Junction Trees
Aalborg University（奥尔堡大学）
Hugin和Shafer-Shenoy架构中的推理效率可以通过利用集团传入消息引起的独立关系来提高。也就是说，要从集团发送的消息可以经由以连接树的形式的集团势的因式分解来计算。在本文中，我们表明，通过利用这种嵌套的连接树在计算的消息，传统的传播方法的空间和时间成本可能会减少。本文提出了一种结构化的方式利用嵌套连接树技术来实现这种减少。该方法的实用性强调通过一个彻底的实证评估，涉及10个大型现实世界的贝叶斯网络和Hugin推理算法。
2013-02-06 cs.AI
Tree-like Pairwise Interaction Networks
InsureAI and University of the Witwatersrand（InsureAI和沃特瓦特斯兰大学）；Department of Mathematics, ETH Zurich（数学系，苏黎世联邦理工学院）
本文提出树状成对交互网络 PIN，通过模仿决策树结构的前馈网络显式建模成对特征交互，在法国车险数据上以更高预测精度超越传统与现代神经网络基准，并兼具内在可解释性与高效 SHAP 计算能力。
2025-08-21 cs.LG stat.AP stat.ML
A Time and Space Efficient Junction Tree Architecture
University College London（伦敦大学学院）
联合树算法是一种计算布尔多变量概率分布的边际的方法，它对随机变量集进行因子分解。联合树算法首先构造一棵树，称为联合树，其顶点是随机变量的集合。然后，该算法执行一个广义版本的联合树上的信念传播。Shafer-Shenoy和Hugin架构是执行这种信念传播的两种方式，以不同的方式权衡时间和空间复杂度：Hugin传播至少与Shafer-Shenoy传播一样快，并且在我们具有高度数的大顶点的情况下明显更快。然而，这种速度的增加是以增加的空间复杂度为代价的。本文首先介绍了一个简单的新颖的架构，STK-1，它具有两全其美：Hugin传播的速度和Shafer-Shenoy传播的低空间需求。一个更复杂的新的架构，n-2，然后介绍了，只有线性的任何顶点的最大基数的一个因素，时间和空间复杂度性至少一样好的n-1，在我们有大的顶点的情况下，高程度的显着快于n-1。
2014-12-23 cs.AI cs.LG
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学（SOKENDAI））；National Institute of Informatics（国立信息学研究所）
软树是决策树的一种正在研究的变体，它使用梯度方法更新分裂规则。虽然软树可以采用各种架构，但它们的影响在理论上并不为人所知。在本文中，我们制定和分析的神经切线核（NTK）诱导的软树集成任意树结构。这个内核导致了一个显着的发现，即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说，如果每个深度的叶子数量是固定的，那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同，即使它们不是同构的。我们还表明，NTK的非对称树，如决策列表不退化时，他们得到无限深。这与完美二叉树形成对比，完美二叉树的NTK已知会退化，并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
Wave-Attractor-Tree: A Hierarchical Binary Tree Reduction Architecture for Efficient Sequence Modeling
本文提出了一种分层二叉树缩减架构，通过递归门控线性单元提升序列建模效率，在长距离依赖任务中优于传统Transformer。
2026-02-28 cs.LG
ASTRA: Adaptive Semantic Tree Reasoning Architecture for Complex Table Question Answering
Zhejiang University（浙江大学）
提出ASTRA架构，通过AdaSTR将表格重构为逻辑语义树，并利用DuTR双模式推理框架结合树搜索文本导航与符号代码执行，在复杂表格问答中达到最优性能。
2026-05-26 cs.AI cs.CL cs.LG
LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search
Sony Group Corporation（索尼集团公司）
本文提出LLMasTool框架，通过树变换实现稳定且开放的模型进化，避免LLM的固有偏差，提升NAS在CIFAR-10、CIFAR-100和ImageNet16-120上的性能。
2026-10-20 cs.AI cs.CV cs.LG
Explainable Graph Neural Architecture Search via Monte-Carlo Tree Search (Full version)
The University of Osaka Japan（大阪大学）
针对现有图神经架构搜索方法缺乏可解释性的问题，提出ExGNAS方法，通过结合简单搜索空间与蒙特卡洛树搜索算法，在保证高准确率和效率的同时实现决策过程的可解释性。
2025-11-04 cs.AI cs.DB cs.LG
Efficient logic architecture in training gradient boosting decision tree for high-performance and edge computing
Ricoh Institute of Information and Communication Technology（理光信息与通信技术研究所）；Ricoh Company（理光公司）
本研究提出一种快速且省电的梯度提升决策树二元分类模型的逻辑架构。我们在FPGA上实现了所提出的逻辑架构，并比较了使用CPU和GPU的三种通用GBDT软件库的训练时间和功耗效率。FPGA上逻辑结构的训练速度比软件库快26-259倍。逻辑架构的功率效率比软件库高90- 1，104倍。结果表明，该逻辑架构适合高性能边缘计算。
2018-12-20 cs.LG stat.ML
Spatial Assembly: Generative Architecture With Reinforcement Learning, Self Play and Tree Search
University of Oxford（牛津大学）；Bartlett School of Architecture, UCL（伦敦大学学院巴特莱特建筑学院）
在这项工作中，我们研究了使用强化学习（RL）的空间组件的生成，通过结合程序生成算法（波函数折叠算法（WFC））和RL的游戏解决的想法。WFC是一种生成式设计算法，受约束求解的启发。在WFC中，定义了一组瓦片/块和约束，并且算法生成满足这些约束的组件。将空间装配体的生成问题转化为一个马尔可夫决策过程，其状态转移由WFC定义，提出了一种利用强化学习和Self-Play学习策略生成装配体的算法，该算法能够最大化设计者设定的目标。最后，我们展示了我们的空间组装算法在建筑设计中的应用。
2021-01-19 cs.AI cs.GR cs.LG
Tree-structured composition in neural networks without tree-structured architectures
Stanford University（斯坦福大学）
树结构神经网络在网络设计中为句子编码特定的树几何形状。然而，这些模型充其量只是稍微优于更简单的基于序列的模型。我们假设像LSTM这样的神经序列模型实际上能够发现并隐式地使用递归组合结构，至少对于数据中具有该结构的明确线索的任务来说。我们证明了这种可能性，使用人工数据任务的递归组成结构是至关重要的，并发现一个基于LSTM的序列模型确实可以学习利用底层的树结构。然而，它的性能始终落后于树模型，即使在大型训练集上也是如此，这表明树结构模型在利用递归结构方面更有效。
2015-11-09 cs.CL cs.LG
TreeGen: A Tree-Based Transformer Architecture for Code Generation
Peking University（北京大学）；University of Alberta（阿尔伯塔大学）
一种代码生成系统基于输入的自然语言描述生成程序设计语言代码。现有技术的方法依赖于神经网络来进行代码生成。然而，这些代码生成器存在两个问题。一个是长依赖性问题，其中代码元素通常依赖于另一个遥远的代码元素。例如，变量引用取决于它的定义，它可能出现在相当多的行之前。另一个问题是结构建模，因为程序包含丰富的结构信息。在本文中，我们提出了一种新的基于树的神经架构，TreeGen，代码生成。TreeGen使用Transformers的注意力机制来缓解长依赖问题，并引入了一种新的AST阅读器（编码器），将语法规则和AST结构纳入网络。我们在一个Python基准测试HearthStone和两个语义解析基准测试ATIS和GEO上评估了TreeGen。TreeGen在HearthStone上的表现超过了之前最先进的方法4.5个百分点，并且在ATIS（89.1%）和GEO（89.6%）上实现了基于神经网络的方法中的最佳准确性。我们还进行了消融测试，以更好地了解我们模型的每个组件。
2019-11-28 cs.LG cs.SE
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
National Institute of Technology Calicut（卡利卡特国家理工学院）
基于树的长短期记忆（LSTM）网络已经成为建模语言文本含义的最先进技术，因为它们可以有效地利用语法句法，从而利用句子中单词之间的非线性依赖关系。然而，这些模型中的大多数都无法识别由单词或短语的语义角色变化引起的含义差异，因为它们不承认句子结构中的语法关系类型，也称为类型依赖。本文提出了一种增强的LSTM架构，称为关系门控LSTM，它可以使用控制输入来建模序列的两个输入之间的关系。我们还引入了一个称为类型依赖树-LSTM的Tree-LSTM模型，它使用句子依赖解析结构以及依赖类型将句子含义嵌入到密集向量中。该模型在两个典型的NLP任务-语义相关性评分和情感分析中，在较少的训练时间内优于其类型未知的对应物。结果与其他最先进的模型相当或具有竞争力。定性分析表明，句子的声音变化对模型的预测分数影响不大，而名词（名词）词的变化有更显着的影响。该模型识别句子对中的微妙语义关系。学习到的类型依赖嵌入的大小也与人类的直觉一致。研究结果表明语法关系在句子建模中的重要性。所提出的模型将作为未来研究在这个方向上的基础。
2020-09-25 cs.AI cs.CL cs.LG
A Tree Architecture of LSTM Networks for Sequential Regression with Missing Data
ASELSAN Research Center（ASELSAN研究中心）；Bilkent University（比尔肯特大学）；DataBoss A.S.（DataBoss公司）
我们研究了包含缺失样本的变长序列数据的回归，并引入了一种新的基于长短期记忆（LSTM）网络的树结构。在我们的架构中，我们采用了可变数量的LSTM网络，这些网络只使用序列中现有的输入，在树状架构中没有任何统计假设或对缺失数据的估算，这与之前的所有方法不同。特别是，我们通过基于一定数量的先前输入的“存在模式”选择这些LSTM网络的子集来合并缺失信息。从混合专家模型角度来看，我们训练不同的LSTM网络作为我们的专家，用于各种缺失模式，然后结合它们的输出来生成最终的预测。我们还提供了所提出的架构的计算复杂性分析，其与传统LSTM架构的序列长度的复杂性处于相同的数量级。我们的方法可以很容易地扩展到类似的结构，如GRU，RNN，如在论文中所述。在实验中，我们实现了显着的性能改善相对于国家的最先进的方法为知名的金融和现实生活中的数据集。
2020-05-22 cs.LG stat.ML
Tree DNN: A Deep Container Network
Sony Research India（索尼印度研究院）；JIIT（贾伊佩信息技术学院）；Microsoft Research, India（微软印度研究院）；Samsung Research Institute, Bangalore（三星班加罗尔研究院）
多任务学习（MTL）已经在用户产品中显示出其重要性，以实现快速训练，数据效率，减少过拟合等。MTL通过共享网络参数并同时为多个任务训练网络来实现这一点。然而，MTL并不提供解决方案，如果每个任务都需要从不同的数据集进行训练。为了解决上述问题，我们提出了一种名为TreeDNN的架构及其训练方法。TreeDNN有助于同时使用多个数据集训练模型，其中树的每个分支可能需要不同的训练数据集。我们在结果中表明，TreeDNN提供了有竞争力的性能，其优点是减少了对参数存储的ROM要求，并通过在推理时仅加载特定分支来提高系统的响应性。
2022-12-07 cs.AI cs.LG
Stealing Black-Box Functionality Using The Deep Neural Tree Architecture
Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防御系统有限公司）；Department of Electrical Engineering, Technion（以色列理工学院电气工程系）
本文通过引入一种名为深度神经树（DNT）的机器学习（ML）架构，朝着克隆黑盒模型的功能迈出了实质性的一步。这种新的体系结构可以学习分离黑盒模型的不同任务，并克隆其特定于任务的行为。我们建议使用主动学习算法来训练DNT，以获得更快和更有效的样本训练。与之前的工作相比，我们研究了一个复杂的“受害者”黑盒模型，该模型仅基于输入-输出交互，而同时攻击者和受害者模型可能具有完全不同的内部架构。攻击者是基于ML的算法，而受害者是通常未知的模块，例如多用途数字芯片，复杂的模拟电路，机械系统，软件逻辑或这些的混合。经过训练的DNT模块不仅可以充当被攻击的模块，而且由于所提出的架构的树状性质，还为克隆模型提供了一定程度的可解释性。
2020-02-23 cs.CR cs.LG stat.ML
Searching Efficient Deep Architectures for Radar Target Detection using Monte-Carlo Tree Search
LAMSADE, Université Paris-Dauphine（巴黎dauphine大学LAMSADE学院）；Thales DMS Paris, France（法国巴黎Thales DMS公司）；Thales DMS Elancourt, France（法国ElancourtThales DMS公司）
针对深度神经网络在嵌入式雷达系统中计算复杂度过高的问题，提出基于蒙特卡洛树搜索的神经架构搜索方法，在杂波信号中找到了满足检测概率且显著轻于专家基线的新型网络架构。
2025-06-11 cs.LG eess.SP
Automatic Induction of Neural Network Decision Tree Algorithms
Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
本文提出了一种基于神经网络结构的非贪婪决策树的自动归纳方法。这种构造可以用于在增长或修剪决策树时转移权重，允许非贪婪决策树算法自动学习和适应理想架构。在这项工作中，我们研究了集成建模和贝叶斯模型平均的基础思想，使我们的神经网络通过权重转移渐近接近理想的体系结构。实验结果表明，该方法提高了决策树模型和决策森林模型在固定的超参数集的模型。
2019-04-25 cs.LG stat.ML
A Tree-Structured Multi-Task Model Recommender
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
树结构的多任务架构已被用于在多任务学习（MTL）的背景下联合处理多个视觉任务。主要的挑战是确定在给定骨干模型的情况下，每个任务在哪里分支，以优化任务精度和计算效率。为了解决这一挑战，本文提出了一个推荐器，给定一组任务和一个基于卷积神经网络的骨干模型，自动建议树结构的多任务架构，可以实现高的任务性能，同时满足用户指定的计算预算，而无需执行模型训练。广泛的评估流行的MTL基准测试表明，推荐的架构可以实现竞争力的任务精度和计算效率相比，最先进的MTL方法。我们的树结构多任务模型推荐器是开源的，可在https://github.com/zhanglijun95/TreeMTL上获得。
2022-05-24 cs.CV cs.LG
Parameter efficient dendritic-tree neurons outperform perceptrons
University of Toronto（多伦多大学）
生物神经元比人工感知器更强大，部分原因是复杂的树突输入计算。为了赋予感知器以生物启发的功能，我们探索了添加和调整输入分支因子以及输入丢弃的效果。这允许发现和基准测试参数有效的非线性输入架构。此外，我们提出了一个PyTorch模块来取代现有架构中的多层感知器层。我们对MNIST分类的初步实验表明，与现有的感知器架构相比，树突神经元的准确性和泛化能力得到了提高。
2022-07-02 cs.LG cs.NE
Neural Architecture Search using Deep Neural Networks and Monte Carlo Tree Search
Brown University（布朗大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Facebook AI Research（脸书人工智能研究院）
神经结构搜索（NAS）在神经网络的自动化设计方面取得了巨大的成功，但目前NAS方法的计算量过大，需要进一步研究如何提高样本效率和网络评估成本，以便在更短的时间内获得更好的结果。在本文中，我们提出了一种新的可扩展的蒙特卡罗树搜索（MCTS）的NAS代理，命名为AlphaX，以解决这两个方面。AlphaX通过自适应地平衡状态级别的探索和利用来提高搜索效率，并通过元深度神经网络（DNN）来预测网络精度，以便将搜索偏向有希望的区域。为了分摊网络评估成本，AlphaX通过分布式设计加速MCTS的部署，并通过迁移学习（以MCTS中的树结构为指导）减少评估网络的历元数。在12个GPU天和1000个样本中，AlphaX发现了一个架构，在CIFAR-10上达到了97.84%的top-1准确率，在ImageNet上达到了75.5%的top-1准确率，在准确率和采样效率上都超过了SOTA NAS方法。特别是，我们还在NASBench-101（一个大规模NAS数据集）上评估了AlphaX; AlphaX在寻找全局最优值方面的样本效率分别是随机搜索和正则化进化的3倍和2.8倍。最后，我们展示了搜索架构改进了从神经风格转移到图像描述和目标检测的各种视觉应用。
2019-11-21 cs.AI cs.CV cs.DC
Linear Mode Connectivity in Differentiable Tree Ensembles
National Institute of Informatics（信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（高等研究生院（SOKENDAI））
本文研究可微软树集成的线性模式连通性，揭示树排列、子树翻转与分裂顺序不变性的作用，并提出基于决策列表的架构以消除额外不变性同时保持LMC。
2025-02-14 cs.LG
Trees in transformers: a theoretical analysis of the Transformer's ability to represent trees
New York University（纽约大学）；University of Virginia（弗吉尼亚大学）
Transformer网络是自然语言处理中事实上的标准体系结构。到目前为止，还没有对Transformer捕获树结构的能力进行理论分析。我们专注于Transformer网络学习树结构的能力，这对树转导问题是很重要的。我们首先分析了标准Transformer体系结构的理论能力，以在给定所有可能的树骨干的枚举的情况下学习树结构，我们将其定义为没有标签的树。然后，我们证明了具有ReLU激活函数的两个线性层可以从任何两个非零、线性独立的起始骨干恢复任何树骨干。这意味着Transformer在理论上可以很好地学习树结构。我们进行实验与合成数据，并发现标准的Transformer实现类似的准确性相比，Transformer，其中树的位置信息被明确编码，虽然收敛速度较慢。这从经验上证实了Transformers可以学习树结构。
2021-12-16 cs.CL cs.LG
Adaptive Neural Trees
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）
深度神经网络和决策树在很大程度上是独立的范例;通常，前者使用预先指定的架构执行表示学习，而后者的特点是使用数据驱动的架构在预先指定的特征上学习层次结构。我们通过自适应神经树（ANT）将两者结合起来，该自适应神经树将表示学习结合到决策树的边缘、路由函数和叶节点中，以及基于反向传播的训练算法，该算法自适应地从原始模块（例如，卷积层）。我们证明，在分类和回归数据集上实现有竞争力的性能的同时，ANTs受益于（i）通过条件计算的轻量级推理，（ii）对任务有用的特征的分层分离，例如学习有意义的类关联，例如分离自然与人造对象，以及（iii）使架构适应训练数据集的大小和复杂性的机制。
2019-06-09 cs.CV cs.LG cs.NE
Neural Architecture Search via Combinatorial Multi-Armed Bandit
The University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）
神经架构搜索（NAS）作为设计高性能深度神经网络（DNN）的有效工具已经获得了显著的普及。NAS可以通过策略梯度、进化算法、可区分的体系结构搜索或树搜索方法来执行。虽然策略梯度和可区分架构搜索都取得了重大进展，但树搜索方法迄今为止未能达到相当的准确性或搜索效率。在本文中，我们制定NAS作为一个组合多臂强盗（CMAB）问题（CMAB-NAS）。这允许将大的搜索空间分解成更小的块，其中可以更有效地和高效地应用树搜索方法。我们进一步利用基于树的方法称为嵌套蒙特卡罗搜索来解决CMAB-NAS问题。在CIFAR-10上，我们的方法发现了一种细胞结构，该结构实现了与最先进技术相当的低出错率，仅使用0.58 GPU天，比当前的树搜索方法快20倍。此外，发现的结构可以很好地转移到大规模数据集，如ImageNet。
2021-04-24 cs.CV cs.LG stat.ML
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim（曼海姆大学）；Boehringer Ingelheim（勃林格殷格翰）
本文提出 ReMeDe Trees，一种带内部记忆机制的循环决策树架构，通过梯度下降学习硬性轴对齐决策规则，以解决传统决策树难以直接捕获序列数据中长期依赖的问题，并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Runtime Optimizations for Prediction with Tree-Based Models
University of Maryland, College Park（马里兰大学帕克分校）；Institute for Advanced Computer Studies（高级计算机研究所）；Centrum Wiskunde and Informatica (CWI)（数学与计算机科学研究中心）
基于树的模型已被证明是一个有效的解决方案，网络排名以及在不同领域的其他问题。本文的重点是优化应用这些模型进行预测的运行时性能，给定一个已经训练好的模型。虽然概念上非常简单，但基于树的模型的大多数实现都不能有效地利用现代超标量处理器架构。通过在内存中以更有缓存意识的方式布局数据结构，使用称为预测的技术从执行流中删除分支，以及使用称为向量化的技术进行微处理器预测，我们能够更好地利用现代处理器架构，并显着提高基于树的模型的速度，而不是硬编码的if-else块。我们的工作有助于探索架构意识的运行时实现的机器学习算法。
2013-04-26 cs.DB cs.IR cs.LG
TreeGrad: Transferring Tree Ensembles to Neural Networks
Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院）
梯度提升决策树（GBDT）是流行的机器学习算法，其实现方式如LightGBM和流行的机器学习工具包如Scikit-Learn。许多实现只能以离线方式和贪婪方式生成树。我们探索如何将现有的GBDT实现转换为已知的神经网络架构，以最小的性能损失，以允许决策分裂以在线方式更新，并提供扩展，以允许分裂点被改变为神经架构搜索问题。我们为我们的神经网络提供学习边界。
2019-12-09 cs.LG stat.ML
Path-Level Network Transformation for Efficient Architecture Search
Shanghai Jiao Tong University（上海交通大学）；Massachusetts Institute of Technology（麻省理工学院）
我们引入了一个新的功能保持转换高效的神经结构搜索。这种网络转换允许重用先前训练的网络和现有的成功架构，从而提高样本效率。我们的目标是解决目前的网络转换操作的限制，只能执行层级架构的修改，如添加（修剪）过滤器或插入（删除）层，这无法改变连接路径的拓扑结构。我们提出的路径级变换操作使元控制器能够修改给定网络的路径拓扑，同时保持重用权重的优点，从而可以有效地设计具有复杂路径拓扑的有效结构，如Inception模型。我们进一步提出了一个双向树结构的强化学习元控制器，以探索一个简单而高度表达的树结构的架构空间，可以被视为一个泛化的多分支架构。我们在计算资源有限（约200 GPU小时）的图像分类数据集上进行了实验，我们观察到参数效率的提高和更好的测试结果（CIFAR-10上14.3M参数的测试准确率为97.70%，ImageNet在移动环境中的top-1准确率为74.6%），证明了我们设计的架构的有效性和可移植性。
2018-06-07 cs.AI cs.LG stat.ML
Tree Meets Transformer: A Hybrid Architecture for Scalable Power Allocation in Cell-Free Networks
Smart Networks and Services Joint Undertaking (SNS JU)（智能网络与服务联合体）；Italian Ministry of Education and Research (MUR)（意大利教育与研究部）；HORIZON-JU-SNS-2022 EU project TIMES（HORIZON-JU-SNS-2022 EU项目TIMES）；European Union under the Italian National Recovery and Resilience Plan (NRRP) of NextGenerationEU（欧盟在意大利国家复苏与韧性计划（NRRP）下的NextGenerationEU）
本文提出了一种混合树-变换器架构，通过二进制树压缩用户特征并利用变换器编码器实现高效的可扩展功率分配，显著提升了大规模无线网络的性能。
2025-12-27 cs.LG cs.SY eess.SY
G-MATT: Single-step Retrosynthesis Prediction using Molecular Grammar Tree Transformer
Columbia University（哥伦比亚大学）
提出融合 SMILES 语法树与化学先验的树到序列 Transformer 框架 G-MATT，用于单步逆合成预测，并在 USPTO-50K 上显著提升准确率与化学合理性。
2023-08-14 cs.AI cs.FL cs.LG
Neural Architecture Search with Reinforcement Learning
Google Brain（谷歌大脑）
神经网络是一种强大而灵活的模型，可以很好地解决图像、语音和自然语言理解中的许多困难的学习任务。尽管神经网络取得了成功，但它仍然很难设计。在本文中，我们使用一个递归网络来生成神经网络的模型描述，并使用强化学习训练这个RNN，以最大限度地提高验证集上生成的架构的预期准确性。在CIFAR-10数据集上，我们的方法从头开始，可以设计一种新的网络架构，在测试集准确性方面与人类发明的最佳架构相媲美。我们的CIFAR-10模型实现了3.65的测试出错率，比之前使用类似架构方案的最先进模型高出0.09%，快1.05倍。在Penn Treebank数据集上，我们的模型可以组成一个新的循环单元，其性能优于广泛使用的LSTM单元和其他最先进的基线。我们的细胞在Penn Treebank上实现了62.4的测试集困惑度，这比以前的最先进的模型好3.6困惑度。该单元也可以转移到PTB上的字符语言建模任务中，并达到了1.214的最新困惑度。
2017-02-15 cs.AI cs.LG cs.NE
XBNet : An Extremely Boosted Neural Network
Analytica
神经网络已被证明在处理图像、文本、视频和音频等非结构化数据方面非常强大。然而，已经观察到，它们的性能在表格数据中没有达到标准;因此，在这种情况下，基于树的模型是首选的。一种流行的表格数据模型是提升树，这是一种高效且广泛使用的机器学习方法，与神经网络相比，它还提供了良好的可解释性。在本文中，我们描述了一种新的架构XBNet，它试图将基于树的模型与神经网络相结合，以创建一个强大的架构，通过使用一种新的优化技术，增强梯度下降的表格数据，提高其可解释性和性能的训练。
2022-04-21 cs.LG
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
Imperial College London（帝国理工学院）；BASF SE（巴斯夫股份公司）；Cooperative State University（合作州立大学）
树集成非常适合黑盒优化任务，如算法调优和神经架构搜索，因为它们在很少或没有手动调优的情况下实现了良好的预测性能，自然地处理离散特征空间，并且对训练数据中的离群值相对不敏感。使用树集成进行黑盒优化的两个众所周知的挑战是（i）有效地量化用于探索的模型不确定性和（ii）优化分段常数获取函数。为了同时解决这两点，我们建议使用内核解释的树集成作为一个高斯过程之前，获得模型方差估计，我们开发了一个兼容的优化配方的采集功能。后者进一步允许我们无缝地集成已知的约束，以通过考虑工程设置中的领域知识和对搜索空间对称性建模来提高抽样效率，例如，神经结构搜索中的层次关系。我们的框架执行以及国家的最先进的方法，无约束的黑盒优化连续/离散的功能，并优于竞争的方法相结合的混合变量特征空间和已知的输入约束的问题。
2022-12-31 cs.AI cs.LG math.OC
Hidden Tree Markov Networks: Deep and Wide Learning for Structured Data
Università di Pisa（比萨大学）
本文介绍了隐树马尔可夫网络（HTN），神经概率混合融合的生成模型的表示能力与神经网络的增量和判别式学习能力的树木。我们提出了一种模块化架构，在该架构中，训练复杂度有限的多个生成模型来学习结构特征检测器，然后在稍后阶段将其输出组合并由神经层集成。在这方面，由于生成模型在输入结构上的展开，该模型既很深，又很宽，因为可以并行训练的生成模块可能很多。实验结果表明，该方法可以优于最先进的语法内核，以及生成内核建立在相同的概率模型的HTN。
2017-11-21 cs.AI cs.LG cs.NE
Treeformer: Dense Gradient Trees for Efficient Attention Computation
Google Research（谷歌研究院）
基于Transformer架构的标准推理和训练与输入序列长度成二次方。这是令人望而却步的各种应用程序，特别是在网页翻译，查询回答等，因此，最近已经开发了几种方法来加速注意力计算，通过执行不同的注意力结构，如稀疏，低秩，近似注意使用内核。在这项工作中，我们将注意力计算视为最近邻检索，并使用基于决策树的分层导航，以减少每个查询令牌的检索成本从线性序列长度接近对数。基于这种层次导航，我们设计了Treeformer，它可以使用两个有效的注意力层之一-TF-注意力和TC-注意力。TF-Attention以细粒度的方式计算注意力，而TC-Attention是一个粗略的注意力层，它也确保梯度是“密集的”。为了优化这种具有挑战性的离散层，我们提出了一种两级自举训练方法。通过对标准NLP基准测试进行广泛的实验，特别是对于长序列，我们证明了我们的Treeformer架构几乎可以与基线Transformer一样准确，同时在注意力层中使用30倍更少的FLOP。与Linformer相比，在注意力层中使用类似的FLOP时，准确率可以高出12%。
2023-03-17 cs.CL cs.LG
NCART: Neural Classification and Regression Tree for Tabular Data
Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
本文提出可解释神经网络 NCART，以可微无感知决策树替换残差网络中的全连接层，在保持端到端能力和可解释性的同时降低计算成本，并在表格数据上取得优于现有深度学习模型的表现。
2024-02-28 cs.LG
Face Trees for Expression Recognition
Queen’s University（女王大学）
我们提出了一个端到端的面部表情识别架构。我们的模型学习面部标志的最佳树拓扑，其遍历生成一个序列，我们从中获得嵌入来喂养顺序学习器。所提出的架构包括两个主要的流，一个集中在地标位置学习的脸的结构，而另一个集中在周围的地标补丁学习纹理信息。每个流之后是注意力机制，并且输出被馈送到双流融合组件以执行最终分类。我们对两个大规模的公开可用的面部表情数据集，AffectNet和FER2013进行了广泛的实验，以评估我们的方法的有效性。我们的方法优于该领域的其他解决方案，并在这些数据集上设置了新的最先进的表情识别率。
2021-12-05 cs.CV cs.LG
TREE: Tree Regularization for Efficient Execution
TU Dortmund University（多特蒙德工业大学）；University of Twente（特温特大学）
针对资源受限设备上决策树推理效率问题，提出通过正则化CART算法不纯度计算偏好不对称分裂的TREE方法，可在精度损失极小的前提下将执行时间最多降低约4倍。
2024-06-18 cs.LG stat.ML
Predicting Delayed Train Trajectories on the Dutch Railway Network: Explainable AI Evaluation of Topological, Operational and Weather Features with Tree Based Ensemble Methods
本研究利用可解释的树集成模型预测荷兰铁路网列车晚点，发现丰富特征虽提升同期预测精度，但跨月预测性能衰减，归因于环境特征波动，需转向动态季节感知架构。
2026-10-14 cs.LG
Combining Planning and Learning of Behavior Trees for Robotic Assembly
ABB Robotics（ABB机器人）；ABB Corporate Research（ABB企业研究院）；Royal Institute of Technology (KTH)（皇家理工学院（KTH））
工业机器人可以在受控环境中解决非常复杂的任务，但现代应用要求机器人也能够在不可预测的环境中运行。机器人技术中越来越流行的反应式策略架构是行为树，但与其他架构一样，编程时间仍然会增加成本并限制灵活性。自动生成策略的算法有两个主要分支，自动规划和机器学习，两者都有自己的缺点。我们提出了一种使用遗传编程算法生成行为树的方法，并通过自动规划器的结果将其插入到人口中来结合这两个分支。实验结果证实，所提出的方法相结合的规划和学习表现良好的各种机器人装配问题，并优于单独使用的基础方法。我们还表明，这种类型的行为树的高级学习可以转移到一个真正的系统，而无需进一步的培训。
2021-03-16 cs.LG cs.RO
Analyzing the tree-layer structure of Deep Forests
Sorbonne Université（索邦大学）；LPSM（巴黎数学科学实验室）；CMAP（应用数学中心）；Ecole Polytechnique（巴黎综合理工学院）
随机森林和神经网络在机器学习社区中取得了巨大的成功，因为它们的预测性能。文献中提出了两者的组合，特别是导致所谓的深林（DF）（Zhou \& Feng，2019）。在本文中，我们的目的不是对DF性能进行基准测试，而是研究其潜在机制。此外，DF架构通常可以简化为更简单和计算效率更高的浅森林网络。尽管有一些不稳定性，后者可能优于标准的基于预测树的方法。我们展示了一个理论框架，其中一个浅树网络，以提高经典的决策树的性能。在这样的设置，我们提供严格的理论下限和上限的超额风险。这些理论结果表明，良好的结构化数据提供的第一层，作为一个数据编码器，是足够丰富的树网络架构的兴趣。
2021-10-14 cs.LG math.ST stat.TH
Identifying Protein-Protein Interaction using Tree LSTM and Structured Attention
University of Western Ontario（西安大略大学）
识别蛋白质之间的相互作用对于理解潜在的生物过程非常重要。从原始文本中提取蛋白质相互作用（PPI）通常非常困难。以前的监督学习方法在人类注释的数据集上使用手工制作的特征。在本文中，我们提出了一种新的树递归神经网络结构的注意力架构进行PPI。我们的架构在AIMed和BioInfer基准数据集上实现了最先进的结果（精度，召回率和F1分数）。此外，我们的模型实现了显着的改进，以前的最佳模型没有任何显式的特征提取。我们的实验结果表明，传统的递归网络的监督PPI问题相比，树递归网络的性能较差。
2018-07-27 cs.CL cs.IR cs.LG
Multiresolution Tree Networks for 3D Point Cloud Processing
College of Information and Computer Sciences, University of Massachusetts - Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
我们提出了多分辨率树结构的网络来处理点云的三维形状理解和生成任务。我们的网络将3D形状表示为一组多分辨率的局部保持1D有序点列表。这允许通过1D卷积进行有效的前馈处理，通过多网格架构进行粗到细的分析，并且在训练期间实现更快的收敛和更小的内存占用。所提出的树结构编码器可用于对形状进行分类，并在形状分类基准上优于现有的基于点的架构，而树结构解码器可用于直接生成点云，并且它们优于使用ShapeNet数据集学习的图像到形状推理任务的现有方法。我们的模型还允许通过使用变分自编码器对基于点云的形状进行无监督学习，从而生成更高质量的形状。
2018-07-11 cs.CV cs.GR cs.LG
E-Tree Learning: A Novel Decentralized Model Learning Framework for Edge AI
South China University of Technology（华南理工大学）；Hong Kong Polytechnic University（香港理工大学）
传统上，人工智能模型是在中央云上使用从终端设备收集的数据进行训练的。这导致高通信成本、长响应时间和隐私问题。最近，边缘授权的AI，即边缘AI，已经被提出来支持在更接近数据源的网络边缘的AI模型学习和部署。包括联邦学习在内的现有研究采用集中式架构进行模型学习，其中中央服务器聚合来自客户端/工作器的模型更新。集中式架构存在性能瓶颈、可扩展性差和单点故障等缺点。在本文中，我们提出了一种新的分散式模型学习方法，即E-Tree，它利用了一个精心设计的树结构强加在边缘设备。通过对树结构、树上聚集位置和聚集顺序的优化设计，提高了训练收敛性和模型精度。特别是，我们设计了一个有效的设备聚类算法，命名为KMA，E-Tree考虑到设备上的数据分布以及网络距离。评估结果表明，E-Tree在NonIID数据下的模型精度和收敛性方面明显优于联邦学习和Gossip学习等基准方法。
2021-01-14 cs.LG cs.NI
A Comparison of Deep Learning Architectures for Optical Galaxy Morphology Classification
University of the Western Cape（西开普大学）
星系形态的分类对于理解星系的形成和演化起着至关重要的作用。传统上，这个过程是手动完成的。深度学习技术的出现为这一过程的自动化提供了空间。因此，本文提供了深度学习架构的比较，以确定哪种架构最适合光学星系形态分类。采用Walmsley等人在2021年提出的模型训练方法，使用Zoobot Python库训练模型，预测志愿者做出的Galaxy Zoo DECaLS决策树响应，使用EfficientNet B0、DenseNet121和ResNet50作为核心模型架构。然后，预测结果用于生成每个决策树问题的准确性度量，以确定架构性能。DenseNet121被发现在准确性方面产生最好的结果，具有合理的训练时间。在未来，使用更多的深度学习架构进行进一步测试可能会有所帮助。
2021-11-08 astro-ph.GA astro-ph.IM cs.LG
GNAS: A Greedy Neural Architecture Search Method for Multi-Attribute Learning
Zhejiang University（浙江大学）；Southwest Jiaotong University（西南交通大学）；Carnegie Mellon University（卡内基梅隆大学）
深度多属性学习的一个关键问题是有效地发现属性间的关联结构。通常，传统的深度多属性学习方法遵循基于特定任务的专业知识先验知识和仔细的网络调谐手动设计网络架构的管道，从而导致实践中各种复杂场景的可扩展性。为了解决这个问题，我们提出了一种高效的贪婪神经架构搜索方法（GNAS），以自动发现用于多属性学习的最佳树状深度架构。GNAS以贪婪的方式将全局结构的优化逐步分解为单个连接的优化。通过迭代地更新本地架构，全局树状架构得到收敛，其中底层在相关属性之间共享，并且顶层中的分支更多地编码特定于属性的特征。在三个基准多属性数据集上的实验表明了GNAS构造的神经网络结构的有效性和紧凑性，同时也证明了GNAS在搜索神经网络结构方面的有效性。
2018-08-01 cs.CV cs.LG cs.NE
Learn Basic Skills and Reuse: Modularized Adaptive Neural Architecture Search (MANAS)
Rutgers University（罗格斯大学）
人类的智能是能够先学习一些解决基本问题的基本技能，然后将这些基本技能组装成解决复杂或新问题的复杂技能。例如，基本技能“挖坑”、“放树”、“回填”和“浇水”组成了复杂技能“植树”。除此之外，一些基本的技巧可以被重用于解决其他问题。比如，“挖坑”这一基本功，不仅可以用来种树，还可以用来挖矿、挖沟、填埋。学习基本技能并将其重新用于各种任务的能力对人类来说非常重要，因为它有助于避免学习太多技能来解决每个单独的任务，并且可以通过学习几个基本技能来解决组成数量的任务，这节省了人类大脑中大量的内存和计算。我们认为，机器智能还应该捕捉学习基本技能并通过将其组合成复杂技能来重用它们的能力。在计算机科学语言中，每项基本技能都是一个“模块”，它是一个具有具体含义的可重用网络，执行特定的基本操作。这些模块被组装成一个更大的“模型”，用于执行更复杂的任务。组装过程适应于输入或任务，即，对于一个给定的任务，模块应该被组装成解决该任务的最佳模型。因此，不同的输入或任务可以有不同的组装模型，这使得自动组装AI（AAAI）成为可能。在这项工作中，我们提出了模块化自适应神经结构搜索（MANAS）来证明上述想法。在不同数据集上的实验表明，MANAS自适应结构的性能优于静态全局结构。进一步的实验和实证分析提供了见解MANAS的有效性。
2022-08-24 cs.AI cs.IR cs.LG
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
Mila/Université de Montréal（米拉/蒙特利尔大学）；Microsoft Research（微软研究院）
自然语言是分层结构的：较小的单元（例如，短语）嵌套在较大的单元内（例如，条款）。当一个较大的组成部分结束时，嵌套在其中的所有较小的组成部分也必须关闭。虽然标准的LSTM架构允许不同的神经元在不同的时间尺度上跟踪信息，但它并没有明确地偏向于对成分的层次结构进行建模。本文提出通过对神经元进行排序来增加这种归纳偏差;主输入和遗忘门的向量确保当给定神经元更新时，排序中跟随它的所有神经元也会更新。我们的新型递归架构，有序神经元LSTM（ON-LSTM），在四个不同的任务上实现了良好的性能：语言建模，无监督解析，有针对性的语法评估和逻辑推理。
2019-05-08 cs.CL cs.LG
Gradient-based Filter Design for the Dual-tree Wavelet Transform
University of Waterloo（滑铁卢大学）
当将小波变换结合到神经网络架构中时，例如在小波散射网络中，已经看到了成功。最近，已经表明双树复小波变换可以提供比标准变换更好的表示。考虑到这一点，我们扩展我们以前的方法学习过滤器的1D和2D小波变换到双树域。我们表明，我们的原始模型的修改很少，我们可以学习方向滤波器，利用双树小波变换的属性。
2018-06-04 cs.LG eess.SP stat.ML
Concurrent Neural Tree and Data Preprocessing AutoML for Image Classification
Institute for Clarity in Documentation（文档清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
深度神经网络（DNN）是一种广泛用于各种机器学习问题的解决方案。然而，数据科学家通常需要投入大量的时间来预处理输入数据，测试不同的神经网络架构，并调整超参数以获得最佳性能。自动机器学习（autoML）方法自动搜索最佳神经网络的架构和超参数空间。然而，当前最新技术水平（SOTA）方法不包括用于操纵输入数据作为算法搜索空间的一部分的传统方法。我们适应进化多目标算法设计引擎（EMADE），多目标进化搜索框架的传统机器学习方法，执行神经结构搜索。我们还集成了EMADE的信号处理和图像处理原语。这些原语允许EMADE在摄取到同时进化的DNN之前操纵输入数据。我们表明，包括这些方法作为搜索空间的一部分，显示出潜在的CIFAR-10图像分类基准数据集上的性能提供的好处。
2022-05-25 cs.LG cs.NE
Sparse tree-based initialization for neural networks
Boston University（波士顿大学）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
专用的神经网络（NN）架构被设计用于处理特定的数据类型（例如用于图像的CNN或用于文本的RNN），这将它们列为处理这些数据的最先进方法之一。不幸的是，还没有发现处理表格数据的架构，树集成方法（树提升，随机森林）通常表现出最好的预测性能。在这项工作中，我们提出了一种新的稀疏初始化技术（潜在的深）多层感知器（MLP）：我们首先训练一个基于树的程序来检测功能的相互作用，并使用由此产生的信息来初始化网络，随后通过标准的随机梯度策略进行训练。在几个表格数据集上的数值实验表明，这种新的，简单易用的方法在泛化能力和计算时间方面都是默认MLP初始化甚至现有复杂深度学习解决方案的可靠并发。事实上，这种明智的MLP初始化将产生的NN方法提升到处理表格数据时梯度提升的有效竞争对手的水平。此外，这样的初始化能够保持通过训练在网络的第一层中引入的权重的稀疏性。这一事实表明，这个新的初始化器在NN训练期间操作隐式正则化，并强调第一层充当稀疏特征提取器（如CNN中的卷积层）。
2022-09-30 cs.LG stat.ML
Discriminative Neural Sentence Modeling by Tree-Based Convolution
Software Institute, Peking University（北京大学软件研究所）
提出了一种基于树的卷积神经网络（TBCNN）的判别语句建模方法。我们的模型利用选区树或句子的依赖树。基于树的卷积过程提取句子的结构特征，并将这些特征通过最大池聚合。这种架构允许输出层和底层特征检测器之间的短传播路径，这使得能够进行有效的结构特征学习和提取。我们在两个任务上评估我们的模型：情感分析和问题分类。在这两个实验中，TBCNN的性能都优于之前的最先进的结果，包括现有的神经网络和专用的特征/规则工程。我们还努力可视化基于树的卷积过程，阐明我们的模型如何工作。
2015-06-02 cs.CL cs.LG cs.NE
Finding Competitive Network Architectures Within a Day Using UCT
IBM Research AI（IBM人工智能研究院）
为新数据集设计神经网络架构是一项艰巨的任务，需要人类的深度学习专业知识。为了使深度学习能够面向更广泛的受众，寻找神经网络架构的自动化方法至关重要。最近提出的方法已经可以达到人类专家水平的性能。然而，这些方法具有数月甚至数年的GPU计算时间的运行时间，忽略了许多研究人员和公司所面临的硬件约束。我们建议使用Monte Carlo规划结合两个不同的UCT（置信上限适用于树）推导搜索网络架构。我们适应UCT算法的网络架构搜索的需要，提出了两种方式共享信息之间的搜索树的不同分支。在一项实证研究中，我们能够证明这种方法能够在一个GPU天内找到MNIST，SVHN和CIFAR-10的竞争网络。将搜索时间延长到五个GPU天，我们能够超越人类架构和考虑相同类型层的竞争对手。
2018-07-23 cs.CV cs.LG stat.ML
