DecisioNet: A Binary-Tree Structured Neural Network
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
深度神经网络（DNN）和决策树（DT）都是最先进的分类器。DNN由于其代表性学习能力而表现良好，而DT在计算上是高效的，因为它们沿着依赖于输入数据的一条路线（根到叶）执行推理。在本文中，我们提出了DecisioNet（DN），二叉树结构的神经网络。我们提出了一种系统的方法来将现有的DNN转换为DN，以创建原始模型的轻量级版本。DecisioNet两全其美-它使用神经模块来执行代表性学习，并利用其树结构来执行仅一部分计算。我们评估了各种DN架构，以及它们在FashionMNIST、CIFAR 10和CIFAR 100数据集上的相应基线模型。我们表明，DN变体实现了类似的准确性，同时显着降低了原始网络的计算成本。
2022-11-19 cs.CV cs.LG
DOFEN: Deep Oblivious Forest ENsemble
Sinopac Holdings（玉山金控）；National Cheng Kung University（成功大学）；Appier Group, Inc.（沛星科技）
提出受遗忘决策树启发的新型DNN架构DOFEN，通过构建松弛遗忘决策树和两层森林集成，在表格数据上取得SOTA结果，缩小了DNN与树模型的差距。
2024-12-24 cs.LG stat.ML
Deep Neural Networks: A Formulation Via Non-Archimedean Analysis
University of Texas Rio Grande Valley School of Mathematical & Statistical Sciences（德克萨斯大学里奥格兰德谷大学数学与统计科学学院）
提出一种基于非阿基米德局部域整数环的多层树状架构深度神经网络，该网络是定义在环上实值函数的鲁棒通用逼近器，并证明其对单位区间上平方可积函数的通用逼近性。
2026-06-16 cs.AI cs.LG cs.NE
Impact of On-Chip Interconnect on In-Memory Acceleration of Deep Neural Networks
Arizona State University（亚利桑那州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
随着深度神经网络（DNN）的广泛使用，机器学习算法已经朝着两个不同的方向发展-一个是不断增加的连接密度以获得更好的准确性，另一个是更紧凑的尺寸以提高能效。连接密度的增加增加了片上数据移动，这使得高效的片上通信成为DNN加速器的关键功能。这项工作的贡献是三方面的。首先，我们说明了基于点对点（P2P）的互连无法处理DNN的大量片上数据移动。其次，我们评估P2P和片上网络（NoC）互连（具有规则的拓扑结构，如网格）的SRAM和ReRAM为基础的存内计算（IMC）架构的DNN的范围。该分析显示了IMC DNN加速器的最佳互连选择的必要性。最后，我们对不同的DNN进行了实验评估，以经验方式获得具有NoC树和NoC网格的IMC架构的性能。我们的结论是，在瓦片级，NoC-tree是适合紧凑的DNN在边缘使用，NoC-mesh是必要的，以加速DNN与高连接密度。此外，我们提出了一种技术来确定任何给定DNN的互连的最佳选择。在这项技术中，我们使用NoC的分析模型来评估任何给定DNN的端到端通信延迟。我们证明了IMC架构中的互连优化与最先进的基于ReRAM的IMC架构相比，VGG-19推断的能量延迟面积积提高了多达6 $\times$。
2021-07-06 cs.AI cs.AR cs.LG
A Federated Learning Benchmark on Tabular Data: Comparing Tree-Based Models and Neural Networks
DENSO Automotive Deutschland GmbH（电装德国汽车有限公司）；Corporate Research and Development（企业研发部）
本文在10个表格数据集上对横向联邦学习中的基于树的模型和深度神经网络进行基准测试，发现联邦化XGBoost等树模型在不同数据划分及大量客户端场景下均优于联邦化参数化模型。
2024-05-03 cs.LG
ED-Batch: Efficient Automatic Batching of Dynamic Neural Networks via Learned Finite State Machines
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；OctoML（OctoML公司）
批处理对深度神经网络（DNN）执行的效率有着根本性的影响。然而，对于动态DNN，有效的递归是特别具有挑战性的，因为递归图根据输入实例而变化。因此，最先进的框架使用导致次优决策的策略。此外，DRAM对内存邻接有严格的限制，并可能导致高数据移动成本。在本文中，我们提供了一种基于有限状态机的动态DNN的方法，该方法通过强化学习自动发现专门针对每个DNN的策略。此外，我们发现，内存规划，知道的策略可以节省显着的数据移动开销，这是自动化的PQ树为基础的算法，我们介绍。实验结果表明，我们的框架在CPU和GPU上对基于链、基于树和基于网格的DNN的平均速度分别提高了1.15倍、1.39倍和2.45倍。
2023-02-08 cs.LG cs.SE
Approximating a deep reinforcement learning docking agent using linear model trees
Norwegian University of Science and Technology（挪威科技大学）；TrønderEnergi（特伦德拉格能源公司）
深度强化学习在机器人领域取得了许多显著的成果。然而，深度神经网络（DNN）是不直观的，这使得人们很难理解它们的预测，并由于经济，安全和保证的原因，极大地限制了它们在现实世界中的应用潜力。为了解决这个问题，已经提出了许多可解释的人工智能方法，例如SHAP和LIME，但这些方法要么成本太高，无法用于实时机器人应用，要么只能提供本地解释。在本文中，主要的贡献是使用线性模型树（LMT）近似DNN策略，最初通过近端策略优化（PPO）训练，为自主水面车辆进行对接操作的五个控制输入。所提出的方法的两个主要优点是：a）LMT是透明的，这使得可以直接将输出（在我们的情况下，控制动作）与输入特征的特定值相关联，b）LMT在计算上是高效的，并且可以实时提供信息。在我们的模拟中，不透明的DNN策略控制车辆，LMT并行运行，以特征属性的形式提供解释。我们的研究结果表明，LMT可以成为自主船舶数字保证框架中的一个有用组成部分。
2022-03-01 cs.LG cs.RO
NSGZero: Efficiently Learning Non-Exploitable Policy in Large-Scale Network Security Games with Neural Monte Carlo Tree Search
Nanyang Technological University（南洋理工大学）
如何部署资源以保护网络中的关键目标可以通过网络安全游戏（NSG）来建模。虽然深度学习（DL）的最新进展提供了处理大规模NSG的强大方法，但是诸如NSG-NFSP的DL方法遭受数据效率低下的问题。此外，由于集中控制，它们无法扩展到具有大量资源的场景。在本文中，我们提出了一种新的基于DL的方法，NSGZero，学习NSG中的不可利用的策略。NSGZero通过使用神经蒙特卡罗树搜索（MCTS）执行规划来提高数据效率。我们的主要贡献有三方面。首先，我们设计了深度神经网络（DNN）来在NSG中执行神经MCTS。其次，我们使神经MCTS与分散控制，使NSGZero适用于NSG与许多资源。第三，我们提供了一个有效的学习范式，以实现NSGZero中DNN的联合训练。与最先进的算法相比，我们的方法实现了更好的数据效率和可扩展性。
2022-01-17 cs.AI cs.CR cs.LG
TreeLUT: An Efficient Alternative to Deep Neural Networks for Inference Acceleration Using Gradient Boosted Decision Trees
University of Minnesota（明尼苏达大学）
本文提出开源工具TreeLUT，通过量化、硬件架构和流水线策略在FPGA上高效实现梯度提升决策树，仅用LUT资源，在保持竞争精度的同时显著提升硬件利用率、降低延迟并提高吞吐量。
2025-01-02 cs.AR cs.LG
XAI and Statistical Analysis for Reliable Intrusion Detection in the UAVIDS-2025 Dataset: From Tree to Hybrid and Tabular DNN Ensembles
University of Piraeus（比雷埃克斯大学）；Dept. of Informatics（信息学院）
本文利用XAI和统计分析，在UAVIDS-2025数据集上通过树集成、深度神经网络、混合堆叠模型和最新集成神经网络检测入侵，结合SHAP分析和分布分析，揭示攻击特征和误分类原因。
2026-07-13 cs.CR cs.LG stat.CO
AutoEncoder by Forest
Nanjing University（南京大学）
自动编码是一项重要的任务，通常由诸如卷积神经网络（CNN）之类的深度神经网络（DNN）来实现。在本文中，我们提出了编码森林（abbrv. eForest），第一个基于树集成的自动编码器。我们提出了一个程序，使森林做向后重建，利用等价类定义的决策路径的树，并证明其使用在监督和无监督设置。实验结果表明，与DNN自编码器相比，eForest能够获得更低的重建误差，训练速度更快，同时模型本身具有可重用性和可容忍损坏性。
2017-09-26 cs.LG stat.ML
Explaining a Deep Reinforcement Learning Docking Agent Using Linear Model Trees with User Adapted Visualization
Norwegian University of Science and Technology（挪威科技大学）；Department of Engineering Cybernetics, Norwegian University of Science and Technology（挪威科技大学工程控制论系）；Department of Design, Norwegian University of Science and Technology（挪威科技大学设计系）；Centre for Autonomous Marine Operations and Systems, Norwegian University of Science and Technology（挪威科技大学自主海洋操作与系统中心）
深度神经网络（DNN）在海洋机器人领域可能是有用的，但其实用价值受到其黑箱性质的限制。可解释的人工智能方法试图理解这些黑盒子是如何做出决定的。在这项工作中，线性模型树（LMT）被用来近似DNN控制自主水面船舶（ASV）在模拟环境中，然后运行在并行的DNN给出解释的形式，在实时的功能属性。一个模型能被理解得多好不仅取决于解释本身，还取决于它被呈现得多好，以及如何适应所述解释的接受者。不同的最终用户可能需要不同类型的解释，以及这些解释的不同表示。这项工作的主要贡献是（1）通过在树的分裂中引入特征的排序来显著改善用于构建LMT的贪婪方法的准确性和构建时间，（2）概述海员/操作员和开发人员作为解释的代理和接收者的两个不同终端用户的特征，以及（3）当开发者是系统的终端用户时，基于它们的不同特性，建议停靠代理、环境和由LMT给出的特征属性的可视化，以及当海员或操作员是终端用户时，建议另一可视化。
2022-03-01 cs.LG cs.RO
T-WaveNet: Tree-Structured Wavelet Neural Network for Sensor-Based Time Series Analysis
The Chinese University of Hong Kong（香港中文大学）
基于传感器的时间序列分析是活动识别和脑机接口等应用的基本任务。最近，使用深度神经网络（DNN）提取的特征被证明比传统的手工提取的特征更有效。然而，这些解决方案中的大多数仅依赖于网络来提取传感器数据中携带的特定于应用的信息。由于传感器数据的主要信息通常来自于频率分量的一个小子集，本文提出了一种新的用于传感器数据分析的树型小波神经网络，即\emph{T-WaveNet}。具体来说，使用T-WaveNet，我们首先对传感器数据进行功率谱分析，并将输入信号相应地分解为各个频率子带。然后，我们构建了一个树型结构的网络，树上的每个节点（对应于一个频率子带）是建立一个可逆的神经网络（INN）基于小波变换。通过这样做，T-WaveNet为传感器信息提供了比现有的基于DNN的技术更有效的表示，并且它在各种传感器数据集上实现了最先进的性能，包括用于活动识别的UCI-HAR，用于手势识别的OPPORTUNITY，用于意图识别的BCICIV 2a和用于肌肉运动识别的NinaPro DB 1。
2020-12-10 cs.LG eess.SP
Hierarchical interpretations for neural network predictions
UC Berkeley（加州大学伯克利分校（UC Berkeley））
深度神经网络（DNN）由于能够学习变量之间复杂的非线性关系，已经取得了令人印象深刻的预测性能。然而，无法有效地可视化这些关系导致DNN被描述为黑匣子，从而限制了它们的应用。为了改善这个问题，我们引入了层次解释的使用来解释DNN预测通过我们提出的方法，凝聚上下文分解（ACD）。给定来自训练的DNN的预测，ACD产生输入特征的分层聚类，以及每个聚类对最终预测的贡献。该层次结构被优化以识别DNN学习到的具有预测性的特征集群。使用斯坦福情绪树库和ImageNet的例子，我们证明了ACD在诊断错误预测和识别数据集偏差方面是有效的。通过人体实验，我们证明了ACD使用户能够识别两个DNN中更准确的一个，并更好地信任DNN的输出。我们还发现，ACD的层次结构在很大程度上是强大的对抗性扰动，这意味着它捕获的输入的基本方面，忽略了杂散噪声。
2019-01-16 cs.AI cs.CL cs.CV
Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity
Texas A&M University（德州农工大学）
尽管深度神经网络（DNN）最近取得了普遍的成功，但人们对它们的使用提出了一些担忧，包括缺乏可解释性，DNN与其他成熟的机器学习模型之间的差距，以及越来越昂贵的计算成本。许多最近的作品[1]，[2]，[3]探索了以纯粹的前馈方式顺序堆叠决策树/随机森林构建块的替代方案，而不需要反向传播。由于决策树具有内在的推理透明性，这种深森林模型也可以促进对内部决策过程的理解。本文在几个重要方面进一步扩展了深林思想。首先，我们采用一个概率树，其节点做出概率路由决策，即，软路由，而不是硬二进制决策。除了增强灵活性，它还可以为每棵树进行非贪婪优化。其次，我们提出了一个创新的拓扑学习策略：树中的每个节点现在都保持一个新的可学习的超参数，表示它将成为叶节点的概率。这样，树将在训练期间联合优化其参数和树拓扑。在MNIST数据集上的实验表明，我们授权的深森林可以实现比[1]，[3]更好或相当的性能，同时大大降低了模型复杂性。例如，我们的模型只有1层15棵树，可以与[3]中的模型进行并行计算，每个模型有2层2000棵树。
2020-12-29 cs.LG stat.ML
CGXplain: Rule-Based Deep Neural Network Explanations Using Dual Linear Programs
University of Cambridge（剑桥大学）
本文提出CGX分解式解释方法，利用对偶线性规划从DNN隐藏表示中提取规则，在保证稳定性与对齐性的同时将规则集缩小80%以上。
2023-04-11 cs.AI cs.LG
Deep Embedding Forest: Forest-based Serving with Deep Embedding Features
Microsoft Corp.（微软公司）；UCSC（加州大学圣克鲁兹分校）
深度神经网络（DNN）已经证明了从低级特征提取高级嵌入向量的卓越能力。尽管取得了成功，服务时间仍然是瓶颈，由于昂贵的运行时计算的多层密集矩阵。基于GPGPU、FPGA或ASIC的服务系统需要额外的硬件，而这些硬件并不属于大多数商业应用的主流设计。相比之下，基于树或森林的模型由于服务成本低而被广泛采用，但在很大程度上依赖于精心设计的功能。这项工作提出了一个深嵌入森林模型，受益于两个世界的最佳。该模型由许多嵌入层和森林/树层组成。前者将高维（数十万到数百万）和异构的低级特征映射到低维（数千）向量，后者确保快速服务。基于一个名为Deep Crossing的代表性DNN模型和两个基于森林/树的模型（包括XGBoost和LightGBM），证明了一个两步深度嵌入森林算法，与DNN相比，它可以实现同等或略好的性能，而在传统硬件上的服务时间只有一小部分。在与本文提出的部分模糊化联合优化算法进行比较后，可以得出结论，两步深度嵌入森林具有接近最优的性能。基于大型赞助搜索引擎的大规模数据集（高达10亿个样本）的实验证明了该模型的有效性。
2017-03-15 cs.LG
Deep Reinforcement Learning with Model Learning and Monte Carlo Tree Search in Minecraft
Technische Universität Berlin（柏林工业大学）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Berlin, Germany（德国柏林（仅保留城市名，未明确机构））
深度强化学习已成功应用于使用无模型方法的几个视觉输入任务。在本文中，我们提出了一种基于模型的方法，该方法将学习基于DNN的转换模型与蒙特卡罗树搜索相结合，以解决Minecraft中的块放置任务。我们的学习过渡模型预测下一帧和奖励提前一步给定的代理的第一人称视图图像和当前动作的最后四帧。然后，蒙特卡罗树搜索算法使用该模型来规划代理执行的最佳动作序列。在Minecraft中提出的任务中，我们基于模型的方法达到了与Deep Q-Network相当的性能，但学习速度更快，因此训练样本效率更高。
2018-03-22 cs.AI cs.LG stat.ML
Concurrent Neural Tree and Data Preprocessing AutoML for Image Classification
Institute for Clarity in Documentation（文档清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）；Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工研究院）
深度神经网络（DNN）是一种广泛用于各种机器学习问题的解决方案。然而，数据科学家通常需要投入大量的时间来预处理输入数据，测试不同的神经网络架构，并调整超参数以获得最佳性能。自动机器学习（autoML）方法自动搜索最佳神经网络的架构和超参数空间。然而，当前最新技术水平（SOTA）方法不包括用于操纵输入数据作为算法搜索空间的一部分的传统方法。我们适应进化多目标算法设计引擎（EMADE），多目标进化搜索框架的传统机器学习方法，执行神经结构搜索。我们还集成了EMADE的信号处理和图像处理原语。这些原语允许EMADE在摄取到同时进化的DNN之前操纵输入数据。我们表明，包括这些方法作为搜索空间的一部分，显示出潜在的CIFAR-10图像分类基准数据集上的性能提供的好处。
2022-05-25 cs.LG cs.NE
Learning Structured Sparsity in Deep Neural Networks
University of Pittsburgh（匹兹堡大学）
对计算资源的高需求严重阻碍了大规模深度神经网络（DNN）在资源受限设备中的部署。在这项工作中，我们提出了一种结构化稀疏学习（SSL）方法来正则化结构（即，过滤器、通道、过滤器形状和层深度）。SSL可以：（1）从更大的DNN中学习紧凑的结构以降低计算成本;（2）获得DNN的硬件友好的结构化稀疏性以有效地加速DNN评估。实验结果表明，SSL使用现成的库分别实现了AlexNet对CPU和GPU的卷积层计算的平均5.1倍和3.1倍加速。这些加速比是非结构稀疏性的两倍;（3）正则化DNN结构以提高分类精度。结果表明，对于CIFAR-10，层深度正则化可以将深度残差网络（ResNet）的20层减少到18层，同时将准确率从91.25%提高到92.60%，仍然略高于原始ResNet的32层。对于AlexNet，SSL的结构正则化也将误差降低了约1%。开放源代码在https://github.com/wenwei202/caffe/tree/scnn
2016-10-18 cs.LG cs.NE stat.ML
F0 Modeling In Hmm-Based Speech Synthesis System Using Deep Belief Network
Yantra Software（Yantra软件公司）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
近年来，具有多个隐藏层的多层感知器（MLP）和深度神经网络（DNN）在语音识别、说话人确认、语音合成等语音任务中取得了令人惊讶的成功。本文采用深度信念网络（Deep Belief Network，DBN）对基于隐马尔可夫模型（HMM）的语音合成系统生成的合成语音的F0轮廓进行建模。实验是在孟加拉语上进行的。提出并评估了几种DBN-DNN架构，从4到7个隐藏层，每个隐藏层多达200个隐藏单元。结果进行了比较，对聚类树技术流行的统计参数语音合成。我们表明，从文本输入DBN-DNN学习一个高层次的结构，这反过来又提高了F0轮廓的客观和主观的测试。
2015-02-18 cs.LG cs.NE
Question Answering with Deep Neural Networks for Semi-Structured Heterogeneous Genealogical Knowledge Graphs
Bar Ilan University（巴伊兰大学）
本研究提出一种端到端族谱问答方法，通过将族谱数据表示为知识图谱并转换为文本，结合非结构化文本训练基于transformer的模型，降低了复杂性并提高了准确性。
2023-07-30 cs.AI cs.CL cs.IR
Decoding Neural Responses in Mouse Visual Cortex through a Deep Neural Network
Brain Research Institute, UZH（苏黎世大学脑研究所）；National Institutes of Health（美国国立卫生研究院）；Allen Brain Institute（艾伦脑研究所）
寻找一个代码来解开导致不同动物行为的神经反应群体一直是神经科学领域的一个长期问题。随着机器学习的最新进展，分层深度神经网络（DNN）在解码复杂数据集的独特特征方面表现最佳。在这项研究中，我们利用DNN的力量，通过利用Allen Brain Institute的Neuropixel数据来探索哺乳动物大脑中的计算原理。我们解码小鼠视觉皮层的神经反应，以预测自然动物（熊，树，猎豹等）的刺激。和人工（漂移光栅、定向杆等）班我们的研究结果表明，小鼠视觉皮层中的神经元以不同的方式编码自然和人造物体的特征，并且这种神经编码在动物之间是一致的。我们通过应用迁移学习来训练DNN对单个动物的神经反应并测试其在多个动物中的广义性能来研究这一点。在单个动物中，DNN能够以高达100%的分类准确度解码神经反应。在动物中，准确率降低到91%。这项研究表明，利用DNN模型作为一个计算框架，以了解哺乳动物大脑中的神经编码原则的潜力。
2019-10-26 cs.AI cs.LG cs.NE
Backdoor attacks on DNN and GBDT -- A Case Study from the insurance domain
Debeka（德贝卡）；Department of Maths and Technology, Koblenz University of Applied Sciences（数学与技术系，科布伦茨应用科学大学）；University of Koblenz（科布伦茨大学）
本文在两个保险表格数据集上评估 GBDT 与 DNN 对后门攻击的鲁棒性，发现少量带模式样本即可在部分模型上成功植入后门。
2024-12-11 cs.LG
ROAM: memory-efficient large DNN training via optimized operator ordering and memory layout
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）
ROAM在计算图层面通过优化算子执行顺序和张量内存布局，结合树搜索自动划分任务，实现大规模DNN训练的内存高效，相比PyTorch等最高降低35.7%内存并加速53.7倍。
2023-10-30 cs.AI cs.DB cs.LG
Reinforcement Learning with A* and a Deep Heuristic
Imagry（Imagry公司）
A* 是一种流行的路径查找算法，但它只能应用于那些已知良好启发式函数的领域。受最近将深度神经网络（DNN）和树相结合的方法的启发，这项研究演示了如何训练由DNN表示的启发式算法，并将其与A* 相结合。这种新的算法，我们称之为aleph-star可以有效地用于域的输入的启发式可以处理的神经网络。我们在基于像素输入的驾驶模拟中将aleph-star与N-Step Deep Q-Learning（DQN Mnih et al. 2013）进行了比较，并在这种情况下展示了更好的性能。
2018-11-19 cs.LG stat.ML
Deep Reinforcement Learning Aided Monte Carlo Tree Search for MIMO Detection
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出了一种新的多输入多输出（MIMO）符号检测器，该检测器将深度强化学习（DRL）代理集成到蒙特卡罗树搜索（MCTS）检测算法中。我们首先描述如何MCTS算法，用于许多决策问题，适用于MIMO检测问题。然后，我们介绍了一个自行设计的深度强化学习代理，由一个策略值网络和一个状态值网络组成，它被训练用于检测MIMO符号。训练后的网络的输出被采用到一个修改的MCTS检测算法，以提供有用的节点统计信息，并促进增强的树搜索过程。由此产生的方案，称为DRL-MCTS检测器，表现出显着的改进，比原来的MCTS检测算法，并表现出良好的性能相比，其他现有的线性和DNN为基础的检测方法在不同的信道条件下。
2021-01-30 cs.IT cs.LG eess.SP
COVID-19 Probability Prediction Using Machine Learning: An Infectious Approach
University of Tehran（德黑兰大学）；University of Kashan（卡尚大学）；Islamic Azad University Science and Research Branch（伊斯兰阿扎德大学科学与研究分院）；Islamic Azad University, South Tehran Branch（伊斯兰阿扎德大学南德黑兰分院）
本文在 4000 个样本上比较九类机器学习模型对 COVID-19 感染概率的预测能力，发现 DNN 以 89% 准确率和更优召回率表现最佳。
2024-12-04 cs.AI cs.LG
Precision Gating: Improving Neural Network Efficiency with Dynamic Dual-Precision Activations
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们提出了精确门控（PG），这是一种用于深度神经网络的端到端可训练动态双精度量化技术。PG以低精度计算大多数特征，仅以较高精度计算一小部分重要特征以保持准确性。所提出的方法适用于各种DNN架构，并显着降低了DNN执行的计算成本，几乎没有精度损失。我们的实验表明，PG在CNN上取得了优异的结果，包括静态压缩的移动友好网络，如ShuffleNet。与最先进的基于预测的量化方案相比，PG在ImageNet上实现了相同或更高的精度，但计算量减少了2.4 $\times$。PG也适用于RNN。与8位均匀量化相比，PG在Penn Tree Bank数据集上的LSTM上每字的困惑度提高了1.2%，计算成本降低了2.7 $\times$。代码可在：https://github.com/cornell-zhang/dnn-gating
2020-05-29 cs.CV cs.LG
A DNN Biophysics Model with Topological and Electrostatic Features
本文提出基于深度神经网络的生物物理模型，利用多尺度和统一的拓扑与电静力学特征预测蛋白质性质，如库仑能或溶解能，通过元素特定持续同调和新型笛卡尔树码生成特征，实现高效准确的预测。
2026-03-13 cs.LG math-ph math.MP
MLCC: A Congestion Control Technique to Accelerate ML Training
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
MLCC是一种分布式拥塞控制技术，通过调整DNN训练流的发送速率实现通信与计算交错，在GPU集群中加速DNN训练，经测试和模拟可显著提升训练迭代速度与吞吐量。
2026-08-17 cs.DC cs.LG cs.NI
Hardware-Efficient Neuro-Symbolic Networks with the Exp-Minus-Log Operator
本文提出一种结合深度神经网络与Exp-Minus-Log运算符的混合模型，旨在解决传统DNN在安全关键和资源受限环境中的透明性和计算效率问题，通过硬件可实现的Sheffer元素提升可解释性和形式验证可行性。
2026-04-21 cs.LG cs.SY eess.SY
Regularization Learning Networks: Deep Learning for Tabular Datasets
Weizmann Institute of Science（魏茨曼科学研究所）
尽管深度神经网络（DNN）的性能令人印象深刻，但在许多表格数据集学习任务上，它的表现通常不如梯度提升树（GBT）。我们建议对每个权重应用不同的正则化系数，通过允许它们更多地使用更相关的输入来提高DNN的性能。然而，这将导致难以处理的超参数数量。在这里，我们介绍正则化学习网络（RLN），它通过引入一个有效的超参数调整方案来克服这一挑战，该方案最大限度地减少了新的反事实损失。我们的研究结果表明，RLN显着改善了表格数据集上的DNN，并实现了与GBT相当的结果，其中结合GBT和RLN的集成实现了最佳性能。RLN产生了极其稀疏的网络，消除了高达99.8%的网络边缘和82%的输入特征，从而提供了更多可解释的模型，并揭示了网络分配给不同输入的重要性。RLN可以有效地学习包括表格和非结构化数据的数据集中的单个网络，例如在伴随电子健康记录的医学成像的设置中。RLN的开源实现可以在https://github.com/irashavitt/regularization_learning_networks上找到。
2018-10-23 cs.LG stat.ML
Applying Deep Learning to Ads Conversion Prediction in Last Mile Delivery Marketplace
DoorDash Engineering（DoorDash工程部门）
本文介绍了DoorDash将首页广告排序系统从传统树模型升级为多任务深度神经网络，以提升转化预测性能，并分享了开发与扩展深度学习推荐系统的经验与指导。
2025-02-27 cs.LG
Deep Variable-Block Chain with Adaptive Variable Selection
Pennsylvania State University（宾夕法尼亚州立大学）
针对非网格高维数据，本文提出深度变量块链DVC，通过贪心搜索构建变量块链并结合决策树区域实现自适应变量选择，在降维同时提升分类精度并揭示区域相关变量。
2024-08-06 cs.LG stat.ML
Physics-Informed Neural Network Approaches for Sparse Data Flow Reconstruction of Unsteady Flow Around Complex Geometries
Department of Ocean Engineering, Indian Institute of Technology, Madras, Chennai - 600036. INDIA（海洋工程系，印度理工学院，马德拉斯，钦奈 - 600036. 印度）
本研究提出利用物理信息神经网络（PINNs）从稀疏数据重建复杂几何周围非定常流动，涵盖二维圆柱绕流和三维超大型集装箱船湍流案例，验证了该方法在有限计算资源下的有效性。
2025-08-02 cs.LG physics.flu-dyn
Towards Deep Machine Reasoning: a Prototype-based Deep Neural Network with Decision Tree Inference
School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
在本文中，我们介绍了DMR -一种基于原型的深度学习方法和网络架构，它使用基于决策树（DT）的推理和合成数据来平衡类。它建立在最近引入的xDNN方法的基础上，解决了更复杂的多类问题，特别是当类高度不平衡时。DMR从基于所有类别的直接决策转向成对类别比较的分层DT。此外，它强制原型在类之间平衡，而不管训练数据的可能的类不平衡。它有两个新的机制，即i）使用DT来确定获胜的类标签，以及ii）通过合成从可用的训练数据确定的原型周围的数据来平衡类。因此，我们显着提高了性能的完全可解释的DNN所证明的最好的报告结果上众所周知的基准问题加州理工学院-101超过我们自己最近公布的“世界纪录”。此外，我们还取得了另一个“世界纪录”的另一个非常困难的基准问题，即加州理工学院-256以及超过其他方法的结果面孔-1999问题。总之，我们提出了一种新的方法，特别有利于不平衡的多类问题，实现了两个世界纪录，众所周知的硬基准问题和最好的结果，另一个问题的准确性。此外，DMR提供了完全的可解释性，不需要GPU，并且可以通过添加新的原型来继续从新的数据中学习，保留以前的原型，但不需要完全的重新训练。
2020-02-02 cs.AI cs.CV cs.LG
Interpreting Deep Learning-Based Networking Systems
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Clemson University（克莱姆森大学）
虽然许多基于深度学习（DL）的网络系统已经表现出卓越的性能，但底层的深度神经网络（DNN）仍然是黑箱，网络运营商无法解释。可解释性的缺乏使得基于DL的网络系统在实践中难以部署。在本文中，我们提出Metis，一个框架，提供了两个一般类别的网络问题，跨越本地和全球控制的可解释性。因此，Metis引入了基于决策树和超图的两种不同的解释方法，其中它将DNN策略转换为可解释的基于规则的控制器，并基于超图的分析突出显示关键组件。我们评估Metis在几个国家的最先进的DL为基础的网络系统，并表明，Metis提供人类可读的解释，同时保持几乎没有性能下降。我们进一步介绍了Metis的四个具体用例，展示了Metis如何帮助网络运营商设计，调试，部署和ad-hoc调整基于DL的网络系统。
2020-07-02 cs.LG cs.NI
Neural Architecture Search using Deep Neural Networks and Monte Carlo Tree Search
Brown University（布朗大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Facebook AI Research（脸书人工智能研究院）
神经结构搜索（NAS）在神经网络的自动化设计方面取得了巨大的成功，但目前NAS方法的计算量过大，需要进一步研究如何提高样本效率和网络评估成本，以便在更短的时间内获得更好的结果。在本文中，我们提出了一种新的可扩展的蒙特卡罗树搜索（MCTS）的NAS代理，命名为AlphaX，以解决这两个方面。AlphaX通过自适应地平衡状态级别的探索和利用来提高搜索效率，并通过元深度神经网络（DNN）来预测网络精度，以便将搜索偏向有希望的区域。为了分摊网络评估成本，AlphaX通过分布式设计加速MCTS的部署，并通过迁移学习（以MCTS中的树结构为指导）减少评估网络的历元数。在12个GPU天和1000个样本中，AlphaX发现了一个架构，在CIFAR-10上达到了97.84%的top-1准确率，在ImageNet上达到了75.5%的top-1准确率，在准确率和采样效率上都超过了SOTA NAS方法。特别是，我们还在NASBench-101（一个大规模NAS数据集）上评估了AlphaX; AlphaX在寻找全局最优值方面的样本效率分别是随机搜索和正则化进化的3倍和2.8倍。最后，我们展示了搜索架构改进了从神经风格转移到图像描述和目标检测的各种视觉应用。
2019-11-21 cs.AI cs.CV cs.DC
Comparison of multi-task convolutional neural network (MT-CNN) and a few other methods for toxicity prediction
Michigan State University（密歇根州立大学）
毒性分析和预测对人类健康和环境保护至关重要。现有的计算方法是建立在各种各样的描述符和回归，这使得他们的性能分析困难。例如，深度神经网络（DNN），在许多情况下是一种成功的方法，就像一个黑盒子，几乎没有概念上的优雅或物理上的理解。目前的工作构建了一个共同的微观描述符的基础上建立的物理模型的电荷，表面积和自由能，以评估多任务卷积神经网络（MT-CNN）架构的性能和其他一些方法，包括随机森林（RF）和梯度提升决策树（GBDT），在平等的基础上。还比较了卷积神经网络（CNN）和非卷积深度神经网络（DNN）算法。四个基准毒性数据集（即，端点）用于评估各种方法。广泛的数值研究表明，目前的MT-CNN架构能够超越最先进的方法。
2017-03-31 cs.LG q-bio.QM stat.ML
Weakly Supervised Concept Learning for Object-centric Visual Reasoning
University of Lübeck（吕贝克大学）；University of Bamberg（巴马克大学）；University of Ulm（乌尔姆大学）
本文提出一种高效的弱监督方案，结合槽式架构和VAE实现对象中心推理任务中的符号 grounding，减少监督至1%并提升域泛化能力。
2026-05-05 cs.AI cs.CV cs.LG
Critical Organization of p-Adic Deep Neural Networks
University of Texas Rio Grande Valley School of Mathematical \& Statistical Sciences One West University Blvd Brownsville, TX 78520, United States
本文严格证明了深度神经网络在激活函数为sigmoid时的热力学极限，揭示了参数空间中的分岔临界组织，并利用p进整数编码层次结构，将临界组织与层次拓扑联系起来，同时研究了随机版本网络的输出分布。
2026-11-13 cs.LG
Using the IBM Analog In-Memory Hardware Acceleration Kit for Neural Network Training and Inference
IBM Research Europe（IBM欧洲研究院）；IBM Research - Yorktown Heights（IBM约克镇高地研究院）；IBM Research - Almaden（IBM阿尔马登研究院）
本教程介绍了IBM推出的免费Python库AIHWKit，可模拟基于模拟内存计算的深度神经网络训练与推理，还介绍了配套云平台及扩展方法，助力DNN适配模拟内存硬件以实现低延迟低能耗计算。
2024-01-26 cs.ET cs.LG
Context-Dependent Acoustic Modeling without Explicit Phone Clustering
RWTH Aachen University（亚琛工业大学）
基于音素的大词汇量自动语音识别声学建模利用音素上下文。大量的上下文相关（CD）音素及其高度变化的统计数据需要捆绑或平滑，以实现强大的训练。通常，分类和回归树用于语音聚类，这在基于隐马尔可夫模型（HMM）的系统中是标准的。然而，该解决方案引入了次要培训目标，并且不允许端到端培训。在这项工作中，我们解决了混合深度神经网络（DNN）/HMM的直接语音上下文建模，该模型不基于任何用于确定HMM状态库存的电话聚类算法。通过对中心音素状态及其左右上下文的联合概率进行不同的分解，我们得到了一个由不同组件组成的因子分解网络，该网络联合训练。此外，网络的语音上下文的表示依赖于音素嵌入。我们提出的模型的识别准确性开关板任务是可比的，并略优于混合模型使用标准的状态捆绑决策树。
2021-04-07 cs.LG cs.SD eess.AS
Towards Optimally Efficient Search with Deep Learning for Large-Scale MIMO Systems
Guangzhou University（广州大学）；University of Luxembourg（卢森堡大学）；Southwest Jiaotong University（西南交通大学）；Queen Mary University of London（伦敦玛丽女王大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本文研究了大规模多输入多输出（MIMO）系统中的最优信号检测问题。该问题是NP难的，可以通过在决策树上搜索最短路径来优化求解。然而，现有的最优搜索算法往往涉及过高的复杂度，这表明它们在大规模MIMO系统中不可行。为了解决这个问题，我们提出了一个通用的启发式搜索算法，即超加速树搜索（HATS）算法。该算法采用深度神经网络（DNN）来估计最优启发式，然后使用估计的启发式来加速底层的内存有界搜索算法。这个思想的灵感来自于这样一个事实，即底层的启发式搜索算法通过最优的启发函数达到最优的效率。仿真结果表明，该算法在大规模系统中几乎达到最佳的误出错率（BER）性能，而存储器大小可以限制。同时，它访问几乎最少的树节点。这表明该算法在实际应用中几乎达到了最优效率，适用于大规模系统。此外，本文的代码可在\url{https://github.com/skypitcher/hats}上获得。
2022-03-04 cs.IT cs.LG math.IT
Toward a Generalized Defense Across Sparse, Continuous, and Structured Parameter Attacks
School of Electrical Engineering and Computer Science, The University of Queensland, Australia（电气工程与计算机科学学院，昆士兰大学，澳大利亚）
提出 ParDef 框架，通过密钥通道重参数化、QC-LDPC 量化和自适应鲁棒推理，实现对多种参数攻击的通用防御，在保持高性能的同时降低攻击成功率。
2026-06-03 cs.CR cs.LG cs.SE
RedSync : Reducing Synchronization Traffic for Distributed Deep Learning
Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）
数据并行已成为跨多个节点扩展深度神经网络（DNN）训练的主要方法。由于局部模型的大量梯度同步可能是大规模分布式训练的瓶颈，因此压缩通信数据近年来得到了广泛的关注。在最近提出的几种压缩算法中，残差梯度压缩（RGC）是最成功的方法之一，它可以在保持正确精度和相同收敛速度的前提下，显著地压缩每个节点的发送消息大小（0.1%的梯度大小）。然而，关于压缩深度网络的文献几乎完全集中在实现良好的理论压缩率上，而RGC在实际分布式实现中的效率却很少被研究。在本文中，我们开发了一个基于RGC的系统，能够减少真实世界多GPU系统上的端到端训练时间。我们提出的设计称为RedSync，它引入了一组优化，以减少通信带宽的要求，同时引入有限的开销。我们在两个不同的多GPU平台上评估了RedSync的性能，包括128个GPU的超级计算机和8-GPU服务器。我们的测试用例包括Cifar 10和ImageNet上的图像分类任务，以及Penn Treebank和Wiki 2数据集上的语言建模任务。对于具有高通信计算比的DNN，长期以来被认为可扩展性差，RedSync带来了显着的性能改进。
2019-07-22 cs.CV cs.DC cs.LG
Crop Yield Prediction Using Deep Neural Networks
Iowa State University（爱荷华州立大学）
作物产量是一个高度复杂的性状，由基因型、环境及其相互作用等多种因素决定。准确的产量预测需要对产量与这些交互因素之间的函数关系有基本的了解，而揭示这种关系需要全面的数据集和强大的算法。在2018年的先正达作物挑战赛中，先正达发布了几个大型数据集，记录了2008年至2016年间在2,247个地点种植的2,267个玉米杂交种的基因型和产量表现，并要求参与者预测2017年的产量表现。作为获奖团队之一，我们设计了一种深度神经网络（DNN）方法，利用了最先进的建模和解决方案技术。我们的模型被发现具有优越的预测精度，均方根误差（RMSE）为平均产量的12%和使用预测天气数据的验证数据集的标准差的50%。在完美的天气数据下，RMSE将降低到平均收益率的11%和标准差的46%。我们还根据训练好的DNN模型进行了特征选择，成功地降低了输入空间的维数，而预测精度没有明显下降。我们的计算结果表明，该模型显着优于其他流行的方法，如拉索，浅神经网络（SNN），回归树（RT）。环境因子对产量的影响大于基因型。
2019-06-10 cs.LG stat.AP stat.ML
