Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles
MIT（麻省理工学院）
决策树集成是一种应用广泛的竞争学习模型。尽管他们的成功，流行的学习树集成工具包有有限的建模能力。例如，这些工具包支持有限数量的损失函数，并且限于单任务学习。我们提出了一个灵活的框架学习树合奏，超越现有的工具包，以支持任意损失函数，丢失的响应，和多任务学习。我们的框架建立在可区分的（a.k.a.软）树集合，其可以使用一阶方法来训练。然而，与经典树不同，可微树很难缩放。因此，我们提出了一种新的基于张量的可微树公式，允许在GPU上进行有效的矢量化。我们在28个真正的开源和专有数据集上进行了实验，这表明我们的框架可以比流行的工具包更紧凑100倍，更具表现力的树集合。
2022-05-19 cs.LG stat.ML
Scalable Whitebox Attacks on Tree-based Models
Borealis AI
对抗鲁棒性是保证机器学习模型可靠性的基本安全标准之一。虽然在过去的十年中引入了各种对抗性鲁棒性测试方法，但我们注意到其中大多数与不可微模型（如树集合）不兼容。由于树集成在工业中得到了广泛的应用，这揭示了对抗鲁棒性研究与实际应用之间的一个关键差距。提出了一种新的树集成模型的白盒对抗鲁棒性测试方法。具体地说，所提出的方法通过温度控制的sigmoid函数平滑树集合，这使得基于梯度下降的对抗攻击成为可能。通过利用采样和对数导数技巧，所提出的方法可以扩展到以前无法管理的测试任务。我们在多个公共数据集（和相应的模型）上将该方法与随机扰动和黑盒方法进行了比较。我们的结果表明，该方法可以1）成功地揭示树集成模型的对抗脆弱性，而不会造成测试的计算压力，2）灵活地平衡搜索性能和时间复杂度，以满足各种测试标准。
2022-03-31 cs.LG stat.ML
DiffLUT-Net: Differentiable Training of FPGA LUT Networks with Learnable Connectivity
TU Darmstadt（达姆施塔特工业大学）；TU Ilmenau（伊尔默瑙工业大学）
提出DiffLUT-Net，一种FPGA原生网络，通过可微训练联合学习六输入LUT的真值表和输入连接，训练后离散化并导出为Verilog，在五个基准上实现良好的精度-资源权衡。
2026-09-10 cs.AI cs.AR cs.LG
LEVDA: Latent Ensemble Variational Data Assimilation via Differentiable Dynamics
LEVDA通过可微神经动力学替代模型在低维潜在空间中实现高效数据同化，无需伴随代码或辅助编码器，提升同化精度与效率。
2026-02-23 cs.LG math.OC
Differentiable Model Selection for Ensemble Learning
Syracuse University（雪城大学）；University of Virginia（弗吉尼亚大学）
本文提出一种集成机器学习与组合优化的可微模型选择框架，通过将集成学习转化为端到端训练的可微选择程序，为特定输入选择合适的预训练模型成员，在多种任务中优于传统及先进共识规则。
2023-05-19 cs.AI cs.LG cs.MA
HPG-Diff: Hierarchical physics-guided diffusion with differentiable connectivity constraints for topology optimization
School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）；Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Research Institute of Electrical Communication, Tohoku University（东北大学电气通信研究所）
研究针对深度生成模型用于拓扑优化缺乏物理引导的问题，提出HPG-Diff框架，通过分层物理引导策略和浮动材料抑制损失增强物理一致性，经定量评估和案例研究验证了该方法在降低误差和适应特定域方面的有效性。
2026-07-09 cs.CE cs.LG
Auto-differentiable Ensemble Kalman Filters
University of Chicago（芝加哥大学）
数据同化是关于连续估计时间演变状态。这个任务，这在广泛的科学和工程应用中出现，是特别具有挑战性的状态时，是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时，AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF易于实现，并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Linear Mode Connectivity under Data Shifts for Deep Ensembles of Image Classifiers
Institute for AI Safety & Security（人工智能安全与安全研究所）
实验研究数据偏移下线性模式连通性（LMC）的条件，发现小学习率和大批量可减轻其影响，并揭示LMC在训练效率与集成多样性间的权衡。
2026-06-19 cs.LG
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Intel Labs China（英特尔中国研究院）
对于网络体系结构搜索（NAS），同时保证有效性和效率是至关重要的，但具有挑战性。为了实现这一目标，我们开发了一个可区分的NAS解决方案，其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器，我们的方法在同一轮反向传播中优化了深度网络的架构及其参数，从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构，同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
Functional connectivity ensemble method to enhance BCI performance (FUCONE)
LISV, UVSQ, Université Paris-Saclay（巴黎萨克雷大学凡尔赛大学计算机科学实验室）；Sorbonne Université（索邦大学）；Institut du Cerveau - Paris Brain Institute - ICM（巴黎大脑研究所）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；AP-HP（巴黎公立医院集团）；Hôpital de la Pitié Salpêtrière（皮提耶-萨尔佩特里尔医院）；LAMSADE, PSL, Université Paris Dauphine（巴黎多芬大学巴黎文理研究大学决策数学应用实验室）
功能连接是研究脑振荡活动的一个重要方法，它为神经元相互作用的潜在动力学提供了重要的见解，主要应用于脑活动分析。基于脑机接口信息几何学的进展，我们提出了一个新的框架，结合功能连接估计和协方差为基础的管道来分类心理状态，如运动想象。一个黎曼分类器训练每个估计和集成分类器结合在每个特征空间的决定。提供了对功能连接估计器的全面评估，并在不同条件和数据集上评估了称为FUCONE的最佳性能管道。使用荟萃分析来汇总数据集的结果，FUCONE的表现明显优于所有最先进的方法。性能增益主要归因于特征空间的改进的多样性，增加了集成分类器相对于受试者间和受试者内变化的鲁棒性。
2022-02-16 cs.LG q-bio.NC
Bayesian Experimental Design for Model Discrepancy Calibration: An Auto-Differentiable Ensemble Kalman Inversion Approach
Department of Mechanical Engineering, University of Wisconsin–Madison（威斯康星大学麦迪逊分校机械工程系）
本文提出了一种基于自动可微集合卡尔曼反演的混合贝叶斯实验设计框架，用于高效校准模型偏差并推断未知物理参数。
2025-11-22 cs.LG
Neural Architecture for Online Ensemble Continual Learning
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；Alphamoon Ltd.（Alphamoon有限公司）
针对单样本在线呈现的持续学习难题，提出完全可微的端到端神经网络集成方法，无需记忆缓冲区即达SOTA，且小型集成也能实现高分类准确率。
2023-08-21 cs.LG
A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
梯度提升机是求解回归问题的有力工具之一。针对其不足，提出了一种构造梯度提升模型集成的方法。该方法背后的主要思想是使用堆叠算法来学习第二级元模型，该第二级元模型可以被视为用于实现梯度提升模型的各种集合的模型。首先，梯度提升模型的线性回归被认为是在线性模型关于其系数（权重）可微的条件下的元模型的最简单实现。然后，它表明，所提出的方法可以简单地扩展到任意可微的组合模型，例如，神经网络是可微的，可以实现任意功能的梯度提升模型。各种数值例子说明了所提出的方法。
2020-10-12 cs.LG stat.ML
Deep generative modelling of canonical ensemble with differentiable thermal properties
Department of Physics, The Hong Kong University of Science and Technology（香港科技大学物理系）；Department of Chemistry, The Hong Kong University of Science and Technology（香港科技大学化学系）
本文提出了一种基于可微温度的变分方法，用于计算 canonical 集合的热力学量，实现了高效准确的直接采样模拟。
2025-12-09 cond-mat.stat-mech cs.LG
FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles
University of Amsterdam（阿姆斯特丹大学）；Radboud University（拉德堡德大学）
由于算法决策对人类的影响越来越大，模型可解释性已经成为机器学习（ML）中的一个重要问题。反事实解释不仅可以帮助用户理解为什么ML模型做出某些决策，还可以帮助用户理解如何改变这些决策。我们将寻找反事实解释的问题框架为基于梯度的优化任务，并扩展了以前只能应用于可微模型的工作。为了适应不可微的模型，如树集成，我们使用概率模型近似的优化框架。我们介绍了一种近似技术，这是有效的寻找反事实的解释，为原始模型的预测，并表明我们的反事实的例子显着更接近原始的实例比其他方法专门设计的树合奏。
2021-12-17 cs.AI cs.LG
The Tree Ensemble Layer: Differentiability meets Conditional Computation
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）
神经网络和树集成是最先进的学习器，每一个都有其独特的统计和计算优势。我们的目标是通过为神经网络引入一个新的层来结合这些优势，该层由可微决策树（a.k.a.软树）。虽然可微树在文献中展示了有希望的结果，但它们通常在训练和推理中很慢，因为它们不支持条件计算。我们通过引入一个新的样本路由稀疏激活函数来缓解这个问题，并通过开发利用稀疏性的专门的前向和后向传播算法来实现真正的条件计算。我们的高效算法为使用一阶方法（例如，SGD）。在23个分类数据集上的实验表明，与文献中使用的可微树相比，速度提高了10倍以上，与梯度提升树相比，参数数量减少了20倍以上，同时保持了竞争力。此外，在CIFAR、MNIST和Fashion MNIST上的实验表明，用我们的树层替换CNN中的密集层，测试损失减少了7-53%，参数数量减少了8倍。我们提供了一个带有Keras API的开源TensorFlow实现。
2020-07-11 cs.CV cs.LG stat.ML
Saturation-Aware Robust Trajectory Optimization for Reusable Launch Vehicles via Differentiable Physics
Beijing Institute of Aeronautical Systems Engineering（北京航空航天系统工程研究所）
针对可重复使用运载火箭大攻角翻转机动的鲁棒轨迹优化难题，提出基于可微物理的框架，核心是DPTC方案，经六自由度蒙特卡罗模拟对比，该框架能主动权衡性能，为航空航天飞行系统鲁棒制导提供有效实用框架。
2026-07-14 cs.LG cs.RO physics.app-ph
Neuro-inspired Ensemble-to-Ensemble Communication Primitives for Sparse and Efficient ANNs
Archimedes, Athena Research Center（阿基米德研究中心）；Harvard Medical School（哈佛医学院）；University of Crete（希腊克里特大学）；Foundation for Research and Technology-Hellas（希腊研究与技术基金会）
本文受小鼠视觉皮层集成间通信模式启发，提出稀疏模块化架构G2GNet，并结合动态稀疏训练与Hebb式重连规则，在显著减少参数和计算的同时提升视觉基准准确率。
2025-09-21 cs.AI cs.LG
The Empirical Impact of Reducing Symmetries on the Performance of Deep Ensembles and MoE
HSE University（高等经济大学）
本文在五个数据集上实证检验减少对称性对深度集成、MoE 及新提出的 MoIE 的影响，发现其可显著改善深度集成扩展性，但对两类专家混合架构的作用尚无定论。
2025-03-17 cs.AI cs.LG
Constructing Extreme Heatwave Storylines with Differentiable Climate Models
Centre Étude et simulation du climat à l’échelle régionale (ESCER), Département des Sciences de la Terre et de l’Atmosphère, Université du Québec à Montréal（区域气候研究与模拟中心（ESCER）、地球科学与大气科学系、魁北克蒙特利尔大学）
本文提出利用可微混合气候模型NeuralGCM，通过优化初始条件生成物理一致的极端热浪轨迹，以更高效地探索极端天气事件的可能性尾部。
2025-11-26 cs.LG physics.ao-ph physics.flu-dyn
DiffHybrid-UQ: Uncertainty Quantification for Differentiable Hybrid Neural Modeling
University of Notre Dame（圣母大学）
本文提出DiffHybrid-UQ方法，结合深度集成贝叶斯学习与非线性变换，有效量化混合神经可微模型中的偶然与认知不确定性，适用于并行计算且在常微分和偏微分方程问题中验证了其优越性。
2023-12-30 cs.AI cs.LG
Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs
Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Cornell University（康奈尔大学）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
深度神经网络的损失函数很复杂，其几何性质还没有得到很好的理解。我们表明，这些复杂的损失函数的最优值实际上是由简单的曲线连接，在这些曲线上，训练和测试精度几乎是恒定的。我们引入了一个训练过程来发现这些模式之间的高精度路径。受这种新的几何见解的启发，我们还提出了一种新的集成方法，称为快速几何集成（FGE）。使用FGE，我们可以在训练单个模型所需的时间内训练高性能的合奏。与最近最先进的快照集成相比，我们在CIFAR-10，CIFAR-100和ImageNet上实现了更高的性能。
2018-10-30 cs.AI cs.LG stat.ML
A Differentiable Partially Observable Generalized Linear Model with Forward-Backward Message Passing
School of Computational Science & Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）
针对部分可观测广义线性模型学习中的梯度估计和变分模型效率问题，提出可微分模型与前向-后向消息传递采样，在合成及真实数据上性能更优且参数更可解释。
2024-02-07 cs.LG q-bio.NC
Attention augmented differentiable forest for tabular data
Xiamen University（厦门大学）；Department of Electronic Science（电子科学系）
可微森林是一组具有完全可微性的决策树的集合。其简单的树结构易于使用和解释。在完全可微的情况下，它将在端到端的学习框架中使用基于梯度的优化方法进行训练。本文在可微森林的框架下提出了树的注意块（TAB）。TAB块有两种操作，挤压和调节。挤压操作将提取每棵树的特征。调节操作将学习这些树之间的非线性关系。因此，TAB块将学习每棵树的重要性，并调整其权重，以提高准确性。我们在大型表格数据集上的实验表明，注意力增强可微森林将获得与梯度提升决策树（GBDT）相当的准确性，这是最先进的表格数据集算法。在某些数据集上，我们的模型比最好的GBDT库（LightGBM，Catboost和XGBoost）具有更高的准确性。可微森林模型支持批量训练，批量大小远小于训练集的大小。因此，在较大的数据集上，它的内存使用率比GBDT模型低得多。源代码可在www.example.com上获得。
2020-10-02 cs.LG stat.ML
Rare Events, Real Signals: Functional Ensembles as Units of Computation in Deep Spiking Networks
University of Crete（希腊克里特大学）；Foundation of Research & Technology - Hellas（希腊研究与技术基金会）；Archimedes Research Unit（阿基米德研究单位）；Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）
通过引入功能连接性分析框架，研究深度脉冲神经网络中功能集合的涌现特性，发现一阶功能连接集合的协同放电可靠预测下游神经元响应，且信息编码集中在罕见但高度协调的活动模式中。
2026-05-21 cs.AI cs.LG cs.NE
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
在实际应用中，树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则，软树使用梯度方法来训练，其中整个分裂操作以可微形式制定。虽然近年来，这种软树的集合越来越多地被使用，但很少有理论工作来理解它们的行为。通过对无限软树系综的研究，引入并研究了树神经切线核（TNTK），为研究无限软树系综的行为提供了新的思路.使用TNTK，我们从理论上确定了几个非平凡的属性，如全局收敛的训练，不经意的树结构的等价性，和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Do We Really Need Permutations? Impact of Model Width on Linear Mode Connectivity
Tohoku University（东大理工大学）；NTT DOCOMO, INC.（NTT DOCOMO公司）；NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）
本研究发现，通过扩大模型宽度并使用合适的softmax温度校准，无需排列即可实现线性模式连接。
2026-03-06 cs.LG
AgenticRS-EnsNAS: Ensemble-Decoupled Self-Evolving Architecture Search
Alibaba Group（阿里巴巴集团）
本文提出ensemble-decoupled架构搜索框架，通过预测系统级性能降低评估成本，统一了连续和离散pi的解决方案策略，揭示了基础多样性增益和准确增益两种改进机制。
2026-03-20 cs.LG
Fitting summary statistics of neural data with a differentiable spiking network simulator
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
将网络模型拟合到神经活动是神经科学中的重要工具。一种流行的方法是用概率性周期性尖峰网络对大脑区域进行建模，该网络的参数最大化记录活动的可能性。虽然这是广泛使用的，我们表明，由此产生的模型不会产生现实的神经活动。为了纠正这一点，我们建议增加对数似然与衡量模拟和记录的活动之间的差异的条款。这种差异是通过神经科学中常用的汇总统计来定义的，并且优化是有效的，因为它依赖于通过随机模拟的尖峰序列的反向传播。我们从理论上分析了这种方法，并实证表明，它产生更现实的活动统计。我们发现，它改进了其他拟合算法的尖峰网络模型，如GLM（广义线性模型），通常不依赖于反向传播。这种新的拟合算法还可以考虑隐藏的神经元，这是众所周知的困难，我们表明，当试图从尖峰记录推断网络连接时，它可能是至关重要的。
2021-11-14 cs.LG q-bio.NC stat.ML
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon（俄勒冈大学）
我们如何识别对树集成预测贡献最大的训练样本？在本文中，我们介绍TREX，解释系统，提供实例属性的解释树集成，如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的，我们定义了一个内核，捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核，TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明，TREX的代理模型能准确地逼近树系集，其全局重要性权重在数据集调试中比现有的方法更有效，在移除和重新训练评估框架下，其解释能更好地识别最具影响力的样本，其运行速度比其他方法快几个数量级，并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
MIDAS: Mosaic Input-Specific Differentiable Architecture Search
Independent Researcher（独立研究者）
MIDAS通过引入动态输入特定参数和拓扑感知搜索空间，提高了神经架构搜索的鲁棒性和性能，实现了在多个数据集上的优异表现。
2026-10-28 cs.AI cs.LG cs.NE
A Self-Ensemble Inspired Approach for Effective Training of Binary-Weight Spiking Neural Networks
Pengcheng Laboratory（鹏城实验室）；Microsoft Research Asia – Shanghai（微软亚洲研究院-上海）；Peking University（北京大学）
本文通过分析反向传播过程揭示SNN可视为带噪声注入的二值激活网络自集成，提出SEI-BWSNN方法，利用多捷径和知识蒸馏改进二值权重SNN训练，在ImageNet上以2个时间步达到82.52%准确率。
2025-08-18 cs.LG cs.NE
Exploring End-to-end Differentiable Neural Charged Particle Tracking -- A Loss Landscape Perspective
Chair for Scientific Computing University of Kaiserslautern-Landau (RPTU)（科学计算研究所 卡塞尔拉特大学（RPTU））
该研究针对带电粒子径迹重建提出端到端可微分的决策聚焦学习方案，结合图神经网络与可微离散指派操作，从损失景观视角分析优化特性与预测稳定性，为鲁棒粒子追踪提供新工具。
2025-10-29 cs.LG physics.comp-ph
Structured Ensembles: an Approach to Reduce the Memory Footprint of Ensemble Methods
Sapienza University of Rome（罗马第一大学）
在本文中，我们提出了一种用于深度神经网络的新集成技术，与其他方法相比，该技术能够大幅减少所需的内存。特别是，我们建议从一个单一的，未经训练的神经网络中提取多个子网络，通过解决一个端到端的优化任务相结合的可微缩放的原始架构，与多个正则化项有利于合奏的多样性。由于我们的建议旨在检测和提取子结构，因此我们称之为结构化Entrance。在一个大型的实验评估，我们表明，我们的方法可以实现更高或可比的准确性竞争的方法，同时需要显着减少存储。此外，我们评估我们的合奏预测校准和不确定性方面，显示他们比较有利的国家的最先进的。最后，我们画一个链接与持续学习文献，我们提出了一个修改我们的框架，以处理连续流的任务与次线性内存成本。我们比较了一些替代策略，以减轻灾难性遗忘，突出的平均准确性和记忆方面的优势。
2021-09-17 cs.AI cs.LG stat.ML
Topology and Geometry of the Learning Space of ReLU Networks: Connectivity and Singularities
Politecnico di Torino（都灵理工大学）；Northeastern University London（伦敦东北大学）
本研究探讨了ReLU网络学习空间的拓扑与几何特性，分析了参数空间的连通性与奇点存在，揭示了DAG结构对这些性质的影响，并通过实验验证了理论结果。
2026-01-31 cs.LG math.AG math.AT
Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification
JD AI Research（京东人工智能研究院）；Stanford University（斯坦福大学）
最近的方面级情感分类工作已经证明了将句法结构（如依赖树）与图神经网络（GNN）相结合的有效性，但这些方法通常容易出现解析错误。为了更好地利用语法信息，面对不可避免的错误，我们提出了一个简单而有效的图集成技术，GraphMerge，利用不同的解析器的预测。我们没有为每个依赖树分配一组模型参数，而是首先将来自不同解析的依赖关系组合在一起，然后将GNN应用于结果图。这使得GNN模型能够在没有额外计算成本的情况下强大地解析错误，并通过将更多的连接引入到系综图中来帮助避免GNN层堆叠的过度参数化和过度拟合。我们在SemEval 2014 Task 4和ACL 14 Twitter数据集上的实验表明，我们的GraphMerge模型不仅优于单依赖树模型，而且在不添加模型参数的情况下击败了其他集成模型。
2021-03-12 cs.CL cs.LG
Differentiable Lifting for Topological Neural Networks
University of São Paulo（圣保罗大学）；Instituto Curvelo（库尔韦洛研究所）；Federal Institute of Ceará（塞阿拉联邦学院）；Aalto University（阿尔托大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）
针对拓扑神经网络（TNNs）图提升操作先验识别的缺陷，提出可微提升框架DiffLift，实验显示其在多基准分类任务上优于现有方法，最高提升45%。
2026-08-04 cs.LG cs.SI
A Generative Model for Sampling High-Performance and Diverse Weights for Neural Networks
UCLA（加州大学洛杉矶分校）
最近关于深度神经网络的损失景观中的模式连通性的工作已经证明，（次）最优权重向量的轨迹位于连续路径上。在这项工作中，我们训练一个神经网络，作为一个超网络，映射到高性能（低损耗）的权重向量的潜在向量，推广最近的研究结果的模式连接到高维流形。我们将训练目标制定为准确性和多样性之间的折衷，其中多样性考虑了目标网络的平凡对称变换。我们演示了如何减少参数共享的超网络中的参数的数量。一旦学会，超网络允许计算效率，神经网络权重的祖先采样，我们招募这些权重来形成大的集合。分类精度的提高，通过这种集成表明，所产生的流形延伸的尺寸以外的平凡对称性所暗示的方向。为了提高计算效率，我们将集成提取到单个分类器中，同时保留泛化。
2019-05-07 cs.LG stat.ML
Deep Forest
Nanjing University（南京大学）
当前的深度学习模型大多建立在神经网络上，即，多层参数化可微非线性模块，可以通过反向传播进行训练。在本文中，我们探索了基于不可微模块构建深度模型的可能性。我们推测，深层神经网络成功背后的奥秘在很大程度上归功于三个特征，即，逐层处理、模型内特征转换和足够的模型复杂度。我们提出了gcForest方法，它生成持有这些特征的\textit{deep forest}。这是一种决策树集成方法，比深度神经网络具有更少的超参数，并且其模型复杂度可以以数据依赖的方式自动确定。实验表明，它的性能对超参数设置具有相当强的鲁棒性，因此在大多数情况下，即使跨来自不同域的不同数据，使用相同的默认设置也能够获得出色的性能。该研究打开了基于不可微模块的深度学习的大门，展示了在不使用反向传播的情况下构建深度模型的可能性。
2020-07-06 cs.LG stat.ML
Classification of EEG-Based Brain Connectivity Networks in Schizophrenia Using a Multi-Domain Connectome Convolutional Neural Network
Universiti Teknologi Malaysia（马来西亚理工大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们利用脑功能连接的改变模式作为神经精神病患者自动判别分析的特征。深度学习方法最近才被引入到功能性网络分类中，用于fMRI，并且所提出的架构基本上集中在单一类型的连接性度量上。我们提出了一个深度卷积神经网络（CNN）框架，用于对精神分裂症（SZ）患者的脑电图（EEG）衍生脑连接体进行分类。为了捕捉在SZ中断连接的互补方面，我们探索各种连接功能的组合，包括有效连接的时间和频域指标的基础上向量自回归模型和部分有向相干性，和复杂的网络拓扑结构的网络措施。我们设计了一种新的多域连接体CNN（MDC-CNN）的基础上并行集成的一维和二维CNN集成的功能，从不同的域和维度使用不同的融合策略。多个卷积层从EEG连接性中学习到的分层潜在表示揭示了SZ和健康对照（HC）之间明显的群体差异。在一个大的静息状态EEG数据集上的结果表明，所提出的CNN显着优于传统的支持向量机分类器。具有组合连接特征的MDC-CNN进一步提高了使用单个特征的单域CNN的性能，实现了具有决策级融合的$93.06\%$的显著准确性。通过整合来自不同大脑连接描述符的信息，所提出的MDC-CNN能够准确地区分SZ和HC。新的框架是潜在的有用的开发SZ和其他疾病的诊断工具。
2019-03-21 cs.CV cs.LG q-bio.NC
Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations
Galois, Inc.（Galois公司）
本文提出一种训练具有内部状态、离散激活和极少拓扑约束的神经网络的新算法，应用于二元激活单权重矩阵架构，能形成文本表示但受限于大数据利用，并探讨改进方向与潜在益处。
2023-12-22 cs.LG cs.NE
ENADPool: The Edge-Node Attention-based Differentiable Pooling for Graph Neural Networks
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；School of Information, Central University of Finance and Economics（中央财经大学信息学院）；Key Laboratory of Intelligent Education Technology and Application of Zhejiang Province, Zhejiang Normal University（浙江师范大学浙江省智能教育技术与应用重点实验室）；Department of Computer Science, University of York（约克大学计算机科学系）
该研究提出基于边-节点注意力的可微池化ENADPool，结合硬聚类与注意力机制优化图表示聚合，同时配套多距离GNN模型缓解过平滑问题，实验验证了方法的有效性。
2024-05-16 cs.AI cs.LG
Efficient combination of pairswise feature networks
Technical University of Catalonia（加泰罗尼亚理工大学）；Université de Liège（列日大学）
本文提出了一种新的方法，用于重建一个神经网络连接使用钙荧光数据。我们引入了一种快速的无监督方法来整合不同的网络，从神经元活动中重建结构连接。我们的方法改进了国家的最先进的重建方法一般转移熵（GTE）。我们能够更好地消除间接链接，因此通过GTE和三个新的信息特征的归一化和集成过程来提高网络的质量。该方法基于简单的网络组合，速度非常快。我们的方法的性能是基准上的模拟时间序列提供的连接组学的挑战，也提交了公开竞争。
2015-05-30 cs.LG stat.ML
Retrainable physics-integrated neural differentiable modeling of sintering across material systems
University of Notre Dame（圣母大学）
提出可重训练的物理集成神经可微框架Sinter-PiNDiff，预测烧结中密度与晶粒尺寸演变，在多种材料上优于基线，支持稀疏数据预测与不确定性知情工艺选择。
2026-09-28 cond-mat.mtrl-sci cs.LG
Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity
The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；University of California at Berkeley（加州大学伯克利分校）
机器学习模型在安全关键应用中的部署伴随着这样的模型将在一系列上下文（例如，用于对街道标志进行分类的视觉模型应当在变化的照明/天气条件下在农村、城市和高速公路设置中工作）。然而，这些通用模型通常针对平均情况性能进行了优化，鼓励它们在标称条件下实现高性能，但在具有挑战性或罕见的环境中暴露于意外行为。为了解决这个问题，我们开发了一种新的方法来训练上下文相关的模型。我们扩展了桥接模式连接（BMC）（Garipov等人，2018）来训练在连续的上下文测量上的模型的无限集合，使得我们可以对专门调整到相应的评估上下文的模型参数进行采样。我们通过多个镜头探索图像分类任务中上下文的定义，包括风险特征的变化、长尾图像统计/外观和上下文相关的分布偏移。我们开发了新的扩展BMC优化这些情况下，我们的实验表明，模型的性能可以成功地调整到每个场景中的上下文。
2022-11-28 cs.AI cs.CV cs.LG
Ensemble learning with 3D convolutional neural networks for connectome-based prediction
Cornell University（康奈尔大学）；Weill Cornell Medical College（威尔康奈尔医学院）
静息状态功能磁共振成像（rs-fMRI）测量的特异性和灵敏度取决于预处理的选择，如用于定义感兴趣区域（ROI）的分割方案。在这项研究中，我们批判性地评估了大脑包裹对应用于rs-fMRI数据的机器学习模型的影响。我们的实验揭示了一个显着的趋势：平均而言，具有随机包裹的模型在相同的空间尺度上与具有广泛使用的地图集的模型一样一致。因此，我们提出了一种集成学习策略，以组合来自使用不同（例如，随机）包裹。我们进一步提出了一种新的3D卷积神经网络（CNN）方法实现我们的集成学习策略。所提出的CNN方法利用了rs-fMRI数据的全分辨率3D空间结构，并适合非线性预测模型。我们的集成CNN框架克服了传统机器学习模型的局限性，这些模型通常依赖于基于区域的汇总统计和/或线性模型。我们展示了我们的分类方法（自闭症患者与健康对照）和回归问题（预测受试者的年龄），并报告了有希望的结果。
2019-06-04 cs.CV cs.LG stat.ML
LSA-PINN: Linear Boundary Connectivity Loss for Solving PDEs on Complex Geometry
Nanyang Technological University（南洋理工大学）
本文提出LSA-PINN方法，通过新的边界连通性损失为PINN边界梯度行为提供线性局部结构近似，从而在复杂几何PDE求解中以更稀疏样本和更少迭代实现比现有方法低几个数量级的误差。
2023-03-02 cs.CE cs.LG physics.flu-dyn
Robust Counterfactual Explanations for Tree-Based Ensembles
JP Morgan AI Research（摩根大通人工智能研究院）
反事实解释告知从机器学习模型实现期望结果的方法。然而，这样的解释对于基础模型中的某些真实世界变化（例如，重新训练模型、改变超参数等），质疑它们在几种应用中的可靠性，例如，信用贷款在这项工作中，我们提出了一种新的策略-我们称之为RobX -为基于树的集合生成鲁棒的反事实，例如，XGBoost。基于树的集合在鲁棒的反事实生成中提出了额外的挑战，例如，它们具有非光滑且不可微的目标函数，并且在对非常相似的数据进行重新训练的情况下，它们可能会在参数空间中发生很大变化。我们首先介绍一种新的度量标准-我们称之为反事实稳定性-试图量化反事实在重新训练下对模型变化的鲁棒性，并具有理想的理论属性。我们提出的策略RobX适用于任何反事实生成方法（基本方法），并通过使用我们的度量反事实稳定性迭代地改进基本方法生成的反事实来搜索鲁棒的反事实。我们在基准数据集上比较了RobX与流行的反事实生成方法（用于基于树的集合）的性能。结果表明，我们的策略生成的反事实比现有的最先进的方法更强大（实际模型更改后的有效性接近100%），也更现实（就局部离群值因子而言）。
2022-07-17 cs.AI cs.CY cs.LG
