Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling
Everbright Technology Co. LTD（光大科技有限公司）
在这篇手稿（MS）中，我们提出了因果推理为基础的单分支集成树隆起建模，即CIET。与预测概率建模的标准分类方法不同，CIET旨在实现由行为或治疗引起的结果预测概率的变化。根据我们的CIET，两个划分标准是专门设计的，以最大限度地提高治疗组和对照组之间的结果分布差异。接下来，一个新的单分支树是建立通过采取自顶向下的节点划分方法，和其余的样本进行审查，因为他们没有被覆盖的上层节点划分逻辑。在删失数据上重复树的构建过程，从而形成具有一组推理规则的单分支集成树。此外，实验表明，CIET优于以往的隆升模拟方法在隆升曲线下的面积（AUUC）和基尼系数显着。目前，信投贷已在国内某国家级金融控股集团应用于线上个人贷款。CIET还将有助于分析师将机器学习技术应用于更广泛的商业领域，如网络广告，医学和经济学的因果推理。
2023-02-03 cs.LG
Efficient Ensemble Conditional Independence Test Framework for Causal Discovery
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出了一种高效的条件独立性测试框架，通过分组聚合策略降低计算复杂度并提升因果发现性能。
2026-02-27 cs.AI cs.LG stat.ML
Causal Ensemble Agent: Hierarchical Causal Discovery with LLM-guided Expert Reweighting
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Peking University（北京大学）；Adelaide University（阿德莱德大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）
提出因果集成智能体（CEA）框架，通过线性意见池聚合不同层次的统计因果发现结果，并利用大语言模型（LLM）作为元裁判在决策边界附近动态重加权专家，从而构建更准确完整的因果图。
2026-06-09 cs.AI cs.CL cs.LG
Causal rule ensemble approach for multi-arm data
Wakayama Medical University（和歌山医科大学）；Doshisha University（同志社大学）
针对多臂试验中异质性处理效应估计的可解释性不足问题，提出基于规则集成的机器学习框架，在保证精度的同时提升可解释性，实验表明其偏差更低、精度更高。
2025-04-24 cs.LG stat.ML
LSCP: Locally Selective Combination in Parallel Outlier Ensembles
University of Toronto（多伦多大学）；PricewaterhouseCoopers Canada（加拿大普华永道）；Northeastern University（东北大学）
在无监督的离群值集成中，缺乏基础事实使得基础离群值检测器的组合成为一项具有挑战性的任务。具体而言，现有的并行离群值集成缺乏一种可靠的方式来选择合格的基础检测器，影响准确性和稳定性，在模型组合。在本文中，我们提出了一个框架-所谓的本地选择性组合在并行离群集成（LSCP）-它解决了这个问题，通过定义一个本地区域周围的测试实例，使用其最近的邻居在随机选择的特征子空间的共识。选择该局部区域中表现最好的基本检测器，并将其组合为模型的最终输出。四个变种的LSCP框架进行了比较，与七个广泛使用的并行框架。实验结果表明，其中一个变体LSCP_AOM在20个真实世界数据集的大多数上始终优于基线。
2019-01-23 cs.IR cs.LG stat.ML
cuPC: CUDA-based Parallel PC Algorithm for Causal Structure Learning on GPU
Sharif University of Technology（谢里夫理工大学）
在经验科学的许多领域中，主要目标是从观测数据中发现一组变量之间的因果关系。PC算法是一种很有前途的解决方案，通过执行一些条件独立性测试来学习潜在的因果结构。在本文中，我们提出了一种新的基于GPU的并行算法，称为cuPC，执行一个订单独立版本的PC。所提出的解决方案有两个变体，cuPC-E和cuPC-S，它们以两种不同的方式并行化PC，用于多变量正态分布。实验结果表明，所提出的算法相对于变量的数量，样本的数量，和不同的图密度的可扩展性。例如，在一个最具挑战性的数据集中，运行时间从11个多小时减少到大约4秒。平均而言，与CPU上的串行实现相比，cuPC-E和cuPC-S分别实现了500倍和1300倍的加速。cuPC的源代码可以在网上找到[1]。
2019-09-23 cs.DC cs.LG q-bio.QM
Source Separation of Small Classical Ensembles: Challenges and Opportunities
University of Salford（索尔福德大学）；University of Nottingham（诺丁汉大学）；University of Leeds（利兹大学）；University of Sheffield（谢菲尔德大学）
本研究针对古典音乐音源分离难题，利用ConvTasNet模型和合成木管数据库，对比因果与非因果方法，发现合成与真实数据不匹配是关键挑战，为未来研究指明方向。
2025-05-23 cs.LG cs.SD eess.AS
Ensemble-Compression: A New Method for Parallel Training of Deep Neural Networks
Nankai University（南开大学）；Microsoft Research（微软研究院）
最近，网格化框架已经成为加速深度神经网络（DNN）训练的必要条件。这种框架通常采用模型平均方法，表示为MA-DNN，其中并行工作者基于他们自己的本地数据进行各自的训练，同时定期通信和平均本地模型的参数以获得全局模型，该全局模型用作本地模型的新起点。然而，由于DNN是一个高度非凸的模型，平均参数不能确保这样的全局模型可以比那些局部模型表现得更好。为了解决这个问题，我们引入了一个新的并行训练框架，称为Ensemble-Compression，表示为EC-DNN。在这个框架中，我们建议通过集成来聚合局部模型，即，平均局部模型的输出而不是参数。由于大多数流行的损失函数都是DNN输出的凸函数，因此可以保证基于集成的全局模型的性能至少与局部模型的平均性能一样好。然而，一个很大的挑战在于模型大小的爆炸，因为每一轮的合奏可以引起数倍的大小增量。因此，我们进行模型压缩后，每一个合奏，专业化的蒸馏为基础的方法，在本文中，以减少规模的全球模型是相同的地方。我们的实验结果证明了EC-DNN在准确性和加速比方面优于MA-DNN。
2017-07-18 cs.DC cs.LG cs.NE
CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）；Tongji University（同济大学）
提出CauTion框架，通过共识过滤和LLM可靠性估计，将LLM领域知识可靠地集成到多个统计因果发现算法中，解决纯统计方法的局限和LLM错误问题。
2026-10-19 cs.AI cs.CL cs.LG
Choosing a parallel heterogeneous ensemble method for tabular classification
Mines Paris, PSL University（巴黎矿业学院，巴黎文理研究大学）；Alten Labs（阿尔滕实验室）
在56个表格分类任务上比较并行集成方法并得出使用建议，后在28个任务上验证，该建议集表现出色。发现混合和堆叠不一致但相互独立，硬投票概率分类弱，稳健软投票概率分类成功。
2026-07-07 cs.LG
Stochastic Tree Ensembles for Estimating Heterogeneous Effects
School of Mathematical and Statistical Sciences（数学与统计科学学院）；Arizona State University（亚利桑那州立大学）；Department of Management Sciences（管理科学系）；City University of Hong Kong（香港城市大学）
确定对特定干预（医疗或政策）反应特别好（或不好）的亚组需要专门为因果推断量身定制的新监督学习方法。贝叶斯因果森林（Bayesian Causal Forest，BCF）是一种最近的方法，已被证明在具有强混杂的数据生成过程中表现良好，这在许多应用中是合理的。本文提出了一种新的算法来拟合BCF模型，这是比以前可用的吉布斯采样器更有效。新算法可用于初始化现有Gibbs采样器的独立链，从而在仿真研究中更好地进行后验探索和覆盖相关的区间估计。通过仿真研究和实证分析，新算法相比，相关的方法。
2022-09-15 cs.LG stat.ML
Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions
Institute for Astronomy, University of Edinburgh（爱丁堡大学天文研究所）
切片采样已经成为一种强大的马尔可夫链蒙特卡罗算法，它以最小的手动调整适应目标分布的特征。然而，切片采样的性能对用户指定的初始长度尺度超参数高度敏感，并且该方法通常难以处理尺度差或强相关的分布。本文介绍了Ensemble切片采样（ESS），一类新的算法，绕过这样的困难，通过自适应调整的初始长度尺度和利用合奏的并行步行者，以有效地处理参数之间的强相关性。这些仿射不变的算法是平凡的构造，不需要手动调整，可以很容易地实现在并行计算环境中。实证测试表明，包围切片采样可以提高效率超过一个数量级相比，传统的MCMC方法在广泛的高度相关的目标分布。在强多模态目标分布的情况下，Enhancement切片采样即使在高维中也可以有效地采样。我们认为，并行，黑盒和梯度的方法的性质使其理想的用于科学领域，如物理学，天体物理学和宇宙学，这些领域主要是由各种各样的计算昂贵和不可微的模型。
2021-10-03 astro-ph.CO astro-ph.IM cs.LG
GPUTreeShap: Massively Parallel Exact Calculation of SHAP Scores for Tree Ensembles
Nvidia Corporation（英伟达公司）；University of Waikato（怀卡托大学）
SHAP（SHapley加法解释）值提供了基于Shapley值的机器学习模型的预测的博弈论解释。虽然SHAP值的精确计算通常在计算上是难以处理的，但是称为TreeShap的递归多项式时间算法可用于决策树模型。然而，尽管它的多项式时间复杂度，TreeShap可以成为一个显着的瓶颈时，实际的机器学习管道应用于大型决策树集成。不幸的是，复杂的TreeShap算法很难映射到GPU等硬件加速器。在这项工作中，我们提出了GPUTreeShap，一个重新制定的TreeShap算法，适用于大规模并行计算的图形处理单元。我们的方法首先预处理每个决策树，以隔离可变大小的子问题，从原来的递归算法，然后解决装箱问题，最后映射子问题的单指令，多线程（SIMT）任务的并行执行与专门的硬件指令。凭借单个NVIDIA Tesla V100-32 GPU，我们在两个20核Xeon E5-2698 v4 2.2 GHz CPU上执行的最先进的多核CPU实现中，实现了高达19倍的SHAP值加速和高达340倍的SHAP交互值加速。我们还使用8个V100 GPU进行了多GPU计算实验，展示了每秒120万行的吞吐量-基于CPU的等效性能估计需要6850个CPU内核。
2022-02-03 cs.DC cs.LG
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）
本文提出了一个计算框架，产生合奏预测力学模型与不确定性量化（UQ）。首先，我们开发了一个因果发现算法，通过有向无环图（DAG）来推断在每个代表性体积元素（RVE）模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系，预测在导出的因果图中传播，同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子（摩擦界面的牵引分离定律，颗粒集合体的弹塑性模型）来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Climate-resilient electric vehicle charging infrastructure for sustainable cities: An interpretable causal-ensemble framework for preventive maintenance and low-carbon mobility
Foshan University（佛山科学技术学院）；Jilin University（吉林大学）；National University of Singapore（新加坡国立大学）
研究针对城市气候压力增加电动汽车充电设施故障风险问题，开发FGDSE框架，通过划分特征家族、添加专家及门控机制预测故障风险，经SHAP归因等扩展为因果决策支持，实验表明其性能优越，能助力气候适应性维护与低碳出行。
2026-07-24 cs.LG math.OC
A Distributed Framework for Causal Modeling of Performance Variability in GPU Traces
Texas State University（德克萨斯州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Argonne National Laboratory（阿贡国家实验室）；Sandia National Laboratories（桑迪亚国家实验室）
针对大规模GPU轨迹性能分析计算成本高、耗时长的问题，提出一种端到端并行性能分析框架，通过并行划分处理轨迹数据、结合因果图与并行协调图分析性能变异与依赖，实现可扩展性提升67%。
2025-10-21 cs.DC cs.LG
Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding
Shanghai Jiao Tong University（上海交通大学）；Tencent YouTu Lab（腾讯优图实验室）；Xiamen University（厦门大学）
提出DSpine，通过主干网络逐层门控相邻因果注入实现并行起草与深度条件化，在多个基准上超越DFlash，显著提升投机解码的接受长度和吞吐量。
2026-10-14 cs.AI cs.LG
Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling
Independent Researcher（独立研究员）
提出并行因果关联域（PCAF），通过哈希桶存储局部记录、检索候选集形成稀疏缓存，并与参数化语言模型门控混合，实现稀疏长上下文访问，避免固定状态瓶颈。
2026-06-09 cs.CL cs.LG
Dynamic Expert-Guided Model Averaging for Causal Discovery
Ghent University - imec（根特大学 - imec）
本文提出一种动态专家指导的模型平均方法，整合选择性专家查询以集成多种因果发现算法，区分边存在与方向，提升数据驱动与专家输入的互补优势。
2026-05-07 cs.AI cs.LG
Causal Atlases from Entropic Inference: Bayesian Networks beyond Optimal DAGs
Department of Physics , Engineering Physics and Astronomy（物理系、工程物理与天文学系）
针对数据驱动因果识别中多因果链问题，提出基于熵推理的因果图谱方法，通过最大熵系综采样量化因果结构歧义性。
2026-06-04 cs.LG stat.ML
Valid Causal Inference with (Some) Invalid Instruments
University of British Columbia（不列颠哥伦比亚大学）；Google（谷歌）；Columbia University（哥伦比亚大学）
工具变量方法提供了一种在存在未观察到的混杂因素的情况下估计因果效应的强有力的方法。但在应用它们时的一个关键挑战是依赖于不可检验的“排除”假设，这些假设排除了工具变量与不受治疗介导的反应之间的任何关系。在本文中，我们展示了如何执行一致的IV估计，尽管违反了排除假设。特别是，我们表明，当一个有多个候选工具，只有大多数这些候选人-或者，更一般地说，模态候选人响应关系-需要是有效的，以估计因果关系。我们的方法使用来自工具变量估计量集合的模态预测估计。该技术是简单的应用，是“黑盒”的意义上，它可以使用任何工具变量估计，只要处理效应确定为每个有效的仪器独立。因此，它与最近的基于机器学习的估计器兼容，允许对复杂的高维数据估计条件平均处理效应（CATE）。在实验中，我们使用基于深度网络的估计器的集合实现了条件平均处理效应的准确估计，包括具有挑战性的模拟孟德尔随机化问题。
2020-06-19 cs.LG econ.EM stat.ME
Utilizing Ensemble Learning for Performance and Power Modeling and Improvement of Parallel Cancer Deep Learning CANDLE Benchmarks
Argonne National Laboratory（阿贡国家实验室）；The University of Chicago（芝加哥大学）
机器学习（ML）在几乎所有领域的重要性都在不断增长，并且是从数据中学习建模的自然工具。通常，在模型最小化偏差和方差的能力之间存在折衷。在本文中，我们利用集成学习结合线性，非线性和基于树/规则的ML方法，以应对偏差-方差权衡，并产生更准确的模型。硬件性能计数器值与影响底层系统性能和电源的应用程序属性相关。我们使用为两个并行癌症深度学习CANDLE基准测试NT 3（弱扩展）和P1 B2（强扩展）收集的数据集，使用单对象和多对象集成学习来基于硬件性能计数器构建性能和功耗模型，以识别最重要的改进计数器。基于这些模型的见解，我们通过在阿贡国家实验室的Cray XC 40 Theta上优化深度学习环境TensorFlow，Keras，Horovod和Python，在8 MB的巨大页面大小下，提高了P1 B2和NT 3的性能和能量。实验结果表明，集成学习不仅产生更准确的模型，但也提供了更强大的性能计数器排名。P1 B2的性能提升高达61.15%，节能高达62.58%; NT 3的性能提升高达55.81%，节能高达52.60%，内核数量高达24，576个。
2020-11-12 cs.LG cs.PF
Physical Activity Recognition Based on a Parallel Approach for an Ensemble of Machine Learning and Deep Learning Classifiers
Laboratoire LIO, Centre de Recherche du CHUM（CHUM 研究中心 LIO 实验室）；LICEF institute, TELUQ university（TELUQ 大学 LICEF 研究所）；INRS, Centre Énergie, Matériaux et Télécommunications（INRS 能源、材料与电信中心）；École de Technologie Supérieure (ÉTS)（高等技术学院）
通过嵌入物联网（IOT）的可穿戴传感器设备进行人体活动识别（HAR），可以在远程健康监测和紧急通知中发挥重要作用，以提供更高标准的医疗保健。本研究的目的是调查人类活动识别方法的累积决策的准确性和执行速度，适用于医疗保健。该方法采用基于特征工程和基于特征学习的数据表示相结合的有效分类器对人体运动的可穿戴传感器加速度时间序列数据进行分类。该方法的留一个主体交叉验证与从44个主体中获取的数据，这些主体在智能纺织品上佩戴单个腰戴式加速度计，并参与各种10项活动，产生90%的平均识别率，表现明显优于单个分类器。该方法很容易适应功能和计算并行化，使执行时间显着下降。
2021-03-02 cs.LG
TS-CausalNN: Learning Temporal Causal Relations from Non-linear Non-stationary Time Series Data
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
本文提出TS-CausalNN深度学习模型，通过并行因果卷积层、无环性约束和增广拉格朗日优化，同时发现同期与滞后因果关系，有效处理非线性非平稳时间序列数据。
2024-04-01 cs.LG stat.ME
ZAPs: A Reward Attribution Framework for DeFi Ecosystems with Adversarial-Robust Scoring via Parallel Anomaly Ensemble Detection
Zeru Finance（泽鲁金融）；The Ohio State University（俄亥俄州立大学）
ZAPs是DeFi生态系统的奖励归因框架，结合经济贡献评分与四层防御栈，通过并行异常集成检测提升对抗鲁棒性，可减少女巫攻击、优化奖励分配并提升生态系统质量。
2026-07-31 cs.LG q-fin.GN
A Meta Learning Approach to Discerning Causal Graph Structure
Stanford University（斯坦福大学）
我们探索了元学习的使用，通过优化分布简单性的测量来获得变量之间的因果方向。我们采用了一个随机图表示，其中包括潜在的变量，并允许更多的概括性和图形结构的表达。我们的模型能够学习复杂图形结构的因果方向指标，尽管潜在的混淆因素的影响。此外，我们探索我们的方法的鲁棒性违反我们的分布假设和数据稀缺。我们的模型对适度的数据稀缺性特别稳健，但对分布变化的稳健性较低。通过将模型预测解释为随机事件，我们提出了一个简单的集成方法分类器，以减少结果的变异性作为有偏事件的平均值。这种方法证明了推断数据分布之间因果关系的存在和方向的能力。
2021-06-06 cs.LG stat.ME
BlackboxNLP-2025 MIB Shared Task: Exploring Ensemble Strategies for Circuit Localization Methods
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本研究针对大型语言模型电路定位任务，提出并行与顺序集成策略，结合多种归因方法提升定位精度，并在BlackboxNLP 2025 MIB共享任务中超越官方基线。
2025-10-08 cs.CL cs.LG
Deep Convolutional Neural Networks for Pairwise Causality
TCS Research（TCS研究院）
从观察和干预数据中发现因果模型是假设分析或反事实推理之前重要的第一步。如前所述，在某些条件下，成对因果关系的方向可以通过标准梯度提升分类器（GBC）使用精心设计的统计特征从观测数据中推断出来。在本文中，我们将深度卷积神经网络（CNN）应用于这个问题，将属性对绘制为二维散点图，并将其作为图像馈送到CNN。我们评估我们的方法对'因果对' NIPS 2013年数据挑战。我们观察到，CNN与早期GBC方法的加权集成产生了显着的改善。此外，我们观察到，当可用的训练数据较少时，我们的方法比基于GBC的方法表现得更好，这表明预先训练以确定成对因果方向的方向的CNN模型在因果发现和实现假设或反事实分析中具有更广泛的适用性。
2017-01-03 cs.LG
Intervention Efficient Algorithm for Two-Stage Causal MDPs
Indian Institute of Science（印度科学院）；Adobe Research（Adobe研究院）
我们研究马尔可夫决策过程（MDP），其中状态对应于随机产生奖励的因果图。在这种设置中，学习者的目标是通过干预每个状态的变量来识别导致高回报的原子干预。推广最近的cabet-bandit框架，目前的工作发展（简单）的遗憾最小化保证两阶段的因果MDP，并行因果图在每个状态。我们提出了一个算法，实现了一个依赖于实例的遗憾界。我们的算法的一个关键特征是，它利用凸优化来解决勘探问题。我们确定类的情况下，我们的遗憾的保证基本上是紧的，并通过实验验证我们的理论结果。
2021-11-01 cs.AI cs.LG
Validation of massively-parallel adaptive testing using dynamic control matching
Aampe, Inc.（Aampe公司）
针对现代企业多并行动态A/B/n测试及含RL自适应调整场景下无法用传统方法评估的问题，提出基于匹配合成对照组的方法，以理清持续调整下各测试的因果效应。
2023-05-02 cs.LG stat.ME
Learning the Constitutive Behavior of Materials via Neural Operators and Causal Attention: Case Studies in Plasticity and Damage
Institute of Applied Mechanics, RWTH Aachen University（亚琛工业大学应用力学研究所）；ACCESS e.V.（ACCESS协会）
该研究提出结合神经算子与因果注意力的材料本构建模框架，可从应变-应力数据准确预测材料不可逆变形，兼具分辨率不变性与并行效率，在塑性和损伤案例中表现优异。
2026-09-03 cs.CE cs.LG
Dipper: Diversity in Prompts for Producing Large Language Model Ensembles in Reasoning tasks
National University of Singapore（新加坡国立大学）；SAP（SAP公司）
本文提出DIPPER，一种无需训练的框架，通过并行多样化提示将单个LLM转化为推理时集成，在MATH等基准上，三个小模型集成超越更大模型。
2025-10-24 cs.AI cs.CL cs.LG
