Causal Mosaic: Cause-Effect Inference via Nonlinear ICA and Ensemble Method
The Graduate University for Advanced Studies（综合研究大学院大学）；The Institute of Statistical Mathematics（统计数理研究所）
我们解决的问题，区分因果关系的双变量设置。基于非线性独立成分分析（ICA）的最新发展，我们训练非参数一般非线性因果模型，允许非加性噪声。此外，我们建立了一个合奏框架，即因果马赛克，模型的因果对的混合非线性模型。我们将此方法与人工和真实世界基准数据集上的其他最新方法进行了比较，我们的方法显示了最先进的性能。
2020-01-07 cs.LG stat.ML
Split-Treatment Analysis to Rank Heterogeneous Causal Effects for Prospective Interventions
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research India（微软印度研究院）；Microsoft（微软）；Microsoft Research AI（微软人工智能研究院）
对于许多类型的干预，如新广告，营销干预或功能推荐，重要的是要针对特定的人群子集，以最小的成本或潜在的伤害最大化其利益。然而，一个关键的挑战是，由于尚未部署这种前瞻性干预措施，因此没有关于其效果的数据。在这项工作中，我们提出了一个分裂治疗分析，排名个人最有可能受到积极影响的前瞻性干预使用过去的观察数据。与标准的因果推断方法不同，分割处理方法不需要对目标处理本身进行任何观察。相反，它依赖于由目标治疗引起的代理治疗的观察。在合理的假设下，我们证明了基于替代治疗的异质性因果效应的排序与基于目标治疗效应的排序是相同的。在没有任何用于交叉验证的干预性数据的情况下，分割治疗使用敏感性分析对未观察到的混杂因素进行选择模型参数。我们将分割处理应用于模拟数据和大规模的现实目标任务，并通过后者的随机实验验证我们发现的排名。
2020-11-11 cs.LG stat.ME
Causal Information Splitting: Engineering Proxy Features for Robustness to Distribution Shifts
California Institute of Technology（加州理工学院）；Amazon Research（亚马逊研究院）
针对目标因果与反因果变量未被观测的分布偏移场景，基于信息论开发代理特征选择与工程技术，并利用辅助训练任务提取增强稳定性的信息，在合成与真实数据上验证了有效性。
2023-07-31 cs.AI cs.IT cs.LG
Causal Inference Based Single-branch Ensemble Trees For Uplift Modeling
Everbright Technology Co. LTD（光大科技有限公司）
在这篇手稿（MS）中，我们提出了因果推理为基础的单分支集成树隆起建模，即CIET。与预测概率建模的标准分类方法不同，CIET旨在实现由行为或治疗引起的结果预测概率的变化。根据我们的CIET，两个划分标准是专门设计的，以最大限度地提高治疗组和对照组之间的结果分布差异。接下来，一个新的单分支树是建立通过采取自顶向下的节点划分方法，和其余的样本进行审查，因为他们没有被覆盖的上层节点划分逻辑。在删失数据上重复树的构建过程，从而形成具有一组推理规则的单分支集成树。此外，实验表明，CIET优于以往的隆升模拟方法在隆升曲线下的面积（AUUC）和基尼系数显着。目前，信投贷已在国内某国家级金融控股集团应用于线上个人贷款。CIET还将有助于分析师将机器学习技术应用于更广泛的商业领域，如网络广告，医学和经济学的因果推理。
2023-02-03 cs.LG
Efficient Ensemble Conditional Independence Test Framework for Causal Discovery
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出了一种高效的条件独立性测试框架，通过分组聚合策略降低计算复杂度并提升因果发现性能。
2026-02-27 cs.AI cs.LG stat.ML
Estimating Causal Effects using a Multi-task Deep Ensemble
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）；University of Michigan Ross School of Business（密歇根大学罗斯商学院）
本文提出因果多任务深度集成框架CMDE，通过同时学习共享与群体特定信息，高效处理高维多模态数据并提供因果效应不确定性估计，在多数任务上超越现有方法。
2023-05-27 cs.LG stat.ML
Simulations evaluating resampling methods for causal discovery: ensemble performance and calibration
University of Minnesota（明尼苏达大学）；University of Michigan（密歇根大学）
当一个系统可以被观察到，但在实践中无法进行实验时，因果发现可以成为研究因果关系的有力工具。尽管如此，它很少用于任何科学或医学领域。阻碍因果发现领域产生更大影响的主要障碍之一是，很难确定因果发现方法的输出在现实世界中何时可以信任。当人类健康受到威胁时，信任尤其重要。在本文中，我们报告了一系列的模拟研究的结果，调查不同的resterning方法的性能作为发现的图形功能的信心指标。我们发现，子采样和放回抽样都表现得令人惊讶的好，这表明他们可以作为信任的图形功能的理由。我们还发现，子采样和放回抽样的校准有不同的收敛特性，这表明一个人的选择使用应取决于样本量。
2019-10-04 cs.LG stat.ML
Meta-Ensemble Learning with Diverse Data Splits for Improved Respiratory Sound Classification
Department of Electronic Engineering, Wonkwang University（Wonkwang大学电子工程系）；RSC LAB, MODULABS（MODULABS的RSC实验室）；AICU Global Inc.（AICU Global公司）；Seoul National University Bundang Hospital（首尔国立大学柏阳医院）
本文提出元集成学习方法，通过多样化数据分割训练基模型并结合元模型提升预测多样性，实现呼吸声分类的改进性能。
2026-04-27 cs.AI cs.LG
CauTion: Knowing When to Trust LLMs for Ensemble Causal Discovery
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）；Tongji University（同济大学）
提出CauTion框架，通过共识过滤和LLM可靠性估计，将LLM领域知识可靠地集成到多个统计因果发现算法中，解决纯统计方法的局限和LLM错误问题。
2026-10-19 cs.AI cs.CL cs.LG
Split-Ensemble: Efficient OOD-aware Ensemble via Task and Model Splitting
School of Computer Science, Peking University（北京大学计算机学院）；University of California, Berkeley（加州大学伯克利分校）；Panasonic Holdings Corporation（松下控股公司）；Carnegie Mellon University（卡内基梅隆大学）
提出Split-Ensemble方法，通过任务和模型拆分实现OOD感知集成，在不增加计算成本下提升准确性和不确定性估计，在多个数据集上显著优于单模型。
2024-05-27 cs.CV cs.LG
Source Separation of Small Classical Ensembles: Challenges and Opportunities
University of Salford（索尔福德大学）；University of Nottingham（诺丁汉大学）；University of Leeds（利兹大学）；University of Sheffield（谢菲尔德大学）
本研究针对古典音乐音源分离难题，利用ConvTasNet模型和合成木管数据库，对比因果与非因果方法，发现合成与真实数据不匹配是关键挑战，为未来研究指明方向。
2025-05-23 cs.LG cs.SD eess.AS
LOCO Feature Importance Inference without Data Splitting via Minipatch Ensembles
Department of Statistics, Rice University（理查德·伊尔·米勒大学统计系）；Department of Statistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计系）；Department of Statistics, Columbia University（哥伦比亚大学统计系）
本文提出一种无需数据分割的特征重要性推断框架，通过minipatch集成实现高效且分布无关的模型解释，解决了传统方法的分布假设和数据分割问题。
2026-03-23 cs.LG stat.ME stat.ML
Dynamic Expert-Guided Model Averaging for Causal Discovery
Ghent University - imec（根特大学 - imec）
本文提出一种动态专家指导的模型平均方法，整合选择性专家查询以集成多种因果发现算法，区分边存在与方向，提升数据驱动与专家输入的互补优势。
2026-05-07 cs.AI cs.LG
Why have a Unified Predictive Uncertainty? Disentangling it using Deep Split Ensembles
Massachusetts Institute of Technology（麻省理工学院）；BITS Pilani Goa Campus（BITS Pilani果阿校区）
在医疗保健等现实环境中部署时，理解和量化黑盒神经网络（NN）中的不确定性至关重要。最近使用贝叶斯和非贝叶斯方法的工作表明，如何统一的预测不确定性可以模拟神经网络。通过分解这种不确定性来解开数据中异方差的粒度来源，可以提供有关其根本原因的丰富信息。我们提出了一个概念上简单的非贝叶斯方法，深度分裂合奏，解开预测的不确定性，使用多元高斯混合模型。NN用输入特征的聚类进行训练，用于每个聚类的不确定性估计。我们在一系列基准回归数据集上评估了我们的方法，同时还与统一的不确定性方法进行了比较。使用数据集狗屎和经验规则的广泛分析突出了我们固有的良好校准模型。我们的工作进一步证明了它在使用基准阿尔茨海默氏症数据集的多模态设置中的适用性，并且还显示了深度分裂合奏如何突出隐藏的模态特定偏差。NN和训练过程所需的最小更改，以及将特征分组到集群中的高度灵活性，使其易于部署和使用。源代码可在https://github.com/wazeerzulfikar/deep-split-ensembles上获得
2020-09-25 cs.LG stat.ML
Prediction Intervals: Split Normal Mixture from Quality-Driven Deep Ensembles
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
预测区间是一种机器和人类可解释的方式，用于表示回归分析中的预测不确定性。在本文中，我们提出了一种方法，用于生成预测区间以及点估计从合奏的神经网络。我们提出了一个多目标的损失函数融合的质量措施有关的预测区间和点估计，和惩罚函数，这加强了语义完整性的结果和稳定的神经网络的训练过程。集成的预测区间被聚合为分裂的正态混合物，考虑到后验预测分布的可能的多峰性和不对称性，并导致捕获任意和认知不确定性的预测区间。我们的研究结果表明，我们的质量驱动的损失函数和我们的聚合方法有助于良好校准的预测区间和点估计。
2020-07-19 cs.LG stat.ML
Causal rule ensemble approach for multi-arm data
Wakayama Medical University（和歌山医科大学）；Doshisha University（同志社大学）
针对多臂试验中异质性处理效应估计的可解释性不足问题，提出基于规则集成的机器学习框架，在保证精度的同时提升可解释性，实验表明其偏差更低、精度更高。
2025-04-24 cs.LG stat.ML
An Eager Splitting Strategy for Online Decision Trees
Monash University（莫纳什大学）；University of Waikato（怀卡托大学）
决策树集成在实践中有着广泛的应用。在这项工作中，我们研究了在集成设置的有效性，取代分裂策略的国家的最先进的在线树学习器，Hoeffding树，与一个严格的，但更积极的分裂策略，我们以前出版的Hoeffding AnyTime Tree。Hoeffding AnyTime Tree（HATT）使用Hoeffding测试来确定当前最佳候选分裂是否优于当前分裂，并有可能进行修改，而Hoeffding Tree旨在确定顶级候选是否优于第二个最佳候选，如果选择了测试，则为所有后代修复它。HATT收敛于理想批处理树，而Hoeffding树则不收敛。我们发现，HATT是一个有效的基础学习在线装袋和在线提升合奏。在UCI和合成流上，HATT作为基础学习者在0.05的显著性水平内优于HT，对于大多数测试的合奏，我们认为这是在线学习文献中最大和最全面的测试平台集。我们的研究结果表明，HATT是一个更好的替代Hoeffding树在大量的合奏设置。
2021-07-31 cs.LG stat.ML
Climate-resilient electric vehicle charging infrastructure for sustainable cities: An interpretable causal-ensemble framework for preventive maintenance and low-carbon mobility
Foshan University（佛山科学技术学院）；Jilin University（吉林大学）；National University of Singapore（新加坡国立大学）
研究针对城市气候压力增加电动汽车充电设施故障风险问题，开发FGDSE框架，通过划分特征家族、添加专家及门控机制预测故障风险，经SHAP归因等扩展为因果决策支持，实验表明其性能优越，能助力气候适应性维护与低碳出行。
2026-07-24 cs.LG math.OC
Multi-split Optimized Bagging Ensemble Model Selection for Multi-class Educational Data Mining
University of Sharjah（沙迦大学）；University of Western Ontario（西安大略大学）
近年来，学生学习成绩预测一直是一个研究热点，许多机构都致力于提高学生的学习成绩和教育质量。利用各种数据采掘技术可以实现对学生成绩的分析和预测。此外，这种技术允许教师确定可能影响学生最终分数的可能因素。为此，这项工作分析了两所不同大学的两个不同的本科生数据集。此外，这项工作的目的是预测学生的表现在两个阶段的课程交付（分别为20%和50%）。该分析允许适当地选择要使用的适当的机器学习算法以及优化算法的参数。此外，这项工作采用了一个系统的多分裂方法的基础上基尼指数和p值。这是通过优化一个合适的装袋集成学习器来完成的，该集成学习器是从六个潜在的基本机器学习算法的任何组合构建的。实验结果表明，所提出的bagging集成模型对两个数据集的目标群体都具有较高的精度。
2020-06-09 cs.CY cs.LG
Double Machine Learning for Adaptive Causal Representation in High-Dimensional Data
Yale University（耶鲁大学）；University of Northern Colorado（北科罗拉多大学）
本文提出基于支持点样本分割的双重机器学习方法，用于高维观测数据的自适应因果表示学习，并通过SVM、深度学习和混合超级学习器在401(k)数据上验证其计算效率与估计质量的提升。
2024-11-22 cs.LG stat.AP stat.CO
A Meta Learning Approach to Discerning Causal Graph Structure
Stanford University（斯坦福大学）
我们探索了元学习的使用，通过优化分布简单性的测量来获得变量之间的因果方向。我们采用了一个随机图表示，其中包括潜在的变量，并允许更多的概括性和图形结构的表达。我们的模型能够学习复杂图形结构的因果方向指标，尽管潜在的混淆因素的影响。此外，我们探索我们的方法的鲁棒性违反我们的分布假设和数据稀缺。我们的模型对适度的数据稀缺性特别稳健，但对分布变化的稳健性较低。通过将模型预测解释为随机事件，我们提出了一个简单的集成方法分类器，以减少结果的变异性作为有偏事件的平均值。这种方法证明了推断数据分布之间因果关系的存在和方向的能力。
2021-06-06 cs.LG stat.ME
Splitting the Difference: Interpretable Causal Forests for Treatment Effect Heterogeneity and Bias
University of Regensburg（雷根斯堡大学）
本文提出一种基于决策树和随机森林的简单算法，通过结合异质性与偏差校正两个分裂准则，无需额外估计倾向函数即可估计个体处理效应，兼顾预测准确性与可解释性。
2026-09-16 cs.LG stat.ML
Ensembles of Nested Dichotomies with Multiple Subset Evaluation
University of Waikato（怀卡托大学）
嵌套二分法系统是一种将多类问题分解为二元问题集合的方法。这样的系统递归地应用二进制分割以将类的集合分成两个子集，并且针对每个分割训练二进制分类器。已经提出了许多方法来执行这种分割，每种方法都具有各种优点和缺点。在本文中，我们提出了一个简单的，一般的方法，用于提高预测性能的嵌套二分法产生的任何子集选择技术，采用随机构造的子集。我们提供了一个理论预期的性能改进，以及实证结果表明，我们的方法提高了嵌套二分法的均方根误差，无论它们是否被用作一个单独的模型或在合奏设置。
2018-09-11 cs.LG stat.ML
On Power Laws in Deep Ensembles
National Research University Higher School of Economics（国家研究型高等经济大学）；Samsung AI Center（三星人工智能中心）
众所周知，深度神经网络的集合在不确定性估计中实现了最先进的性能，并导致精度提高。在这项工作中，我们专注于一个分类问题，并调查的行为的非校准和校准的负对数似然（CNLL）的深度合奏作为合奏大小和成员网络大小的函数。我们指出的条件下，CNLL遵循幂律w.r.t.系综大小或成员网络大小，并分析所发现的幂律的参数的动态。我们重要的实际发现是，一个大型网络的性能可能比具有相同参数总数的几个中型网络的集合更差（我们称之为记忆分裂）。使用检测到的类似幂律的依赖关系，我们可以预测（1）具有给定结构的网络集成的可能增益，（2）基于相对少量的训练网络，给定内存预算的最佳内存分配。我们在arXiv：2005.07292中更详细地描述了内存分割优势效应
2021-06-28 cs.LG stat.ML
Valid Inference After Causal Discovery
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
本研究针对因果发现后估计效应时的“双重 dipping”问题，提出有效推断工具，在保证覆盖率的同时提升因果发现准确性。
2024-08-19 cs.LG stat.ME stat.ML
Ensemble Learning with Manifold-Based Data Splitting for Noisy Label Correction
Fu Jen Catholic University（辅仁大学）
训练数据中的标签噪声会显著降低模型在监督学习任务中的泛化性能。在这里，我们专注于这个问题，噪声标签主要是错误标记的样本，往往集中在附近的决策边界，而不是均匀分布，其功能应该是模棱两可的。为了解决这个问题，我们提出了一种集成学习方法，通过利用特征流形的局部结构来校正噪声标签。不同于典型的集成策略，通过某些损失项增加子模型之间的预测多样性，我们的方法在不相交的子集上训练子模型，每个子集都是数据流形上随机选择的种子样本的最近邻居的联合。因此，每个子模型可以学习数据流形的粗略表示以及相应的图形。此外，只有有限数量的子模型将受到局部集中的噪声标签的影响。构造的图被用来建议一系列的标签校正候选人，相应地，我们的方法得出标签校正结果，通过投票不一致的建议。我们在真实世界的噪声标签数据集上的实验证明了所提出的方法优于现有的最先进的。
2021-03-13 cs.CV cs.LG
Efficient Reinforcement Learning from Demonstration Using Local Ensemble and Reparameterization with Split and Merge of Expert Policies
University of Notre Dame（圣母大学）
目前的强化学习（RL）的工作，从演示往往假设演示是从一个最优的政策，在实践中不切实际的假设样本。当演示由次优策略生成或具有稀疏的状态-动作对时，从次优演示中学习的策略可能会误导具有不正确或非局部动作决策的代理。我们提出了一种新的方法，称为本地Encrimination和重新参数化与分裂和合并的专家政策（LEARN-SAM），以提高效率，更好地利用次优的演示。首先，LEARN-SAM采用了一个新的概念，在当前状态之间的差异性测量的基础上，演示状态“本地化”的权重的专家政策在学习过程中，的EQUIDA功能。其次，LEARN-SAM采用了分裂和合并（SAM）的机制，通过分离每个专家演示中有用的部分，并将它们重新组合成新的专家策略，以选择性地使用演示。学习函数和SAM机制都有助于提高学习速度。在理论上，证明了SAM机制前后重新参数化策略的不变性质，为所采用的策略梯度方法的收敛性提供了理论保证。我们证明了LEARN-SAM方法的优越性和它的鲁棒性与不同的演示质量和稀疏性在六个实验中复杂的连续控制问题的低到高维，相比现有的方法RL从演示。
2022-05-23 cs.LG stat.ML
Stochastic Tree Ensembles for Estimating Heterogeneous Effects
School of Mathematical and Statistical Sciences（数学与统计科学学院）；Arizona State University（亚利桑那州立大学）；Department of Management Sciences（管理科学系）；City University of Hong Kong（香港城市大学）
确定对特定干预（医疗或政策）反应特别好（或不好）的亚组需要专门为因果推断量身定制的新监督学习方法。贝叶斯因果森林（Bayesian Causal Forest，BCF）是一种最近的方法，已被证明在具有强混杂的数据生成过程中表现良好，这在许多应用中是合理的。本文提出了一种新的算法来拟合BCF模型，这是比以前可用的吉布斯采样器更有效。新算法可用于初始化现有Gibbs采样器的独立链，从而在仿真研究中更好地进行后验探索和覆盖相关的区间估计。通过仿真研究和实证分析，新算法相比，相关的方法。
2022-09-15 cs.LG stat.ML
Deep Ensembles on a Fixed Memory Budget: One Wide Network or Several Thinner Ones?
National Research University Higher School of Economics（国立研究型高等经济学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）
现代深度学习的一个普遍接受的观点是，增加参数的数量通常会带来更好的质量。增加参数数量的两种最简单的方法是增加网络的大小，例如宽度，或者训练深度系综;这两种方法都可以提高实际性能。在这项工作中，我们考虑一个固定的内存预算设置，并调查，什么是更有效的：训练一个单一的宽网络，或执行内存分裂-训练的几个较薄的网络，具有相同的参数总数的合奏？我们发现，对于足够大的预算，在合奏网络的数量，对应于最佳的内存分割，通常大于一个。有趣的是，这种效应适用于标准架构的常用大小。例如，一个WideResNet-28-10在CIFAR-100上的测试准确率明显低于16个更薄的WideResNet的集合：80.6%和82.52%。我们将所描述的效果称为内存分割优势，并表明它适用于各种数据集和模型架构。
2020-05-14 cs.LG stat.ML
Data-driven discovery of interpretable causal relations for deep learning material laws with uncertainty propagation
Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）
本文提出了一个计算框架，产生合奏预测力学模型与不确定性量化（UQ）。首先，我们开发了一个因果发现算法，通过有向无环图（DAG）来推断在每个代表性体积元素（RVE）模拟过程中测量的时间历史数据之间的因果关系。利用从多个RVE模拟估计的多组合理的因果关系，预测在导出的因果图中传播，同时使用配备有dropout层的深度神经网络作为用于不确定性量化的贝叶斯近似。我们选择了两个有代表性的数值例子（摩擦界面的牵引分离定律，颗粒集合体的弹塑性模型）来检验所提出的因果发现方法在土木工程应用中常见的材料定律预测的准确性和鲁棒性。
2021-05-20 cs.LG stat.ML
Inter-Stop Energy Prediction and Causal Driver Quantification for Dual-Source Trolleybuses via a Time-Aware Tabular Deep Learning Architecture
Foshan University（佛山科学技术学院）；South China Normal University（华南师范大学）；Jilin University（吉林大学）；The University of Hong Kong（香港大学）
研究双源无轨电车站点间能量预测及因果驱动因素量化问题，提出时间感知表格深度学习框架，集成周期性时间编码并结合贝叶斯优化调参，通过三层因果解释管道分析，实验表现优异，确定了关键因素并提供规划阈值。
2026-07-14 cs.LG math.OC
RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）；U.S. Army Medical Research and Development Command（美国陆军医疗研究与开发指挥部）
RO-FIGS通过引入基于随机特征子集线性组合的斜向划分扩展FIGS，在22个表格数据集上以更小模型实现优于树和神经网络方法的性能，并增强特征交互可解释性。
2025-04-09 cs.LG
Optimal Counterfactual Search in Tree Ensembles: A Study Across Modeling and Solution Paradigms
Polytechnique Montréal（蒙特利尔理工学院）
本文研究了在可信度和可操作性约束下计算树集成最优反事实解释的组合问题，提出CPCF约束编程方法，并通过十种数据集和三种树集成类型验证其性能，发现CP方法整体表现最佳。
2026-05-07 cs.LG
Deep Convolutional Neural Networks for Pairwise Causality
TCS Research（TCS研究院）
从观察和干预数据中发现因果模型是假设分析或反事实推理之前重要的第一步。如前所述，在某些条件下，成对因果关系的方向可以通过标准梯度提升分类器（GBC）使用精心设计的统计特征从观测数据中推断出来。在本文中，我们将深度卷积神经网络（CNN）应用于这个问题，将属性对绘制为二维散点图，并将其作为图像馈送到CNN。我们评估我们的方法对'因果对' NIPS 2013年数据挑战。我们观察到，CNN与早期GBC方法的加权集成产生了显着的改善。此外，我们观察到，当可用的训练数据较少时，我们的方法比基于GBC的方法表现得更好，这表明预先训练以确定成对因果方向的方向的CNN模型在因果发现和实现假设或反事实分析中具有更广泛的适用性。
2017-01-03 cs.LG
Optimizing High-Dimensional Oblique Splits
本文提出渐进树方法，通过迭代优化高维斜分割提升决策树性能，有效应对复杂数据生成过程。
2026-02-21 cs.LG math.ST stat.ME
Ensemble Learning with Statistical and Structural Models
Xiamen University（厦门大学）
统计建模和结构建模代表了数据分析的两种不同方法。在本文中，我们提出了一套新的方法相结合的统计和结构模型，以改善预测和因果推断。我们提出的第一个估计具有双重鲁棒性，因为它只需要正确的规范的统计或结构模型。我们提出的第二个估计是一个加权的合奏，有能力超越这两个模型时，他们都是错误的。实验证明了我们的估计在各种环境中的潜力，包括第一价格拍卖，动态模型的进入和退出，需求估计与工具变量。
2020-06-07 cs.LG econ.EM
An Ensemble Framework for Detecting Community Changes in Dynamic Networks
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
动态网络，特别是那些代表社交网络的动态网络，随着时间的推移，其社区结构不断演变。节点可以在不同的社区之间迁移，社区可以分裂成多个新的社区，社区可以合并在一起，等等。为了表示动态网络与不断发展的社区，必须使用动态模型，而不是静态模型。在这里，我们使用动态随机块模型，其中底层块模型在不同时间是不同的。为了表示该动态模型所表达的结构变化，网络将被分成离散的时间段，聚类算法将为每个段分配块成员。在本文中，我们表明，使用集成的聚类分配适应可扩展的聚类算法的方差，并产生优越的结果，成对精度和成对召回。我们还表明，动态集群所产生的合奏可以被可视化为一个流程图，简洁地封装社区的演变。
2017-07-24 cs.LG cs.SI
Causal Atlases from Entropic Inference: Bayesian Networks beyond Optimal DAGs
Department of Physics , Engineering Physics and Astronomy（物理系、工程物理与天文学系）
针对数据驱动因果识别中多因果链问题，提出基于熵推理的因果图谱方法，通过最大熵系综采样量化因果结构歧义性。
2026-06-04 cs.LG stat.ML
Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness
ETH Zurich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
学习分解表示的能力对于神经网络的数据高效和鲁棒使用是重要的，所述分解表示将高维非结构化数据中的变化的潜在来源分开。虽然最近提出了各种旨在实现这一目标的方法，但缺乏一个普遍接受的定义和验证程序。我们提供了一个因果关系的角度表示学习，其中包括解纠缠和域转移的鲁棒性作为特殊情况。我们的因果框架使我们能够引入一个新的指标来定量评估深层潜变量模型。我们展示了如何从标记的观测数据中估计这个度量，并进一步提供了一个有效的估计算法，该算法在数据集大小上线性扩展。
2019-05-13 cs.LG stat.ML
Balanced Split: A new train-test data splitting strategy for imbalanced datasets
Indian Institute of Technology Guwahati（古瓦哈提印度理工学院）
具有偏斜类比例的分类数据集称为不平衡。类别不平衡是一个问题，因为大多数机器学习分类算法都是在假设训练数据集中所有类别的平等表示的情况下构建的。因此，为了解决类不平衡问题，已经开发了许多算法级和数据级方法。这些技术主要包括集成学习和数据增强技术。本文提出了一种新的方法来对付类的不平衡问题，通过一个新的数据分裂策略称为平衡分裂。数据分裂可以在正确分类不平衡数据集方面发挥重要作用。我们发现，常用的数据分裂策略有一些缺点，我们提出的平衡分裂解决了这些问题。
2022-12-17 cs.LG
Invariant Structure Learning for Better Generalization and Causal Explainability
Google Cloud AI（谷歌云人工智能）；University of Southern California（南加州大学）
学习数据背后的因果结构对于提高泛化能力和获得高质量的解释是非常宝贵的。我们提出了一个新的框架，不变结构学习（ISL），旨在提高因果结构发现利用泛化作为指示。ISL将数据分割到不同的环境中，并通过施加一致性约束来学习在不同环境中对目标不变的结构。然后，聚合机制基于图结构选择最佳分类器，该图结构与从各个环境中学习的结构相比更准确地反映了数据中的因果机制。此外，我们将ISL扩展到自监督学习设置，其中准确的因果结构发现不依赖于任何标签。这种自监督ISL通过迭代地将不同的节点设置为目标来利用不变的因果关系提案。在合成和真实世界的数据集上，我们证明了ISL准确地发现了因果结构，优于其他方法，并为具有显著分布偏移的数据集提供了优越的泛化能力。
2022-06-13 cs.LG stat.ML
