Estimating Transfer Entropy via Copula Entropy
Hitachi (China) Research & Development Corporation（日立（中国）研究开发有限公司）
因果发现是统计学中的一个基本问题，在各个领域有着广泛的应用。传递熵是度量因果关系的一个重要概念，其本质是条件互信息。Copula Entropy（CE）是一种度量统计独立性的理论，与MI是等价的.在本文中，我们证明了TE可以表示只有CE，然后提出了一个非参数的方法估计TE通过CE。将该方法应用于北京PM2.5数据的实验分析。实验结果表明，该方法可以有效地从数据中推断因果关系，从而有助于更好地理解数据。
2021-03-06 cs.IT cs.LG math.IT
Causal Abstraction Inference under Lossy Representations
CausalAI Lab, Columbia University（因果推理实验室，哥伦比亚大学）
本文提出投影抽象以处理有损表示下的因果抽象，推广现有定义，并给出从低层数据识别高层因果查询的图形准则，实验验证了其在高维图像中的有效性。
2025-09-25 cs.LG
CausationEntropy: Pythonic Optimal Causation Entropy
Center of Complex Systems Science（复杂系统科学中心）；Clarkson University（克林顿大学）
本文发布实现最优因果熵及相关扩展算法的Python包CausationEntropy 1.1版本，介绍其新增功能与特性，期望其成为复杂动力系统因果发现的基准工具。
2026-01-19 cs.LG physics.data-an
Dictionary Based Pattern Entropy for Causal Direction Discovery
Department of Computer Science and Information Systems（计算机科学与信息系统系）；BITS Pilani K K Birla Goa Campus（比斯潘尼学院K K Birla Goa校区）；Complex Systems Programme（复杂系统计划）；National Institute of Advanced Studies（国家高级研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本文提出基于字典的模式熵方法，用于从时间序列数据中发现因果方向，通过整合算法信息理论和香农信息理论，实现对因果关系的稳健识别和模式驱动的组织分析。
2026-03-04 cs.IT cs.LG math.IT
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Entropy-based Discovery of Summary Causal Graphs in Time Series
EasyVista；Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，格勒诺布尔国立理工学院，信息学实验室）
针对不同采样率时间序列的摘要因果图学习问题，提出因果时间互信息及熵减少原则，并融入类PC与类FCI算法，实验验证其有效性和效率。
2023-11-01 cs.AI cs.LG
Entropy Causal Graphs for Multivariate Time Series Anomaly Detection
Institute of Innovation, Science and Sustainability（创新、科学与可持续性研究所）；Federation University Australia, Australia and CSIRO's Data61（联邦大学澳大利亚分校和CSIRO的数据61）；Federation University Australia（联邦大学澳大利亚分校）；RMIT University（皇家墨尔本理工学院）
针对现有多元时间序列异常检测忽略变量间因果关系的问题，提出基于传递熵构建因果图并结合加权图卷积与因果卷积的CGAD框架，在真实数据集上平均提升9%。
2025-08-08 cs.AI cs.LG
Maximum Causal Entropy Inverse Constrained Reinforcement Learning
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对真实环境中隐性约束难以传递给智能体的问题，提出基于最大因果熵的逆约束强化学习方法，通过演示学习约束与合规策略，在多场景下性能优于现有方法且适配复杂环境。
2023-05-04 cs.AI cs.LG
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
Applications of Common Entropy for Causal Inference
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们研究的问题，发现最简单的潜变量，可以使两个观察到的离散变量条件独立。这种潜在的最小熵在信息论中被称为公共熵。我们通过最小化潜变量的Renyi熵将这个概念扩展到Renyi公共熵。为了有效地计算公共熵，我们提出了一种迭代算法，可以用来发现潜在变量的熵和观测变量的条件互信息之间的权衡。我们展示了公共熵在因果推断中的两个应用：第一，在没有低熵介质的假设下，它可以用来区分因果关系和伪相关性，几乎所有的联合分布都是在两个观察变量的简单因果图上。第二，公共熵可以用于改进基于约束的方法，例如小样本区域中的PC或FCI算法，其中这些方法已知是困难的。我们提出了一个修改这些约束为基础的方法来评估，如果一个分离的这些算法发现的集合是有效的，使用共同的熵。最后，我们评估我们的算法的合成和真实的数据，以建立他们的性能。
2020-12-05 cs.AI cs.IT cs.LG
Causal versions of Maximum Entropy and Principle of Insufficient Reason
Amazon Research（亚马逊研究院）
不充分理由原理（PIR）是指在没有理由的情况下，对随机试验中的每一种选择都赋予相等的概率。最大熵原理（MaxEnt）将PIR推广到给定期望等统计信息的情况。众所周知，这两个原则都会导致因果关系的联合分布的自相矛盾的概率更新。这是因为对条件P（效应）的约束|原因）导致P（原因）的变化，将更高的概率分配给那些为结果提供更多选择的原因值，这表明“故意行为”。因此，早期的工作建议根据因果顺序依次最大化（条件）熵，但没有进一步的理由，除了玩具例子的可解释性。我们证明因果关系的修改PIR和MaxEnt分离的限制，限制的原因和限制的机制，产生的影响，从原因。我们进一步勾勒为什么因果PIR也需要“信息几何因果推断“。我们简要地讨论了推广的因果版本的MaxEnt任意因果DAG的问题。
2021-11-24 cs.LG stat.ML
Temporal-Spatial Entropy Balancing for Causal Continuous Treatment-Effect Estimation
Huolala.cn, Inc（货拉拉公司）
针对城域货运中传统因果效应估计方法时空维度精度不足的问题，提出基于灵活时空网格划分的TS-EBCT连续熵平衡方法，经多数据集验证有效提升了因果效应预测精度，可优化补贴定价策略。
2023-12-19 cs.AI cs.LG stat.ME
Causal Domain Adaptation with Copula Entropy based Conditional Independence Test
Hitachi China Research Laboratory（日立中国研究院）
领域自适应（DA）是机器学习中的一个典型问题，其目的是将在源域上训练的模型迁移到具有不同分布的目标域上。因果性DA是DA的一种特殊情况，它从因果关系的角度解决问题。它将多个域中的概率关系嵌入到系统的一个更大的因果结构网络中，并试图找到系统上的因果源（或干预）作为系统状态跨域分布漂移的原因。从这个意义上说，因果DA转换为因果发现问题，通过状态变量和系统的可观察状态之间的条件独立性，发现跨域的不变表示给定干预。检验条件独立性是因果发现的基石。最近，基于Copula熵的条件独立性检验被提出，它具有严格的理论和非参数估计方法。本文首先给出了因果DA问题的一个数学模型，然后提出了一种基于Copula熵的条件独立性检验的因果DA问题跨域不变表示方法。两个仿真数据验证了该方法的有效性。该方法的力量，然后证明了两个现实世界的数据：成人人口普查收入数据和步态特征数据。
2022-02-27 cs.LG stat.ME
Maximum Causal Tsallis Entropy Imitation Learning
Seoul National University（首尔国立大学）；Kakao Brain
在本文中，我们提出了一种新的最大因果Tsallis熵（MCTE）框架的模仿学习，可以有效地学习稀疏的多模态策略分布的演示。我们提供了完整的数学分析所提出的框架。首先，最佳解决方案的MCTE问题是一个稀疏分布，其支持集可以调整。所提出的方法比softmax分布具有优势，因为它可以通过分配零概率来排除不必要的操作。其次，我们证明了一个MCTE问题是等价于鲁棒贝叶斯估计的意义上的Brier得分。第三，我们提出了一个最大因果Tsallis熵模仿学习（MCTEIL）算法与稀疏混合密度网络（稀疏MDN）的混合权重建模使用sparsemax分布。特别是，我们表明，因果Tsallis熵的MDN鼓励探索和有效的混合利用，而玻尔兹曼吉布斯熵是不太有效的。我们验证了所提出的方法在两个模拟研究和MCTEIL优于现有的模仿学习方法的平均回报和学习多模态政策。
2018-05-28 cs.LG stat.ML
On Semantic Loss Fine-Tuning Approach for Preventing Model Collapse in Causal Reasoning
Technical University of Vienna（维也纳技术大学）；HCLTech
本文提出一种语义损失函数，通过图逻辑约束和动态lambda调度防止因果推理中的模型崩溃，提升模型在transitivity和d-separation任务上的准确率。
2026-05-06 cs.AI cs.LG
Generalized Maximum Causal Entropy for Inverse Reinforcement Learning
Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）；Massachusetts Institute of Technology（麻省理工学院）
我们考虑了逆强化学习（IRL）从演示轨迹中学习的问题。由于经典的最大熵模型在捕捉状态网络结构方面的局限性，我们提出了一个基于因果熵最大化问题的广义IRL模型，它允许我们生成一类最大熵IRL模型.我们的广义模型的优点是能够恢复，除了奖励功能，另一个专家的功能，将（部分）捕获的连接结构的状态对专家的决策的影响。对真实世界数据集和网格世界数据集的实证评估表明，我们的广义模型在恢复奖励函数和演示轨迹方面优于经典模型。
2020-08-18 cs.LG stat.ML
Causal Feature Selection via Transfer Entropy
Politecnico di Milano（米兰理工大学）
本文提出一种基于转移熵的因果特征选择方法，结合前向/后向选择，在时间序列中捕捉特征到目标的因果信息流，并提供理论保证与实验验证。
2023-10-17 cs.LG
Causal Entropy and Information Gain for Measuring Causal Control
Utrecht University（乌得勒支大学）
针对现有可解释机器学习方法及信息论特征选择缺乏因果性的问题，提出因果熵与因果信息增益度量以衡量特征对结果的因果控制能力，推导相关基础结论并验证其在特征选择中优于标准互信息，助力因果领域可解释方法开发。
2024-01-26 cs.IT cs.LG math.IT
Workload-Preserving Differentially Private Synthetic Data for Causal Inference via Maximum-Entropy Calibration
Vanderbilt University Medical Center（范德比尔特大学医学中心）；King’s College London（伦敦国王学院）
研究针对因果推断的差分隐私合成数据，提出因果工作负载，围绕双稳健因果估计器的正交矩设计DP查询集，经最大熵校准重建合成数据，还引入相关工具，能在不额外隐私支出下支持多种分析，且揭示了分布保真度与因果推断的权衡。
2026-07-20 cs.LG
Mixstyle-Entropy: Domain Generalization with Causal Intervention and Perturbation
Xiamen University（厦门大学）；The University of Hong Kong（香港大学）
提出基于因果的框架InPer，通过训练时基于熵的因果干预优化因果变量选择，测试时利用因果扰动计算稳态分数构建原型分类器，有效提升了模型在跨域任务中的泛化能力。
2024-08-22 cs.CV cs.LG stat.ME
The Causal Loss: Driving Correlation to Imply Causation
TU Darmstadt（达姆施塔特工业大学）
经典和当代机器学习中的大多数算法都专注于特征之间基于相关性的依赖关系来驱动性能。虽然在许多相关问题中已经观察到成功，但当潜在的因果关系与假设的关系不一致时，这些算法就会失败。我们提出了一种新的模型不可知的损失函数称为因果损失，提高了干预质量的预测使用干预神经因果正则化。为了支持我们的理论结果，我们的实验说明显示了因果损失如何赋予非因果关联模型（如标准神经网络或决策树）以干预能力。
2021-10-22 cs.LG stat.ML
Variable-lag Granger Causality and Transfer Entropy for Time Series Analysis
National Electronics and Computer Technology Center（国家电子和计算机技术中心）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The Ohio State University（俄亥俄州立大学）
Granger因果关系是一种在时间序列数据中进行因果推断的基本技术，通常用于社会科学和生物科学。Granger因果关系的典型操作假设效应时间序列的每个时间点都受到具有固定时间延迟的其他时间序列的组合的影响。传递熵也存在固定时滞的假设，它被认为是格兰杰因果关系的非线性版本。然而，固定时滞的假设在许多应用中并不成立，例如集体行为、金融市场和许多自然现象。为了解决这个问题，我们开发了变滞后格兰杰因果关系和变滞后转移熵，广义的格兰杰因果关系和转移熵，放松了固定时间延迟的假设，并允许原因影响任意时间延迟的效果。此外，我们提出了方法推断变量滞后格兰杰因果关系和转移熵关系。在我们的方法中，我们利用动态时间弯曲（DTW）的最佳弯曲路径来推断变量滞后的因果关系。我们在研究协调集体行为和其他现实世界的推理数据集的应用程序上展示了我们的方法，并表明我们提出的方法在模拟和现实世界的数据集中比现有的几种方法表现得更好。我们的方法可以应用于任何领域的时间序列分析。这项工作的软件可以在R-CRAN包中获得：VLTimeCausality。
2020-06-01 cs.LG econ.EM physics.data-an
Maximum Causal Entropy Specification Inference from Demonstrations
University of California, Berkeley（加州大学伯克利分校）
在许多设置中（例如，机器人）演示提供了一种指定任务的自然方式;然而，用于从演示中示教学习的大多数方法或者不提供为任务学习的工件（诸如奖励或策略）可以被安全地组成的保证，和/或不显式地捕获历史依赖性。出于这种缺陷，最近的作品提出了学习布尔任务规范，一类布尔非马尔可夫奖励承认定义明确的组成，并明确处理历史依赖关系。这项工作继续这一研究路线，通过适应最大因果熵逆强化学习，以估计后验概率的规格给定的多组演示。关键的算法见解是利用大量的文献和工具，减少了有序的二元决策图，有效地编码时间展开的马尔可夫决策过程。这使得能够将朴素指数时间算法转换为多项式时间算法。
2020-05-16 cs.LG cs.RO stat.ML
Causal Relationship Network of Risk Factors Impacting Workday Loss in Underground Coal Mines
University of Pittsburgh（匹兹堡大学）；New Mexico Institute of Mining and Technology（新墨西哥矿业技术学院）；University of New Mexico（新墨西哥大学）
本研究采用新颖的因果AI方法GGES，基于NIOSH数据建立地下煤矿工作日损失影响因素的因果关系网络，发现总采矿经验为最关键因素，模型性能AP、AR、AHP、AHR分别达0.694、0.653、0.386、0.345。
2024-01-24 cs.AI cs.LG stat.ME
Approximate Causal Effect Identification under Weak Confounding
Purdue University（普渡大学）
本文针对弱混杂（未观测混杂因子熵小）下不可识别的因果查询，提出高效线性规划以计算因果效应的上下界，证明熵趋于零时界收敛，并通过模拟验证其比现有方法更紧。
2023-06-22 cs.AI cs.IT cs.LG
Higher order definition of causality by optimally conditioned transfer entropy
Institute of Computer Science of the Czech Academy of Sciences（捷克科学院计算机科学研究所）；Faculty of Nuclear Sciences and Physical Engineering, Czech Technical University（捷克技术大学核科学与物理工程系）；National Institute of Mental Health（国家心理健康研究所）
针对标准因果概念无法反映高阶协同交互的问题，提出基于信息论的因果推断泛化方法，通过最优条件转移熵实现多变量因果交互描述，推动从因果网络向因果超网络发展。
2025-04-29 cs.IT cs.LG math.IT
Fairness-Accuracy Trade-Offs: A Causal Perspective
Columbia University（哥伦比亚大学）
本研究首次从因果视角分析公平性与准确性的权衡，引入路径特定超额损失（PSEL）将总超额损失（TEL）分解为局部成分，并提出因果公平性/效用比指标，同时开发了一种新的因果约束公平学习神经方法。
2024-12-20 cs.AI cs.LG stat.ML
End-to-End Balancing for Causal Continuous Treatment-Effect Estimation
Amazon.com, Inc.（亚马逊公司）；Wharton School of the University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
本文在逆倾向分数加权的框架下研究了连续处理的观察因果推理问题。为了获得稳定的权重，我们设计了一种基于熵平衡的新算法，该算法使用端到端优化来学习权重以直接最大化因果推理准确性。在优化过程中，这些权重会自动调整到所使用的特定数据集和因果推理算法。我们提供了一个理论分析，证明我们的方法的一致性。使用合成和真实世界的数据，我们表明，我们的算法估计因果关系比基线熵平衡更准确。
2022-07-10 cs.LG stat.ME stat.ML
A Loss-Function for Causal Machine-Learning
Independent Researcher
因果机器学习是关于预测治疗的净效应（真实提升）。给定一个治疗组和一个控制组的数据，它类似于一个标准的监督学习问题。不幸的是，由于数据中缺乏逐点真值，因此没有类似的定义良好的损失函数。现代机器学习中的许多进展由于缺少这种损失函数而不能直接应用。我们提出了一种新的方法来定义一个损失函数在这种情况下，这是等于在一个标准的回归问题的均方误差（MSE）。我们的损失函数是普遍适用的，从而提供了一个通用的标准，以评估质量的任何模型/战略，预测真电梯。我们证明，尽管其新颖的定义，仍然可以执行梯度下降直接对这个损失函数，以找到最佳的配合。这为训练任何基于参数的模型（如深度神经网络）提供了一种新的方法，可以在不使用元学习者策略的情况下解决因果机器学习问题。
2020-01-02 cs.LG stat.ML
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型（SEM）的实证结果，该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性，以改善与最弱的SEM路径的节点的删除时，变分推断提供扰动权重与Flipout层，而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
Causal Heterogeneous Graph Learning Method for Chronic Obstructive Pulmonary Disease Prediction
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Southwest University（西南大学）；Dongguan University of Technology（东莞理工学院）
本文提出一种因果异质图学习方法，用于提升慢性阻塞性肺病共病风险的预测能力，通过结合因果推断与异质图学习，提高检测准确性。
2025-12-22 cs.LG
Maximum Causal Entropy IRL in Mean-Field Games and GNEP Framework for Forward RL
本文将最大因果熵逆强化学习引入有限状态离散时间稳态平均场博弈，通过占有测度凸重构和梯度下降算法高效求解，并提出广义纳什均衡问题框架以推进前向强化学习中平均场均衡的计算。
2025-07-19 cs.LG cs.SY eess.SY
Causal Atlases from Entropic Inference: Bayesian Networks beyond Optimal DAGs
Department of Physics , Engineering Physics and Astronomy（物理系、工程物理与天文学系）
针对数据驱动因果识别中多因果链问题，提出基于熵推理的因果图谱方法，通过最大熵系综采样量化因果结构歧义性。
2026-06-04 cs.LG stat.ML
Taming the Cross Entropy Loss
Kalrsruhe Institute of Technology（卡尔斯鲁厄理工学院）
我们提出了驯服交叉熵（TCE）损失函数，这是深度学习中用于分类任务的标准交叉熵（CE）损失的鲁棒导数。然而，与其他鲁棒损失不同，TCE损失被设计为表现出与无噪声场景中的CE损失相同的训练属性。因此，与CE损失相比，TCE损失不需要对训练方案进行修改，因此可以应用于当前使用CE损失的所有应用中。我们使用ResNet架构在四个图像数据集上评估TCE损失，这些图像数据集被我们人为地污染了各种级别的标签噪声。在每个测试场景中，TCE损失都优于CE损失。
2018-10-11 cs.LG stat.ML
Implementation of batched Sinkhorn iterations for entropy-regularized Wasserstein loss
MathInf GmbH（MathInf有限公司）
在本报告中，我们回顾了Cuturi引入的熵正则化Wasserstein损失的计算，并记录了PyTorch中的实际实现。代码可在https://github.com/t-vi/pytorch-tvmisc/blob/master/wasserstein-distance/Pytorch_Wasserstein.ipynb上获得
2019-07-05 cs.LG stat.ML
Loss Functions for Classification using Structured Entropy
Numeristical
交叉熵损失是用于在深度学习和梯度提升中训练分类模型的标准度量。众所周知，这种损失函数不能说明目标的不同值之间的相似性。我们提出了一个广义的熵称为{ \em结构熵}，它使用一个随机分区，将结构的目标变量的方式，保留了许多理论属性的标准熵。我们表明，结构化的交叉熵损失产生更好的结果，在几个分类问题的目标变量有一个先验已知的结构。该方法简单、灵活、易于计算，并且不依赖于分层定义的结构概念。
2022-06-14 cs.CV cs.IT cs.LG
