Model-Augmented Estimation of Conditional Mutual Information for Feature Selection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
马尔可夫毯特征选择虽然在理论上是最优的，但通常难以实现。这是由于现有的条件独立性（CI）测试方法的缺点，往往斗争的维数灾难或计算复杂性。我们提出了一种新的两步方法，有利于马尔可夫毯特征选择在高维。首先，使用神经网络将特征映射到低维表示。在第二步中，通过将$k$条件互信息估计器应用于学习的特征图来执行CI测试。映射的目的是确保映射的样本都保存信息和共享类似的信息，当且仅当它们是接近的欧几里得距离的目标变量。我们表明，这些属性提高性能的$k$ -NN估计在第二步。所提出的方法的性能进行评估合成和真实数据。
2020-06-19 cs.LG stat.ML
Understanding Generalization via Leave-One-Out Conditional Mutual Information
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Technion（以色列理工学院）；Google Research（谷歌研究院）；Mila（米拉研究所）；McGill（麦吉尔大学）
我们研究了学习算法的输出（的某些摘要）与其$n$训练数据之间的互信息，条件是$n+1$ i.i.d.的超样本。从其中随机选择训练数据而不替换的数据。算法的条件互信息（CMI）的这些留一法变体（Steinke和Zakynthinou，2020）也被视为控制具有有界损失函数的学习算法的平均泛化误差。对于在0-1损失下实现零经验风险的学习算法（即，插值算法），我们提供了一个显式的留一出局CMI和经典的留一出局误差估计的风险之间的联系。使用这种连接，我们获得的（评估）留一出局CMI的风险的上限和下限。当极限风险是常数或多项式衰减时，边界收敛到常数因子2内。作为一个应用，我们分析了一个包含图算法，一个通用的转换学习算法的VC类在可实现的设置的人口风险。使用留一法CMI，我们在可实现的设置中匹配学习VC类的最佳界限，回答了Steinke和Zakynthinou（2020）提出的公开挑战。最后，为了理解留一CMI在研究推广中的作用，我们将留一CMI置于一个层次的措施，一个新的无条件互信息的根。对于0-1损失和插值学习算法，观察到该互信息正是风险。
2022-06-29 cs.LG
Generalization bounds and algorithms for estimating conditional average treatment effect of dosage
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）；Babylon Health（巴比伦健康）
我们调查的任务估计的条件平均因果效应的治疗剂量对的基础系统中的因果关系的观察数据和假设的组合。这一直是流行病学或经济学等研究领域的一个长期挑战，这些领域需要治疗剂量对来做出决定，但可能无法进行随机试验来精确量化其效果和个体间的异质性。在本文中，我们扩展了（Shalit et al，2017），以在连续剂量参数的背景下给出反事实泛化误差的新界限，该参数依赖于定义反事实和分配偏差调整的不同方法。然后，该结果指导新的学习目标的定义，可以用于训练表示学习算法，对于该算法，我们在多个基准数据集上针对该问题实证地显示了新的最先进的性能结果，包括与双重鲁棒估计方法的比较。
2022-05-29 cs.LG
Conditional Mutual Information Constrained Deep Learning for Classification
University of Waterloo（滑铁卢大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出条件互信息约束深度学习（CMIC-DL），通过在NCMI约束下最小化交叉熵并设计交替学习算法，提升分类DNN的类内集中度、类间分离度、准确率及对抗鲁棒性。
2023-09-17 cs.AI cs.LG
Estimating Conditional Average Treatment Effects with Missing Treatment Information
ETH Zurich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）
本文针对治疗信息缺失下的条件平均治疗效应估计问题，识别出两类协变量偏移，提出基于领域自适应学习平衡表示的MTRNet算法，并在半合成与真实数据上显著超越现有方法。
2023-04-16 cs.LG stat.ML
Efficient Approximate Solutions to Mutual Information Based Global Feature Selection
Arizona State University（亚利桑那州立大学）；Bosch Research and Technology Center（博世研究与技术中心）；University of Michigan（密歇根大学）
互信息（MI）在开发分类器模型时经常用于特征选择。估计MI的一个子集的功能往往是棘手的。我们证明，在条件独立的假设下，一个子集的功能之间的MI可以表示为条件互信息（CMI）对功能之间。但是选择具有最高CMI的特征被证明是一个很难的组合问题。在这项工作中，我们采用了两个独特的全球方法，截断功率方法（TPower）和低秩双线性近似（LowRank），解决特征选择问题。这些算法提供了很好的近似NP-难CMI的特征选择问题。我们通过实验证明了这些程序在多个数据集上的有效性，并将其与现有的基于MI的全局和迭代特征选择程序进行了比较。
2017-06-23 cs.LG stat.ML
Conditional Mutual Information Neural Estimator
KTH Royal Institute of Technology（KTH皇家理工学院）
最近在通信系统中的几项工作已经提出在编码器和解码器的设计中利用神经网络的能力。在这种方法中，可以基于来自信道的聚合样本来定制这些块以最大化传输速率。在许多通信方案中，可实现的传输速率是由条件互信息项决定的，基于神经网络的信息理论量的估计是本文的重点。我们的结果是基于KL-发散的变分界限，与以前的一些工作相比，我们提供了一个数学上严格的下限。然而，额外的挑战，相对于无条件的互信息出现由于存在的条件密度函数，我们在这里解决。
2020-02-14 cs.IT cs.LG math.IT
Potential Conditional Mutual Information: Estimators, Properties and Applications
University of Washington, Seattle（华盛顿大学西雅图分校）
条件互信息I（X;Y| Z）测量X和Y在给定Z的情况下包含的关于彼此的平均信息。这在许多学习问题中是一个重要的基元，包括条件独立性测试，图形模型推理，因果强度估计和时间序列问题。在一些应用中，希望具有纯条件分布p_{Y|X,Z}而不是联合分布p_{X,Y,Z}的泛函。我们将潜在条件互信息定义为用修改的联合分布p_{Y|X,Z} q_{X,Z}计算的条件互信息，其中q_{X,Z}是潜在分布，固定机场。我们开发K最近邻估计这个功能，采用重要性采样，和一个耦合技巧，并证明了这样的估计有限k的一致性。我们证明了估计器具有良好的实际性能，并显示在动态系统推理的应用。
2017-10-13 cs.IT cs.LG math.IT
Estimating mutual information and multi--information in large networks
我们解决的实际问题，估计的信息关系，大型网络的特点。基于神经代码的分析方法，我们证明了互信息的可靠估计可以通过可管理的计算工作量来获得。同样的方法允许估计高阶，多信息项。这些想法通过对基因表达、金融市场和消费者偏好的分析得到了说明。在每一种情况下，信息论的措施与独立的，直观的措施，在系统中的基础结构。
2005-02-03 cs.AI cs.CV cs.IT
Estimating Mutual Information for Discrete-Continuous Mixtures
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington（华盛顿大学）
从观察到的样本估计互信息是一个基本的原语，在几个机器学习任务中很有用，包括相关性挖掘，信息瓶颈聚类，学习Chow-Liu树和（因果）图形模型中的条件独立性测试。虽然互信息在一般概率空间中是一个定义良好的量，但现有的估计只能处理两种特殊情况：纯离散或纯连续的随机变量对。主要的挑战是，这些方法首先估计X、Y和对（X;Y）的（微分）熵，并将它们与适当的符号相加以获得互信息的估计。这些3 H-估计不能应用于一般的混合空间，其中熵没有很好的定义。在本文中，我们设计了一个新的估计的互信息的离散-连续混合。我们证明了所提出的估计是一致的。我们提供的数值实验表明所提出的估计相比，其他approxistics的小连续噪声添加到所有的样本和应用标准估计量为纯连续变量，量化的样本和应用标准估计量为纯离散变量的优越性。这显著地拓宽了互信息估计在真实世界应用中的适用性，其中一些变量是离散的，一些是连续的，并且其他是连续和离散分量之间的混合。
2018-10-09 cs.IT cs.LG math.IT
Informative Gene Selection for Microarray Classification via Adaptive Elastic Net with Conditional Mutual Information
Virginia State University（弗吉尼亚州立大学）；Henan Normal University（河南师范大学）
由于弹性网具有在弱正则化条件下获得更好性能的优点，在统计学、机器学习、生物信息学等领域引起了广泛的关注。特别地，弹性网的变型，自适应弹性网（AEN），集成了自适应分组效应。在本文中，我们的目标是开发一种新的算法：自适应弹性网与条件互信息（AEN-CMI），进一步提高AEN将条件互信息到基因选择过程。我们应用这种新算法来筛选两种癌症的重要基因：结肠癌和白血病。与支持向量机、经典弹性网和自适应弹性网等算法相比，AEN-CMI算法以最少的基因数获得了最好的分类性能。
2018-06-13 cs.IT cs.LG math.IT
C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation
IIT Delhi（印度理工学院德里分校）；University of Washington（华盛顿大学）；TIFR Mumbai（塔塔基础研究院孟买分院）
信息理论量的估计，如互信息及其条件变量，由于其多方面的应用，最近引起了人们的兴趣。新提出的神经估计这些数量克服了严重的缺点，经典的$k$ NN为基础的估计在高维。在这项工作中，我们专注于条件互信息（CMI）估计，利用其制定的最小最大优化问题。这样的公式导致了类似于生成对抗网络的联合训练过程。我们发现，我们提出的估计提供了更好的估计比现有的方法对各种模拟数据集，包括变量之间的线性和非线性关系。作为CMI估计的一个应用，我们将我们的估计器部署在真实数据上进行条件独立性（CI）测试，并获得了比最先进的CI测试仪更好的结果。
2020-07-23 cs.IT cs.LG math.IT
Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
从一组样本中估计互信息（MI）或条件互信息（CMI）是一个长期存在的问题。在该领域中的最近的工作路线已经利用了人工神经网络的近似能力，并且已经显示出对传统方法的改进。这种新方法的一个重要挑战是，给定原始数据集，需要获得一个不同的集合，其中样本根据特定的产品密度函数分布。这在估算CMI时尤其具有挑战性。在本文中，我们引入了一种基于k个最近邻（k-NN）的新技术来执行重采样并推导样本平均值的高置信度浓度界。然后，该技术被用来训练一个神经网络分类器和CMI估计相应。我们提出了三个估计使用这种技术，并证明他们的一致性，使它们之间的比较和类似的方法在文献中，并通过实验表明改进估计CMI的精度和方差的估计。
2020-12-30 cs.IT cs.LG math.IT
Learning gradient-based ICA by neurally estimating mutual information
近年来，人们提出了几种估计随机变量互信息的方法。他们可以证明有价值的新方法来学习统计独立的功能。在本文中，我们使用这些方法之一，一个互信息神经估计（MINE）网络，提出了一个概念证明的神经网络可以执行线性ICA。我们最小化的互信息，估计由MINE网络，可微编码器网络的输出单元之间。这是通过两个网络的简单交替优化来完成的。该方法被证明是一个定性平等的解决方案FastICA的盲源分离的噪声源。
2019-04-22 cs.LG stat.ML
Reasoning About Generalization via Conditional Mutual Information
IBM Research – Almaden（IBM阿尔马登研究中心）；Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机学院）
我们提供了一个信息理论的框架，研究机器学习算法的泛化性能。我们的框架将现有的方法联系在一起，包括一致收敛边界和最近的自适应数据分析方法。具体来说，我们使用条件互信息（CMI）来量化输入（即，训练数据）可以在给定输出（即，训练的模型）的学习算法。我们表明，可以从VC维，压缩方案，差分隐私，和其他方法得到的CMI的界限。然后，我们表明，有界CMI意味着各种形式的推广。
2020-06-19 cs.CR cs.DS cs.IT
Estimating conditional density of missing values using deep Gaussian mixture model
Jagiellonian University（雅盖隆大学）
我们考虑的问题估计的条件概率分布的缺失值的观察。我们提出了一种方法，它结合了深度神经网络的灵活性和高斯混合模型（GARCH）的简单性。给定一个不完整的数据点，我们的神经网络返回代表相应条件密度的高斯分布参数（以因子分析模型的形式）。我们通过实验验证了我们的模型比以典型方式训练的条件GMM提供了更好的对数似然。此外，通过使用我们模型的均值向量替换缺失值获得的插补在视觉上看起来似乎是合理的。
2020-10-06 cs.LG
Neural Estimation of Pairwise Mutual Information in Masked Discrete Sequence Models
University of California, Berkeley, CA, USA（加州大学伯克利分校）
本文提出了一种神经框架，直接从预训练的遮蔽扩散模型（MDMs）的隐藏状态中估计成对条件互信息（MI），利用模型自身条件分布计算的地面真实MI进行监督，从而捕捉模型内部对依赖结构的信念，并在单次前向传递中预测完整的MI矩阵，实现MI引导的并行解码。
2026-01-27 cs.AI cs.IT cs.LG
Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文质疑了机器学习中用条件熵和互信息分别量化偶然性和认知不确定性的做法，指出其理论不协调性及总不确定性加性分解的问题，并通过计算机视觉实验验证了这些发现。
2023-06-25 cs.LG
Estimating Mutual Information between Time Series and Temporal Event Sequences Across Diverse Analysis Tasks
University of Minnesota - Twin Cities（明尼苏达大学-双城分校）；University of Pittsburgh（匹兹堡大学）；Inha University（Inha大学）
提出一种非参数互信息估计器，直接度量连续时间序列与离散事件序列之间的依赖关系，无需数据转换或离散化，通过处理量化伪影和事件冗余实现鲁棒统一框架。
2026-06-23 cs.AI cs.IT cs.LG
Bayes Conditional Distribution Estimation for Knowledge Distillation Based on Conditional Mutual Information
University of Waterloo（滑铁卢大学）
针对知识蒸馏中传统最大对数似然方法估计贝叶斯条件分布精度不足的问题，提出最大条件互信息估计方法训练教师模型，提升学生分类准确率，在少样本、零样本场景下增益更显著。
2024-03-07 cs.CV cs.IT cs.LG
Generalization in Federated Learning: A Conditional Mutual Information Framework
Ziqiao Wang（瓦氏）；Cheng Long（龙成）；Yongyi Mao（茅永毅）
本文提出基于条件互信息的超客户端框架，为联邦学习两级泛化误差推导多个信息论界，并给出快速速率界及实验验证。
2025-06-04 cs.IT cs.LG math.IT
Conditional Mutual Information for Disentangled Representations in Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
针对强化学习中特征相关导致的泛化问题，提出通过最小化条件互信息学习解耦表示，实验证明在相关性变化下提升泛化与训练性能。
2023-10-12 cs.LG
On The Utility of Conditional Generation Based Mutual Information for Characterizing Adversarial Subspaces
National Chung Hsing University（国立中兴大学）；IBM Research（IBM研究院）
最近的研究发现，深度学习系统容易受到对抗性示例的影响;例如，视觉上不可识别的对抗图像可以容易地被制作以导致错误分类。神经网络的鲁棒性已经在敌手检测的背景下被广泛研究，敌手检测比较了在自然和敌手示例之间表现出强区分能力的度量。在本文中，我们提出了通过镜头的互信息（MI）的条件生成方法近似的敌对子空间的特征。我们使用MI作为一个信息理论的度量，以加强现有的防御和提高性能的对手检测。在MagNet防御系统上的实验结果表明，该检测器能够有效地提高对强大对抗攻击的鲁棒性.
2018-09-24 cs.CR cs.CV cs.LG
Normalized Conditional Mutual Information Surrogate Loss for Deep Neural Classifiers
Department of Electrical and Computer Engineering, University of Waterloo, Waterloo, Canada（滑铁卢大学电气与计算机工程系）；The Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, Toronto, Canada（多伦多大学Edward S. Rogers Sr.电气与计算机工程系）
本文提出归一化条件互信息作为替代交叉熵损失，通过实验表明其在图像识别和全滑片成像任务中显著提升模型性能。
2026-01-18 cs.AI cs.CV cs.IT
Towards Dynamic Feature Acquisition on Medical Time Series by Maximizing Conditional Mutual Information
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Helmholtz AI（亥姆霍兹人工智能研究所）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对医学时间序列，提出一种通过最大化条件互信息、仅用下游损失端到端训练的动态特征获取方法，优于随机策略，匹配无限制预算模型，但未超越静态策略。
2024-07-18 cs.AI cs.LG
Estimating Conditional Covariance between labels for Multilabel Data
School of Computer, Data and Mathematical Sciences（计算机、数据与数学科学学院）；Western Sydney University（西澳大学）
本文比较三种模型估计多标签条件协方差，发现多元Probit错误率最低，但所有模型在恒定协方差数据中误检依赖协方差。
2025-08-26 cs.LG
Estimating Conditional Average Treatment Effects via Sufficient Representation Learning
Xiamen University（厦门大学）；Ant Group（蚂蚁集团）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
针对现有高维CATE估计方法无法验证表示是否满足无混淆性、仅用单组数据估计回归函数的问题，提出CrossNet神经网络学习充分表示并交叉利用两组数据估计CATE，性能优于同类方法。
2024-12-13 cs.LG
Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information
Stanford University（斯坦福大学）
在许多现实问题中，我们希望在给定$T$函数求值预算的情况下，推断昂贵的黑盒函数$f$的某些属性。一个示例是$f$的预算约束全局优化，对于该全局优化，贝叶斯优化是流行的方法。其他感兴趣的属性包括局部最优值、水平集、积分或由$f$引起的图形结构信息。通常，我们可以找到一个算法$\mathcal{A}$来计算所需的属性，但它可能需要远远超过$T$查询来执行。给定这样的$\mathcal{A}$和$f$上的先验分布，我们将使用$T$评估来推断$\mathcal{A}$的输出的问题称为贝叶斯算法执行（BAX）。为了解决这个问题，我们提出了一个程序，InfoBAX，顺序选择查询，最大限度地提高互信息相对于算法的输出。将其应用于Dijkstra算法，例如，我们推断合成和真实世界的图中的最短路径与黑盒边缘成本。使用进化策略，我们产生的贝叶斯优化的目标是局部，而不是全球，最优的变种。在这些问题上，InfoBAX对$f$的查询比原始算法少500倍。我们的方法是紧密相连的其他贝叶斯最优试验设计程序，如熵搜索方法和最佳传感器的位置，使用高斯过程。
2021-07-06 cs.AI cs.IT cs.LG
Conditional Mutual information-based Contrastive Loss for Financial Time Series Forecasting
KTH Royal Institute of Technology（瑞典皇家理工学院）；RISE Research Institutes of Sweden（瑞典RISE研究院）
我们提出了一个金融时间序列预测的表示学习框架。使用深度学习模型进行金融预测的一个挑战是在使用小数据集时缺乏可用的训练数据。使用在小数据集上训练的深度神经网络进行直接趋势分类容易受到过拟合问题的影响。在本文中，我们建议首先从时间序列数据中学习紧凑的表示，然后使用学习到的表示来训练一个更简单的模型来预测时间序列运动。我们考虑一类条件潜变量模型。我们训练一个编码器网络，以最大化潜在变量和以编码的观测变量为条件的趋势信息之间的互信息。我们表明，条件互信息最大化可以近似的对比损失。然后，问题被转化为一个分类任务，确定两个编码表示是否是从同一类或不采样。这相当于对训练数据点进行成对比较，从而提高了编码器网络的泛化能力。我们使用深度自回归模型作为编码器来捕获序列数据的长期依赖性。实证实验表明，我们提出的方法有可能提高最先进的性能。
2021-05-07 cs.LG stat.ML
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University（浙江大学）；Kwai Inc.（快手公司）
多模态图像到图像翻译（I2 IT）旨在学习一种条件分布，该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络（cGAN）来对这种条件分布进行建模。然而，cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布，这也被称为GANs的模式坍塌问题。为了解决这个问题，我们提出了一种简单而有效的方法，该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性，这防止了生成器忽略潜在代码，并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角，而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Fairness in Survival Analysis: A Novel Conditional Mutual Information Augmentation Approach
University of Arizona（亚利桑那大学）
本文针对生存分析中预定义时间点预测公平性被忽视的问题，提出条件互信息增强（CMIA）方法，通过新颖正则化项和删失数据增强技术，在多个领域和生存模型上显著降低预测差异并保持准确性。
2025-02-04 cs.AI cs.LG
Pruning Deep Convolutional Neural Network Using Conditional Mutual Information
Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology（胡志明市技术大学计算机科学与工程学院）；Loyola University Maryland（马里兰州洛约拉大学）；Tufts University（塔夫茨大学）
针对CNN模型部署资源受限问题，提出基于条件互信息（CMI）的结构化滤波器修剪方法，通过矩阵Renyi α阶熵计算CMI排序特征图重要性并确定截断点，在VGG16-CIFAR-10上实现滤波器减幅超1/3且精度仅降0.32%。
2024-11-27 cs.LG
Multiscale Dictionary Learning for Estimating Conditional Distributions
Icahn School of Medicine at Mt Sinai（西奈山伊坎医学院）；Child Mind Institute（儿童心理研究所）；Duke University（杜克大学）
给定高维特征的响应的条件分布的非参数估计是一个具有挑战性的问题。重要的是，不仅要允许响应密度的平均值，而且还要允许响应密度的方差和形状随特征灵活变化，这些特征是多维的。我们提出了一个多尺度字典学习模型，它表示的条件响应密度作为字典密度的凸组合，使用的密度和它们的权重依赖于通过树分解的特征空间的路径。一个快速的图划分算法被应用到获得的树分解，贝叶斯方法，然后使用自适应修剪和平均在不同的子树在一个软概率的方式。该算法可以有效地扩展到大约一百万个特征。最先进的预测性能展示了玩具的例子和两个神经科学应用程序，包括多达一百万的功能。
2013-12-04 cs.LG stat.ML
copent: Estimating Copula Entropy and Transfer Entropy in R
统计独立性和条件独立性是统计学和机器学习中的两个基本概念。Copula熵是Ma和Sun定义的一个用于度量和检验多元统计独立性的数学概念，也被证明与条件独立性（或转移熵）密切相关。作为度量独立性和因果性的统一框架，并行工程已被应用于解决若干相关的统计或机器学习问题，包括关联发现、结构学习、变量选择和因果发现。Copula熵和传递熵的非参数估计方法也已提出。本文介绍了copent，R包，实现这些建议的方法估计copula熵和传递熵。介绍了该软件包的实现细节。三个例子与模拟数据和真实世界的数据变量的选择和因果关系的发现也展示了使用这个包。在变量选择和因果发现方面的实例表明，与相关软件包相比，copent具有较强的（条件）独立性检验能力。copent包可以在Comprehensive R Archive Network（CRAN）和GitHub上找到，网址是https://github.com/majianthu/copent。
2021-03-27 cs.IT cs.LG cs.MS
Estimating Dynamic Conditional Spread Densities to Optimise Daily Storage Trading of Electricity
London Business School（伦敦商学院）
本文制定了动态密度函数，基于偏t和类似的表示，建模和预测不同时间的一天之间的电价差。这支持最佳的提前一天的存储和放电时间表，从而促进了投标策略的商人套利设施到提前一天的拍卖批发电力。密度函数的四个潜在时刻是动态的，并取决于外部驱动因素，从而允许密度的均值、方差、偏度和峰度每小时响应天气和需求预测等因素。根据累积密度函数的封闭形式解析解，基于弹球损失函数选择每个排列的最佳规格。这些分析性质还允许计算与价差套利相关的风险。根据这些分布密度，确定电池存储设施的最佳日常操作。
2019-03-09 cs.LG econ.EM q-fin.TR
A Comparative Study of Methods for Estimating Conditional Shapley Values and When to Use Them
University of Oslo（奥斯陆大学）；Norwegian Computing Center（挪威计算中心）
本文针对表格数据预测模型的条件Shapley值估计难题，拓展并归类了蒙特卡洛、回归类等估计方法，通过模拟与真实实验评估精度，给出不同数据场景下的方法选用建议。
2023-05-16 cs.LG stat.CO stat.ML
AdaNovo: Adaptive \emph{De Novo} Peptide Sequencing with Conditional Mutual Information
School of Engineering, Westlake University（西湖大学工程学院）；University of Southern California（南加利福尼亚大学）
针对从头肽段测序中PTM识别难和噪声干扰问题，提出AdaNovo框架，利用条件互信息进行自适应训练，在9物种基准上达到最优性能并展现鲁棒性。
2024-03-15 cs.LG q-bio.BM q-bio.QM
Conditional Negative Sampling for Contrastive Learning of Visual Representations
Stanford University（斯坦福大学）
最近的方法学习无监督的视觉表示，被称为对比学习，优化噪声对比估计（NCE）之间的互信息的图像的两个视图。NCE使用随机抽样的负面例子来规范目标。在本文中，我们表明，选择困难的否定，或那些更相似的当前实例，可以产生更强的表示。为了做到这一点，我们引入了一个家庭的互信息估计，抽样消极的条件-在一个“环”周围的每个积极的。我们证明了这些估计下界互信息，具有较高的偏差，但较低的方差比NCE。在实验中，我们发现我们的方法，应用于现有的模型（IR，CMC和MoCo），在每种情况下，通过对四个标准图像数据集进行线性评估，准确度提高了2-5%。此外，我们发现在将特征从元数据集集合转移到各种新的图像分布以及转移到各种下游任务（如目标检测、实例分割和关键点检测）时，仍有好处。
2020-10-05 cs.LG stat.ML
A Guide to Estimating Conditional Average Treatment Effects in Competing Risks Settings
Department of Statistics, TU Dortmund University（图恩-多特蒙德大学统计学系）；Research Center Trustworthy Data Science and Security, University Alliance Ruhr (UA Ruhr)（鲁尔大学联盟可信数据科学与安全研究中心）；Institute for Mathematics, University of Augsburg（艾希施泰特大学数学研究所）
针对竞争风险生存数据，比较六种元学习器估计条件平均处理效应，提供R包crsurvlearners指导模型选择。
2026-06-18 cs.LG stat.AP stat.ML
Estimating Phoneme Class Conditional Probabilities from Raw Speech Signal using Convolutional Neural Networks
Idiap Research Institute（IDIAP研究所）
在混合隐马尔可夫模型/人工神经网络（HMM/ANN）自动语音识别（ASR）系统中，首先基于诸如语音感知或/和语音产生知识的先验知识从语音信号中提取声学特征，然后用ANN对声学特征进行建模，从而估计音素类条件概率。更具体地说，在图像处理和文本处理领域中，已经表明这种分而治之的策略（即，分离特征提取和建模步骤）可能不是必需的。从这些研究的动机，在卷积神经网络（CNN）的框架下，本文研究了一种新的方法，其中输入到人工神经网络的原始语音信号和输出是音素类条件概率估计。在TIMIT音素识别任务中，我们研究了不同的ANN架构，以显示CNN的优势，并将所提出的方法与传统方法进行比较，其中，基于频谱的特征MFCC由多层感知器提取和建模。我们的研究表明，所提出的方法可以产生可比或更好的音素识别性能相比，传统的方法。这表明CNN可以从原始语音信号中自动学习与音素分类相关的特征。
2013-06-12 cs.CL cs.LG cs.NE
Conditional Mutual Information Based Diffusion Posterior Sampling for Solving Inverse Problems
University of Waterloo（滑铁卢大学）
针对扩散模型求解逆问题时似然近似损害图像质量的问题，提出最大化条件互信息的信息论后验采样方法，可无缝融入现有方法并提升定性与定量性能。
2025-01-06 cs.LG stat.ML
Conditional Density Estimation with Dimensionality Reduction via Squared-Loss Conditional Entropy Minimization
Tokyo Institute of Technology（东京工业大学）
回归的目的是在给定输入的情况下估计输出的条件均值。然而，回归是不够的信息，如果条件密度是多峰，异方差，和不对称的。在这种情况下，估计条件密度本身是优选的，但是条件密度估计（CDE）在高维空间中是具有挑战性的。处理高维的一种简单方法是首先执行降维（DR），然后执行CDE。然而，这样的两步过程在实践中执行得不好，因为在第一DR步骤中引起的误差可能在第二CDE步骤中被放大。在本文中，我们提出了一种新的单次拍摄过程，同时进行CDE和DR在一个集成的方式。我们的主要思想是制定DR作为最小化的条件熵的平方损失变量的问题，这是通过CDE解决。因此，一个额外的CDE步骤是不需要DR后。我们证明了所提出的方法的有用性，通过广泛的实验，包括人形机器人过渡和计算机艺术的各种数据集。
2014-04-28 cs.LG stat.ML
