Conditional Distribution Quantization in Machine Learning
FOXSTREAM；ESPCI PSL（巴黎高等物理化工学院，PSL大学）
针对条件期望难以捕捉多模态条件分布复杂性的问题，提出可通过梯度下降学习的n点条件量化方法，适配CLVQ实现Wasserstein距离下的条件分布逼近，经实验验证可用于不确定性量化与多模态生成任务。
2025-05-20 cs.LG
Maximum Likelihood on the Joint (Data, Condition) Distribution for Solving Ill-Posed Problems with Conditional Flow Models
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本研究提出一种基于条件流模型的联合分布最大似然方法，无需额外架构或损失项，可解决不适定逆问题，经玩具问题、类别条件图像生成及超分辨率重建验证有效。
2026-10-26 cs.LG
Robust Domain Generalization under Divergent Marginal and Conditional Distributions
Graduate School of Data Science, Seoul National University, South Korea（数据科学研究生院，首尔国立大学，韩国）
本文提出了一种统一框架，通过分解联合分布并刻画风险差距，实现鲁棒领域泛化，适用于边际和条件分布同时发散的场景。
2026-02-02 cs.LG
Wasserstein Geodesic Generator for Conditional Distributions
Columbia University（哥伦比亚大学）；Shepherd23 Inc.（Shepherd23公司）
该研究推导了条件分布间Wasserstein距离的易处理上界，提出基于最优传输理论的Wasserstein测地线生成器，可学习已观测域条件分布及传输映射，人脸光照实验验证了其有效性。
2023-08-28 cs.LG stat.ML
Conditional Distributional Treatment Effect with Kernel Conditional Mean Embeddings and U-Statistic Regression
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technion, Israel Institute of Technology（以色列理工学院）
我们建议分析的条件分布处理效应（CoDiTE），这与更常见的条件平均处理效应（CATE），是设计来编码治疗的分布方面超出了平均值。我们首先介绍一个正式的定义与概率测度之间的距离函数的CoDiTE。然后，我们通过内核条件均值嵌入，再加上假设检验，告诉我们是否有任何条件的分布效应的治疗，讨论了与最大均值差异相关的CoDiTE。最后，我们调查了什么样的条件分布效应的治疗，无论是在探索性的方式通过条件见证函数，并通过U-统计回归的定量方式，概括的CATE高阶矩。在合成、半合成和真实数据集上的实验证明了该方法的优点。
2021-06-10 cs.LG stat.ML
cCorrGAN: Conditional Correlation GAN for Learning Empirical Conditional Distributions in the Elliptope
ESILV - École Supérieure d’Ingénieurs Léonard de Vinci（ESILV - 莱昂纳多·达·芬奇高等工程师学院）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）
提出了一种基于条件生成对抗网络的相关矩阵椭圆域条件分布近似方法。我们说明的方法与应用程序从量化金融：蒙特卡罗模拟的相关回报率比较基于风险的投资组合的建设方法。最后，我们讨论了目前的局限性，并主张进一步探索的椭圆几何，以改善结果。
2021-07-22 cs.LG q-fin.ST
Wasserstein Generative Learning of Conditional Distribution
University of Iowa（爱荷华大学）；Wuhan University（武汉大学）
条件分布是描述响应与预测因子之间关系的基本量。我们提出了一个Wasserstein生成方法来学习条件分布。所提出的方法使用一个条件发生器来转换一个已知的分布到目标条件分布。通过匹配涉及条件生成器和目标联合分布的联合分布来估计条件生成器，使用Wasserstein距离作为这些联合分布的差异度量。我们建立了所提出的方法产生的条件抽样分布的非渐近误差界，并表明它是能够减轻维数灾难，假设数据分布是支持一个低维集。我们进行数值实验来验证所提出的方法，并说明其应用于条件样本生成，非参数条件密度估计，预测不确定性量化，双变量响应数据，图像重建和图像生成。
2021-12-19 cs.LG math.ST stat.TH
Deep conditional distribution learning via conditional Föllmer flow
Joint Laboratory of Data Science and Business Intelligence（数据科学与商务智能联合实验室）；Southwestern University of Finance and Economics（西南财经大学）；State Key Laboratory of Mathematical Sciences（数学科学国家重点实验室）；Academy of Mathematics and Systems Science（数学与系统科学学院）；Chinese Academy of Sciences（中国科学院）；School of Mathematics and Statistics（数学与统计学学院）；Wuhan University（武汉大学）；Hubei Key Laboratory of Computational Science（湖北省计算科学重点实验室）
提出基于常微分方程的 Conditional Föllmer Flow 深度生成方法，通过深度神经网络非参数估计速度场来学习条件分布，并首次提供了 Wasserstein-2 距离的端到端收敛误差分析，实验证明其在多种场景下优于现有方法。
2026-10-19 cs.LG stat.ML
Learning about an exponential amount of conditional distributions
Facebook AI Research（脸书人工智能研究院）；Montréal Institute for Learning Algorithms (MILA), University of Montréal（蒙特利尔学习算法研究所（米拉），蒙特利尔大学）
我们介绍了神经调节器（NC），一个自我监督的机器，能够学习一个随机向量$X$的所有条件分布。NC是一个函数$NC(x \cdot a, a, r)$，它利用对抗训练来匹配每个条件分布$P(X_r|X_a=x_a)$。在训练之后，NC从从未见过的条件分布中推广样本，包括联合分布。NC还能够自动编码示例，为下游分类任务提供有用的数据表示。总而言之，NC将不同的自我监督任务（每个任务都是对条件分布的估计）和监督级别（部分观察数据）无缝集成到单个学习体验中。
2019-02-22 cs.LG stat.ML
Posterior Matching for Arbitrary Conditioning
UNC at Chapel Hill（北卡罗来纳大学教堂山分校）
任意条件化是无监督学习中的一个重要问题，在无监督学习中，我们试图为所有可能的非相交子集$o, u \subset \{1, \dots , d\}$建模一些数据的条件密度$p(\mathbf{x}_u \mid \mathbf{x}_o)$。然而，绝大多数密度估计仅关注于对联合分布$p(\mathbf{x})$进行建模，其中特征之间的重要条件依赖性是不透明的。我们提出了一个简单而通用的框架，创造后验匹配，使变分自编码器（VAE）执行任意条件，而无需修改VAE本身。后验匹配适用于许多现有的基于VAE的联合密度估计方法，从而规避了以前的任意条件处理方法所需的专门模型。我们发现后验匹配对于各种VAE的各种任务（例如，离散的、分层的、VaDE）。
2022-11-11 cs.LG stat.ML
The Random Conditional Distribution for Higher-Order Probabilistic Inference
Princeton（普林斯顿大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
在算法公平性、模型简化、鲁棒性和许多其他领域，需要对分布特性（如期望、方差和熵）进行调节。然而，从表面上看，分布属性不是随机变量，因此在概率程序设计语言中，对它们进行条件化是一个语义错误和类型错误。另一方面，分布特性取决于模型中的其他变量，当我们观察到更多信息时，值会发生变化，因此在精确意义上也是随机变量。为了捕捉不确定的分布特性，我们引入了一个概率结构-随机条件分布-并将其纳入概率程序设计语言欧米茄。随机条件分布是高阶随机变量，其实现本身就是条件随机变量。在Omega中，我们将随机变量的分布性质扩展到随机条件分布，例如，当实值随机变量的期望是实值时，随机条件分布的期望是期望上的分布。因此，它需要最少的语法来编码分布特性上的推理问题，到目前为止，这已经回避了概率编程系统和概率建模中的处理。我们证明了我们的方法案例研究中的算法公平性和鲁棒性。
2019-03-25 cs.LG cs.PL
Conditional Bures Metric for Domain Adaptation
Pazhou Lab（琶洲实验室）
无监督领域自适应（UDA）作为面向分类的迁移中的一个重要问题，近年来受到了广泛的关注。以往的UDA方法假设不同领域的边缘分布发生了移动，而忽略了标签分布中的判别信息。这会导致实际应用中的分类性能退化。在这项工作中，我们专注于条件分布偏移问题，这是目前的条件不变模型非常关注。我们的目标是寻求一个核协方差嵌入条件分布，这仍然是尚未探索。在理论上，我们提出了条件核Bures（CKB）度量来表征条件分布差异，并在不引入隐式核特征映射的情况下导出了CKB度量的经验估计。它提供了一个可解释的方法来理解知识转移机制。建立的经验估计的相合性理论为收敛性提供了理论保证。提出了一种条件分布匹配网络来学习UDA的条件不变特征和判别特征。大量的实验和分析表明，我们提出的模型的优越性。
2021-07-31 cs.CV cs.LG
Evaluating Aleatoric Uncertainty via Conditional Generative Models
Columbia University（哥伦比亚大学）
随机不确定性量化寻求随机响应的分布知识，这对于机器学习应用中的可靠性分析和鲁棒性改进是重要的。以往任意不确定性估计的研究主要是针对封闭形式的条件密度或方差，这需要对数据的分布或维数有很强的限制。为了克服这些限制，我们研究了任意不确定性估计的条件生成模型。我们引入了两个度量来衡量适合这些模型的两个条件分布之间的差异。这两个指标都可以通过条件生成模型的蒙特卡罗模拟轻松且无偏差地计算，从而促进其评估和训练。我们数值演示了我们的指标如何提供正确的测量条件分布的差异，并可用于训练条件模型对现有的基准竞争。
2022-06-09 cs.LG stat.ML
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Conditional Unbalanced Optimal Transport Maps: An Outlier-Robust Framework for Conditional Generative Modeling
本文提出条件不平衡最优传输映射（CUOTM）框架，通过Csiszár散度惩罚放松条件分布匹配约束，以提高条件生成建模的鲁棒性，实验显示其在异常值鲁棒性和分布匹配性能方面优于现有方法。
2026-03-12 cs.CV cs.LG
Distributional Causal Mediation via Conditional Generative Modeling
提出分布因果中介分析框架，通过条件生成模型学习中介变量和结果变量的条件分布，利用蒙特卡洛前向模拟重建干预结果分布，捕捉能量距离和Wasserstein距离等分布对比，并推导误差传播界限。
2026-06-28 cs.LG stat.ML
Nonparametric estimation of conditional probability distributions using a generative approach based on conditional push-forward neural networks
MOX, Department of Mathematics, Politecnico di Milano（米兰理工学院数学系MOX部门）；Department of Economics, University of Bergamo（博洛尼亚大学经济系）
本文提出了一种基于条件推动神经网络的非参数条件概率分布估计方法，通过学习随机映射实现高效条件采样和统计估计，实验表明其性能优于现有主流方法。
2025-12-22 cs.LG stat.ME
Predicting conditional probability distributions of redshifts of Active Galactic Nuclei using Hierarchical Correlation Reconstruction
Jagiellonian University（雅盖隆大学）
虽然一般关注于值的预测，但真实数据通常仅允许预测条件概率分布，其能力受条件熵$H(Y|X)$的限制。如果另外估计不确定性，我们可以将预测值视为拉普拉斯分布的高斯中心-理想化，其可以远离真实数据的复杂条件分布。本文应用分层相关重构（HCR）方法来廉价地预测相当复杂的条件概率分布（例如多峰）：通过多个矩参数的独立MSE估计，这允许重构条件分布。为此目的使用线性回归，我们得到可解释的模型：用系数描述特征对条件矩的贡献。本文在原有方法的基础上进行了扩展，特别是采用典型相关分析（CCA）进行特征优化和l1“lasso”正则化，重点研究了基于Fourth Fermi-LAT Data Release 2（4LAC）数据集的活动星系核（AGN）红移预测的实际问题。
2022-06-13 astro-ph.GA astro-ph.HE cs.LG
Inverse Design for Conditional Distribution Matching
Department of Statistics and Data Science（统计与数据科学系）
本文提出条件分布匹配（CDM）作为生成模型中的新逆设计问题，通过MLGD-F算法实现高效条件分布匹配，适用于生成编辑优化和结构化图像变换。
2026-05-10 cs.LG stat.ML
Conditional distribution variability measures for causality detection
Universitat Politècnica de Catalunya. Barcelona Tech.（加泰罗尼亚理工大学（巴塞罗那理工））
本文导出了一对随机变量的条件概率分布的变异性测度，并研究了它在因果关系推断中的应用。我们还研究了在ChaLearn因果对挑战的框架中将所提出的措施与标准统计措施相结合。开发的模型在最终测试数据库中获得了0.82的AUC评分，在挑战中排名第二。
2016-01-25 cs.LG stat.ML
Designing a Conditional Prior Distribution for Flow-Based Generative Models
School of Computer Science and Engineering, The Hebrew University of Jerusalem（希伯来大学计算机科学与工程学院）
针对基于流的生成模型条件生成中平均路径长的问题，提出利用条件流模型设计非平凡先验分布的方法，通过映射输入条件到数据空间平均点并结合流匹配公式，显著提升训练和生成效率，减少采样步骤且样本质量更高。
2025-02-13 cs.CV cs.LG
Generative Conditional Distributions by Neural (Entropic) Optimal Transport
The Chinese University of Hong Kong（香港中文大学）；VinUniversity（范大大学）；National University of Singapore（新加坡国立大学）；VinAI Research（VinAI研究院）
提出一种神经熵最优传输方法，通过双网络最小最大化训练和Lipschitz正则化，有效解决小样本下的条件分布生成问题。
2024-06-04 cs.AI cs.LG stat.ML
Fast Conditional Mixing of MCMC Algorithms for Non-log-concave Distributions
MIT（麻省理工学院）；USTC（中国科学技术大学）；IIIS, Tsinghua（清华大学交叉信息研究院）；Shanghai Qizhi Institute（上海期智研究院）；Tsinghua University（清华大学）
本文针对非对数凹分布下MCMC算法全局混合缓慢的问题，提出基于庞加莱型不等式在状态空间子集上成立的条件混合理论，证明MCMC迭代的条件分布可快速混合到真实条件分布，并展示了其在高斯混合采样、参数估计和Gibbs采样中的应用价值。
2024-01-14 cs.LG math.PR
Proper-Composite Loss Functions in Arbitrary Dimensions
对机器学习问题的研究在许多方面都难以与对所使用的损失函数的研究分开。研究的一个途径是将这些损失函数的属性作为评分规则，通过适当的复合表示，其中预测被映射到概率分布，然后通过评分规则进行评分。然而，到目前为止，最近的研究主要关注分析输出空间上的（通常）有限维条件风险问题，而忽略了更大的总风险最小化。我们概括了这些结果的一个无限维的设置，在这样做，我们能够利用密度和条件密度估计的家族相似性，提供一个简单的表征的典型链接。
2022-09-01 cs.LG stat.ML
Kernelized Complete Conditional Stein Discrepancy
New York University（纽约大学）
大部分机器学习都依赖于将分布与差异度量进行比较。Stein的方法创建了两个分布之间的差异度量，只需要一个分布的未归一化密度和另一个分布的样本。Stein差异可以与内核组合以定义内核化Stein差异（KSD）。虽然核函数使Stein差异变得容易处理，但它们在高维中带来了一些挑战。我们引入核化完全条件Stein差异（KCC-SD）。完全条件将多变量分布转化为多个单变量分布。我们表明，KCC-SD区分分布。为了显示KCC-SD在区分分布方面的功效，我们引入了使用KCC-SD的拟合优度检验。我们的经验表明，KCC-SD具有较高的权力超过基线，并使用KCC-SD评估样本质量的马尔可夫链蒙特卡罗。
2020-07-18 cs.LG stat.ML
Learning from Conditional Distributions via Dual Embeddings
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
许多机器学习任务，如强化学习中的不变性学习和策略评估，可以被描述为从条件分布学习的问题。在这样的问题中，每个样本$x$本身与由样本$\{z_i\}_{i=1}^M$表示的条件分布$p(z|x)$相关联，并且目标是学习将这些条件分布链接到目标值$y$的函数$f$。当我们只有有限的样本或在极端情况下每个条件分布只有一个样本时，这些学习问题变得非常具有挑战性。常用的方法要么假设$z$独立于$x$，要么需要来自每个条件分布的压倒性的大样本。为了解决这些挑战，我们提出了一种新的方法，它采用了一个新的最小-最大重新制定的学习条件分布问题。通过这种新的重新表述，我们只需要处理联合分发$p(z,x)$。我们还设计了一个有效的学习算法，Embedding-SGD，并建立了理论样本复杂度的问题。最后，我们在合成和真实世界数据集上的数值实验表明，该方法可以显着改善现有的算法。
2016-12-31 cs.LG math.OC stat.ML
Generative and Nonparametric Approaches for Conditional Distribution Estimation: Methods, Perspectives, and Comparative Evaluations
Institute of Statistical Science, Academia Sinica（学术院统计科学研究所）；Department of Mathematics, National Taiwan University（台湾大学数学系）；Data Science Degree Program, National Taiwan University and Academia Sinica（台湾大学数据科学学士学位计划）；Department of Statistics, University of Michigan（密歇根大学统计学系）
本文比较了生成与非参数方法在条件分布估计中的应用，评估了不同方法的性能和适用性。
2026-01-30 cs.LG stat.ML
Causal Adversarial Network for Learning Conditional and Interventional Distributions
Arizona State University（亚利桑那州立大学）；Army Research Lab（陆军研究实验室）
我们提出了一个生成式因果对抗网络（CAN），用于从条件和干预分布中学习和采样。与需要给出因果图的现有CauseGAN相比，我们提出的框架从数据中学习因果关系并相应地生成样本。建议的CAN包括一个双重的过程，即标签生成网络（LGN）和条件图像生成网络（CIGN）。LGN是一种基于GAN的架构，它通过标签从因果模型中学习和采样。然后将采样的标签馈送到CIGN，CIGN是一种条件GAN架构，它学习标签和像素以及像素本身之间的关系，并基于它们生成样本。该框架配备了干预机制，可以实现。该模型用于从介入分布生成样本。我们定量和定性地评估CAN的性能，并根据经验表明，我们的模型能够生成干预性和条件性样本，而无需访问CelebA数据上人脸生成应用的因果图。
2020-09-21 cs.LG stat.ML
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）
虽然深度神经网络为一系列具有挑战性的任务提供了良好的性能，但校准和不确定性估计仍然是主要的挑战，特别是在分布偏移的情况下。在本文中，我们提出了摊销条件归一化最大似然（ACNML）方法，作为一种可扩展的通用方法，用于深度网络的不确定性估计、校准和分布外鲁棒性。我们的算法建立在条件归一化最大似然（CNML）编码方案，它具有极大极小最优属性根据最小描述长度的原则，但计算上难以准确评估，但最简单的模型类。我们建议使用近似贝叶斯推理技术产生一个易于处理的近似CNML分布。我们的方法可以与任何近似推理算法相结合，提供了易于处理的模型参数的后验密度。我们证明，ACNML相比有利的不确定性估计的分布输入的校准方面的一些现有技术。
2021-03-01 cs.LG stat.ML
Conditional Distribution Compression via the Kernel Conditional Mean Embedding
School of Mathematics University of Bristol（数学系 伯明翰大学）；Mathematical Institute University of Oxford（数学研究所 奥克斯福德大学）
本文提出ACKH和ACKIP方法，通过线性时间贪心算法压缩条件分布，实验表明其在条件分布压缩任务中优于联合分布压缩和贪心选择方法。
2026-01-16 cs.LG stat.CO stat.ME
Conditional-Independence-Regularized Distributional Autoencoders for Mixed-Type Data
University of Michigan（密歇根大学）
本研究提出Conditional-Independence-Regularized Distributional Autoencoders框架，通过结合不同类型变量的目标函数与条件独立性正则化项，实现混合类型数据的表征学习，在多类数据集上提升了分布恢复性能并保留了变量依赖结构。
2026-08-24 cs.LG stat.ME stat.ML
Conditional Kernel Stein Discrepancy
本研究提出将无条件核斯坦差异（KSD）推广到条件场景的框架，用于在无协变量分布信息时评估样本条件分布与目标的拟合优度，实验验证了该统计量在光滑流形和离散空间上测试的可行性。
2026-10-09 cs.LG math.ST stat.ML
Nonparametric Conditional Density Estimation In A Deep Learning Framework For Short-Term Forecasting
North Carolina State University（北卡罗来纳州立大学）；University of Melbourne（墨尔本大学）
短期预测是了解环境过程的一个重要工具。在本文中，我们将机器学习算法纳入一个条件分布估计的热带气旋强度预测的目的。许多机器学习技术给出了目标变量的条件分布的单点预测，这并没有给出预测可变性的完整说明。条件分布估计可以对预测的响应行为提供额外的见解，这可能会影响决策和政策。我们提出了一种技术，同时估计整个条件分布，并灵活地允许将机器学习技术。在目标变量和协变量上拟合平滑模型，并在模型输出层上应用逻辑变换以生成条件密度函数的表达式。我们提供了两个可以使用的机器学习模型的例子，多项式回归和深度学习模型。为了实现计算效率，我们提出了一个病例对照抽样近似的条件分布。对四种不同数据分布的模拟研究突出了我们的方法与其他基于机器学习的条件分布估计技术相比的有效性。然后，我们展示了我们的方法的实用性，从大西洋沿岸的热带气旋数据预测的目的。本文为我们的方法提供了概念证明，进一步的计算发展可以在更复杂的预测和其他应用中充分释放其洞察力。
2020-08-17 cs.LG stat.AP stat.ML
An efficient model-free estimation of multiclass conditional probability
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的多类条件概率估计方法，如Fisher判别分析和逻辑斯谛回归，往往需要限制性的分布模型假设。本文提出了一种无模型估计方法，通过一系列条件分位数回归函数来估计多类条件概率。具体地，条件类概率被公式化为相应的累积分布函数的差，其中累积分布函数可以从估计的条件分位数回归函数转换。所提出的估计方法也是有效的，因为它的计算成本不会随着类的数量呈指数增长。理论和数值研究表明，所提出的估计方法是非常有竞争力的现有的竞争对手，特别是当类的数量相对较大。
2013-08-01 cs.LG stat.ME stat.ML
Distribution-Specific Agnostic Conditional Classification With Halfspaces
本文研究不可知设定下由半空间定义子集的条件分类问题，提出首个误差保证为$\bigO*{\sqrt{\mathrm{opt}}}$的齐次半空间选择器PAC学习算法，并证明在密码学假设下逼近条件分类损失在计算上至少与不可知分类一样困难。
2025-01-31 cs.CC cs.LG stat.ML
Continuous and Distribution-free Probabilistic Wind Power Forecasting: A Conditional Normalizing Flow Approach
Shanghai Jiao Tong University（上海交通大学）；Technical University of Denmark（丹麦技术大学）
提出了一种基于条件归一化流（CNF）的数据驱动概率风电功率预测方法。与现有的方法相比，该方法是无分布的（如非参数和基于分位数的方法），可以直接产生连续的概率密度，从而避免分位数交叉。它依赖于一个基分布和一组双射映射。基分布和双射映射的形状参数都用神经网络逼近。基于样条的条件归一化流由于其非仿射特性而被考虑。在训练阶段，该模型顺序地将输入示例映射到基础分布的样本上，给定条件上下文，其中参数通过最大似然估计。为了发布概率预测，最终将基本分布的样本映射到期望分布的样本。基于开放数据集的案例研究验证了所提出的模型的有效性，并允许我们讨论其优势和警告相对于最先进的。
2022-06-06 cs.LG cs.SY eess.SY
Distributionally Robust Local Non-parametric Conditional Estimation
Stanford University（斯坦福大学）；HEC Montréal（蒙特利尔高等商学院）
给定特定协变量值的条件估计（即，局部条件估计或函数估计）对于工程、社会和自然科学中的应用是普遍有用的。现有的数据驱动的非参数估计主要集中在结构化的同质数据（例如，弱独立和稳定的数据），因此它们对对抗性噪声敏感，并且在低样本量下可能表现不佳。为了缓解这些问题，我们提出了一种新的分布鲁棒估计，通过最小化Wasserstein模糊集中所有对抗分布的最坏情况条件预期损失来生成非参数局部估计。我们表明，尽管一般是棘手的，本地估计可以有效地找到通过凸优化广泛适用的设置下，它是强大的腐败和异质性的数据。合成和MNIST数据集的实验表明，这类新的估计的竞争力。
2020-10-12 cs.LG math.ST stat.ML
Potential Conditional Mutual Information: Estimators, Properties and Applications
University of Washington, Seattle（华盛顿大学西雅图分校）
条件互信息I（X;Y| Z）测量X和Y在给定Z的情况下包含的关于彼此的平均信息。这在许多学习问题中是一个重要的基元，包括条件独立性测试，图形模型推理，因果强度估计和时间序列问题。在一些应用中，希望具有纯条件分布p_{Y|X,Z}而不是联合分布p_{X,Y,Z}的泛函。我们将潜在条件互信息定义为用修改的联合分布p_{Y|X,Z} q_{X,Z}计算的条件互信息，其中q_{X,Z}是潜在分布，固定机场。我们开发K最近邻估计这个功能，采用重要性采样，和一个耦合技巧，并证明了这样的估计有限k的一致性。我们证明了估计器具有良好的实际性能，并显示在动态系统推理的应用。
2017-10-13 cs.IT cs.LG math.IT
On Finding Predictors for Arbitrary Families of Processes
INRIA Lille（里尔法国国家信息与自动化研究所）
问题是在以下设置中的序列预测。离散值观测序列$x_1,...,x_n,...$是根据某个未知的概率律（测度）$μ$生成的。在观察每个结果之后，需要给出下一个观察的条件概率。测度$μ$属于随机过程测度的任意但已知的类$C$。我们感兴趣的预测$ρ$的条件概率收敛（在某种意义上）的“真正的”$μ$ -条件概率，如果任何$μ\in C$被选中生成的序列。这项工作的贡献是在家庭$C$的特点，这种预测存在，并在提供一个具体的和简单的形式，寻找一个解决方案。我们表明，如果任何预测的作品，那么存在一个贝叶斯预测，其先验是离散的，这也工作。我们还发现了几个充分和必要条件的预测存在的，在拓扑特征的家庭$C$，以及在本地行为的措施，在$C$，这在某些情况下导致程序，用于构建这样的预测。应该强调的是，该框架是完全通用的：所考虑的随机过程不需要是独立同分布的，固定的，或属于任何参数或可数的家庭。
2009-12-24 cs.AI cs.IT cs.LG
