Nonparametric estimation of conditional probability distributions using a generative approach based on conditional push-forward neural networks
MOX, Department of Mathematics, Politecnico di Milano(米兰理工学院数学系MOX部门);Department of Economics, University of Bergamo(博洛尼亚大学经济系)
本文提出了一种基于条件推动神经网络的非参数条件概率分布估计方法,通过学习随机映射实现高效条件采样和统计估计,实验表明其性能优于现有主流方法。
2025-12-22 cs.LG stat.ME
Neural Conditional Probability for Uncertainty Quantification
CSML, Istituto Italiano di Tecnologia(CSML,意大利技术研究院);University of Novi Sad(诺维萨大学);CMAP-Ecole Polytechnique(CMAP-巴黎高等学院);AI Centre, University College London(伦敦大学学院人工智能中心)
本文提出神经条件概率(NCP)方法,通过算子理论和单一无条件训练高效学习条件分布并支持统计推断,实验证明其极简架构可匹配或超越领先方法。
2025-05-31 cs.LG math.ST stat.ME
Event Conditional Correlation: Or How Non-Linear Linear Dependence Can Be
通常只有在发生事件时才收集大量数据集:进行调查,参加实验等等。然而,这样的部分样本偏差经典的相关估计。在这里,我们展示了如何通过事件条件相关性的两个互补估计来校正这种抽样效应:两个随机变量在给定事件条件下的相关性。首先,我们在最小假设下证明了所提出的估计量的一致性和渐近正态性。然后,通过合成的例子,我们表明,这些估计表现良好的小样本和非线性回归以及相关性测试产生强大的方法。最后,通过串联使用这两个估计,我们探索了金融数据集中的反事实依赖机制。通过这样做,我们表明,2007- 2011年金融危机期间发生的蔓延不能仅仅用金融风险增加来解释。
2016-01-04 stat.ME
Better Conditional Density Estimation for Neural Networks
绝大多数的神经网络文献集中在预测点值为一组给定的响应变量,条件的特征向量。在许多情况下,我们需要对响应变量的完整联合条件分布建模,而不是简单地进行点预测。在本文中,我们提出了两种新的方法,这样的条件密度估计(CDE):多尺度网络(MSN)和CDE趋势过滤。多尺度网络通过将密度分解为一系列半空间并学习每个分裂的布尔概率,将CDE回归任务转换为分层分类任务。CDE趋势过滤将k阶图趋势过滤惩罚应用于多项式分类器网络的未归一化对数,图中的每条边对应于离散化密度版本上的相邻点。我们比较了这两种方法对普通的多项式分类器网络和混合密度网络(MDN)的模拟数据集和三个真实世界的数据集。结果表明,这两种方法是互补的:MSNs工作在一个高的数据每功能制度和CDE-TF是非常适合于少样本每功能的情况下,过度拟合是一个主要问题。
2016-06-07 stat.ML
Estimation for recurrent events through conditional estimating equations
我们提出了新的估计的统计分析的依赖性的平均间隙时间长度之间的连续复发事件,一组解释性随机变量和右删失的存在。的依赖性表示通过回归和过度分散参数,估计通过条件估计方程。每个间隙时间长度的均值和方差以观察到的先前事件的历史和其他协变量为条件,是参数和协变量的已知函数。在一定的截尾条件下,我们构造了渐近无偏且只包含观测数据的归一化估计函数。我们讨论了参数估计序列的存在性、相合性和渐近正态性,这些参数是估计方程的根。模拟表明,我们的估计可以成功地使用一个相对较小的样本量在短期的研究。
2021-09-08 stat.AP
Estimation of limiting conditional distributions for the heavy tailed long memory stochastic volatility process
我们考虑了具有重尾和长记忆的随机波动率过程。我们研究了未来事件的极限条件分布,假设当前或过去的事件是极端的(即在趋于无穷大的水平之上)。尽管随机波动率过程的极值是渐近独立的(在极值理论的意义上),但这些极限条件分布不同于独立同分布。案子我们引入了这些极限条件分布的估计,并研究了它们的渐近性质。如果波动率具有长记忆性,则中心估计量的收敛速度收敛速率和极限分布可以依赖于长记忆性参数(Hurst指数)。
2011-08-16 math.ST stat.TH
Conditional empirical copula processes and generalized dependence measures
当条件事件具有非零概率时,研究了条件经验copula过程的弱收敛性。几个自助方案的有效性,包括可交换的自助。我们定义了一般可能条件多元相关测度及其估计量.应用我们的理论结果,我们证明了这类相依测度的一些估计的渐近正态性。
2020-08-21 math.ST stat.TH
Modeling Inter-Dependence Between Time and Mark in Multivariate Temporal Point Processes
Mastercard, AI Garage(万事达卡 AI 车库)
本文针对带标记时间点过程中时间与标记条件独立假设的局限性,提出以当前事件标记为条件建模时间分布的多元TPP方法,并结合基于强度与无强度模型,在标准预测任务上取得优于现有模型的性能。
2024-11-23 cs.LG stat.ML
Conditional Generative Modeling for High-dimensional Marked Temporal Point Processes
Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
针对高维标记点过程建模中表征能力受限和计算挑战的问题,提出了一种基于条件生成器的事件生成框架,无需显式指定条件强度或概率密度,能高效捕获复杂动态并生成高质量后续事件,实验证明性能优于现有基线。
2025-01-18 cs.LG stat.ML
Music Genre Classification using Masked Conditional Neural Networks
University of York(约克大学)
条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)利用多维时间信号的性质。CLNN捕获窗口中的帧之间的条件时间影响,并且MCLNN中的掩码在网络链路上执行遵循滤波器组样模式的系统稀疏性。该掩码诱导网络学习频带中的时频表示,从而允许网络维持频率偏移。此外,MCLNN中的掩码自动探索一系列特征组合,通常通过详尽的手动搜索完成。我们已经使用Ballroom和Homburg音乐流派数据集评估了MCLNN的性能。除了基于卷积神经网络的模型之外,MCLNN已经实现了与最先进的手工尝试相竞争的准确性。
2019-04-10 cs.LG stat.ML
Towards Calibrated Probabilistic Forecasts for Events of Interest via Outcome-Conditional Recalibration
University of Leipzig(莱比锡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出结果条件重校准方法,在用户定义的结果区域上校准概率预测,改善极端事件等特定结果的校准,并在回归基准和电价预测中验证其有效性。
2026-10-08 cs.LG stat.ML
Group Equivariant Conditional Neural Processes
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目中心)
我们提出了组等变条件神经过程(EquivCNP),这是一种元学习方法,与传统的条件神经过程(CNP)一样,在数据集中具有排列不变性,并且在数据空间中也具有变换等变性。解释组等方差,如旋转和缩放等方差,提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理,这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中,我们使用李群卷积层构建架构以供实际实现。我们表明,翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外,我们证明,将适当的李群等方差,EquivCNP是能够zero-shot概括的图像完成任务,通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Enhancing the Robustness of Deep Neural Networks by Boundary Conditional GAN
Peking University(北京大学);Beijing Institute of Big Data Research (BIBDR)(北京大数据研究院);Shanghai Jiaotong University(上海交通大学)
深度神经网络已被广泛部署在各种机器学习任务中。然而,最近的研究表明,它们容易受到对抗性例子的影响:精心制作的小扰动会导致网络的错误分类。在这项工作中,我们提出了一种新的防御机制,称为边界条件GAN,以增强深度神经网络对对抗性示例的鲁棒性。边界条件GAN是条件GAN的一个改进版本,可以在预训练分类器的决策边界附近生成具有真实标签的边界样本。这些边界样本被馈送到预先训练的分类器作为数据增强,以使决策边界更鲁棒。我们的经验表明,我们的方法改进的模型一致地成功抵御各种类型的对抗攻击。进一步的定量调查的鲁棒性和可视化的决策边界的改善也提供了证明我们的策略的有效性。这种利用边界样本增强网络鲁棒性的新防御机制为一致防御对抗攻击开辟了一条新途径。
2019-02-28 cs.LG stat.ML
Conditional Neural Processes
DeepMind(深度思维);Imperial College London(帝国理工学院)
深度神经网络擅长于函数逼近,但它们通常是为每个新函数从头开始训练的。另一方面,贝叶斯方法,如高斯过程(GP),利用先验知识在测试时快速推断新函数的形状。然而,GP在计算上是昂贵的,并且很难设计适当的先验。在本文中,我们提出了一系列的神经模型,条件神经过程(CNP),结合两者的好处。CNP的灵感来自于随机过程(如GP)的灵活性,但它被构造为神经网络,并通过梯度下降进行训练。CNP在仅观察少数训练数据点后就能做出准确的预测,但可以扩展到复杂的函数和大型数据集。我们展示了一系列典型的机器学习任务,包括回归,分类和图像完成的方法的性能和多功能性。
2018-07-04 cs.LG stat.ML
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Invenia Labs(因维尼亚实验室);Microsoft Research(微软研究院)
我们介绍卷积条件神经过程(ConvCNP),这是神经过程家族的新成员,它对数据中的平移等方差进行建模。平移等方差是一个重要的归纳偏差的许多学习问题,包括时间序列建模,空间数据和图像。该模型将数据集嵌入到无限维函数空间中,而不是有限维向量空间。为了形式化这一概念,我们扩展了集合的神经表示理论,以包括函数表示,并证明任何反等变嵌入都可以使用卷积深集表示。我们在几种环境中评估了ConvCNP,证明与现有的NP相比,它们实现了最先进的性能。我们证明,在翻译等方差建设使zero-shot推广具有挑战性的,域外的任务。
2020-06-25 cs.LG stat.ML
Practical Equivariances via Relational Conditional Neural Processes
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Manchester(曼彻斯特大学)
针对现有条件神经过程引入等变性后无法扩展到高维输入的问题,提出关系条件神经过程方法,可将等变性融入任意神经过程模型,扩展其适用范围,且在多类含等变性的任务中表现优异。
2023-11-05 cs.LG stat.ML
Conditional Neural Architecture Search
Georgia Institute of Technology(佐治亚理工学院);SIEMENS Corporate Technology(西门子公司技术部)
由于性能、功耗和内存预算的差异,设计资源高效的深度神经网络(DNN)对于在边缘平台上部署深度学习解决方案至关重要。不幸的是,通常情况下,经过良好训练的ML模型不适合部署边缘平台的约束,导致模型简化和重新训练过程的长时间迭代。此外,为平台A优化的ML模型在我们将其部署到另一个平台B时通常可能不适合,从而导致模型再训练的另一次迭代。我们提出了一种条件神经架构搜索方法,使用GAN,产生可行的ML模型,为不同的平台。我们提出了一个新的工作流程来生成约束优化的DNN模型。这是将条件和对抗技术引入神经结构搜索领域的第一项工作。在CIFAR-10上用回归问题和分类问题验证了该方法。所提出的工作流程可以成功地生成资源优化的MLP或基于CNN的网络。
2020-06-06 cs.LG stat.ML
Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes
University of Oxford(牛津大学);DeepMind(深度思维)
受电场或流体流等对象的启发,我们研究学习随机场的问题,即随机过程,其样本是物理和工程中发生的场。考虑到一般的变换,如旋转和反射,我们表明,随机场的空间不变性要求推理模型是等变的。利用最近的进展,从等方差文献,我们研究等方差在两类模型。首先,我们完全证明了等变高斯过程。其次,我们介绍了可操纵条件神经过程(SteerCNPs),神经过程家族的一个新的,完全等变的成员。在高斯过程向量场、图像和真实天气数据的实验中,我们观察到SteerCNP显著提高了以前模型的性能,等方差导致迁移学习任务的改进。
2021-07-17 cs.LG stat.ML
Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence
Brigham Young University(Brigham Young 大学)
本文提出条件一致性及其度量CCE,用于评估神经回归器在任意输入点的概率拟合,弥补校准指标仅能边际评估的不足,并在高维回归中验证了其正确性、单调性、可靠性和鲁棒性。
2025-10-22 cs.LG stat.ML
Reframed GES with a Neural Conditional Dependence Measure
Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong Baptist University(香港浸会大学)
在非参数设置中,因果结构通常只能识别到马尔可夫等价,并且为了因果推断的目的,学习马尔可夫等价类(MEC)的图形表示是有用的。在本文中,我们重温贪婪等价搜索(GES)算法,这是广泛引用的基于分数的算法学习MEC的基础因果结构。我们观察到,为了使GES算法在非参数设置中保持一致,没有必要设计评估图形的评分度量。相反,插入一个条件依赖性度量的相合估计量就足以指导搜索。因此,我们提出了一个框架的GES算法,这是更灵活的比标准的分数为基础的版本,很容易借给自己的非参数设置与一般措施的条件依赖。此外,我们提出了一种神经条件依赖(NCD)度量,它利用深度神经网络的表达能力,以非参数方式表征条件独立性。我们建立了最优的框架GES算法在标准假设和使用我们的NCD估计的一致性,以决定条件独立性。这些结果共同证明了所提出的方法。实验结果表明,我们的方法在因果发现的有效性,以及使用我们的NCD措施的优势,基于核的措施。
2022-06-17 cs.LG stat.ML
Neural Conditional Gradients
TU Darmstadt(达姆施塔特工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
在机器学习中,从手工设计的优化器到学习的优化器的转变对于基于梯度和无梯度的优化器来说是相当成功的。然而,当面对一个约束问题时,保持可行性通常需要一个投影步骤,这可能是计算昂贵的,并且不可微。我们展示了无投影凸优化算法的设计如何可以转换为基于Frank-Wolfe网络的学习问题:实现Frank-Wolfe算法的递归网络。条件梯度这使他们能够学会利用结构,例如,优化秩为1的矩阵我们的LSTM学习的优化器优于手工设计的,以及学习良好但不受约束的优化器。我们证明了这一点的训练支持向量机和softmax分类。
2018-07-30 cs.LG stat.ML
SurvCORN: Survival Analysis with Conditional Ordinal Ranking Neural Network
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出SurvCORN方法,利用条件序数排序网络直接预测生存曲线,并引入SurvMAE指标评估时间-事件预测准确性,在两个癌症数据集上验证了其在保持患者结果排序的同时改进个体预测的能力。
2024-09-30 cs.LG stat.ML
Conditional Neural Processes for Molecules
University of Cambridge(剑桥大学)
神经过程(NPs)是迁移学习的模型,具有高斯过程(GP)的特性。它们擅长于对由相同输入空间上的许多相关函数的少量观测组成的数据进行建模,并通过最小化变分目标进行训练,这在计算上比GP所需的贝叶斯更新便宜得多。到目前为止,大多数关于NP的研究都集中在低维数据集上,这些数据集并不能代表现实的迁移学习任务。药物发现是一个应用领域,其特征在于由许多化学性质或功能组成的数据集,这些化学性质或功能很少被观察到,但依赖于分子输入的共享特征或表示。本文将条件神经过程(CNP)应用于DOCKSTRING,这是一个用于基准ML模型的对接分数数据集。相对于化学信息学中常见的监督学习基线,CNP在Few-Shot学习任务中表现出竞争力,以及基于预训练和精炼神经网络回归量的迁移学习的替代模型。我们提出了一个贝叶斯优化实验,展示了CNPs的概率性质,并讨论了该模型在不确定性量化方面的不足。
2023-02-23 cs.LG stat.ML
Neural Generalised AutoRegressive Conditional Heteroskedasticity
University College London(伦敦大学学院)
我们提出了神经神经GARCH,一类方法来模拟金融时间序列的条件异方差性。神经GARCH是单变量情况下GARCH 1,1模型和多变量情况下对角BEKK 1,1模型的神经网络适应。为了反映金融市场不断变化的动态,我们允许GARCH模型的系数随时间变化。时变系数由一个递归神经网络参数化,该网络是用随机梯度变分贝叶斯训练的。我们提出了我们的模型的两个变种,一个正常的创新和其他学生t创新。我们在广泛的单变量和多变量金融时间序列上测试了我们的模型,我们发现神经学生t模型始终优于其他模型。
2022-02-23 cs.LG q-fin.ST stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation(英特尔公司)
我们引入了一种新的编码器-解码器架构,将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码,以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程(CNP)模型。我们的架构采用了图神经网络的最新进展,以处理不规则采样的功能。因此,我们将我们的模型称为条件图神经过程(CGNP)。图神经网络可以有效地利用度量空间的“局部”结构,在度量空间上定义函数/过程。本文的贡献是双重的:(i)一种新的基于图的编码器-解码器架构的功能和过程嵌入,以及(ii)使用度量空间的结构,这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Sequential Neural Score Estimation: Likelihood-Free Inference with Conditional Score Based Diffusion Models
Lancaster University(兰开斯特大学);University of Bristol(布里斯托尔大学)
提出序贯神经后验分数估计(SNPSE)方法,利用条件分数扩散模型直接估计后验分数生成样本,通过序贯训练指导模拟以降低成本,在数值实验中表现优于或可比SNPE等现有方法。
2024-06-03 cs.LG stat.ML
Generative Conditional Distributions by Neural (Entropic) Optimal Transport
The Chinese University of Hong Kong(香港中文大学);VinUniversity(范大大学);National University of Singapore(新加坡国立大学);VinAI Research(VinAI研究院)
提出一种神经熵最优传输方法,通过双网络最小最大化训练和Lipschitz正则化,有效解决小样本下的条件分布生成问题。
2024-06-04 cs.AI cs.LG stat.ML
Surprisal-Triggered Conditional Computation with Neural Networks
McGill University(麦吉尔大学);Mila(米拉研究所)
自回归神经网络模型已成功地用于序列生成、特征提取和假设评分。本文提出了这些模型的另一种用途:将更多的计算分配给更困难的输入。在我们的模型中,一个自回归模型被用来提取特征和预测观测流的输入观测。根据自回归模型,作为当前观测的负对数似然测量的输入的概率被用作输入难度的度量。这反过来又决定了是使用小型快速网络还是大型慢速网络。两个语音识别任务的实验表明,我们的模型可以匹配的性能的基线,其中大网络总是使用15%的FLOP。
2020-06-02 cs.LG stat.ML
Conditional Forecasting of Margin Calls using Dynamic Graph Neural Networks
Università degli Studi di Milano(米兰大学);European Systemic Risk Board Secretariat, European Central Bank(欧洲系统性风险委员会秘书处、欧洲中央银行);ETH Zurich(苏黎世联邦理工学院)
本研究提出一种动态图神经网络架构,在利率互换交易网络模拟数据上验证其可准确预测21天内的净变动保证金,为金融压力测试和系统性风险监测提供新工具。
2024-10-30 cs.LG q-fin.RM stat.ML
GP-ConvCNP: Better Generalization for Convolutional Conditional Neural Processes on Time Series Data
German Cancer Research Center(德国癌症研究中心)
神经过程(Neural Processes,NP)是一系列条件生成模型,它们能够对函数上的分布进行建模,从而允许它们在测试时以多个上下文点为条件进行预测。最近加入这个家族的卷积条件神经过程(ConvCNP)在性能上比现有技术有了显着的改进,但我们发现它们在应用于时间序列数据时有时很难推广。特别是,它们对分布偏移不稳健,并且无法将观察到的模式外推到未来。通过将高斯过程纳入模型,我们能够弥补这一点,同时提高分布内的性能。作为一个额外的好处,高斯过程重新引入了从模型中采样的可能性,这是NP家族其他成员的一个关键特征。
2021-06-11 cs.AI cs.LG stat.ML
Neural SDEs for Conditional Time Series Generation and the Signature-Wasserstein-1 metric
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Universitat de Barcelona(巴塞罗那大学)
(条件)生成对抗网络(GANs)近年来取得了巨大的成功,因为它们能够在极高维空间上近似(条件)分布。然而,它们对于训练来说是高度不稳定的并且计算上昂贵的,特别是在时间序列设置中。最近,已经提出了使用粗糙路径理论中的一个关键对象,称为路径的签名,它能够将(条件)GAN框架给出的最小-最大公式转换为经典的最小化问题。然而,这种方法在存储器成本方面极其昂贵,有时甚至变得令人望而却步。为了克服这一点,我们建议使用\textit{Conditional Neural Stochastic Differential Equations},它具有作为深度函数的恒定内存成本,比传统的深度学习架构更高效。我们的经验测试,该模型是更有效的比其他经典的方法,无论是在内存成本和计算时间方面,它通常优于他们的性能。
2023-01-03 cs.LG math.PR stat.ML
Environmental Sound Recognition using Masked Conditional Neural Networks
University of York(约克大学)
用于声音识别的基于神经网络的体系结构通常是从其他应用领域改编而来的,这些应用领域可能不会利用声音相关的属性。条件神经网络(CLNN)被设计为考虑时间信号中跨帧的关系属性,其扩展掩蔽条件神经网络(MCLNN)在网络中嵌入滤波器组行为,这强制网络在频带而不是频段中学习。此外,它自动探索不同的特征组合,类似于手工制作识别任务的最佳特征组合。我们将MCLNN应用于ESC-10数据集的环境声音。与最先进的卷积神经网络和手工制作的尝试相比,MCLNN实现了具有竞争力的准确性。
2019-04-11 cs.LG cs.SD eess.AS
Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers
在这篇报告正在进行的工作的草稿中,我们1)通过用类条件压缩替换压缩项来适应信息瓶颈泛函,2)使用与类条件解纠缠相关的变分界限来放松该泛函,3)将该泛函视为随机神经网络的训练目标,以及4)示出了潜在表示被学习,使得它们可以用于朴素贝叶斯分类器。我们继续建议沿着非线性信息瓶颈线进行一系列实验[Kolchinsky等人,2018年],深度变分信息瓶颈[Alemi等人,2017年],和信息辍学[Alberle和Soatto,2018年]。此外,我们提出了一个神经网络的解码器架构是一个参数化的朴素贝叶斯解码器。
2019-06-06 cs.IT cs.LG math.IT
Masked Conditional Neural Networks for Audio Classification
Department of Electronic Engineering University of York(约克大学电子工程系);University of York(约克大学)
本文提出了用于时间信号识别的条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)。CLNN考虑到声音信号的时间性质,MCLNN通过二进制掩码在CLNN上扩展,以保留特征的空间局部性,并允许自动探索特征组合,类似于手工制作识别任务的最相关特征。MCLNN在GTZAN和ISMIR2004音乐数据集上实现了具有竞争力的识别精度,超过了几种最先进的基于神经网络的架构和手工制作的方法。
2019-03-23 cs.LG cs.SD eess.AS
Parametric generation of conditional geological realizations using generative neural networks
Heriot-Watt University(赫瑞-瓦特大学)
深度学习技术越来越多地被考虑用于地质应用,其中-就像计算机视觉一样-挑战的特点是由多点统计主导的高维空间数据。特别是,最近研究了一种称为生成对抗网络的新技术,用于地质参数化和合成,获得了非常令人印象深刻的结果,至少在定性上与以前的方法具有竞争力。该方法获得地质学的神经网络参数化--所谓的生成器--其能够再现具有几个数量级的维度减少的非常复杂的地质图案。随后的工作已经解决了条件反射任务,即使用生成器生成尊重空间观测(硬数据)的实现。然而,当前的方法不提供条件生成过程的参数化。在这项工作中,我们提出了一种方法来获得直接生成的条件实现的参数化。其主要思想是通过堆叠第二个推理网络来简单地扩展现有的生成器网络,该推理网络学习执行调节。该推理网络是一种神经网络,其被训练为对使用条件作用任务的贝叶斯公式推导出的后验分布进行采样。由此得到的扩展神经网络提供了条件参数化。我们的方法进行评估的基准图像的二进制通道化的地下,获得非常有前途的结果,各种各样的空调配置。
2019-07-15 cs.LG physics.comp-ph stat.ML
Towards Dynamic Causal Discovery with Rare Events: A Nonparametric Conditional Independence Test
University of California, Berkeley(加州大学伯克利分校)
针对动态系统中仅在稀有低概率事件发生时显现的因果联系,提出基于时不变状态叠加数据的非参数条件独立性检验,给出非渐近样本复杂度界,并在模拟与PeMS真实事故数据上验证。
2023-07-17 cs.LG cs.SY eess.SY
Inverse design of 3d molecular structures with conditional generative neural networks
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Korea University(高丽大学);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所)
合理设计具有所需性质的分子是化学中的一个长期挑战。生成神经网络已经成为一种强大的方法来从学习的分布中采样新分子。在这里,我们提出了一个条件生成神经网络的三维分子结构与指定的化学和结构特性。这种方法是不可知的化学键合,并使有针对性的采样的新分子的条件分布,即使在域中的参考计算是稀疏的。我们证明了我们的方法的实用性,通过生成具有指定图案或组成的分子,发现特别稳定的分子,并共同针对多个电子特性超出了训练制度。
2021-12-22 cs.LG physics.chem-ph physics.comp-ph
Neural Boltzmann Machines
本文提出神经玻尔兹曼机(NBMs),通过将条件受限玻尔兹曼机的参数转化为神经网络,增强表达力,并有效处理正态分布数据,可用随机梯度下降训练。
2023-05-15 cond-mat.dis-nn cs.LG stat.ML
Do place cells dream of conditional probabilities? Learning Neural Nyström representations
Intel Labs(英特尔实验室)
我们认为,海马位置细胞编码信息的过渡分布下观察到的代理人探索一个给定的(物理或概念)空间的未来位置。对当前位置的信息进行编码,通常与位置细胞相关,然后成为实现这一更广泛目标的必要步骤。我们从Nyström核近似中正式推导出一个生物启发的神经网络,并根据经验证明该网络成功地近似了过渡分布。建议的网络产生的表示,就像地方细胞,软瓦的输入空间具有高度稀疏和本地化的感受野。此外,我们表明,所提出的计算基序可以扩展到处理监督问题,创建类特定的地方细胞,同时表现出低样本复杂性。
2019-06-05 cs.LG cs.NE stat.ML
Estimation of conditional mixture Weibull distribution with right-censored data using neural network for time-to-event analysis
本文考虑了在预测维修和健康领域中常见的右删失数据下的生存分析。我们提出了一个基于两参数韦布尔分布估计的模型。为了实现这一结果,我们描述了一个神经网络架构和相关的损失函数,考虑到右删失数据。我们扩展的方法,两个参数的韦布尔分布的有限混合。我们首先验证了我们的模型能够在合成数据集上精确地估计条件韦布尔分布的正确参数。在两个真实数据集(METABRIC和SEER)的数值实验中,我们的模型优于最先进的方法。我们还表明,我们的方法可以考虑任何生存时间范围。
2020-02-21 stat.ME stat.ML
Conditional Distribution Function Estimation Using Neural Networks for Censored and Uncensored Data
神经网络的大多数工作集中在估计一个连续的响应变量的条件均值给定的一组协变量。在这篇文章中,我们考虑使用神经网络估计的条件分布函数的删失和未删失数据。该算法是建立在专门为Cox回归与时间相关的协变量构建的数据结构。在不强加任何模型假设的情况下,我们考虑了一个基于全似然的损失函数,其中条件风险函数是唯一未知的非参数参数,可以应用无约束优化方法。通过仿真研究,我们表明所提出的方法具有令人满意的性能,而部分似然方法和传统的神经网络与$L_2$损失产生偏差的估计模型的假设被违反时.我们进一步说明了所提出的方法与几个现实世界的数据集。在https://github.com/bingqing0729/NNCDE上提供了所提出的方法的实施。
2022-07-06 stat.ME stat.ML
Masked Conditional Neural Networks for Automatic Sound Events Recognition
University of York(约克大学)
为除声音之外的应用领域(特别是图像识别)设计的深度神经网络架构在适应声音识别问题时可能无法最佳地利用时频表示。在这项工作中,我们探讨了条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)的多维时间信号识别。CLNN考虑帧间关系,并且MCLNN在网络的链路上实施系统稀疏性,以实现频带而不是bin中的学习,从而允许网络模仿滤波器组而具有频移不变。掩码还允许同时考虑几种特征组合,这通常是通过详尽的手动搜索手工制作的。我们使用ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络相比,MCLNN使用12%的参数并且没有增强,实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Conditional Finite Mixtures of Poisson Distributions for Context-Dependent Neural Correlations
Albert Einstein College of Medicine(阿尔伯特·爱因斯坦医学院)
针对神经群体上下文依赖噪声相关性的低维结构难建模问题,提出泊松分布条件有限混合模型,推导EM算法拟合,成功捕捉猕猴V1神经元刺激依赖相关性,可改进深度神经网络的神经活动预测。
2019-08-16 cs.LG cs.NE stat.ML
Fast-Rate Loss Bounds via Conditional Information Measures with Applications to Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
我们提出了一个框架,以获得有界的损失函数的情况下,测试损失的随机学习算法的界限。借鉴Steinke & Zakynthinou(2020),这个框架导致了依赖于输出假设和训练集选择之间的条件信息密度的界限,给定了一个更大的数据样本集,训练集由其形成。此外,边界涉及平均测试损失以及其尾部概率,无论是PAC贝叶斯和单次抽奖设置。如果条件信息密度在训练集的大小$n$中均匀有界,则我们的边界衰减为$1/n$。这与文献中涉及条件信息测量的尾界相反,后者具有较少的良性$1/\sqrt{n}$依赖性。我们证明了我们的尾部边界的有用性,表明他们导致非空估计的测试损失可实现的一些神经网络架构上训练的MNIST和时尚MNIST。
2021-03-10 cs.IT cs.LG math.IT
Recognition of Acoustic Events Using Masked Conditional Neural Networks
University of York(约克大学)
使用神经网络的自动特征提取对于图像已经取得了显著的成功,但是对于声音识别,这些模型通常被修改以适应频谱图中音频信号的多维时间表示的性质。这可能无法有效地利用信号的时频表示。条件神经网络(CLNN)考虑了时间帧之间的相互关系,并且掩蔽条件神经网络(MCLNN)通过使用二进制掩码在网络的权重上强制系统稀疏来扩展CLNN。掩蔽允许网络学习频带而不是频段,模仿信号变换(如MFCC)中使用的滤波器组。此外,Mask设计为考虑各种特征组合,这使特征手工制作过程自动化。我们使用Urbansound 8 k,YorNoise,ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络和手工制作的尝试相比,MCLNN已经实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Automatic Classification of Music Genre using Masked Conditional Neural Networks
University of York(约克大学)
用于声音识别的基于神经网络的体系结构通常是从其他应用领域(例如图像识别)改编的,其可能不利用信号的时频表示。条件神经网络(CLNN)及其扩展的掩蔽条件神经网络(MCLNN)被设计用于多维时间信号识别。CLNN在帧的窗口上进行训练以保持帧间关系,并且MCLNN在网络的链接上强制执行系统稀疏性,这模仿了类似滤波器组的行为。掩蔽操作诱导网络在频带中学习,这降低了网络对时频表示中的频移的敏感性。此外,掩模允许探索一系列特征组合,同时类似于手动手工制作用于识别任务的最佳特征集合。与几种手工制作的尝试相比,MCLNN在舞厅音乐数据集上取得了有竞争力的性能,并且优于基于最先进的卷积神经网络的模型。
2019-04-28 cs.LG cs.SD eess.AS
Masked Conditional Neural Networks for Environmental Sound Classification
University of York(约克大学)
条件神经网络(CLNN)利用声谱图中表示的声音信号的时间序列的性质,并且其变体掩蔽条件神经网络(MCLNN)通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外,掩蔽同时自动化不同特征组合的探索,类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外,我们提出了一个手动记录的声音为铁路和公路交通,YorNoise,调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果,并使用了12%的可训练参数,这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集,实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Neural Conditional Simulation for Complex Spatial Processes
North Carolina State University(北卡罗来纳州立大学);University of New South Wales Sydney(新南威尔士大学悉尼分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Carnegie Mellon University(卡内基梅隆大学)
研究针对空间过程分布条件模拟难题,提出基于神经扩散模型的神经条件模拟(NCS)方法,利用空间掩码实现条件得分扩散模型,训练后可高效模拟多种预测分布,比传统方法更准确高效,还应用于红海空间极值预测。
2026-07-21 stat.ME stat.ML
Polyphone Disambiguation for Mandarin Chinese Using Conditional Neural Network with Multi-level Embedding Features
Duke Kunshan University(昆山杜克大学);Taiyuan University of Technology(太原理工大学);Sun Yat-sen University(中山大学)
本文描述了一种用于汉语多音字消歧的条件神经网络结构。该系统是由一个双向循环神经网络组件作为一个句子编码器,积累上下文相关性,其次是一个预测网络,映射的多音字嵌入随着条件,以相应的发音。我们从预训练的词到向量查找表中获得词级条件。多音字消歧的目的之一是解决汉语文语转换系统前端处理中存在的同形异义词问题。我们的系统达到了94.69\%的准确率在公开可用的多音字数据集。为了进一步验证我们在条件特征上的选择,我们分别研究了多层次条件下的多音字消歧系统。实验结果表明,基于词级和词级条件嵌入的汉语多音字消歧方法都能取得较好的消歧效果。
2019-07-03 cs.CL eess.AS stat.ML
Post-Hoc Robustness Enhancement in Graph Neural Networks with Conditional Random Fields
École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);KTH(瑞典皇家理工学院);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所)
针对GNN推理阶段鲁棒性不足的问题,提出模型无关的事后方法RobustCRF,基于条件随机场增强鲁棒性,并在基准数据集上验证有效性。
2024-11-08 cs.LG cs.SI stat.AP
Conditional Generative Neural System for Probabilistic Trajectory Prediction
University of California, Berkeley(加州大学伯克利分校)
对环境的有效理解和周围动态障碍物的准确轨迹预测对于自主车辆和轮式移动机器人等智能系统在复杂场景中导航以实现安全和高质量的决策、运动规划和控制至关重要。由于未来的不确定性,人们希望从概率的角度进行推断,而不是确定性的预测。本文提出了一种用于概率轨迹预测的条件生成神经系统(CGNS)来逼近数据分布,可以采样现实、可行且多样化的未来轨迹假设。该系统结合了条件潜在空间学习和变分发散最小化的优势,并利用静态上下文和交互信息与软注意力机制。我们还提出了一种正则化方法,用于将软约束纳入具有可微障碍函数的深度神经网络中,该方法可以调节并将生成的样本推入可行区域。建议的系统进行评估,在几个公共基准数据集的行人轨迹预测和一个环岛自然驾驶数据集收集我们自己。实验结果表明,我们的模型实现了更好的性能比各种基线方法的预测精度。
2019-07-28 cs.AI cs.CV cs.LG
Doubly Robust Conditional Independence Testing with Generative Neural Networks
本文提出一种基于生成神经网络(GNN)采样的非参数条件独立性检验方法,其检验统计量对GNN近似误差具有双重稳健性,有效缓解了维度灾难并保留了oracle检验的理想性质。
2024-07-25 stat.ME stat.ML
Neural Conditional Transport Maps
Department of Management, Economics and Industrial Engineering, Politecnico di Milano(米兰理工大学管理、经济与工业工程系);RFF-CMCC European Institute on Economics and the Environment (EIEE)(RFF-CMCC欧洲经济与环境研究所);Euro-Mediterranean Center on Climate Change (CMCC)(欧洲-地中海气候变化中心);Bocconi University, Department of Decision Sciences(博科尼大学决策科学系);MIT, Department of Nuclear Science and Engineering(麻省理工学院核科学与工程系)
本文提出神经框架学习概率分布间的条件最优传输映射,引入能处理分类和连续条件变量的机制,通过超网络生成传输层参数,实现优于简单条件方法的自适应映射,并应用于全局敏感性分析。
2026-04-01 cs.AI cs.LG math.PR
FlowSDR: Sufficient Dimension Reduction via Conditional Normalizing Flows
Temple University(天普大学);LunarAI LLC(LunarAI有限责任公司)
提出FlowSDR方法,通过最大化条件对数似然联合学习投影和条件密度,实现充分降维,并在模拟和真实数据上优于现有方法。
2026-05-31 stat.ME stat.ML