GP-ConvCNP: Better Generalization for Convolutional Conditional Neural Processes on Time Series Data
German Cancer Research Center(德国癌症研究中心)
神经过程(Neural Processes,NP)是一系列条件生成模型,它们能够对函数上的分布进行建模,从而允许它们在测试时以多个上下文点为条件进行预测。最近加入这个家族的卷积条件神经过程(ConvCNP)在性能上比现有技术有了显着的改进,但我们发现它们在应用于时间序列数据时有时很难推广。特别是,它们对分布偏移不稳健,并且无法将观察到的模式外推到未来。通过将高斯过程纳入模型,我们能够弥补这一点,同时提高分布内的性能。作为一个额外的好处,高斯过程重新引入了从模型中采样的可能性,这是NP家族其他成员的一个关键特征。
2021-06-11 cs.AI cs.LG stat.ML
Neural SDEs for Conditional Time Series Generation and the Signature-Wasserstein-1 metric
Universitat Autònoma de Barcelona(巴塞罗那自治大学);Universitat de Barcelona(巴塞罗那大学)
(条件)生成对抗网络(GANs)近年来取得了巨大的成功,因为它们能够在极高维空间上近似(条件)分布。然而,它们对于训练来说是高度不稳定的并且计算上昂贵的,特别是在时间序列设置中。最近,已经提出了使用粗糙路径理论中的一个关键对象,称为路径的签名,它能够将(条件)GAN框架给出的最小-最大公式转换为经典的最小化问题。然而,这种方法在存储器成本方面极其昂贵,有时甚至变得令人望而却步。为了克服这一点,我们建议使用\textit{Conditional Neural Stochastic Differential Equations},它具有作为深度函数的恒定内存成本,比传统的深度学习架构更高效。我们的经验测试,该模型是更有效的比其他经典的方法,无论是在内存成本和计算时间方面,它通常优于他们的性能。
2023-01-03 cs.LG math.PR stat.ML
Parametric generation of conditional geological realizations using generative neural networks
Heriot-Watt University(赫瑞-瓦特大学)
深度学习技术越来越多地被考虑用于地质应用,其中-就像计算机视觉一样-挑战的特点是由多点统计主导的高维空间数据。特别是,最近研究了一种称为生成对抗网络的新技术,用于地质参数化和合成,获得了非常令人印象深刻的结果,至少在定性上与以前的方法具有竞争力。该方法获得地质学的神经网络参数化--所谓的生成器--其能够再现具有几个数量级的维度减少的非常复杂的地质图案。随后的工作已经解决了条件反射任务,即使用生成器生成尊重空间观测(硬数据)的实现。然而,当前的方法不提供条件生成过程的参数化。在这项工作中,我们提出了一种方法来获得直接生成的条件实现的参数化。其主要思想是通过堆叠第二个推理网络来简单地扩展现有的生成器网络,该推理网络学习执行调节。该推理网络是一种神经网络,其被训练为对使用条件作用任务的贝叶斯公式推导出的后验分布进行采样。由此得到的扩展神经网络提供了条件参数化。我们的方法进行评估的基准图像的二进制通道化的地下,获得非常有前途的结果,各种各样的空调配置。
2019-07-15 cs.LG physics.comp-ph stat.ML
Conditional simulation of extremal Gaussian processes
最近,极大无限可分过程的正则条件分布由\citet{Dombry2011}得到,虽然这些条件分布具有复杂的封闭形式,但\citet{Dombry2011b}给出了一个算法来得到Brown-Resnick过程的条件实现。在本文中,我们推导出正则条件分布的最大稳定过程引入的\citet{Schlather2002}和适应的框架\citet{Dombry2011b},以这个特定的过程。我们测试模拟数据的方法,并在瑞士极端温度的应用。结果表明,所提出的抽样方案提供了准确的条件模拟,可以处理实际规模的问题。
2012-08-27 math.ST stat.TH
Adversarially Contrastive Estimation of Conditional Neural Processes
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
条件神经过程~(CNP)用精确的条件似然来表示函数上的分布并生成函数观测值.然而,CNP对于高维观测具有有限的表达性,因为它们的预测分布被分解为无约束(通常)高斯输出的乘积。以前,这可以使用潜变量或自回归似然来处理,但代价是难以处理的训练和二次增加的复杂性。相反,我们建议除了常规的最大似然估计外,还使用对抗性训练方案来校准CNP。具体来说,我们训练一个基于能量的模型(EBM)与噪声对比估计,它强制EBM从CNP的代识别真实的观察。通过这种方式,CNP必须生成更接近地面实况的预测以欺骗EBM,而不仅仅是相对于固定形式的可能性进行优化。从生成函数重构到下游回归和分类任务,我们证明了我们的方法适合主流CNP成员,在定义无约束高斯似然时显示出有效性,需要最小的计算开销,同时保留CNP的基础属性。
2023-03-23 cs.LG
Fast-Rate Loss Bounds via Conditional Information Measures with Applications to Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
我们提出了一个框架,以获得有界的损失函数的情况下,测试损失的随机学习算法的界限。借鉴Steinke & Zakynthinou(2020),这个框架导致了依赖于输出假设和训练集选择之间的条件信息密度的界限,给定了一个更大的数据样本集,训练集由其形成。此外,边界涉及平均测试损失以及其尾部概率,无论是PAC贝叶斯和单次抽奖设置。如果条件信息密度在训练集的大小$n$中均匀有界,则我们的边界衰减为$1/n$。这与文献中涉及条件信息测量的尾界相反,后者具有较少的良性$1/\sqrt{n}$依赖性。我们证明了我们的尾部边界的有用性,表明他们导致非空估计的测试损失可实现的一些神经网络架构上训练的MNIST和时尚MNIST。
2021-03-10 cs.IT cs.LG math.IT
Conditionally Independent Multiresolution Gaussian Processes
多分辨率高斯过程(GP)作为一种有效的提高GP近似质量的方法,在大规模数据中得到了越来越多的关注。目前的大多数结构都假定决议之间完全独立。这个假设简化了推理,但它低估了从一个分辨率转换到另一个分辨率的不确定性。这反过来又会导致模型在对所选分辨率过度敏感的意义上倾向于过拟合,以及在边界处不平滑的预测。我们的贡献是一个新的建设,而不是假设条件的独立性GP之间的决议。我们表明,放松完全独立的假设,使鲁棒性对过拟合,它提供的预测是平滑的边界。我们的新模型在2个合成数据集和9个真实数据集上与当前最先进的模型进行了比较。在大多数情况下,与基于完全独立假设的模型相比,我们的新条件独立构造表现良好。特别是,它几乎没有过度拟合的迹象。
2019-02-24 stat.ML
Conditional Local Independence Testing for Itô processes with Applications to Dynamic Causal Discovery
School of Computer Science, Peking University(北京大学计算机学院);School of Data Science, Fudan University(复旦大学数据科学学院)
本文针对Itô过程提出条件局部独立性假设检验,基于半鞅分解构造鞅检验统计量,并证明其一致性,应用于动态因果发现及脑fMRI数据。
2025-10-08 cs.LG stat.ME
A Conditional Density Estimation Partition Model Using Logistic Gaussian Processes
条件密度估计(密度回归)估计以协变量x为条件的响应变量y的分布。利用划分模型框架,提出了一种基于Logistic高斯过程的条件密度估计方法。分区是使用Voronoi曲面细分创建的,并使用可逆跳跃马尔可夫链蒙特卡罗算法从数据中学习。通过对逻辑高斯过程模型的潜变量进行拉普拉斯近似,使得马尔可夫链蒙特卡罗算法成为可能。这种近似使每个分区元素中的参数边缘化,从而允许有效搜索曲面细分的后验分布。该方法具有理想的稠度特性。在模拟和应用中,该模型成功地估计了y的分区结构和条件分布。
2017-03-20 stat.ME
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Ensemble-Conditional Gaussian Processes (Ens-CGP): Representation, Geometry, and Inference
Earth Signals and Systems Group(地球信号与系统组);Earth, Atmospheric and Planetary Sciences(地球、大气与行星科学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Ens-CGP,一种基于集成的条件高斯过程方法,通过将经验集成矩作为高斯先验进行精确条件化,为卡尔曼滤波等方法提供概率基础,并明确其与变分和集成视角的关系。
2026-02-14 cs.IT cs.LG math.IT
Optimizing Retinal Prosthetic Stimuli with Conditional Invertible Neural Networks
Institute of Imaging & Computer Vision, RWTH Aachen University(亚琛工业大学成像与计算机视觉研究所);Department of Ophthalmology, RWTH Aachen University(亚琛工业大学眼科系)
针对视网膜假体刺激受电极分辨率和细胞特异性限制效果不佳的问题,提出用基于归一化流的条件可逆神经网络以无监督方式优化刺激,在仿真测试中多项指标的视觉重建质量优于对比方法。
2024-07-15 cs.CV cs.LG
Convolutional conditional neural processes for local climate downscaling
University of Cambridge(剑桥大学);British Antarctic Survey(英国南极调查局);The Alan Turing Institute(艾伦·图灵研究所)
提出了一个新的模型,用于多站点的温度和降水的统计降尺度使用卷积条件神经过程(convCNPs)。ConvCNP是最近开发的一类模型,允许将深度学习技术应用于离网时空数据。该模型与现有的降尺度方法相比具有显著的优点,因为训练的模型可以用于在任意位置集合处生成多站点预测,而不管训练数据的可用性。convCNP模型表现出优于现有的降尺度技术在欧洲的集成的温度和降水采取的价值相互比较项目。该模型还优于使用高斯过程在看不见的位置插入单站点降尺度模型的方法。重要的是,在极端降水事件的代表性方面有了实质性的改善。这些结果表明,convCNP是一个强大的降尺度模型,适用于生成局部预测用于气候影响研究,并激励进一步研究深度学习技术在统计降尺度的应用。
2021-01-20 cs.LG physics.ao-ph
Conditional Generative Models for Learning Stochastic Processes
Deloitte Consulting, LLP(德勤咨询有限责任合伙公司);IBM Quantum, IBM Research(IBM研究院IBM量子部门)
本文提出条件量子生成对抗网络(C-qGAN)框架,通过量子电路内的神经网络结构实现更高效的状态准备,并成功应用于加速蒙特卡洛分析及亚式期权衍生品定价。
2023-08-10 cond-mat.mtrl-sci cs.LG q-fin.CP
Transformers as Neural Augmentors: Class Conditional Sentence Generation via Variational Bayes
Yildiz Technical University(耶尔德兹理工大学)
自然语言处理任务的数据增强方法是近年来研究的热点,但其局限性较大,难以捕捉句子层次上的多样性。此外,并不总是能够对监督任务执行数据增强。为了解决这些问题,我们提出了一种神经数据增强方法,这是一个组合的条件变分自编码器和编码器-解码器Transformer模型。在对输入语句进行编码和解码的同时,我们的模型捕捉了输入语言的句法和语义表示及其类条件。根据过去几年在预训练语言模型上的发展,我们在几个基准上对我们的模型进行训练和评估,以加强下游任务。我们将我们的方法与3种不同的增强技术进行比较。所提出的结果表明,我们的模型增加了当前模型的性能相比,其他数据增强技术与少量的计算能力。
2022-05-19 cs.CL cs.LG
Guided Image Generation with Conditional Invertible Neural Networks
Visual Learning Lab Heidelberg(海德堡视觉学习实验室)
在这项工作中,我们解决了自然图像生成的任务由条件输入引导。我们介绍了一种新的架构称为条件可逆神经网络(cINN)。cINN将纯生成式INN模型与无约束前馈网络相结合,有效地将条件输入预处理为有用的特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。通过构造,与例如cGAN相比,cINN不经历模式坍塌并且生成不同的样本。与此同时,我们的模型产生清晰的图像,因为不需要重建损失,与VAE相比。我们证明了这些属性的任务MNIST数字生成和图像着色。此外,我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性,例如以直观的方式改变图像风格。
2019-07-10 cs.CV cs.LG
Learning conditional independence structure for high-dimensional uncorrelated vector processes
Aalto University(阿尔托大学)
我们制定和分析的图形模型选择方法推断的条件独立图的高维非平稳高斯随机过程(时间序列)从有限长度的观察。假设观察到的过程样本随时间不相关,并且具有随时间变化的边缘分布。该选择方法是基于测试的过程组件的小子集获得的条件方差。这允许应付高维制度,其中的样本量可以(大大)小于过程的尺寸。我们描述了所需的样本量,使得所提出的选择方法以高概率成功。
2016-09-13 cs.LG stat.ML
Conditional Risk Minimization for Stochastic Processes
IST Austria(奥地利科学技术研究所)
我们研究向非独立身份者学习的任务。数据特别是,我们的目标是学习预测器,最大限度地减少条件风险的随机过程,即预期损失的预测器上的下一个点的条件下,到目前为止观察到的训练样本集。对于非i.i.d.数据,训练集包含有关即将到来的样本的信息,因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器,以及有限样本浓度界,该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Neural-Kernelized Conditional Density Estimation
NAIST(奈良先端科学技术大学院大学);UCL(伦敦大学学院);Univ. Helsinki(赫尔辛基大学)
条件密度估计是解决机器学习中各种问题的通用框架。在现有的方法中,非参数和/或基于核的方法通常难以用于大型数据集,而基于神经网络的方法通常对概率密度进行限制性的参数假设。在这里,我们提出了一种新的方法来估计基于得分匹配的条件密度。与现有的方法相比,我们采用可扩展的神经网络,但不做明确的参数假设密度。将分数匹配应用于神经网络的关键挑战是计算对数密度模型的一阶和二阶导数。我们通过开发一种新的神经核化方法来解决这一挑战,该方法可以应用于具有随机梯度下降的大型数据集,而再生核允许轻松计算分数匹配所需的导数。我们证明了神经核函数逼近器具有通用的逼近能力,并且我们的方法在条件密度估计中是一致的。数值结果表明,我们的方法是有用的高维条件密度估计,并与现有的方法相比毫不逊色。最后,我们证明了所提出的方法有有趣的连接到两个概率原则框架的表示学习:非线性充分降维和非线性独立成分分析。
2018-06-05 cs.LG stat.ML
Music Genre Classification using Masked Conditional Neural Networks
University of York(约克大学)
条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)利用多维时间信号的性质。CLNN捕获窗口中的帧之间的条件时间影响,并且MCLNN中的掩码在网络链路上执行遵循滤波器组样模式的系统稀疏性。该掩码诱导网络学习频带中的时频表示,从而允许网络维持频率偏移。此外,MCLNN中的掩码自动探索一系列特征组合,通常通过详尽的手动搜索完成。我们已经使用Ballroom和Homburg音乐流派数据集评估了MCLNN的性能。除了基于卷积神经网络的模型之外,MCLNN已经实现了与最先进的手工尝试相竞争的准确性。
2019-04-10 cs.LG stat.ML
Group Equivariant Conditional Neural Processes
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目中心)
我们提出了组等变条件神经过程(EquivCNP),这是一种元学习方法,与传统的条件神经过程(CNP)一样,在数据集中具有排列不变性,并且在数据空间中也具有变换等变性。解释组等方差,如旋转和缩放等方差,提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理,这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中,我们使用李群卷积层构建架构以供实际实现。我们表明,翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外,我们证明,将适当的李群等方差,EquivCNP是能够zero-shot概括的图像完成任务,通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Practical Equivariances via Relational Conditional Neural Processes
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Manchester(曼彻斯特大学)
针对现有条件神经过程引入等变性后无法扩展到高维输入的问题,提出关系条件神经过程方法,可将等变性融入任意神经过程模型,扩展其适用范围,且在多类含等变性的任务中表现优异。
2023-11-05 cs.LG stat.ML
Adaptive Conditional Quantile Neural Processes
Texas A&M University(德州农工大学);Google Cloud(谷歌云)
提出条件分位神经过程(CQNPs),通过分位回归建模任意分布并自适应估计信息分位数,克服高斯假设限制,显著提升预测性能与异质分布建模能力。
2023-07-03 cs.LG stat.ML
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Invenia Labs(因维尼亚实验室);Microsoft Research(微软研究院)
我们介绍卷积条件神经过程(ConvCNP),这是神经过程家族的新成员,它对数据中的平移等方差进行建模。平移等方差是一个重要的归纳偏差的许多学习问题,包括时间序列建模,空间数据和图像。该模型将数据集嵌入到无限维函数空间中,而不是有限维向量空间。为了形式化这一概念,我们扩展了集合的神经表示理论,以包括函数表示,并证明任何反等变嵌入都可以使用卷积深集表示。我们在几种环境中评估了ConvCNP,证明与现有的NP相比,它们实现了最先进的性能。我们证明,在翻译等方差建设使zero-shot推广具有挑战性的,域外的任务。
2020-06-25 cs.LG stat.ML
Conditional Neural Architecture Search
Georgia Institute of Technology(佐治亚理工学院);SIEMENS Corporate Technology(西门子公司技术部)
由于性能、功耗和内存预算的差异,设计资源高效的深度神经网络(DNN)对于在边缘平台上部署深度学习解决方案至关重要。不幸的是,通常情况下,经过良好训练的ML模型不适合部署边缘平台的约束,导致模型简化和重新训练过程的长时间迭代。此外,为平台A优化的ML模型在我们将其部署到另一个平台B时通常可能不适合,从而导致模型再训练的另一次迭代。我们提出了一种条件神经架构搜索方法,使用GAN,产生可行的ML模型,为不同的平台。我们提出了一个新的工作流程来生成约束优化的DNN模型。这是将条件和对抗技术引入神经结构搜索领域的第一项工作。在CIFAR-10上用回归问题和分类问题验证了该方法。所提出的工作流程可以成功地生成资源优化的MLP或基于CNN的网络。
2020-06-06 cs.LG stat.ML
Conditional Generative Modeling for High-dimensional Marked Temporal Point Processes
Amazon(亚马逊);Carnegie Mellon University(卡内基梅隆大学)
针对高维标记点过程建模中表征能力受限和计算挑战的问题,提出了一种基于条件生成器的事件生成框架,无需显式指定条件强度或概率密度,能高效捕获复杂动态并生成高质量后续事件,实验证明性能优于现有基线。
2025-01-18 cs.LG stat.ML
Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence
Brigham Young University(Brigham Young 大学)
本文提出条件一致性及其度量CCE,用于评估神经回归器在任意输入点的概率拟合,弥补校准指标仅能边际评估的不足,并在高维回归中验证了其正确性、单调性、可靠性和鲁棒性。
2025-10-22 cs.LG stat.ML
Neural-Kernel Conditional Mean Embeddings
Graduate University of Advanced Studies (SOKENDAI)(高等研究生院(SOKENDAI));The Institute of Statistical Mathematics(统计数学研究所);The University of Adelaide(阿德莱德大学)
提出一种结合深度学习和核条件均值嵌入的新方法,通过端到端神经网络优化避免Gram矩阵求逆,在条件密度估计和强化学习中表现优异。
2024-03-16 cs.LG stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation(英特尔公司)
我们引入了一种新的编码器-解码器架构,将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码,以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程(CNP)模型。我们的架构采用了图神经网络的最新进展,以处理不规则采样的功能。因此,我们将我们的模型称为条件图神经过程(CGNP)。图神经网络可以有效地利用度量空间的“局部”结构,在度量空间上定义函数/过程。本文的贡献是双重的:(i)一种新的基于图的编码器-解码器架构的功能和过程嵌入,以及(ii)使用度量空间的结构,这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Neural Conditional Gradients
TU Darmstadt(达姆施塔特工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
在机器学习中,从手工设计的优化器到学习的优化器的转变对于基于梯度和无梯度的优化器来说是相当成功的。然而,当面对一个约束问题时,保持可行性通常需要一个投影步骤,这可能是计算昂贵的,并且不可微。我们展示了无投影凸优化算法的设计如何可以转换为基于Frank-Wolfe网络的学习问题:实现Frank-Wolfe算法的递归网络。条件梯度这使他们能够学会利用结构,例如,优化秩为1的矩阵我们的LSTM学习的优化器优于手工设计的,以及学习良好但不受约束的优化器。我们证明了这一点的训练支持向量机和softmax分类。
2018-07-30 cs.LG stat.ML
Testing Conditional Mean Independence Using Generative Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Maryland, College Park(马里兰大学帕克分校);Washington University in St Louis(圣路易斯华盛顿大学)
本文提出一种基于深度生成式神经网络和自举法的条件均值独立性(CMI)检验方法,通过精心构造检验统计量克服非参数估计误差影响,在高维及多元响应场景中表现出色且保持非平凡势。
2025-01-28 cs.LG stat.ML
Memorization Capacity of Neural Networks with Conditional Computation
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
许多实证研究已经证明了条件计算在神经网络中的性能优势,包括减少推理时间和功耗。我们从记忆能力的角度研究了神经条件计算的基本限制。对于没有条件计算的整流线性单元(ReLU)网络,已知的是,可以经由具有$O(\sqrt{n})$神经元的神经网络来完成记忆$n$输入-输出关系的集合。计算该神经网络的输出可以使用针对每个输入的加法、乘法和比较的$O(\sqrt{n})$基本算术运算来完成。使用条件ReLU网络,我们证明了每个输入仅使用$O(\log n)$操作就可以完成相同的任务。与没有条件计算的网络相比,这代表了几乎指数级的改进。我们还表明,$Θ(\log n)$率是最好的。我们的可扩展性结果利用了一种通用的方法,以计算效率高的方式从无条件网络中合成出一个条件网络,弥合了无条件和条件架构之间的差距。
2023-03-20 cs.LG
Neural Generalised AutoRegressive Conditional Heteroskedasticity
University College London(伦敦大学学院)
我们提出了神经神经GARCH,一类方法来模拟金融时间序列的条件异方差性。神经GARCH是单变量情况下GARCH 1,1模型和多变量情况下对角BEKK 1,1模型的神经网络适应。为了反映金融市场不断变化的动态,我们允许GARCH模型的系数随时间变化。时变系数由一个递归神经网络参数化,该网络是用随机梯度变分贝叶斯训练的。我们提出了我们的模型的两个变种,一个正常的创新和其他学生t创新。我们在广泛的单变量和多变量金融时间序列上测试了我们的模型,我们发现神经学生t模型始终优于其他模型。
2022-02-23 cs.LG q-fin.ST stat.ML
Neural Conditional Event Time Models
Duke University(杜克大学)
事件时间模型基于已知特征预测感兴趣事件的发生时间。最近的工作表明,神经网络在各种设置中实现了最先进的事件时间预测。然而,标准的事件时间模型假设在所有情况下,事件最终都会发生。因此,在a)事件发生的概率和b)预测的发生时间之间没有区别。在预测医疗诊断、设备缺陷、社交媒体帖子和其他可能发生或不发生的事件时,这种区别至关重要,并且影响a)的特征可能与影响b)的特征不同。在这项工作中,我们开发了一个条件的事件时间模型,区分这些组件,实现它作为一个神经网络的二进制随机层表示有限的事件发生,并显示它如何可以通过极大似然估计从右删失事件时间学习。结果表明,对合成数据、医疗事件(MIMIC-III)和社交媒体帖子(Reddit)的事件发生和事件时间预测具有卓越的性能,包括21个预测任务。
2020-04-03 cs.LG stat.ML
Generative Conditional Distributions by Neural (Entropic) Optimal Transport
The Chinese University of Hong Kong(香港中文大学);VinUniversity(范大大学);National University of Singapore(新加坡国立大学);VinAI Research(VinAI研究院)
提出一种神经熵最优传输方法,通过双网络最小最大化训练和Lipschitz正则化,有效解决小样本下的条件分布生成问题。
2024-06-04 cs.AI cs.LG stat.ML
Conditional Forecasting of Margin Calls using Dynamic Graph Neural Networks
Università degli Studi di Milano(米兰大学);European Systemic Risk Board Secretariat, European Central Bank(欧洲系统性风险委员会秘书处、欧洲中央银行);ETH Zurich(苏黎世联邦理工学院)
本研究提出一种动态图神经网络架构,在利率互换交易网络模拟数据上验证其可准确预测21天内的净变动保证金,为金融压力测试和系统性风险监测提供新工具。
2024-10-30 cs.LG q-fin.RM stat.ML
Environmental Sound Recognition using Masked Conditional Neural Networks
University of York(约克大学)
用于声音识别的基于神经网络的体系结构通常是从其他应用领域改编而来的,这些应用领域可能不会利用声音相关的属性。条件神经网络(CLNN)被设计为考虑时间信号中跨帧的关系属性,其扩展掩蔽条件神经网络(MCLNN)在网络中嵌入滤波器组行为,这强制网络在频带而不是频段中学习。此外,它自动探索不同的特征组合,类似于手工制作识别任务的最佳特征组合。我们将MCLNN应用于ESC-10数据集的环境声音。与最先进的卷积神经网络和手工制作的尝试相比,MCLNN实现了具有竞争力的准确性。
2019-04-11 cs.LG cs.SD eess.AS
Class-Conditional Compression and Disentanglement: Bridging the Gap between Neural Networks and Naive Bayes Classifiers
在这篇报告正在进行的工作的草稿中,我们1)通过用类条件压缩替换压缩项来适应信息瓶颈泛函,2)使用与类条件解纠缠相关的变分界限来放松该泛函,3)将该泛函视为随机神经网络的训练目标,以及4)示出了潜在表示被学习,使得它们可以用于朴素贝叶斯分类器。我们继续建议沿着非线性信息瓶颈线进行一系列实验[Kolchinsky等人,2018年],深度变分信息瓶颈[Alemi等人,2017年],和信息辍学[Alberle和Soatto,2018年]。此外,我们提出了一个神经网络的解码器架构是一个参数化的朴素贝叶斯解码器。
2019-06-06 cs.IT cs.LG math.IT
Masked Conditional Neural Networks for Audio Classification
Department of Electronic Engineering University of York(约克大学电子工程系);University of York(约克大学)
本文提出了用于时间信号识别的条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)。CLNN考虑到声音信号的时间性质,MCLNN通过二进制掩码在CLNN上扩展,以保留特征的空间局部性,并允许自动探索特征组合,类似于手工制作识别任务的最相关特征。MCLNN在GTZAN和ISMIR2004音乐数据集上实现了具有竞争力的识别精度,超过了几种最先进的基于神经网络的架构和手工制作的方法。
2019-03-23 cs.LG cs.SD eess.AS
Conditional Density Estimation with Neural Networks: Best Practices and Benchmarks
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
给定一组经验观测,条件密度估计旨在通过对条件变量$\mathbf{x}$和因变量$\mathbf{y}$的条件概率$p(\mathbf{y}|\mathbf{x})$建模来捕获它们之间的统计关系。本文基于数学见解和经验评估,为神经网络的金融应用开发了条件密度估计的最佳实践。特别是,我们引入了一个噪声正则化和数据归一化方案,减轻了过拟合,初始化和超参数敏感性等估计的问题。我们将我们提出的方法与流行的半参数和非参数密度估计进行比较,在模拟和Euro Stoxx 50数据的各种基准测试中证实了其有效性,并显示出其优越的性能。我们的方法允许获得高质量的估计更高的时刻,分位数和非线性回报转换的统计预期,对回报动态的假设很少。
2019-04-13 cs.LG q-fin.CP q-fin.ST
Inverse design of 3d molecular structures with conditional generative neural networks
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Korea University(高丽大学);Max-Planck-Institut für Informatik(马克斯·普朗克信息学研究所)
合理设计具有所需性质的分子是化学中的一个长期挑战。生成神经网络已经成为一种强大的方法来从学习的分布中采样新分子。在这里,我们提出了一个条件生成神经网络的三维分子结构与指定的化学和结构特性。这种方法是不可知的化学键合,并使有针对性的采样的新分子的条件分布,即使在域中的参考计算是稀疏的。我们证明了我们的方法的实用性,通过生成具有指定图案或组成的分子,发现特别稳定的分子,并共同针对多个电子特性超出了训练制度。
2021-12-22 cs.LG physics.chem-ph physics.comp-ph
Neural Boltzmann Machines
本文提出神经玻尔兹曼机(NBMs),通过将条件受限玻尔兹曼机的参数转化为神经网络,增强表达力,并有效处理正态分布数据,可用随机梯度下降训练。
2023-05-15 cond-mat.dis-nn cs.LG stat.ML
Do place cells dream of conditional probabilities? Learning Neural Nyström representations
Intel Labs(英特尔实验室)
我们认为,海马位置细胞编码信息的过渡分布下观察到的代理人探索一个给定的(物理或概念)空间的未来位置。对当前位置的信息进行编码,通常与位置细胞相关,然后成为实现这一更广泛目标的必要步骤。我们从Nyström核近似中正式推导出一个生物启发的神经网络,并根据经验证明该网络成功地近似了过渡分布。建议的网络产生的表示,就像地方细胞,软瓦的输入空间具有高度稀疏和本地化的感受野。此外,我们表明,所提出的计算基序可以扩展到处理监督问题,创建类特定的地方细胞,同时表现出低样本复杂性。
2019-06-05 cs.LG cs.NE stat.ML
Low-Rank Approximations for Conditional Feedforward Computation in Deep Neural Networks
University of Tennessee(田纳西大学)
深度神经网络的可扩展性特性提出了关键的研究问题,特别是当考虑的问题变得更大,更具挑战性时。本文扩展了Bengio等提出的条件计算的思想。例如,其中深度网络的节点由一组选通单元来扩充,所述选通单元确定何时应当计算节点。通过将权重矩阵分解为低秩近似,可以有效地获得预非线性激活的符号的估计。对于使用整流线性隐藏单元的网络,这意味着可以完全省略具有估计的负预非线性的隐藏单元的计算,因为当应用非线性时,其值将变为零。对于稀疏神经网络,这可以导致相当大的速度增益。使用MNIST和SVHN数据集与一个完全连接的深度神经网络的实验结果表明,所提出的方案的性能鲁棒性的条件计算过程中引入的错误。
2014-01-28 cs.LG
Masked Conditional Neural Networks for Automatic Sound Events Recognition
University of York(约克大学)
为除声音之外的应用领域(特别是图像识别)设计的深度神经网络架构在适应声音识别问题时可能无法最佳地利用时频表示。在这项工作中,我们探讨了条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)的多维时间信号识别。CLNN考虑帧间关系,并且MCLNN在网络的链路上实施系统稀疏性,以实现频带而不是bin中的学习,从而允许网络模仿滤波器组而具有频移不变。掩码还允许同时考虑几种特征组合,这通常是通过详尽的手动搜索手工制作的。我们使用ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络相比,MCLNN使用12%的参数并且没有增强,实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Nonparametric estimation of conditional probability distributions using a generative approach based on conditional push-forward neural networks
MOX, Department of Mathematics, Politecnico di Milano(米兰理工学院数学系MOX部门);Department of Economics, University of Bergamo(博洛尼亚大学经济系)
本文提出了一种基于条件推动神经网络的非参数条件概率分布估计方法,通过学习随机映射实现高效条件采样和统计估计,实验表明其性能优于现有主流方法。
2025-12-22 cs.LG stat.ME
Conditional Finite Mixtures of Poisson Distributions for Context-Dependent Neural Correlations
Albert Einstein College of Medicine(阿尔伯特·爱因斯坦医学院)
针对神经群体上下文依赖噪声相关性的低维结构难建模问题,提出泊松分布条件有限混合模型,推导EM算法拟合,成功捕捉猕猴V1神经元刺激依赖相关性,可改进深度神经网络的神经活动预测。
2019-08-16 cs.LG cs.NE stat.ML
On the Conditioning Consistency Gap in Conditional Neural Processes
University of Cambridge(剑桥大学)
本文研究了条件神经过程中的条件一致性间隙,通过KL散度衡量预测变化,证明在有限制编码器和Lipschitz解码器下,一致性间隙随上下文大小呈O(1/n²)衰减,揭示了CNP近似有效随机过程的精确意义。
2026-04-21 cs.LG
Neural Conditional Probability for Uncertainty Quantification
CSML, Istituto Italiano di Tecnologia(CSML,意大利技术研究院);University of Novi Sad(诺维萨大学);CMAP-Ecole Polytechnique(CMAP-巴黎高等学院);AI Centre, University College London(伦敦大学学院人工智能中心)
本文提出神经条件概率(NCP)方法,通过算子理论和单一无条件训练高效学习条件分布并支持统计推断,实验证明其极简架构可匹配或超越领先方法。
2025-05-31 cs.LG math.ST stat.ME
Sequence Classification with Neural Conditional Random Fields
Naval Research Laboratory(海军研究实验室)
监测人类活动的传感器设备的激增产生了大量需要解释和分类的时间序列。此外,复杂的行为检测要求多传感器融合算法的个性化。条件随机场(CRF)通常用于结构化预测任务,例如自然语言处理中的词性标注。条件概率指导序列中每个标签/标记的选择,将结构化预测任务与序列分类任务合并,其中不同的模型提供相同序列的不同分类。本文的主张是,CRF模型还提供了判别模型来区分不同类型的序列,而不管如果我们校准序列的类成员估计所获得的标签的准确性。我们介绍和比较不同的神经网络为基础的线性链CRF,我们提出了两个复杂的序列分类和结构化预测任务的实验,以支持这一主张。
2016-02-05 cs.LG
Recognition of Acoustic Events Using Masked Conditional Neural Networks
University of York(约克大学)
使用神经网络的自动特征提取对于图像已经取得了显著的成功,但是对于声音识别,这些模型通常被修改以适应频谱图中音频信号的多维时间表示的性质。这可能无法有效地利用信号的时频表示。条件神经网络(CLNN)考虑了时间帧之间的相互关系,并且掩蔽条件神经网络(MCLNN)通过使用二进制掩码在网络的权重上强制系统稀疏来扩展CLNN。掩蔽允许网络学习频带而不是频段,模仿信号变换(如MFCC)中使用的滤波器组。此外,Mask设计为考虑各种特征组合,这使特征手工制作过程自动化。我们使用Urbansound 8 k,YorNoise,ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络和手工制作的尝试相比,MCLNN已经实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Automatic Classification of Music Genre using Masked Conditional Neural Networks
University of York(约克大学)
用于声音识别的基于神经网络的体系结构通常是从其他应用领域(例如图像识别)改编的,其可能不利用信号的时频表示。条件神经网络(CLNN)及其扩展的掩蔽条件神经网络(MCLNN)被设计用于多维时间信号识别。CLNN在帧的窗口上进行训练以保持帧间关系,并且MCLNN在网络的链接上强制执行系统稀疏性,这模仿了类似滤波器组的行为。掩蔽操作诱导网络在频带中学习,这降低了网络对时频表示中的频移的敏感性。此外,掩模允许探索一系列特征组合,同时类似于手动手工制作用于识别任务的最佳特征集合。与几种手工制作的尝试相比,MCLNN在舞厅音乐数据集上取得了有竞争力的性能,并且优于基于最先进的卷积神经网络的模型。
2019-04-28 cs.LG cs.SD eess.AS
Masked Conditional Neural Networks for Environmental Sound Classification
University of York(约克大学)
条件神经网络(CLNN)利用声谱图中表示的声音信号的时间序列的性质,并且其变体掩蔽条件神经网络(MCLNN)通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外,掩蔽同时自动化不同特征组合的探索,类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外,我们提出了一个手动记录的声音为铁路和公路交通,YorNoise,调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果,并使用了12%的可训练参数,这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集,实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Meta-World Conditional Neural Processes
Bogazici University(海峡大学)
我们提出了元世界条件神经过程(MW-CNP),一个条件世界模型生成器,利用样本效率和条件神经过程的可扩展性,使代理从自己的“幻觉”采样。我们打算在测试时尽可能地减少代理与目标环境的交互。为了减少测试时所需的样本数量,我们首先从具有隐藏参数的测试环境中的单个卷展栏获得过渡动态的潜在表示。然后,我们通过与Meta世界模型生成的“幻觉”交互来获得少样本学习的推出。使用来自MW-CNP的世界模型表示,元RL代理可以适应看不见的目标环境,与基线相比,从目标环境收集的样本显著减少。我们强调,在整个训练和测试过程中,智能体不能访问任务参数,MW-CNP是在元训练期间记录的离线交互数据上训练的。
2023-02-20 cs.AI cs.LG cs.NE