Exploring Pseudo-Token Approaches in Transformer Neural Processes
University of Cambridge(剑桥大学)
本文提出归纳集注意力神经过程(ISANPs),通过伪标记压缩上下文数据,降低计算复杂度,在多个任务中达到或超越现有模型,并实现性能与效率的可调平衡。
2025-04-19 cs.LG
On the Conditioning Consistency Gap in Conditional Neural Processes
University of Cambridge(剑桥大学)
本文研究了条件神经过程中的条件一致性间隙,通过KL散度衡量预测变化,证明在有限制编码器和Lipschitz解码器下,一致性间隙随上下文大小呈O(1/n²)衰减,揭示了CNP近似有效随机过程的精确意义。
2026-04-21 cs.LG
Multi-fidelity Hierarchical Neural Processes
University of California, San Diego(加州大学圣地亚哥分校);Northeastern University(东北大学)
科学和工程领域广泛使用计算机模拟。这些模拟通常在多个复杂级别上运行,以平衡准确性和效率。多保真度代理建模通过融合不同的仿真输出来降低计算成本。从低保真度模拟器生成的廉价数据可以与昂贵的高保真模拟器生成的有限的高质量数据相结合。现有的基于高斯过程的方法依赖于核函数的强假设,并且难以扩展到高维设置。我们提出了多保真度层次神经过程(MF-HNP),一个统一的神经隐变量模型的多保真度代理建模。MF-HNP继承了神经过程的灵活性和可扩展性。潜变量将不同保真度水平之间的相关性从观测值转换到潜空间。在给定潜在状态的情况下,跨概率的预测是有条件独立的。它有助于缓解现有方法中的错误传播问题。MF-HNP是足够灵活的处理非嵌套的高维数据在不同的保真度水平与不同的输入和输出尺寸。我们评估了流行病学和气候建模任务的MF-HNP,在准确性和不确定性估计方面实现了有竞争力的性能。与仅具有低维(< 10)任务的深度高斯过程相比,我们的方法在加速高维复杂模拟(流行病学建模超过7000,气候建模超过45000)方面表现出了很大的潜力。
2022-06-10 cs.LG
Sequential Neural Processes
Rutgers University(罗格斯大学);SAP(思爱普);ETRI(韩国电子通信研究院)
神经过程结合了神经网络和高斯过程的优势,实现了随机过程的灵活学习和快速预测。然而,一大类问题包括神经过程(NP)没有明确考虑的随机过程序列中的潜在时间依赖结构。在本文中,我们提出了顺序神经过程(SNP),其中包括一个时间的随机过程的状态转换模型,从而扩展其建模能力的动态随机过程。在将SNP应用于动态三维场景建模中,我们引入了时态生成查询网络。据我们所知,这是第一个可以处理3D场景的时间动态的4D模型。在实验中,我们评估所提出的方法在动态(非平稳)回归和4D场景推理和渲染。
2019-10-27 cs.LG stat.ML
Spectral Convolutional Conditional Neural Processes
Texas A&M University(德克萨斯农工大学)
SConvCNPs通过频域全局卷积解决传统CNNs长距离依赖捕捉难题,提升神经过程建模能力。
2026-02-06 cs.LG
Predicting Wall Thickness Changes in Cold Forging Processes: An Integrated FEM and Neural Network approach
South Westphalia University of Applied Sciences(西南phalia应用科学大学)
本文提出用专门设计的图神经网络作为代理模型,结合FEM仿真数据预测冷锻缩口过程中的壁厚变化,并引入ABTC指标验证其在闭环生产中替代传统有限元仿真的潜力。
2024-11-21 cs.LG
Label Propagation for Physics-Informed Neural Networks and Physics-Informed Gaussian Processes
Illinois Institute of Technology(伊利诺伊理工学院);Binghamton University(宾汉姆顿大学)
本文提出利用半监督标签传播技术训练物理信息神经网络和高斯过程,并通过协同训练整合两者,以改善边界和初始条件信息向物理域传播的问题,实验验证了其有效性。
2026-09-22 cs.LG
Deep Compression of Neural Networks for Fault Detection on Tennessee Eastman Chemical Processes
Nuro Inc.(Nuro公司)
人工神经网络在Tennessee Eastman过程的故障检测中取得了很好的效果,但它往往需要大量的内存来支持其大量的参数。为了实现在线实时故障检测,三个深度压缩技术(修剪,聚类和量化),以减少计算负担。我们广泛研究了7种不同的压缩技术组合,所有方法都达到了64%以上的高模型压缩率,同时保持了较高的故障检测精度。最好的结果是应用所有三种技术,将模型大小减少了91.5%,并保持了94%以上的高精度。这一结果导致生产环境中的存储需求更小,并使现实世界中的部署更加顺利。
2021-01-18 cs.LG
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Christ’s College(基督学院)
本研究针对神经过程的效率、依赖建模与灵活性问题,提出ConvNPs、GNPs、AR CNPs三类改进模型及组合式软件抽象,推动神经过程在多领域的应用。
2024-08-18 cs.LG stat.ML
System-Aware Neural ODE Processes for Few-Shot Bayesian Optimization
Imperial College London(伦敦帝国学院);BASF SE(巴斯夫公司);University of Oxford(牛津大学)
针对未知常微分方程动力系统的高成本、延迟测量优化难题,提出基于系统感知神经ODE过程的两阶段少样本贝叶斯优化框架,可高效优化初始条件与观测时机,验证了先验灵活性与拟合精度的权衡。
2024-11-02 cs.LG
Interpretable Neural Temporal Point Processes for Modelling Electronic Health Records
University of Chinese Academy of Science(中国科学院大学);Academy of Mathematics and System Science, CAS(中国科学院数学与系统科学研究院)
针对现有神经时间点过程模型无法解释电子健康记录事件类型间依赖的问题,提出可解释框架inf2vec,可端到端学习事件影响,在事件预测和类型影响学习上表现更优。
2024-04-09 cs.LG
Equivariant Learning of Stochastic Fields: Gaussian Processes and Steerable Conditional Neural Processes
University of Oxford(牛津大学);DeepMind(深度思维)
受电场或流体流等对象的启发,我们研究学习随机场的问题,即随机过程,其样本是物理和工程中发生的场。考虑到一般的变换,如旋转和反射,我们表明,随机场的空间不变性要求推理模型是等变的。利用最近的进展,从等方差文献,我们研究等方差在两类模型。首先,我们完全证明了等变高斯过程。其次,我们介绍了可操纵条件神经过程(SteerCNPs),神经过程家族的一个新的,完全等变的成员。在高斯过程向量场、图像和真实天气数据的实验中,我们观察到SteerCNP显著提高了以前模型的性能,等方差导致迁移学习任务的改进。
2021-07-17 cs.LG stat.ML
Dimension Agnostic Neural Processes
KAIST(韩国科学技术院)
本文提出维度无关神经过程(DANP),通过维度聚合块和Transformer架构解决传统神经过程难以适应多样输入维度的问题,在多种回归任务上优于现有NP变体。
2025-02-28 cs.LG
Scale Mixtures of Neural Network Gaussian Processes
Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院);School of Computing, KAIST(韩国科学技术院计算机学院);Institute for Basic Science (IBS)(基础科学研究院);AITRICS
最近的工作已经揭示,任何架构的无限宽前馈或递归神经网络对应于称为神经网络高斯过程(NNGP)的高斯过程。虽然这些工作已经扩展了类的神经网络收敛到高斯过程显着,然而,一直很少关注拓宽类的随机过程,这样的神经网络收敛。在这项工作中,受高斯随机变量的尺度混合的启发,我们提出了尺度混合的NNGP,我们引入了一个先验分布的规模上的最后一层参数。我们表明,简单地引入一个规模前的最后一层参数可以把无限宽的神经网络的任何架构到一个更丰富的随机过程。在一定的尺度先验下,我们得到了重尾随机过程,在逆伽玛先验的情况下,我们恢复了学生的$t$过程。我们进一步分析了神经网络的分布,初始化与我们的先验设置和训练梯度下降,并获得类似的结果为NNGP。我们提出了一个实用的后验推理算法的NNGP的规模混合,并实证证明其有用的回归和分类任务。特别是,我们表明,在这两个任务中,从我们的框架获得的重尾随机过程是强大的分布数据。
2022-03-07 cs.LG stat.ML
Recurrent Neural Processes
NNAISENSE SA(NNAISENSE公司)
我们通过递归神经网络或RNP,一个家庭的条件状态空间模型的神经过程(NP)扩展到序列数据。RNP用神经过程对状态空间建模。给定在快速的真实世界时间尺度上观察到的时间序列,但包含缓慢的长期变化,RNP可以导出适当的缓慢的潜在时间尺度。他们这样做,在一个有效的方式,通过建立时间序列的连续性之间的条件独立性。我们的随机过程的理论基础框架扩展了NP的适用性,同时保留了它们的灵活性,不确定性估计和有利的运行时间相对于高斯过程(GP)的好处。我们证明了RNP学习的状态空间有利于对真实世界时间序列数据和非线性系统辨识的预测性能,即使在数据可用性有限的情况下。
2019-11-05 cs.LG stat.ML
Neural Operator Processes for Probabilistic Operator Learning under Partial Observations
University College London(伦敦大学学院)
提出神经算子过程(NOPs),统一神经过程条件与神经算子解码,从稀疏部分观测预测完整输出场,支持确定性与概率预测,并在函数回归和PDE基准上验证了稀疏条件算子学习的可行性。
2026-06-23 cs.LG
Global Convolutional Neural Processes
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of Queensland(昆士兰大学)
处理机器学习模型中的不确定性的能力对它们的预测能力本身来说已经变得同等重要,如果不是更重要的话。例如,在大流行期间,政府政策和个人决策不断围绕不确定性做出。针对这一点,神经过程族(NPF)最近通过桥接高斯过程和神经网络来照亮具有不确定性的预测。潜神经过程是NPF的一个成员,被认为能够模拟某些点上的不确定性(局部不确定性)以及一般函数先验(全局不确定性)。尽管如此,一些关键问题仍然没有得到解决,例如全球不确定性的正式定义,全球不确定性背后的因果关系,以及生成模型对全球不确定性的操纵。关于这一点,我们建立了一个成员GloBal卷积神经过程(GBCoNP),它在潜在的NPF中实现了SOTA对数似然。它设计了一个全局不确定性表示p(z),它是离散输入空间上的一个聚合。讨论了全局不确定性程度与任务内多样性之间的因果关系。在各种场景下分析学习的先验知识,包括1D,2D和新提出的时空COVID数据集。我们对全局不确定性的操作不仅实现了生成所需的样本来解决少样本学习,而且还实现了对函数先验的概率评估。
2021-09-02 cs.LG
Adversarially Contrastive Estimation of Conditional Neural Processes
The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
条件神经过程~(CNP)用精确的条件似然来表示函数上的分布并生成函数观测值.然而,CNP对于高维观测具有有限的表达性,因为它们的预测分布被分解为无约束(通常)高斯输出的乘积。以前,这可以使用潜变量或自回归似然来处理,但代价是难以处理的训练和二次增加的复杂性。相反,我们建议除了常规的最大似然估计外,还使用对抗性训练方案来校准CNP。具体来说,我们训练一个基于能量的模型(EBM)与噪声对比估计,它强制EBM从CNP的代识别真实的观察。通过这种方式,CNP必须生成更接近地面实况的预测以欺骗EBM,而不仅仅是相对于固定形式的可能性进行优化。从生成函数重构到下游回归和分类任务,我们证明了我们的方法适合主流CNP成员,在定义无约束高斯似然时显示出有效性,需要最小的计算开销,同时保留CNP的基础属性。
2023-03-23 cs.LG
Unsupervised clustering of series using dynamic programming and neural processes
Visium(Visium公司);Schlumberger-Doll Research(斯伦贝谢-多尔研究中心);University of Geneva(日内瓦大学)
在arXiv:2101.09512的工作之后,我们有兴趣以无监督的方式对给定的多变量序列进行聚类。我们希望对系列进行分段和聚类,使得每个聚类中存在的结果块相对于预定义的模型结构(例如,具有由多个参数定义的函数形式的物理模型)是一致的。然而,这种方法可能有其局限性,部分原因是可能存在描述相同数据的多个模型,部分原因是数据背后的确切模型可能无法立即知道。因此,它是有用的,以建立一个通用的框架,使合理的模型的整合,也容纳数据驱动的方法到一个近似的模型,以协助聚类任务。因此,在这项工作中,我们研究了使用神经过程来构建近似模型,同时产生与arXiv:2101.09512中提出的算法所需的相同假设。
2021-01-26 cs.LG
Graph Neural Processes for Spatio-Temporal Extrapolation
National University of Singapore(新加坡国立大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Technology Sydney(悉尼科技大学);Zhejiang Lab(之江实验室);JD Intelligent Cities Research & JD iCity, JD Technology(京东科技京东智能城市研究院)
本文提出时空图神经过程STGNP,通过因果卷积、跨集合图神经网络和图贝叶斯聚合GBA同时实现时空外推中的不确定性估计与复杂时空相关性建模,取得最先进结果。
2023-05-30 cs.LG
Robust Neural Processes for Noisy Data
University of Haifa(海法大学)
针对噪声数据下上下文学习模型性能下降问题,提出基于神经过程的鲁棒训练方法,实验证明其在各噪声水平下均优于现有NP模型。
2024-11-03 cs.LG
Characterizing the Representational Capacity of Neural Processes
University of Cambridge(剑桥大学)
本文通过严格层级分析,刻画了条件神经过程、注意力神经过程、Transformer神经过程及其潜在变体的表示能力,揭示了不同架构在函数表示上的包含关系与局限。
2026-05-22 cs.LG stat.ML
Entropic Neural Optimal Transport via Diffusion Processes
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);HSE University(高等经济大学);Artificial Intelligence Research Institute(人工智能研究院)
本文提出一种基于薛定谔桥鞍点重构的端到端神经算法,用于大规模熵正则化最优传输,具有单步学习、快速推理和支持小熵正则化系数的优点。
2023-11-01 cs.LG
Wasserstein Neural Processes
神经过程(NP)是一类学习从输入输出对的上下文集到函数分布的映射的模型。它们传统上使用具有KL发散正则化项的最大似然来训练。我们发现,有理想的类的问题,NP,与此损失,无法学习任何合理的分布。我们还表明,这一缺点是解决了使用近似的Wasserstein距离计算最佳运输距离,甚至不相交的支持分布。我们给我们的方法的实验理由,并证明性能。这些Wasserstein神经过程(WNP)保持了传统NP的所有优点,同时能够近似一类新的函数映射。
2020-01-10 cs.LG stat.ML
Challenges and opportunities in applying Neural Temporal Point Processes to large scale industry data
Vilnius University(维尔纽斯大学);Vinted
在这项工作中,我们确定了开放的研究机会,在应用神经时间点过程(NTPP)模型,以行业规模的客户行为数据,通过仔细复制NTPP模型发表到目前为止,在已知的文献基准,以及应用NTPP模型的一个新的,真实世界的消费者行为数据集,是两倍大的最大的公开可用的NTPP基准。我们确定了以下挑战。首先,NTPP模型尽管具有生成性,但仍然容易受到数据集不平衡的影响,并且无法预测罕见事件。其次,NTPP模型的基础上随机微分方程,尽管其理论上的吸引力和领先的性能在文献基准,不容易扩展到大的行业规模的数据。前者是根据以前对深度生成模型的观察。此外,为了解决冷启动问题,我们探索了NTPP模型的一个新的补充-基于静态用户特征的参数化。
2022-08-18 cs.LG
Conditional Neural Processes
DeepMind(深度思维);Imperial College London(帝国理工学院)
深度神经网络擅长于函数逼近,但它们通常是为每个新函数从头开始训练的。另一方面,贝叶斯方法,如高斯过程(GP),利用先验知识在测试时快速推断新函数的形状。然而,GP在计算上是昂贵的,并且很难设计适当的先验。在本文中,我们提出了一系列的神经模型,条件神经过程(CNP),结合两者的好处。CNP的灵感来自于随机过程(如GP)的灵活性,但它被构造为神经网络,并通过梯度下降进行训练。CNP在仅观察少数训练数据点后就能做出准确的预测,但可以扩展到复杂的函数和大型数据集。我们展示了一系列典型的机器学习任务,包括回归,分类和图像完成的方法的性能和多功能性。
2018-07-04 cs.LG stat.ML
Preventing Conflicting Gradients in Neural Marked Temporal Point Processes
University of Mons(蒙斯大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究针对神经标记时间点过程双任务联合训练中的梯度冲突问题,提出新型参数化方案实现任务独立建模训练,在多个真实事件序列数据集上验证了性能提升效果。
2024-12-11 cs.LG
Adaptive Conditional Quantile Neural Processes
Texas A&M University(德州农工大学);Google Cloud(谷歌云)
提出条件分位神经过程(CQNPs),通过分位回归建模任意分布并自适应估计信息分位数,克服高斯假设限制,显著提升预测性能与异质分布建模能力。
2023-07-03 cs.LG stat.ML
Multi-Fidelity Residual Neural Processes for Scalable Surrogate Modeling
University of California San Diego(加利福尼亚大学圣迭戈分校);Halıcıoğlu Data Science Institute(哈利乔格鲁数据科学研究所);Scripps Institution of Oceanography(斯克里普斯海洋研究所)
针对现有多保真度代理建模方法跨保真度共享信息时未纳入解码器参数、分布外场景性能受限的问题,提出MFRNP框架,通过显式建模残差、在信息共享中引入解码器优化,在偏微分方程与真实气候建模任务上性能优于SOTA。
2024-06-24 cs.LG
Infinitely deep neural networks as diffusion processes
Cogent Labs(Cogent实验室);University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院)
当参数独立且相同地分布(初始化)时,神经网络表现出随着层数增加而出现的不期望的特性,例如,对输入的依赖性消失,以及对包括常数函数在内的限制性函数族的集中。我们考虑参数分布,随着层数的增加,以恢复表现良好的随机过程中的无限深度的限制收缩。这导致了无限深的剩余网络和随机微分方程的解之间的联系,即扩散过程。我们表明,这些限制过程不遭受上述问题,并调查其属性。
2020-03-01 cs.LG stat.ML
A brief note on understanding neural networks as Gaussian processes
University of Twente(特文特大学)
作为[Lee等人,2017],本文简要讨论了神经网络输出的先验何时遵循高斯过程,以及神经网络诱导的高斯过程是如何形成的。这种高斯过程回归的后验均值函数位于由神经网络诱导核定义的再生核希尔伯特空间中。在两层神经网络的情况下,诱导高斯过程提供了再生核希尔伯特空间的一种解释,其联合形成巴伦空间。
2021-07-25 cs.CE cs.LG stat.ML
Supervised Deep Neural Networks (DNNs) for Pricing/Calibration of Vanilla/Exotic Options Under Various Different Processes
Shanghai Advanced Institute of Finance(上海高级金融学院);Orient Securities(东方证券);Cubist Systematic Strategies(库比斯特系统策略公司)
我们应用有监督的深度神经网络(DNN)对具有和不具有随机波动率的扩散和纯跳跃过程下的普通期权和奇异期权进行定价和校准。我们训练我们的神经网络模型在不同的层数,每层的神经元,和各种不同的激活函数,以找到哪些组合更好地工作经验。对于训练,我们考虑各种不同的损失函数和优化例程。我们证明,与常用的期权定价方法相比,深度神经网络以指数方式加快了期权定价,从而使校准和参数估计超快。
2019-02-15 cs.LG q-fin.PR
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Spectral Transformer Neural Processes
University of Cambridge(剑桥大学);Tencent(腾讯);Imperial College London(伦敦帝国理工学院)
本文提出Spectral Transformer Neural Processes,通过引入频域聚合器增强神经过程对周期性和拟周期性数据的建模能力,实验表明其在回归任务和现实数据集上提升了预测性能。
2026-11-09 cs.AI cs.LG
Bootstrapping Neural Processes
KAIST(韩国科学技术院);AITRICS(人工智能医疗研究中心);POSTECH(浦项科技大学);University of Oxford(牛津大学)
与用户通常手动指定先验的传统统计建模不同,神经过程(NP)隐式地定义了一大类具有神经网络的随机过程。给定一个数据流,NP学习一个最能描述数据的随机过程。虽然这种学习随机过程的“数据驱动”方式已被证明可以处理各种类型的数据,但NP仍然依赖于一个假设,即随机过程中的不确定性是由单个潜在变量建模的,这可能会限制灵活性。为此,我们提出了自举神经过程(BNP),一种新的扩展NP家庭使用自举。Bootstrap是一种经典的数据驱动的不确定性估计技术,它允许BNP学习NP中的随机性,而无需假设特定的形式。我们证明了BNP对各种类型的数据的有效性及其在模型数据不匹配的情况下的鲁棒性。
2020-10-27 cs.LG stat.ML
Neural Likelihoods for Multi-Output Gaussian Processes
Uber AI Labs(优步人工智能实验室)
我们构造灵活的似然多输出高斯过程模型,利用神经网络作为组件。我们利用稀疏的变分推断方法,使可扩展的近似推理的模型类。这些模型的一个有吸引力的特点是,即使当可能性是非线性的,预测分布是非高斯的,他们可以承认分析预测手段。我们验证了这些模型的建模潜力在各种实验中的监督和无监督设置。我们证明了这些“神经”似然的灵活性,可以提高预测质量相比,更简单的高斯过程模型和神经似然可以很容易地结合各种潜在的高斯过程模型,包括深高斯过程。
2019-05-31 cs.LG stat.ML
Neural Diffusion Processes
University of Cambridge(剑桥大学);Secondmind(Secondmind公司);Google DeepMind(谷歌DeepMind)
提出 Neural Diffusion Processes(NDPs),利用去噪扩散和定制注意力对函数分布进行元学习,以逼近贝叶斯后验并支持回归、优化等下游任务。
2023-06-06 cs.LG stat.ML
Versatile Neural Processes for Learning Implicit Neural Representations
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
将信号表示为由神经网络(a.k.a.近年来,内隐神经表征(INRs)引起了越来越多的关注。神经过程(NPs)对以部分观测(上下文集)为条件的函数上的分布进行建模,为连续函数的快速推理提供了一种实用的解决方案。然而,现有的NP架构遭受劣质复杂信号的建模能力。在本文中,我们提出了一个高效的NP框架称为通用神经过程(VNP),它大大提高了逼近功能的能力。具体来说,我们引入了一个瓶颈编码器,产生更少的信息上下文令牌,减轻高计算成本,同时提供高建模能力。在解码器端,我们分层学习多个全局隐变量,这些隐变量联合建模函数的全局结构和不确定性,使我们的模型能够捕获复杂信号的分布。我们证明了所提出的VNP在涉及1D,2D和3D信号的各种任务上的有效性。特别是,我们的方法在学习准确的INR w.r.t.一个3D场景而无需进一步微调。代码可在https://github.com/ZongyuGuo/Versatile-NP上获得。
2023-02-21 cs.LG eess.SP
Deep Neural Networks as Point Estimates for Deep Gaussian Processes
University of Cambridge(剑桥大学);Secondmind;Amazon(亚马逊);Imperial College London(伦敦帝国学院);Google Brain(谷歌大脑)
神经网络和高斯过程在它们的优点和缺点上是互补的。更好地理解它们之间的关系意味着承诺让每种方法都能从另一种方法的优势中受益。在这项工作中,我们建立了神经网络和(深)稀疏高斯过程模型的前向传递之间的等价性。我们开发的理论是基于解释激活函数作为域间诱导功能,通过激活函数和内核之间的相互作用的严格分析。这导致模型既可以被视为具有改进的不确定性预测的神经网络,也可以被视为具有提高的预测精度的深度高斯过程。这些主张得到了回归和分类数据集上的实验结果的支持。
2021-12-09 cs.LG stat.ML
Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of Neural Responses
Northwestern University(西北大学);Shirley Ryan Ability Lab(雪莉·瑞安能力实验室);University Tübingen(图宾根大学);Baylor College of Medicine(贝勒医学院)
近年来,人工神经网络在预测视觉皮层中的神经元对自然刺激的反应方面已经取得了最先进的性能。然而,它们需要一个耗时的参数优化过程来精确地建模新观察到的神经元的调谐函数,这阻止了许多应用,包括实时,闭环实验。我们克服了这个限制,制定的问题,$K$ -拍摄预测直接推断神经元的调谐功能,从一个小的刺激响应对使用神经过程。这就要求我们开发一个因子化神经过程,它将观察到的集合嵌入到一个潜在的空间中,该空间被划分为感受野位置和调谐函数属性。我们模拟的反应,预测和重建的感受野从因子化神经过程接近地面真理与试验次数的增加。重要的是,概括神经元调谐功能的潜在表示是在通过网络的快速、单次向前传递中推断出来的。最后,我们验证了这种方法对真实的神经数据从视觉皮层,并发现预测准确性是可比的-和小$K$甚至大于-优化为基础的方法,同时大大加快。我们相信,这种新型的深度学习系统识别框架将有助于更好地将人工神经网络建模实时集成到神经科学实验中。
2020-10-22 cs.LG cs.NE q-bio.NC
On the expected behaviour of noise regularised deep neural networks as Gaussian processes
Stellenbosch University(斯泰伦博斯大学)
最近的工作已经建立了深度神经网络和高斯过程(GP)之间的等价性,从而产生了所谓的神经网络高斯过程(NNGP)。这些模型的行为取决于相应网络的初始化。在这项工作中,我们考虑了噪声正则化(例如dropout)对NNGP的影响,并将其行为与噪声正则化深度神经网络中的信号传播理论联系起来。对于ReLU激活,我们发现性能最好的NNGP具有与最近提出的噪声正则化ReLU网络初始化方案相对应的内核参数。此外,我们还展示了噪声如何影响NNGP的协方差矩阵,从而在远离训练点的简单函数中产生更强的先验。我们验证了我们的理论研究结果与实验MNIST和CIFAR-10以及合成数据。
2019-10-12 cs.LG stat.ML
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹机器学习实验室)
神经过程(NP)是一类随机过程的变分近似模型,在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而,普通NP的表达能力是有限的,因为它们仅使用全局潜在变量,而目标特定的局部变化有时可能是至关重要的。为了解决这个问题,我们系统地研究了NP问题,并提出了一种新的NP模型,我们称之为双随机变分神经过程(DSVNP)。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型,我们的结果表明,在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所)
基于神经网络(NN)和高斯过程(GP)之间的关系,目前机器学习(ML)领域出现了相当有前途的新趋势,包括许多相关的子主题,例如,神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络(CNN)的一个重要特征是它们关于输入数据的对称变换的等方差(一致性)。在这项工作中,我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程(GP)之间的关系。
2022-09-17 cs.AI cs.LG
Neural Markov Jump Processes
Lamarr Institute(拉马尔研究所);University of Bonn(波恩大学)
本文提出一种基于神经常微分方程和变分推断的马尔可夫跳跃过程推断方法,通过反向传播学习连续时间表示,并在合成数据、离子通道数据和分子动力学模拟上验证了有效性。
2023-05-31 cs.LG stat.ML
Learning Quantum Processes with Memory -- Quantum Recurrent Neural Networks
University of British Columbia(不列颠哥伦比亚大学);Stewart Blusson Quantum Matter Institute(斯图尔特·布鲁森量子物质研究所);University of Cambridge(剑桥大学)
循环神经网络在研究和工业中都起着重要的作用。随着量子机器学习的出现,循环神经网络的量化最近变得相关。我们提出了完全量子循环神经网络,耗散量子神经网络的基础上,能够学习一般的因果量子自动机。提出了一种量子训练算法,并对以保真度为代价函数的产品输出情况进行了经典仿真。因此,我们证明了这些算法的潜力,学习复杂的量子过程与内存的示例性延迟通道,时间演化的量子态受时间依赖的哈密顿量,和高,低频率的噪声缓解。数值模拟表明,我们的量子循环神经网络表现出惊人的能力,从小训练集进行概括。
2023-01-19 cs.LG quant-ph
Prediction of Clinical Complication Onset using Neural Point Processes
Northeastern University(东北大学)
本研究利用神经点过程预测临床并发症的发作,通过六种先进模型和六个重症监护数据集,提升不良事件预测的可解释性。
2025-11-22 cs.AI cs.LG
Practical Equivariances via Relational Conditional Neural Processes
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Manchester(曼彻斯特大学)
针对现有条件神经过程引入等变性后无法扩展到高维输入的问题,提出关系条件神经过程方法,可将等变性融入任意神经过程模型,扩展其适用范围,且在多类含等变性的任务中表现优异。
2023-11-05 cs.LG stat.ML
Analysis of the fiber laydown quality in spunbond processes with simulation experiments evaluated by blocked neural networks
Fraunhofer ITWM(弗劳恩霍夫研究所(Fraunhofer ITWM));Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
我们提出了一个纺粘工艺的模拟框架,并使用实验设计来研究工艺参数和材料参数对传送带上纤维沉积的因果关系。采用分块神经网络对虚拟实验进行分析。这构成了预测纤维沉积特性的基础,并能够快速对影响效应的重要性进行排序。最后,我们的研究通过分析的非线性因果关系。
2020-01-22 cs.LG stat.ML
Conditional Graph Neural Processes: A Functional Autoencoder Approach
Intel Corporation(英特尔公司)
我们引入了一种新的编码器-解码器架构,将功能过程嵌入到潜在向量空间中。然后可以对该嵌入进行解码,以在任意域上对编码函数进行采样。这个自动编码器概括了最近引入的随机过程的条件神经过程(CNP)模型。我们的架构采用了图神经网络的最新进展,以处理不规则采样的功能。因此,我们将我们的模型称为条件图神经过程(CGNP)。图神经网络可以有效地利用度量空间的“局部”结构,在度量空间上定义函数/过程。本文的贡献是双重的:(i)一种新的基于图的编码器-解码器架构的功能和过程嵌入,以及(ii)使用度量空间的结构,这种类型的表示的重要性的演示。
2018-12-13 cs.AI cs.LG stat.ML
Memory Efficient Neural Processes via Constant Memory Attention Block
Borealis AI(博雷亚利斯人工智能公司);Mila – Université de Montréal(米拉-蒙特利尔大学)
针对神经过程注意力机制内存开销大的问题,提出常数内存注意力块(CMAB)及CMANPs模型,实现常数内存与计算更新,在基准上取得最先进结果且内存效率显著提升。
2024-05-27 cs.CV cs.LG
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University(哈佛大学)
我们提出了两个优雅的解决方案建模连续时间动态,在一个新的基于基于模型的强化学习(RL)框架半马尔可夫决策过程(SMDP),使用神经常微分方程(ODE)。我们的模型准确地描述了连续时间动态,使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表,以减少与环境的交互率,同时保持接近最佳的性能,这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML
Distance-informed Neural Processes
Computer Vision Group(计算机视觉组);Friedrich Schiller University(弗里德里希·席勒大学)
提出距离信息神经过程(DNP),通过全局与距离感知局部潜在结构结合,利用双Lipschitz正则化改进不确定性校准,有效区分分布内外数据,在回归和分类任务中表现优异。
2025-08-26 cs.AI cs.LG
How Neural Processes Improve Graph Link Prediction
The University of Sydney(悉尼大学)
链接预测是图数据分析中的一个基本问题。虽然大多数文献集中在需要所有图节点和大多数链接进行训练的转导链接预测上,但仅使用一部分节点及其链接进行训练的归纳链接预测在各种现实世界应用中是更具挑战性的问题。在本文中,我们提出了一个元学习方法与图神经网络的链接预测:神经过程图神经网络(NPGNN),它可以执行两个转导和归纳学习任务,并适应模式在一个大的新的图训练后,一个小的子图。在真实世界的图上进行实验来验证我们的模型,结果表明,与其他最先进的模型相比,所提出的方法具有更强的性能,同时在较小的子图上训练时具有很好的泛化能力。
2021-09-30 cs.LG stat.ML
Robustifying Sequential Neural Processes
University of Torontoland(托伦托兰大学);Googol ShallowMind;University of Edenborrow(伊登伯勒大学)
当任务随时间变化时,Meta迁移学习试图通过元学习和迁移学习来提高学习新任务的效率。虽然标准注意力在各种环境中都是有效的,但我们质疑它在改善Meta迁移学习方面的有效性,因为学习的任务是动态的,上下文的数量可以小得多。在本文中,使用最近提出的Meta迁移学习模型,顺序神经过程(SNP),我们首先经验表明,它遭受了类似的欠拟合问题,神经过程推断的功能。然而,我们进一步证明,与元学习设置,标准的注意力机制是无效的元迁移设置。为了解决这个问题,我们提出了一种新的注意力机制,递归记忆重建(RMR),并证明了提供一个虚构的上下文,是递归更新和重建的互动是至关重要的,在实现有效的注意力的Meta迁移学习。此外,将RMR纳入SNP,我们提出了注意顺序神经过程-RMR(ASNP-RMR),并在各种任务中证明ASNP-RMR显着优于基线。
2020-06-29 cs.LG stat.ML