Non-separable Spatio-temporal Graph Kernels via SPDEs
Finnish Center for Artificial Intelligence FCAI(芬兰人工智能中心FCAI);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
本文利用SPDE与图上高斯过程的联系,提出推导不可分离时空图核的框架,并在热方程与波动方程上构建图核,在实际应用中优于现有图核。
2024-12-27 cs.LG stat.ML
Recursive Multikernel Filters Exploiting Nonlinear Temporal Structure
University of Cantabria(坎塔布里亚大学);Sapienza University(罗马大学)
在核方法中,通常通过使用时间延迟嵌入作为输入来包括关于数据的时间信息。最近,通过在再生核Hilbert空间中显式定义伽马滤波器,提出了一种替代公式,从而产生了一个复杂的模型,其中多个核对输入信号的不同时间组合进行操作。在原始公式中,然后简单地组合内核以获得单个内核矩阵(例如通过平均),这提供了计算优势,但丢弃了关于信号的时间结构的重要信息。受多核学习工作的启发,我们通过单独考虑不同的内核来克服这个缺点。我们提出了一种有效的策略,在训练阶段自适应地组合和选择这些内核。由此产生的批处理和在线算法自动学习处理从输入信号中提取的高度非线性的时间信息,这些信息隐式地编码在核值中。我们评估了我们的建议在几个人工和真实的任务,表明它可以优于经典的方法,在批量和在线设置。
2017-06-12 cs.LG stat.ML
A tree-based kernel for graphs with continuous attributes
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所(哈马德·本·哈利法大学));University of Padova(帕多瓦大学)
针对现有图核方法适配连续节点属性时的计算局限,提出一种基于图遍历提取树结构特征的图核方法及其近似变体,在六个真实数据集上实现了性能与效率的提升。
2016-12-20 cs.LG
A kernel function for Signal Temporal Logic formulae
University of Trieste(的里雅斯特大学);Saarland University(萨尔大学);University of Technology, Vienna(维也纳技术大学)
我们讨论了如何定义一个信号时序逻辑(STL)公式的核心。这样的内核允许我们将公式空间嵌入到Hilbert空间中,并在STL的上下文中开放了基于内核的机器学习算法的使用。我们展示了这个想法的一个应用程序的概率模型的公式空间中的回归问题。
2020-09-11 cs.LG cs.LO stat.ML
Tensor Kernel Recovery for Spatio-Temporal Hawkes Processes
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
我们估计时空霍克斯过程的一般影响函数,使用张量恢复方法,制定的位置相关的影响函数,捕捉历史事件的影响作为张量核。我们假设张量核的低秩结构,并使用傅立叶变换核范数(TNN)将估计问题转换为凸优化问题。我们提供了理论上的性能保证,我们的方法,并提出了一个算法来解决优化问题。此外,我们证明了我们的估计与数值模拟的效率。
2022-11-29 cs.LG stat.ML
Faster Kernels for Graphs with Continuous Attributes via Hashing
TU Dortmund University(多特蒙德工业大学)
虽然用于具有离散标签的图的最先进的内核可以很好地扩展到具有数千个节点的图,但不幸的是,用于具有连续属性的图的少数现有内核不能很好地扩展。为了克服这一限制,我们提出了散列图内核,一个通用的框架,从离散的连续属性的图形获得内核。其思想是使用随机哈希函数迭代地将连续属性转换为离散标签。我们说明哈希图内核的Weisfeiler-Lehman子树内核和最短路径内核。由此产生的新的图形内核被证明是,两者,能够处理具有连续属性的图形和可扩展到大型图形和数据集。这是支持我们的理论分析,并证明了广泛的实验评估。
2016-10-01 cs.LG stat.ML
Alignment Based Kernel Learning with a Continuous Set of Base Kernels
University of Alberta(阿尔伯塔大学)
基于核的学习方法的成功取决于核的选择。最近,已经提出了使用数据来选择最合适的内核的内核学习方法,通常通过组合一组基本内核。我们介绍了一种新的算法内核学习,结合了{ \em连续的基本内核集},没有离散化的基本内核空间的共同步骤。我们证明了我们的新方法在各种现实世界的数据集上实现了最先进的性能。此外,我们明确地证明了结合正确的字典的内核,这是有问题的方法的基础上选择一个先验的基础内核的有限集的重要性。我们的方法不是第一种使用连续参数化内核的方法。然而,我们表明,我们的方法需要大大减少计算比以前这样的方法,因此更适合于多维参数化的基础内核,我们证明。
2011-12-20 cs.LG stat.ML
Integration-free Training for Spatio-temporal Multimodal Covariate Deep Kernel Point Processes
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
本研究提出融合多模态协变量的深度核混合点过程模型DKMPP,采用基于得分匹配的无积分方法解决训练难题,实验证明其性能优于基线模型。
2023-10-09 cs.LG stat.ML
Learning Spatio-Temporal Dynamics via Operator-Valued RKHS and Kernel Koopman Methods
Department of Mathematics and Statistics, University of Calgary(数学与统计学系,卡尔加里大学)
该研究提出结合算子值再生核希尔伯特空间(OV-RKHS)与核Koopman算子方法的统一框架,实现复杂时空动力学的非参数化数据驱动估计,支持高维非线性系统降阶建模与长期预测。
2025-08-23 cs.LG math.DS math.OC
Reproducing Kernel Hilbert Spaces Cannot Contain all Continuous Functions on a Compact Metric Space
Institute for Stochastics and Applications(随机与应用研究所);Faculty 8: Mathematics and Physics(数学与物理学院(第8学院));University of Stuttgart(斯图加特大学)
给定一个不可数的紧度量空间,证明了不存在包含该紧空间上所有连续函数的再生核希尔伯特空间.
2020-03-13 cs.LG math.FA
Temporal Kernel Consistency for Blind Video Super-Resolution
University of Cambridge(剑桥大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心);University of Warwick(华威大学)
基于深度学习的盲超分辨率(SR)方法最近在提升具有未知退化的帧方面取得了前所未有的性能。这些模型能够从给定的低分辨率(LR)图像中准确地估计未知的降尺度内核,以便在恢复过程中利用内核。虽然这些方法在很大程度上是成功的,但它们主要是基于图像的,因此不利用多个视频帧中内核的时间特性。在本文中,我们研究了内核的时间特性,并强调了其在盲视频超分辨率任务中的重要性。具体来说,我们测量了真实世界的视频的内核时间一致性,并说明了估计的内核如何在场景及其对象的动态性不同的视频中每帧发生变化。有了这个新的见解,我们重新审视了以前流行的视频SR方法,并表明,在整个恢复过程中使用一个固定的内核之前的假设可能会导致视觉伪影时,放大现实世界的视频。为了抵消这一点,我们定制了现有的单图像和视频SR技术,以利用内核的一致性,在内核估计和视频放大过程。对合成视频和真实视频的大量实验表明,在定量和定性上都有很大的恢复收益,实现了盲视频SR的最新技术水平,并强调了利用内核时间一致性的潜力。
2021-08-18 cs.AI cs.CV cs.LG
Learning Model Checking and the Kernel Trick for Signal Temporal Logic on Stochastic Processes
University of Trieste(的里雅斯特大学);Saarland University(萨尔兰大学);Technical University of Munich(慕尼黑工业大学);University of Technology, Vienna(维也纳技术大学)
本文在信号时序逻辑(STL)公式上引入了一个相似度函数。它以核函数的形式出现,在机器学习中作为一种概念上和计算上高效的工具而闻名。相应的核技巧使我们能够绕过复杂的特征提取过程,即(通常是手动)努力识别公式的决定性属性,以便可以应用学习。我们证明了这一结果及其在预测STL公式对随机过程的(定量)满意度的任务上的优势:使用我们的内核和内核技巧,我们学习(i)计算效率高(ii)实际上精确的满意度预测器,(iii)避免困难的任务,找到一种方法,以合理的方式显式地将公式转化为数字向量。我们通过理论上合理的PAC保证来支持我们在实验中实现的高精度,确保我们的程序有效地提供接近最佳的预测器。
2022-01-24 cs.LG cs.LO
Traffic signal prediction on transportation networks using spatio-temporal correlations on graphs
多变量时间序列预测带来了挑战,因为变量在时间和空间上交织在一起,就像交通信号一样。在图上定义信号通过使用诸如热扩散核之类的相关图核来表示信号在空间上的演变来放松这种复杂性。然而,这个内核本身并不能完全捕获数据的实际动态,因为它只依赖于图结构。可以通过将图形内核表示与利用历史数据的数据驱动模型相结合来填补这一空白。本文提出了一种交通传播模型,将多个热扩散核合并到一个数据驱动的预测模型中,以预测交通信号。我们使用贝叶斯推理优化模型参数,以最大限度地减少预测误差,从而确定两种方法的混合比例。这样的混合比强烈地取决于训练数据大小和数据异常,其通常对应于交通数据的高峰时间。该模型的预测精度与最先进的深度神经网络相当,计算量更低。它通过继承数据驱动模型中的周期性建模,在长期预测方面取得了优异的性能。
2021-10-05 cs.LG
Temporal Graph Kernels for Classifying Dissemination Processes
University of Bonn(波恩大学);TU Dortmund University(多特蒙德工业大学)
许多真实世界的图或网络是时间性的,例如,在社交网络中,人们仅在特定的时间点进行交互。这些信息指导网络上的传播过程,例如谣言,假新闻或疾病的传播。然而,目前最先进的监督图分类方法主要是针对静态图设计的,可能无法捕获时间信息。因此,它们不足以区分不同传播过程的图形。为了解决这个问题,我们引入了一个框架,以提升标准的图形内核的时域。具体来说,我们探索三种不同的方法,并调查时间信息和效率之间的权衡损失。此外,为了处理大规模的图形,我们提出了我们的内核的随机变量与可证明的近似保证。我们在广泛的现实世界社交网络上评估我们的方法。我们的方法在准确性方面大大优于静态内核,同时仍然可以扩展到大型图形和数据集。因此,我们确认,考虑到时间信息是至关重要的传播过程的成功分类。
2021-08-20 cs.LG cs.SI stat.ML
Bayesian autoregression to optimize temporal Matérn kernel Gaussian process hyperparameters
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种基于递归贝叶斯自回归估计的方法,用于优化时间Matérn核高斯过程的超参数,在运行时间和均方根误差上均优于边际似然最大化和HMC采样。
2025-08-13 cs.LG eess.SP stat.ML
Scaling Continuous Kernels with Sparse Fourier Domain Learning
Southern Methodist University(南卫理公会大学);University of California San Diego(加州大学圣迭戈分校)
针对连续核学习中计算与内存需求高、存在谱偏差的问题,提出傅里叶域稀疏学习方法,可高效扩展连续核、降低资源需求并缓解谱偏差。
2024-09-15 cs.LG stat.ML
Spatio-temporal point processes with deep non-stationary kernels
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学)
点过程数据在现代应用中变得无处不在,例如社交网络、医疗保健和金融。尽管流行的递归神经网络(RNN)模型对点过程数据具有强大的表达能力,但由于其递归结构,它们可能无法成功捕获数据中复杂的非平稳依赖关系。点过程数据的另一种流行类型的深度模型是基于通过神经网络表示影响核(而不是强度函数)。我们采取后一种方法,并开发了一个新的深度非平稳影响内核,可以模拟非平稳时空点过程。其主要思想是用一种新的、通用的低秩分解来近似影响核,从而通过深度神经网络实现高效表示,提高计算效率和性能。我们还采取了一种新的方法来保持非负约束的条件强度,通过引入对数障碍罚款。我们证明了我们提出的方法的良好性能和计算效率相比,最先进的模拟和真实数据。
2022-11-21 cs.LG stat.ML
Temporal Factorization of 3D Convolutional Kernels
Radboud University(拉德堡德大学);Donders Centre for Cognition(唐德斯认知中心)
3D卷积神经网络很难训练,因为它们参数昂贵且数据量大。为了解决这些问题,我们提出了一种简单的技术,用于有效地学习3D卷积核,需要更少的训练数据。我们通过沿时间维度分解3D内核来实现这一点,减少参数的数量,并使数据训练更有效。此外,我们引入了一个新的数据集,称为视频MNIST证明我们的方法的性能。我们的方法在低数据范围(每类1到5个视频)中的性能明显优于传统的3D卷积。最后,我们的模型在高数据范围(每个类别>10个视频)中使用最多少45%的参数实现了有竞争力的结果。
2019-12-09 cs.LG stat.ML
TAKDE: Temporal Adaptive Kernel Density Estimator for Real-Time Dynamic Density Estimation
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文提出时间自适应核密度估计器(TAKDE),基于滑动窗口核密度估计的AMISE上界进行理论优化,在合成和真实数据上以更小运行时间获得更优测试对数似然。
2023-11-08 cs.LG eess.SP stat.ML
Inference of Spatio-Temporal Functions over Graphs via Multi-Kernel Kriged Kalman Filtering
Univ. of Minnesota(明尼苏达大学);Univ. of Agder(阿格德大学)
图上的时空变化信号的推断在大量的网络科学相关应用中自然出现。一个经常遇到的挑战涉及重建这样的动态过程,给定它们的值在一个子集的顶点和时刻。本论文开发了一个图形感知的基于核的克里金卡尔曼滤波器,占时空变化,并提供有效的在线重建,即使是动态演变的网络拓扑结构。基于内核的学习框架通过利用图形信号相对于底层图形所表现出的平滑性来绕过对统计信息的需求。为了解决选择合适的内核的挑战,建议的过滤器与多内核选择模块相结合。这种数据驱动的方法在预先选择的字典的线性跨度内选择与信号动态动态一致的内核。新的多核学习算法利用拉普拉斯核矩阵的特征结构来降低计算复杂性。合成和真实数据的数值试验表明,相对于国家的最先进的替代品的新方法的优越的重建性能。
2017-11-25 cs.LG eess.SP stat.ML
Continuous Temporal Graph Networks for Event-Based Graph Data
Xi’an Jiaotong University(西安交通大学);LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司);CRRC Zhuzhou Institute Co., Ltd.(中车株洲所有限公司)
时态图数据的连续时间动态建模越来越受到人们的关注。以前的方法通过指定神经网络的离散层将时间演化的关系信息编码为低维表示,而真实世界的动态图通常随时间连续变化。因此,我们提出了连续时态图网络(CTGN)来捕获时态图数据的连续动态。我们使用的链接开始时间戳和链接持续时间作为不断变化的信息来模拟节点的连续动态。其核心思想是使用神经常微分方程(ODE)来描述动态图上节点表示的连续动态性。利用一种新的图神经网络对常微分方程进行参数化。现有的动态图网络可以看作是CTGN的一种特殊离散化。在转换和归纳任务上的实验结果证明了我们所提出的方法在竞争基线上的有效性。
2022-05-31 cs.LG
Modeling of Spatio-Temporal Hawkes Processes with Randomized Kernels
Bilkent University(比尔肯特大学);DataBoss A. S.(DataBoss股份公司)
我们研究时空事件分析使用点过程。时空推断事件序列的动态具有许多实际应用,包括犯罪预测、社交媒体分析和交通预测。特别是,我们专注于时空霍克斯过程中,通常使用的,因为它们的能力,以捕捉事件发生之间的激发。我们引入了一个新的推理框架的基础上随机变换和梯度下降学习的过程。我们用基于随机傅立叶特征的变换代替空间核计算。通过这种表示引入的随机化提供了灵活性,同时对事件之间的空间激励进行建模。此外,由该过程描述的系统在可缩放矩阵运算方面在封闭形式内表示。在优化过程中,我们使用最大似然估计方法和梯度下降,同时适当处理的积极性和正交约束。实验结果表明,相对于时空Hawkes过程文献中的传统推理方法,该方法在人工和真实数据集上的拟合能力有所提高.我们还分析了事件类型之间的触发相互作用,以及它们的动态如何通过对学习参数的解释在空间和时间上发生变化。
2021-02-15 cs.LG stat.ML
Continuous Conversion of CT Kernel using Switchable CycleGAN with AdaIN
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Samsung Medical Center, Sungkyunkwan University School of Medicine(三星医疗中心,成均馆大学医学院)
X射线计算机断层扫描(CT)使用不同的滤波器内核来突出不同的结构。由于原始正弦图数据通常在重建后被移除,因此如果需要先前未生成的其他类型的内核图像,则可能需要再次扫描患者。因此,存在对从一个内核到另一内核的事后图像域转换而不牺牲图像质量的日益增长的需求。在本文中,我们提出了一种新的无监督连续核转换方法,使用周期一致的生成对抗网络(cycleGAN)与自适应实例归一化(AdaIN)。即使没有成对的训练数据,我们的网络不仅可以在两个不同的内核之间转换图像,而且还可以沿着两个内核域之间的插值路径转换图像。我们还表明,生成的图像的质量可以进一步提高,如果中间核域图像可用。实验结果证实,我们的方法不仅可以实现准确的内核转换,这是可比的监督学习方法,但也产生中间内核图像在看不见的领域,是有用的下咽癌的诊断。
2021-04-26 cs.CV cs.LG
PLEIADES: Building Temporal Kernels with Orthogonal Polynomials
NVIDIA Corporation(NVIDIA公司);Brainchip Inc.(Brainchip公司)
本文提出PLEIADES神经网络,利用正交多项式生成时间卷积核,实现低延迟的在线事件数据时空分类与检测,在三个基准上以更小计算成本取得最先进结果。
2025-10-24 cs.AI cs.LG
FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Delft University of Technology(代尔夫特理工大学);University of Amsterdam(阿姆斯特丹大学)
在设计卷积神经网络(CNN)时,必须在训练之前选择卷积核的大小\break。最近的工作表明,CNN受益于不同层的不同内核大小,但探索所有可能的组合在实践中是不可行的。一种更有效的方法是在训练过程中学习内核大小。然而,现有的工程,学习内核大小有一个有限的带宽。这些方法通过膨胀来缩放内核,因此它们可以描述的细节是有限的。在这项工作中,我们提出了FlexConv,这是一种新的卷积操作,可以以固定的参数成本学习具有可学习内核大小的高带宽卷积内核。FlexNets在不使用池的情况下对长期依赖关系进行建模,在多个连续数据集上实现最先进的性能,在学习内核大小的情况下优于最近的工作,并且在图像基准数据集上与更深入的ResNets竞争。此外,FlexNet可以以比培训期间看到的更高的分辨率进行部署。为了避免混叠,我们提出了一种新的内核参数化的内核的频率可以分析控制。我们的新的内核参数化表现出更高的描述能力和更快的收敛速度比现有的参数化。这导致分类精度的重要改进。
2022-03-17 cs.CV cs.LG
Safe Time-Varying Optimization based on Gaussian Processes with Spatio-Temporal Kernel
ETH Zurich(苏黎世联邦理工学院);Norwegian University of Science and Technology(挪威科技大学);Zurich University of Applied Sciences(苏黎世应用科技大学)
针对未知时变安全约束下的优化问题,提出基于时空核贝叶斯优化的TVSafeOpt算法,可安全跟踪时变安全区域,在平稳时提供最优性保证,并在合成数据和气体压缩机案例中验证了其安全性与最优性。
2024-09-26 cs.LG math.OC
AERK: Aligned Entropic Reproducing Kernels through Continuous-time Quantum Walks
Central University of Finance and Economics(中央财经大学);Zhejiang Normal University(浙江师范大学);Beijing Normal University(北京师范大学);University of York(约克大学)
在这项工作中,我们开发了一个对齐的熵再生核(AERK)的图分类。我们首先对每个图结构执行连续时间量子行走(CTQW),并计算平均混合矩阵(AMM)来描述CTQW如何从起始顶点访问所有顶点。更具体地说,我们展示了这个AMM矩阵如何允许我们计算图的每个顶点的量子香农熵。对于两两图,建议的AERK核是通过计算再生核的量子香农熵之间的相似性,他们的每一对对齐的顶点。理论性质分析表明,AERK核不仅克服了现有R-卷积图核忽略图间结构对应信息的缺点,而且克服了现有基于顶点的匹配核忽略对齐顶点对间结构差异的问题.此外,不同于现有的经典图核只关注图的全局或局部结构信息,所提出的AERK核可以通过量子香农熵同时捕获全局和局部结构信息,反映更精确的基于核的图对之间的相似性度量。上述理论性质解释了所提出的内核的有效性。标准图数据集上的实验评估表明,所提出的AERK内核能够优于最先进的图分类任务的图内核。
2023-03-04 cs.AI cs.LG
Signature Kernel Scoring Rule: A Spatio-Temporal Diagnostic for Probabilistic Weather Forecasting
Department of Statistics, University of Warwick(沃里克大学统计系)
本文提出签名核评分规则,用于概率天气预测,通过迭代积分将天气变量视为连续路径,以编码时空依赖性,并在WeatherBench 2上验证其高判别力和路径依赖交互捕捉能力。
2026-04-30 cs.LG stat.AP stat.ML
Kernel interpolation with continuous volume sampling
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
核方法的一个基本任务是选择节点和权值,以便通过位于节点处的核平移的加权和来近似来自RKHS的给定函数。这是核密度估计、核求积或离散样本插值的关键。此外,RKHS提供了一个方便的数学和计算框架。我们介绍和分析连续体积采样(VS),连续对应物-选择节点位置-的离散分布介绍(Deshpande和Vempala,2006年)。我们的贡献是理论上的:我们证明几乎最佳的边界插值和正交下VS。虽然类似的界限已经存在一些特定的RKHS使用ad-hoc节点建设,VS提供的界限,适用于任何默瑟内核,并依赖于相关的集成运营商的频谱。我们强调,与以前依赖于正则化杠杆分数或行列式点过程的随机方法不同,评估VS的pdf只需要对内核进行逐点评估。因此,VS自然服从MCMC采样器。
2020-02-22 cs.LG cs.NA math.NA
Optimal policy evaluation using kernel-based temporal difference methods
Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校)
研究了基于再生核Hilbert空间的无限时域折扣马尔可夫报酬过程(MRP)的价值函数估计方法。我们研究了核最小二乘时间差分(LSTD)估计的正则化形式;在无限数据的总体极限中,它对应于由相关再生核Hilbert空间定义的投影Bellman算子的不动点。估计器本身是通过计算由经验算子的正则化版本引起的投影不动点来获得的;由于底层的核结构,这简化为求解涉及核矩阵的线性系统。我们在$L^2(μ)$ -范数中分析了此估计的误差,其中$μ$表示底层马尔可夫链的平稳分布。我们的分析没有对马尔可夫链的转移算子做任何假设,而是只对奖励函数和种群级核LSTD解做了条件。我们使用经验过程理论技术,推导出一个非渐近上界的错误显式依赖于相关的核算子的特征值,以及实例依赖的贝尔曼残差方差。此外,我们证明了极小极大下界的子类的MRP,这表明我们的速率是最佳的样本量$n$和有效的地平线$H = (1 - γ)^{-1}$。而现有的最坏情况下的理论预测立方标度($H^3$)在有效的地平线,我们的理论表明,事实上有一个更广泛的范围内的标度,取决于内核,平稳分布,和贝尔曼残差的方差。值得注意的是,只有参数和近参数问题才能达到最坏情况的立方尺度。
2021-09-24 cs.LG math.ST stat.ML
Imitation Learning of Neural Spatio-Temporal Point Processes
Georgia Institute of Technology(佐治亚理工学院)
提出了一种新的时空离散事件数据的神经嵌入时空(NEST)点过程模型,并提出了一种有效的基于模仿学习(一种强化学习)的模型拟合方法.尽管离散事件数据的一维时间点过程发展迅速,但对此类数据的时空方面的研究相对较少。我们的模型捕捉离散事件之间复杂的时空依赖性,通过精心设计的混合异构高斯扩散内核,其参数由神经网络参数化。这个新的内核是我们的模型可以捕获复杂的空间依赖模式的关键,但仍然导致可解释的结果,因为我们检查高斯扩散内核参数的地图。用模仿学习模型拟合的NEST比用极大似然估计法拟合的NEST更稳健。它直接测量训练数据和模型生成的数据之间的经验分布之间的偏差。此外,我们的模仿学习为基础的方法享有计算效率,由于显式表征的奖励函数相关的似然函数;此外,在我们的模型下的似然函数享有易于处理的表达式,由于高斯核参数化。基于实际数据的实验表明,该方法相对于现有方法具有较好的性能,并且对NEST的结果具有较好的可解释性。
2021-01-22 cs.LG stat.AP stat.ML
Autism Spectrum Disorder Classification using Graph Kernels on Multidimensional Time Series
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of California, Davis(加利福尼亚大学戴维斯分校)
我们提出了一种方法来模型时间序列数据从静息状态fMRI自闭症谱系障碍(ASD)的严重程度分类。我们建议采用核机器,并采用图形内核,定义两个图形之间的核点积。这使我们能够利用时空信息来捕捉大脑网络的动态,而不是在空间或时间维度上聚合它们。除了传统的相似性图,我们探索使用稀疏编码的L1图,和时间延迟嵌入的持久同源性,在提出的管道ASD分类。在我们的实验中,两个数据集的ABIDE集合,我们证明了一个一致的和显着的优势,在使用图形内核传统的线性或非线性内核的各种时间序列功能。
2016-11-29 cs.LG stat.ML
Extending Fair Null-Space Projections for Continuous Attributes to Kernel Methods
Felix Störck;Fabian Hinder;Barbara Hammer
提出将公平零空间投影扩展到核诱导特征空间,通过经验特征空间直接变换核矩阵,实现模型和公平评分无关的连续属性公平性方法,并在支持向量回归中展示竞争性或改进性能。
2026-08-04 cs.AI cs.LG
A Kernel for Hierarchical Parameter Spaces
我们定义了一个家庭的混合连续/离散的分层参数空间的核,并证明他们是正定的。
2013-10-21 cs.LG stat.ML
CKGConv: General Graph Convolution with Continuous Kernels
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
针对图卷积定义不统一且缺乏灵活性的问题,提出连续核图卷积(CKGConv)框架,将核参数化为图位置编码导出的伪坐标的连续函数,理论上具备强表达力,实验上优于现有图卷积网络且媲美最佳图Transformer。
2024-06-05 cs.AI cs.LG
Temporal-Differential Learning in Continuous Environments
Bank of America(美国银行);New York University(纽约大学)
本文介绍了一种新的强化学习(RL)方法--时间微分法。与传统的时间差学习方法相比,它在开发用于连续环境的新RL技术中起着至关重要的作用。特别是,连续时间最小二乘策略评估(CT-LSPE)和连续时间时间微分(CT-TD)学习方法的开发。理论和实验证据证明了所提出的时间差分学习方法的有效性。
2020-06-01 cs.AI cs.LG math.OC
Nonparametric estimation of continuous DPPs with kernel methods
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
决定性点过程(DPP)是排斥点模式的统计模型。采样和推理对于DPP来说都是容易处理的,这是具有负相关性的模型中的一个罕见特征,这解释了它们在机器学习和空间统计中的流行。参数和非参数推理方法已被提出在有限的情况下,即当点模式生活在一个有限的地面集。在连续的情况下,只有参数的方法进行了研究,而非参数的最大似然DPPs -一个优化问题的跟踪类运营商-仍然是一个悬而未决的问题。在本文中,我们表明,这个最大似然(MLE)问题的限制版本属于最近的代表性定理的范围内的非负函数的RKHS。这导致了一个有限维问题,与原始MLE有很强的统计联系。此外,我们提出,分析,并证明了一个不动点算法来解决这个有限维问题。最后,我们还提供了一个控制估计的相关内核的DPP,从而提供更多的解释。
2021-11-27 cs.LG stat.ML
Stochastic Bayesian Optimization with Unknown Continuous Context Distribution via Kernel Density Estimation
Nanjing University(南京大学)
针对连续上下文变量分布未知的贝叶斯优化问题,提出基于核密度估计的两种算法,分别优化期望和分布鲁棒目标,实现亚线性贝叶斯累积遗憾。
2023-12-21 cs.AI cs.LG
On the Convergence of Irregular Sampling in Reproducing Kernel Hilbert Spaces
Universität Hamburg(汉堡大学)
本文分析再生核希尔伯特空间中不规则采样算法的收敛性,在极简假设下推导核回归的逼近性质、RKHS范数误差估计及紧域一致收敛新结果,并给出Lipschitz和Hölder连续核的收敛速率。
2025-04-18 cs.LG cs.NA math.NA
Conditional Kernel Imitation Learning for Continuous State Environments
University of Southern California(南加州大学);University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
针对连续状态空间下无环境交互、无奖励与动力学信息的模仿学习难题,提出基于条件核密度估计与马尔可夫平衡方程的框架,证明其渐近一致性,实验显示性能优于多种主流IL算法。
2023-08-24 cs.AI cs.LG
A Distributed Neural Network Architecture for Robust Non-Linear Spatio-Temporal Prediction
University of Tübingen(图宾根大学);University of Hohenheim(霍恩海姆大学)
介绍了一种分布式时空人工神经网络体系结构(DISTANA)。它使用递归神经预测内核(PK)编码网格节点,而神经过渡内核(TK)在相邻PK之间传输信息,共同建模和预测时空时间序列动态。因此,DISTANA假设普遍适用的原因,这可能是局部修改,产生观察到的数据。DISTANA以并行、空间分布的方式学习,可扩展到大型问题空间,能够近似复杂的动态,与其他竞争性ANN模型相比,对过拟合特别鲁棒。此外,它还适用于结构不均匀的网格。
2019-12-23 cs.LG cs.NE
Continuous Temporal Domain Generalization
The University of Tokyo(东京大学);Southern University of Science and Technology(南方科技大学);Emory University(埃默里大学);Jilin University(吉林大学)
针对传统时间域泛化难以处理连续演化、不规则观测时间域的局限,该研究提出连续时间域泛化概念及Koopman算子驱动的Koodos框架,通过连续动力系统建模与Koopman理论学习动态规律,结合先验知识优化泛化,实验验证了其有效性与高效性。
2024-10-29 cs.AI cs.LG
Deep spatio-temporal point processes: Advances and new directions
Department/Institute, University, City, Country, Postal code(大学院系)
本文综述了深度时空点过程中深度影响核方法的最新进展,重点介绍其结合统计可解释性与强大表达能力的建模框架、估计方法及可扩展性,并展望了在犯罪分析、余震预测和脓毒症建模等领域的应用前景。
2025-08-22 cs.LG math.ST stat.ML
A mixed-categorical correlation kernel for Gaussian process
ONERA/DTIS, Université de Toulouse(法国国家航空航天研究院/信息处理与系统部,图卢兹大学);ISAE-SUPAERO, Université de Toulouse(法国国立高等航空航天学院,图卢兹大学);Polytechnique Montréal(蒙特利尔理工学院);Institut Clément Ader (ICA), Université de Toulouse, ISAE-SUPAERO, Mines Albi, UPS, INSA, CNRS(克莱蒙·阿德尔研究所,图卢兹大学,法国国立高等航空航天学院,阿尔比矿业学院,图卢兹第三大学,法国国立应用科学学院,法国国家科学研究中心)
针对混合分类变量的 GP 代理建模问题,提出一种扩展连续指数核的相关核,统一并推广连续松弛与 Gower 距离 GP,在解析和工程问题上取得更优似然与残差。
2024-01-23 cs.LG math.OC stat.ML
Towards end-to-end F0 voice conversion based on Dual-GAN with convolutional wavelet kernels
IRCAM(声学/音乐研究与协作研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文提出了一个端到端的框架F0转换的表达语音转换的上下文中。提出了一个单一的神经网络,其中第一个模块用于学习不同时间尺度上的F0表示,第二个对抗模块用于学习从一种情感到另一种情感的转换。第一个模块由具有小波核的卷积层组成,使得可以有效地编码F0变化的各种时间尺度。单个分解/变换网络允许直接从原始F0信号以端到端的方式学习相对于变换最优的F0分解。
2021-04-15 cs.LG cs.SD eess.AS
LORCK: Learnable Object-Resembling Convolution Kernels
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);FSBI National Medical Research Radiological Center of the Ministry of Health of the Russian Federation(俄罗斯联邦卫生部国家医学研究放射中心)
某些中空器官(例如膀胱)的分割由于其复杂的几何形状、软组织中模糊的强度梯度以及数据注释例程的繁琐手动过程而特别难以自动化。然而,在这些器官的放射图像中准确定位壁和癌区域是肿瘤学中的重要步骤。为了解决这个问题,我们提出了一类新的空心内核,它们学会“模仿”分割器官的轮廓,有效地复制其形状和结构复杂性。我们训练了一系列的U-网类神经网络使用所提出的内核,并证明了优越性的想法,在各种时空卷积的情况下。具体地,扩张的空心核架构优于现有技术的空间分割模型,而添加时间块,例如,Bi-LSTM为膀胱分割挑战建立了一个新的多类基线。我们的空内核的基础上的时空模型达到平均骰子得分为0.936,0.736,和0.712膀胱的内壁,外壁,和肿瘤区域,分别。这些结果为其他特定领域的深度学习应用铺平了道路,在这些应用中,分割对象的形状可用于形成适当的卷积核,以提高分割结果。
2020-12-07 cs.CV cs.LG eess.IV
Local Network Community Detection with Continuous Optimization of Conductance and Weighted Kernel K-Means
Institute for Computing and Information Sciences(计算与信息科学研究所);Radboud University Nijmegen(拉德堡德大学奈梅亨)
局部网络社区发现是以局部化的方式发现集中在少数给定种子节点周围的单个节点社区的任务。电导率是一个流行的目标函数,在许多算法中用于局部社区发现。本文研究电导的连续弛豫。我们表明,这个目标的持续优化仍然会导致离散的社区。我们调查的关系,电导与加权核k-均值为一个单一的社区,这导致了一个新的目标函数,$σ$ -电导的介绍。通过将$σ$设置为$0$获得电导。提出了两种局部优化$σ$ -电导和自动调整参数$σ$的算法EMc和PGDc。它们分别基于期望最大化和投影梯度下降。我们证明了地方性和性能保证EMC和PGDC为一类密集和分离的社区为中心的种子。实验进行了与地面真实社区的网络,比较国家的最先进的图扩散算法的电导优化。在大型图上,结果表明,EMc和PGDc保持本地化,并产生与地面最相似的社区,而图扩散算法生成质量较低的大型社区。
2016-08-17 cs.LG cs.SI stat.ML
Early Detection of COVID-19 Hotspots Using Spatio-Temporal Data
Georgia Institute of Technology(佐治亚理工学院)
最近,美国疾病控制和预防中心(CDC)与其他联邦机构合作,确定2019年冠状病毒病(COVID-19)发病率增加的县(热点),并为当地卫生部门提供支持,以限制疾病的传播。了解热点事件的时空动态对支持政策决策和预防大规模疫情具有重要意义。本文提出了一个时空贝叶斯框架,用于早期发现美国的COVID-19热点(县级)。我们假设观察到的病例和热点数量都取决于一类潜在的随机变量,这些变量编码了COVID-19传播的潜在时空动态。此类潜变量遵循零均值高斯过程,其协方差由非平稳核函数指定。我们的核函数最显著的特点是引入了深度神经网络来增强模型的代表性,同时仍然享有内核的可解释性。我们推导出一个稀疏模型,并使用变分学习策略来拟合模型,以规避大数据集的计算困难。与其他基线方法相比,我们的模型表现出更好的可解释性和优越的热点检测性能。
2021-11-01 cs.LG stat.AP stat.ML
Kernel Learning for Explainable Climate Science
University of Cambridge(剑桥大学)
针对印度河上游流域降水时空分布复杂、既有模型假设粗略且缺乏误差传播的问题,提出带输入依赖Gibbs核的结构化非平稳高斯过程,并通过消融和基准实验验证其时空重建能力。
2023-07-16 cs.LG stat.AP stat.ML
Metrizing Weak Convergence with Maximum Mean Discrepancies
Alan Turing Institute(艾伦·图灵研究所);Microsoft Research(微软研究院)
本文描述了最大平均差异(MMD),度量的概率测度的弱收敛的一个广泛的类的核。更精确地说,我们证明了在局部紧的非紧Hausdorff空间上,有界连续Borel可测核k的MMD度量概率测度的弱收敛当且仅当k是连续的且积分严格正定的(i.s.p.d.)有限的正则Borel测度我们还通过证明存在两个有界连续i.s.p.d.,纠正了Simon-Gabriel & Schölkopf(JMLR,2018,Thm.12)的先前结果。不度量弱收敛和有界连续非I.S.P.D.的核。使其量化的核。
2021-09-03 cs.LG math.PR math.ST