Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架,通过固定曲率二次上界最小化结合外推,在保持低迭代成本的同时提升收敛速度,并成功应用于大规模核正则化学习,提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Multi-view Kernel Completion
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University School of Science and Technology(阿尔托大学科学与技术学院)
在本文中,我们介绍了第一种方法,(1)可以完成完全缺失行和列的核矩阵,而不是个别缺失的核值,(2)不需要任何核是先验完整的,(3)可以处理非线性核。这些方面在实际应用中是必要的,例如集成遗留数据集,在传感器故障下学习,以及在某些视图的测量成本高昂时学习。所提出的方法预测丢失的行建模内的视图和视图之间的关系内核值。我们表明,无论是在模拟数据和现实世界的数据,所提出的方法优于现有的技术,在有限的设置,它们是可用的,并扩展适用性到新的设置。
2016-02-08 cs.LG stat.ML
Transfer Learning Across Fixed-Income Product Classes
EPFL(瑞士联邦理工学院)
本文提出了一种跨固定收益产品类别的迁移学习框架,通过扩展核岭回归到向量值设置,解决稀疏或噪声数据下的折现曲线估计问题,并通过高斯过程解释和实验验证提升了外推性能。
2026-01-13 cs.LG q-fin.CP q-fin.MF
GPatt: Fast Multidimensional Pattern Extrapolation with Gaussian Processes
U. Cambridge(剑桥大学);WUSTL(圣路易斯华盛顿大学);Columbia U.(哥伦比亚大学)
高斯过程通常用于小数据集的平滑和插值。我们介绍了一个新的贝叶斯非参数框架- GPatt -使自动模式外推与高斯过程的大型多维数据集。GPatt统一并扩展了高度表达的内核和快速精确推理技术。没有人为干预-没有手工制作的内核功能,也没有复杂的初始化程序-我们表明,GPatt可以解决大规模的模式外推,修复和内核发现问题,包括383400训练点的问题。我们发现,GPatt显着优于流行的替代可扩展的高斯过程方法的速度和准确性。此外,我们发现这些方法之间的深刻差异,这表明表达内核,非参数表示和精确推理是有用的建模大规模多维模式。
2013-12-31 cs.AI cs.LG stat.ME
Gaussian Process Kernels for Pattern Discovery and Extrapolation
University of Cambridge(剑桥大学);Harvard University(哈佛大学)
高斯过程是函数上的丰富分布,它为平滑和插值提供了贝叶斯非参数方法。我们引入了简单的封闭形式的内核,可以与高斯过程一起使用,以发现模式并实现外推。这些内核是通过模拟一个频谱密度-内核的傅立叶变换-高斯混合。所提出的内核支持一个广泛的类的平稳协方差,但高斯过程推理保持简单和分析。我们通过发现模式和对合成示例进行长范围外推,以及大气CO2趋势和航空公司乘客数据来证明所提出的内核。我们还表明,我们可以在我们的框架内重建标准协方差。
2013-12-31 cs.AI stat.ME stat.ML
Mutual Kernel Matrix Completion
Gunma University(群马大学);Ochanomizu University(御茶水女子大学)
本文提出互核矩阵补全算法,通过融合数据与核矩阵补全方法,提升生物数据分类任务中缺失核矩阵的补全效果。
2017-05-10 cs.LG cs.NA math.NA
Reproducing kernel methods for machine learning, PDEs, and statistics
Sorbonne Université(索邦大学);MPG-Partners
本专著构建了基于RKHS与OT的统一核方法框架,奠定理论基础并提出核的算子视角,同时将其应用于机器学习、物理信息建模、强化学习、数学金融四大领域。
2025-10-06 cs.NA math.NA math.ST
Scalable Lévy Process Priors for Spectral Kernel Learning
Cornell University(康奈尔大学)
高斯过程是函数上的丰富分布,具有由核函数确定的泛化特性。当用于长程外推时,预测对核参数的选择特别敏感。因此,在我们的预测分布中考虑内核的不确定性是至关重要的。我们提出了一个分布的内核通过建模的频谱混合密度与Lévy过程。由此产生的分布支持所有平稳协方差-包括流行的RBF,周期性和Matérn内核-结合归纳偏差,实现自动和数据有效的学习,长距离外推和最先进的预测性能。所提出的模型还提出了一种谱正则化的方法,因为Lévy过程引入了混合成分的稀疏诱导先验,允许自动选择模型阶数和修剪无关成分。我们利用所提出的过程的代数结构的$\mathcal{O}(n)$培训和$\mathcal{O}(1)$预测。我们进行外推合理的不确定性估计的几个基准,表明该模型可以恢复灵活的地面真协方差,它是鲁棒的初始化错误。
2018-02-02 cs.AI cs.LG stat.ML
Model-free Nonconvex Matrix Completion: Local Minima Analysis and Applications in Memory-efficient Kernel PCA
University of California Davis(加州大学戴维斯分校)
研究了利用非凸优化方法从部分元素逼近正半定矩阵的低秩问题。在不对秩匹配、条件数或特征空间不相干参数作任何假设的情况下,我们刻画了基于局部最小值的低秩分解逼近固定正半定矩阵的性能.此外,在对条件数和特征空间不相干参数的秩匹配和有界性的某些假设下,我们的主要定理的推论改进了Ge等人[2016,2017]中无伪局部极小值的非凸矩阵完备的最新采样率结果。此外,我们研究了当所提出的非凸优化结果在准确的低秩近似,即使在存在大的条件数,大的不相干参数,或秩失配。我们还建议将非凸优化应用于内存有效的核PCA。数值实验表明,与Nyström方法相比,该方法在低秩近似和聚类方面都具有更好的稳定性.
2019-04-04 cs.LG math.OC stat.ML
Cross-view kernel transfer
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学);Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Turing Center for Living Systems (CENTURI)(图灵生命系统中心(CENTURI))
我们考虑的内核完成问题的存在下,在数据中的多个视图。在这种情况下,某些视图中的数据样本可能完全缺失,从而为每个视图单独计算的内核矩阵创建缺失的列和行。我们建议解决的问题,完成核矩阵的跨视图核转移(CVKT)的过程中,其他视图的功能被转换为表示正在考虑的视图。通过与核矩阵的已知部分的核对齐来学习变换,从而允许在完成时在核矩阵中找到可推广的结构。然后可以使用其他视图中的可用数据预测其缺失值。我们使用模拟数据、多变量数字数据集和手势分类的多视图数据集,以及来自早期\textit{Drosophila melanogaster}胚胎发生模式形成研究的真实生物数据集来说明我们的方法的好处。
2022-05-31 cs.LG stat.ML
The Human Kernel
CMU(卡内基梅隆大学);University of Edinburgh(爱丁堡大学)
贝叶斯非参数模型,如高斯过程,为自动统计建模提供了一个令人信服的框架:这些模型具有高度的灵活性和自动校准的复杂性。然而,自动化人类专业知识仍然难以捉摸;例如,具有标准内核的高斯过程在函数外推问题上遇到了困难,这些问题对人类学习者来说微不足道。在本文中,我们创建函数外推问题,并获得人类的反应,然后设计一个内核学习框架,以逆向工程的归纳偏见的人类学习者在一组行为实验。我们使用学习过的内核来获得心理学见解,并以超越传统静态和多项式内核的类似人类的方式进行推断。最后,我们研究了奥卡姆剃刀在人类和高斯过程的函数学习。
2015-12-03 cs.AI cs.LG stat.ML
Just One Layer Norm Guarantees Stable Extrapolation
Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组)
本研究证明仅需一层层归一化即可使无限宽神经网络的神经正切核变为有界方差核,从而保证外推稳定性,并通过实验验证其在蛋白质残基预测和跨族裔年龄估计中的应用。
2025-10-16 cs.LG stat.ML
Tackling Combinatorial Distribution Shift: A Matrix Completion Perspective
Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
本文研究组合分布偏移下的双线性组合外推问题,提出在逐渐谱衰减下实现外推的新算法与理论保证,并基于相对谱隙的奇异值分解扰动界提供严格泛化保证。
2023-07-28 cs.DS cs.LG stat.ML
Online high rank matrix completion
Cornell University(康奈尔大学)
最近的进展,在矩阵完成使数据填补满秩矩阵,利用低维(非线性)的潜在结构。在本文中,我们开发了一个新的模型,高秩矩阵完成(HRMC),连同批处理和在线方法来拟合模型和样本外扩展,以完成新的数据。该方法的工作原理是使用核技巧将数据(隐式)映射到高维多项式特征空间;重要的是,即使原始数据矩阵是满秩的,数据也会占用该特征空间中的低维子空间。我们引入了一个明确的参数化的低维子空间,和一个在线拟合过程,以减少计算复杂性相比,最先进的在线方法也可以处理流或顺序数据,并适应非平稳的潜在结构。我们提供了这些方法成功所需的采样率的指导。在合成数据和运动捕捉数据上的实验结果验证了所提方法的性能。
2020-02-20 cs.LG stat.ML
Low-rank Distributional Matrix Completion
University of Texas at Dallas(德克萨斯大学达拉斯分校);Texas A&M University(德克萨斯农工大学)
针对每个条目为概率分布的矩阵,提出基于核均值嵌入和Tucker秩的低秩结构,通过函数展开算子连接无限维与有限维,实现分布矩阵补全并给出非渐近误差界。
2026-06-02 cs.LG math.ST stat.ML
Polynomial Matrix Completion for Missing Data Imputation and Transductive Learning
Cornell University(康奈尔大学)
本文提出了一种新的方法来恢复高秩甚至满秩矩阵的缺失项时,数据的内在维数是低的环境维。具体来说,我们假设矩阵的列是由作用于低维内在变量的多项式生成的,并希望在此假设下恢复丢失的条目。证明了在高维特征空间中,通过最小化矩阵的秩,可以识别出最小内禀维数的完备矩阵。我们开发了一个新的配方所产生的问题,使用核技巧与一个新的放松的秩目标,并提出了一个有效的优化方法。我们还展示了如何使用我们的方法来完成从多个非线性流形的数据。通过对合成数据、缺失数据的子空间聚类、运动捕捉数据恢复和转换学习的比较研究,验证了本文方法的优越性。
2019-12-15 cs.LG stat.ML
Algebraic Variety Models for High-Rank Matrix Completion
我们考虑低秩矩阵完成的情况下,数据属于代数簇,即每个数据点是一个系统的多项式方程的解决方案的推广。在这种情况下,原始矩阵可能是高秩的,但是在将每列映射到单项式特征的高维空间之后,它变成低秩的。许多线性模型的扩展,包括仿射子空间及其并集,都可以用一个模型来描述。此外,品种可以用来模拟更丰富的一类非线性二次和更高的次数曲线和曲面。我们研究了矩阵完备化的采样要求,重点是仿射子空间的并集。我们还提出了一个有效的矩阵完成算法,最大限度地减少了一个凸或非凸代理的秩矩阵的单项功能。我们的算法使用著名的“内核技巧”,以避免直接与高维单项矩阵。我们表明,该算法是能够恢复合成生成的数据预测采样复杂度的界限。该算法也优于标准的低秩矩阵完成和子空间聚类技术在实验中与真实数据。
2017-03-28 stat.ML
Kernel Density Estimation by Genetic Algorithm
提出了一种基于遗传算法的多变量核密度估计的数据压缩方法。首先,我们提出的算法生成多个给定大小的子样本,从原始样本中进行替换。在遗传算法的术语中,子样本及其构成数据点分别被视为$\it{chromosome}$和$\it{gene}$。其次,每对子样本产生两个新的子样本,其中每个数据点以一定概率面对$\it{crossover}$、$\it{mutation}$或$\it{reproduction}$。在适应度值方面占主导地位的子样本被下一代继承。这个过程是重复一代一代,并带来了核密度估计的稀疏表示在其完成。我们从模拟研究中证实,由此产生的估计可以比其他知名的密度估计更好地执行。
2022-03-03 cs.NE stat.CO stat.ME
Let Time Tell: Identification and Gaussian Process Estimation for Interrupted Time Series
University of California, Los Angeles(加州大学洛杉矶分校)
该研究针对中断时间序列设计中同期控制变量不可用的问题,提出基于高斯过程回归的反事实估计方法,通过偏差分解和不确定性量化保证估计合理性,并用R包gpss实现。
2026-08-24 stat.ME stat.ML