Towards Unbiased Random Features with Lower Variance For Stationary Indefinite Kernels
Institute of Image Processing and Pattern Recognition Shanghai Jiao Tong University（上海交通大学图像处理与模式识别研究所）
随机傅立叶特征（RFF）在大规模情况下的核近似中表现出良好的性能，但限制核是平稳和正定的。对于非平稳核函数，当输入被限制在单位球面上时，相应的RFF可以转化为平稳不定核函数的RFF。许多方法提供了可访问的方法来近似固定但不确定的内核。然而，它们要么是有偏差的，要么具有很大的方差。本文提出了一种具有较低方差的无偏估计--广义正交随机特征，在不同数据集和核函数上的实验结果表明，与现有的核函数逼近方法相比，该算法具有较低的方差和逼近误差。在支持向量机和回归的框架下，我们的近似算法更好地逼近原始选择的核，提高了分类精度和回归能力。
2021-04-14 cs.LG stat.ML
Towards understanding the power of quantum kernels in the NISQ era
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）
量子计算领域的一个关键问题是理解在噪声中间尺度量子（NISQ）机器上实现的量子机器学习（QML）模型是否可以实现量子优势。最近，Huang等人[Nat Commun 12，2631]通过量子核学习的镜头部分回答了这个问题。也就是说，他们证明了量子核可以学习特定的数据集，并且比最佳经典核方法具有更低的泛化误差。然而，他们的大多数结果都是建立在理想设置上的，忽略了近期量子机器的警告。为此，一个关键的开放问题是：量子内核的力量在NISQ设置下仍然有效吗？在这项研究中，我们填补了这一知识空白，利用量子内核的权力时，量子系统的噪声和采样误差考虑。具体地说，我们首先证明了量子核的优势是消失的大规模的数据集，少量的测量，和大的系统噪声。为了保持量子核在NISQ时代的优越性，我们进一步设计了一种有效的方法，通过不确定核学习。数值模拟结果与理论结果一致。我们的工作为在NISQ器件上探索先进的量子核以获得量子优势提供了理论指导。
2021-08-26 cs.LG quant-ph
Revisiting minimum description length complexity in overparameterized models
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种新的基于最小描述长度原则的复杂度度量MDL-COMP，适用于过参数化模型，理论分析表明其与参数数量、奇异值和信噪比相关，并可用于指导岭回归的超参数调整，优于交叉验证且节省计算成本。
2023-10-12 cs.IT cs.LG math.IT
Large Scale, Large Margin Classification using Indefinite Similarity Measures
尽管流行的核化支持向量机取得了成功，但它们有两个主要限制：它们仅限于半正定（PSD）核，并且它们的训练复杂度至少与数据大小成二次方。许多样本对之间的相似性的自然度量不是PSD，例如不变内核，以及由潜变量模型隐式或显式定义的那些。在本文中，我们研究了可扩展的方法，使用不确定的相似性措施，在大利润率的框架。特别是，我们表明，一个子集的数据点的相似性的归一化构成了一个表示适合线性分类器。其结果是一个分类器，这是竞争的核心SVM的准确性，尽管有更好的训练和测试时间复杂度。实验结果表明，在CIFAR-10数据集上，该模型配备了对刚性和非刚性变形不变的相似性度量，可以使稀疏度提高5倍以上，同时比使用RBF核的核化SVM更准确。
2014-05-27 cs.CV cs.LG stat.ML
From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines
Deakin University（迪肯大学）；Applied Artificial Intelligence Institute (A2I2)（应用人工智能研究所（A2I2））
在本文中，我们探索了深度网络与再生核Krein空间中的学习之间的联系。我们的方法是基于推进的概念-也就是说，在线性投影上进行固定的非线性变换，并将其转换为固定非线性变换输出上的线性投影，通过非线性向前推动权重。从深度网络的输入到输出重复应用这一点，权重可以逐渐“推”到输出层，从而形成具有固定非线性映射形式的平面网络。（其形式由深度网络的结构确定）之后是由权重矩阵确定的线性投影-即，我们取一个深度网络，并将其转换为一个等价的（不确定的）内核机器。然后，我们研究了这种变换对容量控制和一致收敛的影响，并根据再生核Krein空间中的拉德马赫复杂度，在深度网络上提供了一个拉德马赫复杂度界。最后，我们分析了平面表示的稀疏性，表明平面权重是（有效地）Lp-“范数”正则化的，0<p<1（桥式回归）。
2020-09-08 cs.LG stat.ML
Scalable Learning in Reproducing Kernel Krein Spaces
King’s College London（伦敦国王学院）；University of Nottingham（诺丁汉大学）
我们提供了第一个数学上完整的推导的Nyström方法的低秩近似的不定内核，并提出了一个有效的方法，找到一个近似的特征分解这样的内核矩阵。在此基础上，我们设计了高度可扩展的方法来学习再生核Kre \u <$n空间。所设计的方法提供了一个原则和理论上有充分依据的手段来解决大规模的学习问题与不确定的内核。我们工作的主要动机来自于结构化表示的问题（例如，图形、字符串、时间序列），其中相对容易基于领域专家的直觉和/或知识来设计成对（DIS）相似性函数。这些函数通常不是正定的，并且通常远远超出实践者的专业知识来验证这种情况。设计的方法的有效性进行评估经验上使用结构化和矢量数据表示定义的不确定内核。
2019-05-30 cs.LG stat.ML
Supervised Learning with Similarity Functions
Indian Institute of Technology（印度理工学院）；Microsoft Research Lab（微软研究院）
我们解决了一般的监督学习的问题时，数据只能通过一个（不确定的）数据点之间的相似性函数。现有的工作学习不确定的内核只集中在二进制/多类分类问题。我们提出了一个模型，是通用的，足以处理任何监督学习任务，也包括以前提出的分类模型。我们给出了相似性函数的一个“优度”准则。给定的监督学习任务，然后采用公知的标记技术，以使用“好的”相似性函数为监督学习提供有效的算法。我们证明了我们的模型在三个重要的监督学习问题上的有效性：a）实值回归，b）有序回归和c）排名，我们表明我们的方法保证有界泛化误差。此外，对于实值回归的情况下，我们给出了一个自然善良的定义，当与最近的结果在稀疏向量恢复结合使用时，保证稀疏预测有界泛化误差。最后，我们报告的结果，我们的学习算法回归和有序回归任务，使用非PSD相似性函数，并证明我们的算法的有效性，特别是稀疏地标选择算法，实现显着更高的精度比基线方法，同时提供降低计算成本。
2012-10-22 cs.LG stat.ML
Sobolev Transport: A Scalable Metric for Probability Measures with Graph Metrics
RIKEN AIP（理化学研究所先进智能项目中心）；The University of Akron（阿克伦大学）；Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
最优运输（OT）是比较概率分布的一种常用方法。然而，OT具有一些缺点，如（i）计算复杂度高，（ii）不确定性，这限制了其适用于内核机器。在这项工作中，我们认为概率措施支持图度量空间，并提出了一种新的Sobolev运输度量。我们证明了Sobolev输运度规给出了一个用于快速计算的封闭公式，并且它是负定的。我们证明了赋予这种传输距离的概率测度空间是等距于欧氏空间中具有加权$\ell_p$距离的有界凸集。我们进一步利用Sobolev运输的负定性设计正定内核，并评估其性能对其他基线的文档分类与词嵌入和拓扑数据分析。
2022-02-22 cs.AI cs.LG stat.ML
Position Specific Scoring Is All You Need? Revisiting Protein Sequence Classification Tasks
Georgia State University（佐治亚州立大学）；Lahore University of Management Sciences（拉合尔管理科学大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
本文提出加权位置特异性打分核矩阵（W-PSSKM），结合PSS表示与字符串核进行蛋白质序列分类，准确率最高提升45.1%，显著优于现有基线与最先进方法。
2024-10-16 cs.LG
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；MEGVII Technology（旷视科技）；Aberystwyth University（阿伯里斯特威斯大学）
我们重新审视现代卷积神经网络（CNN）中的大核设计。受视觉Transformer（ViTs）最新进展的启发，在本文中，我们证明了使用几个大卷积核而不是一堆小核可能是一个更强大的范例。我们提出了五项准则，例如，应用重新参数化的大深度卷积，设计高效的高性能大核CNN。根据指导方针，我们提出了RepLKNet，这是一种纯CNN架构，其内核大小为31 x31，而不是常用的3x 3。RepLKNet极大地缩小了CNN和ViT之间的性能差距，例如，在ImageNet和一些典型的下游任务上实现与Swin Transformer相当或更好的结果，具有更低的延迟。RepLKNet还显示出对大数据和大型模型的良好可扩展性，在ImageNet上获得了87.8%的top-1准确率，在ADE 20 K上获得了56.0%的mIoU，这在具有类似模型大小的最先进技术中非常具有竞争力。我们的研究进一步表明，与小核CNN相比，大核CNN具有更大的有效感受野和更高的形状偏差，而不是纹理偏差。代码和模型在https://github.com/megvii-research/RepLKNet。
2022-04-02 cs.AI cs.CV cs.LG
Signed random Fourier features for fast density estimation with indefinite kernels
University of Oxford（牛津大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）
该研究针对随机傅里叶特征仅适用于正定核的局限，提出适用于不定核的有符号随机傅里叶特征，实现了大规模核密度估计的加速，在百万点数据集上验证了其效率与准确性。
2026-09-01 cs.LG math.PR stat.CO
Revisiting Thinning Methods for Kernel Learning Problems
Universidad Autónoma de Madrid（马德里自治大学）
本文提出反向核拾取与灵活核稀疏化两种改进的核方法数据缩减算法，在保持预测性能的同时显著提升训练效率，并系统比较了不同场景下的适用性。
2026-09-09 cs.AI cs.LG
Revisiting Spectral Representations in Generative Diffusion Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Adobe Research（奥多比研究院）
本文通过扰动核视角统一谱表示学习与扩散模型，提出自监督谱对齐方法，并证明其优化等价于表示空间中的扩散分数蒸馏，在图像和3D点云上提升生成质量。
2026-09-09 cs.LG
Revisiting Forest Proximities via Sparse Leaf-Incidence Kernels
Département de mathématiques et de statistique, Université de Montréal（蒙特利尔大学数学与统计学系）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Department of Mathematics and Statistics, Utah State University（犹他州立大学数学与统计学系）；Department of Statistics, Brigham Young University（Brigham Young 大学统计学系）
本文提出基于分离加权叶碰撞核的统一框架，通过稀疏叶碰撞结构实现森林亲疏关系的高效计算，减少计算复杂度并提升可扩展性。
2026-07-30 cs.DS cs.LG cs.PF
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Pyramid Point: A Multi-Level Focusing Network for Revisiting Feature Layers
University of Dayton（代顿大学）
我们提出了一种方法来学习一组不同的对象类别从无序点集。我们提出了我们的金字塔点网络，它使用了密集的金字塔结构，而不是传统的“U”形，通常在语义分割网络中看到。这种金字塔结构提供了第二种外观，允许网络同时重新访问不同的层，通过创建具有更少噪声的额外层来增加上下文信息。我们引入了一种聚焦核点卷积（FKP Conv），它通过向内核输出添加注意力机制来扩展传统的点卷积。这个FKP Conv提高了我们的特征质量，并允许我们动态地权衡内核输出。这些FKP转换是我们的递归FKP瓶颈块的核心部分，它构成了我们编码器的支柱。有了这个独特的网络，我们在三个基准数据集上展示了具有竞争力的性能。我们还进行了消融研究，以显示我们的FKP Conv中每个元素的积极影响。
2020-11-23 cs.AI cs.CV cs.LG
Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究再生核Krein空间（RKKS）中具有不定核的正则化最小二乘的渐近性质。通过引入一个有界超球面约束，证明了该问题存在一个全局最优解，且在球面上具有一个封闭形式，从而使得在RKKS中进行近似分析成为可能.对于由不定内积引入的正则化子，我们改进了传统的误差分解技术，基于矩阵扰动理论证明了引入假设误差的收敛性，并推导了RKKS中这类正则化回归问题的学习率.在一定条件下，RKKS中导出的学习率与再生核Hilbert空间（RKHS）中的学习率相同，这实际上是RKKS中正则化学习算法近似分析的第一个工作.
2020-11-24 cs.LG math.ST stat.ML
Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis
Beijing Institute of Technology（北京理工大学）
本文提出基于核典型相关分析（KCCA）的3vKCCA方法，通过最大化特征子空间投影相关性来增强视觉语言模型的细粒度视觉感知，在MMVP-VLM上准确率从17.8提升至25.9，且保持零样本检索性能。
2026-10-05 cs.AI cs.CV cs.LG
Revisiting Kernel Attention with Correlated Gaussian Process Representation
FPT Software AI Center（FPT软件AI中心）；School of Electrical Engineering and Computer Science, Washington State University（华盛顿州立大学电气工程与计算机科学学院）；National University of Singapore（新加坡国立大学）
本文提出相关高斯过程Transformer（CGPT），通过将自注意力建模为两个相关高斯过程的互协方差，突破对称性限制，增强表示能力，并引入稀疏近似提升扩展性，在多种基准任务上优于现有最先进的基于GP的Transformer。
2025-02-27 cs.AI cs.LG
Revisiting Bayesian Blind Deconvolution
Microsoft Research（微软研究院）；Northwestern Polytechnical University（西北工业大学）
盲解卷积涉及仅给出模糊观察的清晰信号或图像的估计。因为这个问题从根本上是不适定的，所以需要清晰图像和模糊核的强先验来正则化解空间。虽然这自然导致标准MAP估计框架，但性能受到未知的折衷参数设置、优化算法以及源于非凸性和/或不良先验选择的收敛问题的损害。为了减轻这些问题中的一些，一些作者最近提出了替代变分贝叶斯（VB）策略，该策略在高维图像空间上边缘化，从而更好地估计模糊核。然而，底层的成本函数现在涉及没有封闭形式解的积分和复杂的函数值参数，从而失去了MAP的透明度。因此，除了标准的贝叶斯启发的直觉之外，还不清楚这些方法究竟是通过什么机制来运作的，这使得理解、改进和扩展更加困难。为了阐明这些问题，我们证明了VB方法可以被改写为一个非常规的MAP问题，具有非常特殊的惩罚/先验，以原则性的方式耦合图像，模糊内核和噪声水平。这种独特的惩罚有许多有用的特性，涉及相对的不变性，局部最小值的避免，和规模不变性，使我们能够严格解释VB的成功，包括其现有的实现算法和近似。它还提供了选择最佳图像的严格标准，可能与直觉相反，不需要反映自然场景的统计数据。在这样做的时候，我们挑战了为什么VB是成功的盲反卷积，同时提供了一个透明的平台，引入增强的流行观念。
2013-05-10 cs.CV cs.LG stat.ML
Robust and Efficient Finetuning of Vision Foundation Models via Implicit Ensembling
École de technologie supérieure（高级技术学院）
本文重新审视Mixout正则化器，提出GMixout方法，通过动态锚点和重采样频率控制，在保持域内准确率的同时提升分布偏移下的稳健性，超越现有基线。
2026-10-20 cs.CV cs.LG
Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective
Beijing Institute of Technology（北京理工大学）；Renmin University of China（中国人民大学）
图卷积网络（GCN）在各种基于图的任务上取得了令人满意的性能。然而，当堆叠更多层时，它们遭受过度平滑。在本文中，我们提出了一个定量的研究，这一观察和发展新的见解更深的GCN。首先，我们从优化的角度来解释当前的图卷积运算，并认为过度平滑主要是由优化问题的解的朴素一阶近似引起的。随后，我们引入了两个指标来衡量节点级任务的过度平滑。具体来说，我们分别计算连接和断开连接的节点之间的成对距离占总距离的分数。基于我们的理论和实证分析，我们从优化的角度建立了一个通用的GCN理论框架，并推导出一种新的卷积核GCN+，它具有较低的参数量，同时从本质上减轻了过平滑。在真实数据集上的大量实验表明，GCN+在节点分类任务上的性能优于最先进的基线方法。
2020-09-25 cs.AI cs.LG stat.ML
Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective
Michigan State University（密歇根州立大学）；Sun Yat-sen University（中山大学）
提高卷积神经网络的对抗鲁棒性的努力主要集中在开发更有效的对抗训练方法上。相比之下，很少有人关注分析架构元素（如拓扑，深度和宽度）对对抗鲁棒性的作用。本文试图弥合这一差距，并提出了一个整体的研究架构设计对抗鲁棒性的影响。我们专注于残差网络，并考虑块级的架构设计，即，拓扑、内核大小、激活和归一化，以及在网络缩放级别，即，网络中每个块的深度和宽度。在这两种情况下，我们首先通过系统的烧蚀实验获得见解。然后，我们设计了一个强大的残差块，称为RobustResBlock，和一个复合缩放规则，称为RobustScaling，以分配深度和宽度在所需的FLOP计数。最后，我们将RobustResBlock和RobustScaling结合起来，并提出了一个对抗鲁棒性残差网络组合RobustResNets，涵盖广泛的模型容量。在多个数据集和对抗攻击的实验验证表明，RobustResNets始终优于标准WRN和其他现有的健壮架构，在没有额外数据的情况下实现了61.1%的最先进的AutoAttack健壮准确率，在500K外部数据的情况下达到了63.7%，同时$2\times$在参数方面更加紧凑。代码可在\url{ https://github.com/zhichao-lu/robust-residual-network}上获得
2022-12-21 cs.AI cs.CR cs.CV
Sublinear Time Approximation of Text Similarity Matrices
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们研究了在自然语言处理中出现的近似成对相似矩阵的算法。通常，计算$n$数据点的相似性矩阵需要$Ω(n^2)$相似性计算。这种二次缩放是一个重要的瓶颈，特别是当相似性是通过昂贵的函数计算时，例如，通过Transformer模型。近似方法通常通过使用精确计算的相似性的一个小子集来近似完整的成对相似性矩阵的其余部分来降低这种二次复杂性。重要的工作集中在半正定（PSD）相似性矩阵的有效近似上，其例如产生于，内核方法。然而，对NLP中经常出现的不确定（非PSD）相似性矩阵的理解要少得多。出于观察，这些矩阵中的许多仍然有点接近PSD，我们介绍了流行的Nyström方法的不确定设置的泛化。我们的算法可以应用于任何相似性矩阵，并在矩阵大小的次线性时间内运行，仅用$O(ns)$相似性计算产生秩- $s$近似。我们表明，我们的方法，以及一个简单的变种CUR分解，表现非常好，近似各种相似性矩阵中产生的NLP任务。我们在文档分类、句子相似性和跨文档共指的下游任务中展示了近似相似性矩阵的高精度。
2022-04-27 cs.CL cs.LG
