Real Additive Margin Softmax for Speaker Verification
Tsinghua University（清华大学）
附加裕度softmax（AM-Softmax）损失在说话人确认中具有显著的性能。AM-Softmax的一个假设行为是，它可以通过强调目标logits来缩小类内变化，从而提高目标和非目标类之间的裕度。在本文中，我们对AM-Softmax损失的行为进行了仔细的分析，并表明这种损失并没有实现真正的最大间隔训练。基于这一观察，我们提出了一个Real AM-Softmax损失，它涉及softmax训练中的真实裕度函数。在VoxCeleb 1、SITW和CNCeleb上进行的实验表明，校正后的AM-Softmax损失始终优于原始损失。该代码已在https://gitlab.com/csltstu/sunine上发布。
2021-10-18 cs.LG cs.SD eess.AS
A Note on Improved Loss Bounds for Multiple Kernel Learning
University College London（伦敦大学学院）；Laval University（拉瓦尔大学）
在本文中，我们纠正了一个上限，提出了~ \cite{hs-11}，通过多核学习的分类器的泛化误差。~ \cite{hs-11}中的界使用Rademacher复杂度，并且\emph{additive}依赖于核数的对数和分类器实现的裕度。但证明中也存在部分错误，本文对此进行了修正。不幸的是，最终的结果证明是一个风险界，它具有\emph{multiplicative}依赖于核数的对数和分类器实现的裕度。
2014-05-12 cs.LG
Scalable Optimal Margin Distribution Machine
National Engineering Research Center for Big Data Technology and System（国家大数据技术与系统工程研究中心）；Huazhong University of Science and Technology（华中科技大学）
针对最优间隔分布机（ODM）的可扩展性问题，提出可扩展ODM方案，通过分布感知划分（非线性核）和扩展通信高效SVRG（线性核）实现近十倍加速，且几乎不损失泛化性能。
2023-06-11 cs.LG
Large-Margin Determinantal Point Processes
U. of Southern California（南加州大学）；U. of Texas at Austin（得克萨斯大学奥斯汀分校）
决定性点过程（DPP）提供了一个强大的方法来建模的多样性在许多应用程序中，其目标是选择一个不同的子集。我们研究了从标记的训练数据学习DPP的参数（核矩阵）的问题。我们做了两个贡献。首先，我们展示了如何重新参数化DPP的核矩阵与多个核函数，从而提高建模的灵活性。其次，我们提出了一种新的参数估计技术的基础上的大间隔分离的原则。与最先进的极大似然估计方法相比，我们的大边际损失函数明确地对选择目标子集时的错误进行建模，并且可以自定义以权衡不同类型的错误（精度与召回率）。广泛的实证研究验证了我们的贡献，包括具有挑战性的文档和视频摘要，在建模的内核矩阵和平衡不同的错误的灵活性是必不可少的应用程序。
2014-11-07 cs.CV cs.LG stat.ML
Margins, Kernels and Non-linear Smoothed Perceptrons
Carnegie Mellon University（卡内基梅隆大学）
本文研究了在RKHS中寻找非线性分类函数的问题，提出了一种加速平滑算法，具有与经典核感知机相似的收敛特性，并给出了在无分类器存在时的分离定理。
2015-05-15 cs.AI cs.LG cs.NA
Approximate is Good Enough: Probabilistic Variants of Dimensional and Margin Complexity
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提出和研究近似的概念，尺寸和利润的复杂性，这对应于最小的尺寸或规范的嵌入所需的近似，而不是准确地表示，一个给定的假设类。我们表明，这样的概念不仅是足够的学习使用线性预测或内核，但不像确切的变种，也是必要的。因此，它们更适合于讨论线性或核方法的局限性。
2020-03-09 cs.LG stat.ML
Agnostic Learning of Halfspaces with Gradient Descent via Soft Margins
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们分析了线性半空间的不可知学习的0 - 1损失的凸代理上的梯度下降的性质。如果$\mathsf{OPT}$是最好的分类错误实现的半空间，通过呼吁软利润的概念，我们能够表明，梯度下降发现半空间与分类错误$\tilde O(\mathsf{OPT}^{1/2}) + \varepsilon$在$\mathrm{poly}(d,1/\varepsilon)$的时间和样本复杂性的广泛的一类分布，包括日志凹各向同性分布作为一个子类。在此过程中，我们回答了Ji等人最近提出的一个问题。（2020）关于损失函数的尾部行为如何影响样本复杂度和梯度下降的运行时保证。
2021-02-14 cs.LG math.OC stat.ML
Support Vector Machine Classifier via $L_{0/1}$ Soft-Margin Loss
Beijing Jiaotong University（北京交通大学）；Hainan University（海南大学）；University of Southampton（南安普顿大学）
支持向量机由于其广泛的应用在过去的二十年里引起了人们的极大关注，并提出了许多最优化模型。为了区分所有这些，在本文中，我们引入了一个新的模型配备了一个$L_{0/1}$软利润损失（称为$L_{0/1}$ -SVM），很好地捕捉了二进制分类的性质。许多现有的凸/非凸软余量损失可以被视为$L_{0/1}$软余量损失的替代。尽管$L_{0/1}$是离散的，但我们证明了新模型的全局极小解的存在性，并揭示了其极小解与KKT/P-平稳点之间的关系.这些理论性质使我们能够利用乘子的交替方向法。此外，$L_{0/1}$ -支持向量算子被引入作为一个过滤器，以防止在训练过程中的支持向量离群值。因此，预计该方法相对稳健。最后，数值实验表明，我们提出的方法产生更好的性能，在更短的计算时间，更少的支持向量的数量时，对其他一些领先的方法在支持向量机领域。当数据量越来越大时，它的优势变得更加明显。
2021-04-05 cs.LG math.OC stat.ML
Kernel Interpolation as a Bayes Point Machine
贝叶斯点机是一个单一的分类器，它近似于分类器集合的多数决定。本文观察到核插值是高斯过程分类的贝叶斯点机。这一观察有利于从系综理论以及被称为Brunn-Minkowski理论的凸几何区域转移结果，以获得用于内核插值的PAC-贝叶斯风险界限。由于大间隔，无限宽度的神经网络是内核插值器，该论文的研究结果可能有助于更广泛地解释神经网络中的泛化。支持这一想法，本文发现的证据表明，大利润，有限宽度神经网络的行为像贝叶斯点机了。
2022-01-28 cs.AI cs.LG
Large-Margin Softmax Loss for Convolutional Neural Networks
Peking University（北京大学）；South China University of Technology（华南理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Shenzhen University（深圳大学）
交叉熵损失和softmax可以说是卷积神经网络（CNN）中最常用的监督组件之一。尽管它简单，流行和出色的性能，该组件并没有明确鼓励特征的判别式学习。在本文中，我们提出了一个广义的大边际softmax（L-Softmax）损失，明确鼓励类内的紧凑性和类间分离的学习功能。此外，L-Softmax不仅可以调整期望的裕度，而且可以避免过拟合。我们还证明了L-Softmax损失可以通过典型的随机梯度下降来优化。在四个基准数据集上进行的大量实验表明，具有L-softmax损失的深度学习特征变得更具鉴别力，从而显着提高了各种视觉分类和验证任务的性能。
2017-11-17 cs.LG stat.ML
Deep Convolutional Large-Margin $\ell_p$-SVDD for Visual Anomaly Detection
Bilkent University（比尔肯特大学）
研究针对视觉异常检测中训练样本稀缺和类分布不平衡问题，提出深度大间隔新颖性检测框架DLM-SVDD，联合学习卷积特征与核决策边界，经优化方案训练，分析核近似策略权衡，实验显示其性能优于基线和现有方法。
2026-07-27 cs.CV cs.LG
Supervising Nyström Methods via Negative Margin Support Vector Selection
Princeton University（普林斯顿大学）
Nyström方法是基于可扩展内核学习的流行技术。他们近似显式的，低维特征映射的核函数从成对比较与训练数据。然而，在分类/回归问题中，Nyström方法通常在没有训练标签提供监督的情况下应用。这导致与模型中随机选择的训练样本进行成对比较。相反，这项工作研究了一种监督Nyström方法，该方法选择了机器学习模型成功的关键样本子集。特别地，我们通过负间隔标准选择Nyström支持向量，并创建更适合数据分类任务的显式特征映射。在六个数据集上的实验结果表明，在不增加无监督技术复杂度的情况下，我们的方法可以显着提高通过核近似方法实现的分类性能，并减少达到或超过全维核机器性能所需的特征数量。
2018-05-18 cs.LG stat.ML
Fast SVM-based Feature Elimination Utilizing Data Radius, Hard-Margin, Soft-Margin
在硬边缘意义上的边缘最大化，MFE-LO方法提出的特征消除标准，在这里与数据半径利用相结合，以进一步降低泛化误差，因为几个已发表的边界和边界相关的公式涉及到降低误分类风险（或错误）半径，例如平方半径和权重向量平方范数的乘积。此外，我们提出了额外的新特征消除标准，而不是在软余量意义上，也可以利用数据半径，利用先前公布的边界相关公式来接近软余量意义上的半径，从而例如，重点是其中所述的原则，如“找到一个边界，其最小值在一个区域中具有小的留一法值可能比它的紧密性更重要”。我们提出的这些附加标准将半径利用与我们设计的名为QP 1的新颖且计算成本低的软余量轻分类器再训练方法相结合; QP 1是硬余量LO的软余量替代方案。我们纠正了MFE-LO描述中的一个错误，发现MFE-LO在以前发表的基于边缘的特征消除（MFE）方法中达到了最高的泛化精度，讨论了MFE-LO的一些局限性，发现我们的新方法优于MFE-LO，获得更低的测试集分类错误率。在几个数据集上，每个数据集都有大量的功能，并属于“大功能少样本”的数据集类别，并在数据集上具有较低（低到中等）的功能数量，我们的新方法给出了有希望的结果。特别地，在我们的方法中，不采用（不可调谐）LO方法的可调谐方法可以在未来比本文更积极地调谐，以旨在为它们展示比本文更高的性能。
2014-05-11 cs.LG stat.ML
Exploring Kernel Functions in the Softmax Layer for Contextual Word Classification
RWTH Aachen University（亚琛工业大学）
核函数（kernels）主要用于支持向量机和逻辑回归，它可以隐式地将数据点映射到高维空间，使学习复杂的决策边界变得更容易。在这项工作中，通过替换softmax层中的内积函数，我们探索了使用内核进行上下文单词分类。为了比较各个内核，在标准语言建模和机器翻译任务上进行实验。我们在不同的内核设置中观察到广泛的性能。扩展的结果，我们看看梯度属性，调查各种混合策略，并检查消歧能力。
2019-10-28 cs.CL cs.LG stat.ML
Improved Large-margin Softmax Loss for Speaker Diarisation
Cambridge University（剑桥大学）
说话人识别系统现在使用从瓶颈层中的语音段生成的嵌入，这需要对未看到的说话人具有区分性。众所周知，大间隔训练可以提高对未知数据的泛化能力，并且它在此类开集问题中的应用已经非常广泛。因此，本文介绍了一种通用的方法，没有任何近似的大余量softmax损失，以提高质量的扬声器嵌入diarisation。此外，当使用大余量softmax时，提出了一种新的简单的稳定训练的方法。最后，为了对抗重叠语音的影响，使用不同的训练裕度来减少重叠语音对创建区分性嵌入的负面影响。在AMI会议语料库上的实验表明，使用大余量softmax显著提高了说话人错误率（SER）。通过以统一的方式使用损耗的所有超参数，实现了进一步的改进，相对于基线，SER降低了24.6%。然而，通过训练具有不同裕度的重叠和单个说话者语音样本，实现了最佳结果，相对于基线，总体SER降低了29.5%。
2020-07-06 cs.CL cs.LG cs.SD
Modeling Soft-Failure Evolution for Triggering Timely Repair with Low QoT Margins
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
本研究利用编码器-解码器学习框架预测软故障演化，在低 QoT 余量下提前数天触发修复，避免过早或过晚修复，从而降低修复频率与运营成本。
2022-08-30 cs.LG
High-Dimensional Gaussian Process Regression with Soft Kernel Interpolation
Department of Computing and Mathematical Sciences, California Institute of Technology（计算与数学科学部，加州理工学院）；Department of Computer Science, San Francisco State University（计算机科学部，旧金山州立大学）；Base26, CA, USA
提出 SoftKI 方法，结合 SKI 与变分诱导点方法，通过 softmax 插值实现高维数据集上的可扩展高斯过程回归，在适中维度下表现具竞争力。
2025-09-16 cs.LG stat.ML
A High-Throughput Solver for Marginalized Graph Kernels on GPU
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个通用GPU上的线性求解器的设计和优化，用于对标记图之间的边缘化图内核进行高效和高吞吐量的评估。求解器实现了预处理共轭梯度（PCG）方法来计算与两个图的张量积相关的广义拉普拉斯方程的解。为了解决当前一代GPU的指令吞吐量和内存带宽之间的差距，我们的求解器在PCG中执行矩阵向量点积运算时，在不将其存储在内存中的情况下动态地形成张量积线性系统。这种动态计算是通过在线程束中使用线程来通过称为瓦片的小正方形矩阵块协作地流式传输各个图的邻接和边缘标签矩阵来实现的，然后将其分级在寄存器和共享存储器中以供以后重用。跨线程块的线程束可以经由共享存储器进一步共享区块以增加数据重用。我们利用稀疏的图形分层存储非空的瓷砖使用坐标格式和非零元素内的每个瓷砖使用位图。此外，我们提出了一个新的分区为基础的重新排序算法聚集的非零元素的图到更少，但更密集的瓦片，以提高效率的稀疏格式。我们对各种密度的图块的图张量积原语进行了广泛的理论分析，并评估了它们在合成和真实世界数据集上的性能。我们的求解器比现有的基于CPU的求解器（如GraKeL和GraphKernels）提供了三到四个数量级的加速。求解器的功能使基于内核的学习任务能够以前所未有的规模进行。
2020-02-25 cs.DC cs.LG cs.PF
Enhancing Interpretability of Black-box Soft-margin SVM by Integrating Data-based Priors
Zhejiang University（浙江大学）
黑箱模型由于缺乏可解释性而难以应用于许多实际领域。为此，目前的工作，从黑盒模型的输入端口，提出了将基于数据的先验信息纳入黑盒软边缘SVM模型，以提高其可解释性。提出了基于数据的先验信息的概念和融合机制，在此基础上设计了可解释或部分可解释的SVM优化模型，并将优化问题转化为非线性二次规划问题求解。提出了一种从数据集中挖掘线性先验信息的算法，该算法从系统的所有输入中识别出两个合适的输入，生成一个线性表达式。最后，将所提出的可解释性增强策略应用于八个基准测试实例，以检验其有效性。
2019-02-02 cs.LG stat.ML
$p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss
Renmin Univerity of China（中国人民大学）
本文研究 $p$SVM（具有 $p$-范数铰链损失的软间隔支持向量机），推导其泛化界与对偶问题，提出广义 SMO 算法 $p$SMO，并在二分类和多分类数据集上验证了其有效性与优势。
2024-08-20 cs.LG
The Perceptron with Dynamic Margin
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
经典的感知器规则提供了一个变化的上限上的最大余量，即当前权重向量的长度除以总的更新到那个时候。要求感知器更新其内部状态时，发现一个模式的归一化的利润率不超过一定比例的动态上限，我们构造了一个新的近似最大利润率分类器称为感知器与动态利润率（PDM）。我们证明了PDM收敛在一个有限的步骤，并推导出他们的上限。我们还比较实验PDM与其他感知器类算法和支持向量机的硬利润率任务涉及线性内核，相当于2-范数软利润率。
2011-05-30 cs.LG
Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression
University of Southern California（南加州大学）；Tenyx（Tenx公司）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
提出基于非负核回归的软聚类方法用于分布外检测，大幅降低计算与存储开销，并在多个基准上提升AUROC性能。
2024-07-18 cs.LG
Use Case Point Approach Based Software Effort Estimation using Various Support Vector Regression Kernel Methods
Department of Computer Science（计算机科学系）
在软件开发生存周期的早期阶段，当需求的细节通常没有被清楚地识别时，软件工作量估计是一项关键的工作。各种优化技术有助于提高工作量估计的准确性。支持向量回归（SVR）是几种不同的软计算技术之一，有助于获得最佳估计值。SVR的思想基于在高维特征空间中计算线性回归函数，其中输入数据经由非线性函数映射。此外，SVR核方法可以应用于变换输入数据，然后基于这些变换，可以获得可能输出之间的最佳边界。本文研究工作的主要目的是利用用例点方法来估计软件工作量。用例点方法依赖于用例图来估计软件项目的规模和工作量。然后，尝试优化使用各种SVR核方法从用例点分析获得的结果，以实现更好的预测精度。
2014-01-15 cs.LG cs.SE
Quasi Linear Kernel Attention with Infinite Capacity
Chemnitz University of Technology（开姆尼茨工业大学）；University of Göttingen（哥廷根大学）
本文提出由单变量样条和多项式指数核构建的加性核，在保持无限容量的同时实现拟线性计算，并在长序列上优于现代softmax后端。
2026-09-29 cs.LG cs.NA math.NA
Additive Margin SincNet for Speaker Recognition
Universidade Federal de Pernambuco（伯南布哥联邦大学）
说话人识别是一项具有挑战性的任务，具有重要的应用，如身份验证，自动化和安全性。SincNet是一种新的基于深度学习的模型，它在解决上述任务方面取得了可喜的成果。为了训练深度学习系统，损失函数对网络性能至关重要。Softmax损失函数是深度学习方法中广泛使用的函数，但它并不是所有问题的最佳选择。对于基于距离的问题，一种新的基于Softmax的损失函数，称为附加裕度Softmax（AM-Softmax），被证明是比传统Softmax更好的选择。AM-Softmax在类之间引入了一个间隔，迫使同一类的样本彼此更接近，并最大化类之间的距离。在本文中，我们提出了一种新的说话人识别系统称为AM-SincNet，这是基于SincNet，但使用了改进的AM-Softmax层的方法。该方法在TIMIT数据集上进行了评估，与SincNet相比，误帧率提高了约40%。
2019-01-28 cs.CL cs.LG cs.NE
Fine-Grained $ε$-Margin Closed-Form Stabilization of Parametric Hawkes Processes
Samsung R&D Institute Brazil（三星研发中心巴西）
Hawkes过程作为连续时间事件流中离散事件的自激和相互激励交互建模的默认工具已经越来越受欢迎。一个最大似然估计（MLE）无约束优化过程的参数假设形式的触发内核的相应的强度函数是一个广泛的成本效益的建模策略，特别适合于数据很少和/或短序列。然而，MLE优化缺乏保证，除了强假设的触发内核的参数，并可能导致不稳定的结果parameters .In目前的工作，我们展示了如何一个简单的稳定过程中提高性能的MLE优化没有这些过于严格的假设。
2021-05-08 cs.LG stat.ML
Learning Data-adaptive Nonparametric Kernels
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Science and Technology（南京理工大学）；Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
在本文中，我们提出了一个数据自适应的非参数核学习框架，在间隔为基础的核方法。在模型建立中，给定一个初始核矩阵，一个数据自适应矩阵与两个约束施加在一个条目式计划。以无公式化策略学习这种数据自适应矩阵可以扩大类之间的差距，从而提高模型的灵活性。在我们的模型中，引入的两个约束条件是精确的（在小数据集上）或近似的（在大数据集上），这提供了一个可控的模型灵活性和复杂性之间的权衡与理论论证。在算法优化中，我们的学习框架的目标函数被证明是梯度Lipschitz连续的。因此，内核和分类器/回归学习可以通过Nesterov的加速在统一的框架中有效地优化。对于可扩展性问题，我们研究了大样本情况下模型的基于分解的方法。这种近似的有效性说明了实证研究和理论保证。在各种分类和回归基准数据集上的实验结果表明，与其他代表性的基于核学习的算法相比，我们的非参数核学习框架具有良好的性能。
2020-10-14 cs.LG stat.ML
SOCKET: SOft Collision Kernel EsTimator for Sparse Attention
Department of Computer Science, Rice University（里士大学计算机科学系）；Department of Electrical Engineering and Computer Sciences, UC Berkeley（伯克利大学电气工程与计算机科学系）
SOCKET通过引入软碰撞核估计器改进稀疏注意力，利用概率性相似性聚合替代传统二元碰撞信号，提升长上下文推理效率和内存利用率。
2026-09-29 cs.LG
Softmax $\geq$ Linear: Transformers may learn to classify in-context by kernel gradient descent
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院计算神经科学单元）
研究突破传统线性假设，发现采用非线性softmax激活的Transformers在分类任务中通过核特征空间泛函的梯度下降实现上下文学习，并具备上下文自适应学习率，展现出更强的上下文适应性。
2025-10-12 cs.LG
Quantum Advantage Seeker with Kernels (QuASK): a software framework to speed up the research in quantum machine learning
European Organization for Nuclear Research (CERN)（欧洲核子研究组织）；Università di Verona（维罗纳大学）；Data Reply s.r.l.（Data Reply有限责任公司）；Università di Trento（特伦托大学）
提出开源Python框架QuASK，支持数据预处理、量子核机器学习算法执行及结果可视化，解决了传统量子软件框架需手动集成导致代码冗长易错的问题，并支持投影核、可训练核和结构优化核等先进技术。
2023-10-23 cs.LG quant-ph
A gradient-based variable selection for binary classification in reproducing kernel Hilbert space
Seoul National University（首尔国立大学）；Korea University（高丽大学）
变量选择在高维数据分析中至关重要。虽然已经开发了各种变量选择方法，但大多数依赖于线性模型假设。提出了一种基于再生核希尔伯特空间（RKHS）的大间隔分类器的非参数变量选择方法。我们提出了一种基于梯度的大间隔分类器的表示，然后通过组套索惩罚来正则化梯度函数，以获得自然导致变量选择的稀疏梯度。提出了分组优化下降算法（GMD，Yang和Zou，2015），以有效地解决具有大量参数的所提出的问题。我们采用强顺序规则（Tibshirani等人，2012年），以促进调整程序。该方法的选择一致性是通过获得估计分类器的风险界及其梯度来建立的。最后，我们通过仿真和实际数据说明了所提出的方法有前途的性能。
2021-09-29 cs.LG stat.ML
Large-Margin Classification with Multiple Decision Rules
二元分类是一个常见的统计学习问题，其中模型是在一组协变量上估计的，用于指示两个类中的一个的成员资格的一些结果。在文献中，存在硬分类和软分类的区别。在软分类中，条件类概率被建模为协变量的函数。相比之下，硬分类方法只针对最佳预测边界。虽然硬分类和软分类方法已被广泛研究，但没有做太多的工作来比较硬分类和软分类的实际任务。在本文中，我们提出了一系列的统计学习问题，跨越硬和软分类任务的基础上拟合多个决策规则的数据。通过这样做，我们揭示了一个新的收集越来越复杂的学习任务。我们研究的问题使用的框架大利润分类器和一类分段线性凸代理人，我们推导出的统计特性和相应的次梯度下降算法。最后，我们将我们的方法应用于模拟设置和来自阿尔茨海默病神经成像倡议（ADNI）研究的磁共振成像（MRI）数据集。
2014-11-19 cs.LG stat.ML
Acoustic Scene Classification Based on a Large-margin Factorized CNN
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
在本文中，我们提出了一个声学场景分类框架的基础上，大间隔分解卷积神经网络（CNN）。我们采用因式分解的CNN通过将2D核分解为两个独立的1D核来学习时频域中的模式。因子分解核导致学习两种模式的主要成分：长期环境和短期事件声音，这是音频场景分类的关键模式。在训练我们的模型时，我们考虑基于三重采样的损失函数，使得来自不同环境的相同音频场景样本最小化，同时不同音频场景样本最大化。利用该损失函数，将来自同一音频场景的样本独立于环境进行聚类，从而在未知环境下得到具有更好泛化能力的分类器。我们使用DCASE挑战2019 task1A的数据集评估了我们的音频场景分类框架。实验结果表明，该算法提高了基线网络的性能，并减少了三分之一的参数数量。此外，性能增益更高的未知数据，这表明该算法具有更好的泛化能力。
2019-10-14 cs.LG cs.SD eess.AS
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；National Institute of Informatics（国立信息学研究所）
在实际应用中，树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则，软树使用梯度方法来训练，其中整个分裂操作以可微形式制定。虽然近年来，这种软树的集合越来越多地被使用，但很少有理论工作来理解它们的行为。通过对无限软树系综的研究，引入并研究了树神经切线核（TNTK），为研究无限软树系综的行为提供了新的思路.使用TNTK，我们从理论上确定了几个非平凡的属性，如全局收敛的训练，不经意的树结构的等价性，和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Sensing-Aware Kernel SVM
Boston University（波士顿大学）
我们提出了一种新的方法来设计内核的支持向量机（SVM）时，类标签是通过一个潜在的状态和观测的似然函数的状态（感测模型）是可用的。我们证明了贝叶斯最优决策边界是一个超平面下的映射定义的似然函数。将其与最大裕度原则相结合，产生用于以最佳方式利用感测模型的知识的SVM的内核。我们推导出最佳内核的词袋（BoWs）传感模型，并证明其优越的性能比其他内核在文档和图像分类任务。这些结果表明，这种最佳的感知感知核支持向量机可以匹配相当复杂的国家的最先进的方法的性能。
2014-03-13 cs.LG
Max-Margin Invariant Features from Transformed Unlabeled Data
Carnegie Mellon University（卡内基梅隆大学）
研究对数据的常见变换不变的表示对于学习是重要的。大多数技术都集中在昂贵的优化框架内实现的局部近似不变性，缺乏明确的理论保证。在本文中，我们研究内核是不变的酉群，同时有理论保证，在解决重要的实际问题的不可用的转换版本的标记数据。我们称之为无标记转换问题，它是半监督学习和一次性学习的一种特殊形式。我们提出了一个理论上的动机替代方法不变核SVM的基础上，我们提出最大利润不变特征（MMIF）来解决这个问题。作为一个例子，我们设计了一个人脸识别的框架，并在一个包含153，000张图像的大规模半合成数据集上展示了我们的方法的有效性，以及一个新的具有挑战性的野生标记人脸（LFW）协议，同时表现出强大的基线。
2017-10-24 cs.AI cs.CV cs.LG
Margin in Abstract Spaces
研究间隔学习在任意度量空间中的可学习性，发现当间隔足够大时，仅依赖三角不等式即可学习，并揭示了可学习性的阈值，同时证明并非所有间隔可学习类都能嵌入到线性空间中。
2026-06-25 cs.LG math.FA
Learning Towards the Largest Margins
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Tsinghua University（清华大学）
在基于深度学习的分类中，特征表示的主要挑战之一是设计表现出强区分能力的适当损失函数。经典的softmax损失并不明确鼓励特征的区分学习。一个流行的研究方向是将利润纳入公认的损失，以加强额外的类内紧致性和类间可分性，然而，这是通过启发式方法开发的，而不是严格的数学原则。在这项工作中，我们试图通过制定原则性的优化目标来解决这个限制，即向最大利润学习。具体地说，我们首先定义类间隔作为类间可分性的度量，样本间隔作为类内紧性的度量。因此，为了鼓励特征的区别性表示，损失函数应该促进类和样本的最大可能裕度。此外，我们推导出一个广义的边际softmax损失，得出现有的基于边际的损失的一般结论。这个原则性框架不仅提供了新的视角来理解和解释现有的基于保证金的损失，而且还提供了新的见解，可以指导新工具的设计，包括样本保证金正则化和类平衡情况下的最大保证金softmax损失，以及类不平衡情况下的零质心正则化。实验结果表明，我们的策略在各种任务上的有效性，包括视觉分类，不平衡分类，人的重新识别，人脸验证。
2022-06-23 cs.CV cs.LG
Multiplicative updates For Non-Negative Kernel SVM
University of New Mexico（新墨西哥大学）；Technical University of Denmark（丹麦技术大学）；Mind Research Network（心智研究网络）
我们提出了乘法更新解决硬和软边缘支持向量机（SVM）与非负内核。它们作为非负矩阵分解的更新的自然扩展。不需要额外的参数设置，例如选择学习、速率。实验表明，快速收敛到良好的分类。我们分析了更新的渐近收敛速度，并建立了紧界.我们测试了几个数据集上使用各种非负内核的性能，并报告等效的泛化误差的标准SVM。
2009-02-24 cs.LG
Weisfeiler-Leman at the margin: When more expressivity matters
University of Kaiserslautern-Landau（凯撒斯劳滕-兰道大学）；RWTH Aachen University（亚琛工业大学）；Google Research（谷歌研究院）；University of Antwerp（安特卫普大学）
本文研究图神经网络表达力与泛化性能的关系，利用边际理论分析子图增强的1-WL和MPNN，证明梯度流趋向最大边际解，并提出具有可证明泛化性质的架构变体。
2024-05-28 cs.DM cs.LG cs.NE
Multi-task and Lifelong Learning of Kernels
Institute of Science and Technology Austria（奥地利科学技术学院）；University of Waterloo（滑铁卢大学）
我们考虑了一个问题的学习核SVM分类中使用的多任务和终身的情况下，并提供泛化界的大利润分类器的错误。我们的研究结果表明，在用于学习的核族的温和条件下，同时解决多个相关任务比单个任务学习更有益。特别是，随着观察到的任务的数量的增长，假设在所考虑的内核家族中存在一个在所有任务上产生低近似误差的内核，则与学习这样的内核相关联的开销消失，并且当将该良好内核给予学习者时，复杂度收敛到学习的复杂度。
2016-08-18 cs.LG stat.ML
KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning
School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
深度神经网络（DNN）在学习新任务时可能会忘记先前任务的知识，这被称为\textit{catastrophic forgetting}。虽然最近的持续学习方法能够缓解玩具大小的数据集上的灾难性问题，但在将其应用于现实世界的问题时，仍有一些问题有待解决。最近，提出了基于掩码的快速学习方法（例如，piggyback \cite{mallya2018piggyback}），以通过以快速方式仅学习二进制元素掩码来解决这些问题，同时保持骨干模型固定。然而，二进制掩码对于新任务具有有限的建模能力。最近的工作\cite{hung2019compacting}提出了一种基于压缩-增长的方法（CPG），通过部分训练骨干模型来实现新任务的更好准确性，但具有更高的训练成本，这使得它不可能部署到流行的最先进的边缘/移动学习中。本研究的主要目标是在持续学习环境下同时实现快速、高精度的多任务适应。因此，出于动机，我们提出了一种新的训练方法称为\textit{kernel-wise Soft Mask}（KSM），它学习一个内核明智的混合二进制和实值软掩模为每个任务，同时使用相同的骨干模型。这种软掩码可以被视为二进制掩码和适当缩放的实值张量的叠加，其提供了更丰富的表示能力，而无需低级内核支持以满足低硬件开销的目标。我们在多个基准数据集上验证了KSM与最近最先进的方法（例如Piggyback，Packnet，CP…
2020-09-11 cs.AI cs.CV cs.LG
Divergence-kernel method for linear responses of densities and generative models
Department of Mathematics, University of California, Irvine（数学系，加州大学伊文斯顿分校）
本文提出偏差核方法用于生成模型的线性响应，通过KL散度作为训练目标，降低内存成本并提升模型性能。
2025-12-28 cs.LG math.DS math.PR
Flash-GMM: A Memory-Efficient Kernel for Scalable Soft Clustering
IBM Research（IBM研究院）
提出Flash-GMM融合Triton内核，在单GPU通次中高效计算高斯混合模型，通过避免实例化完整责任矩阵，实现20倍加速并支持比先前大100倍的数据集训练，集成到IVF粗量化器中提升ANN搜索性能。
2026-06-09 cs.DB cs.IR cs.LG
