Generalized Reference Kernel With Negative Samples For Support Vector One-class Classification
Faculty of Information Technology, University of Jyväskylä(信息技术学院,于韦斯屈耶尔大学)
本文提出带有负样本的广义参考核(GRKneg)用于一类支持向量机,在少量负样本下通过改进核函数提升分类性能,并优于标准OC-SVM和二元SVM。
2025-06-17 cs.LG
Complex Decomposition of the Negative Distance kernel
Luzerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Goethe University Frankfurt am Main(法兰克福歌德大学)
支持向量机(Support Vector Machine,SVM)已经成为文本分类的一种非常流行的机器学习方法。其中一个原因与现有内核的范围有关,这些内核允许对不可线性分离的数据进行分类。线性,多项式和RBF(高斯径向基函数)核是常用的,并在我们的研究中作为比较的基础。我们展示了如何通过复数导出二次幂核(PK)的原始形式-也称为负欧几里德距离核(NDK)。本文以杜威文档分类法(DDC)为目标方案,在文本分类的框架下对NDK进行了改进。我们的评估表明,功率内核产生的F分数与参考内核相当,但-除了线性内核-计算速度更快。最后,我们展示了如何扩展NDK方法,包括马氏距离。
2016-01-05 cs.LG
NNK-Means: Data summarization using dictionary learning with non-negative kernel regression
University of Southern California(南加州大学)
越来越多的系统是通过收集大量的数据,然后直接使用所获得的数据优化系统参数来设计的。这通常是在不分析数据集结构的情况下完成的。随着任务复杂性、数据大小和参数都增加到数百万甚至数十亿,数据汇总正成为一个重大挑战。在这项工作中,我们研究通过字典学习~(DL)的数据摘要,利用最近引入的非负核回归(NNK)图的属性。我们提出的NNK均值,与以前的DL技术,如kSVD,学习几何字典与原子是输入数据空间的代表。实验表明,与kMeans和kSVD的线性和内核版本相比,使用NNK-Means的摘要可以提供更好的类分离。此外,NNK均值是可扩展的,运行时复杂度类似于kMeans。
2022-06-13 cs.LG
Soft Partition-based KAPI-ELM for Multi-Scale PDEs
CREATIS Biomedical Imaging Laboratory INSA, CNRS UMR 5220, Inserm, Universit´e Lyon 1(CREATIS生物医学成像实验室,INSA,CNRS UMR 5220,Inserm,里昂大学)
本文提出了一种基于软分区的KAPI-ELM方法,用于高效求解多尺度PDEs,通过自适应核参数实现高精度且无需复杂架构的解决方案。
2026-01-13 cs.LG
Out-of-Distribution Detection through Soft Clustering with Non-Negative Kernel Regression
University of Southern California(南加州大学);Tenyx(Tenx公司);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
提出基于非负核回归的软聚类方法用于分布外检测,大幅降低计算与存储开销,并在多个基准上提升AUROC性能。
2024-07-18 cs.LG
Heterogeneous Metamaterials Design via Multiscale Neural Implicit Representation
Department of Mechanical Engineering(机械工程系);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于多尺度神经隐式表示的超材料设计框架,通过神经网络学习连续双尺度表示并利用兼容性损失保证单元胞连接,无需预定义数据集即可生成任意高分辨率异质超材料设计。
2025-11-04 cs.LG
Kernel Treelets
University of California Santa Barbara(加州大学圣巴巴拉分校)
提出了一种新的层次聚类方法。它结合了Trevet,一个特定的多尺度分解的数据,与再生核希尔伯特空间上的投影。所提出的方法,称为核Trexing(KT),有效地替代了相关系数矩阵Trexing中使用的对称,半正定矩阵有效地构建从核函数。与大多数要求数据集为数值的聚类方法不同,KT可以应用于更一般的数据,并直接在特征空间中基于数据产生多分辨率序列。通过实例说明了KT在聚类分析中的有效性和潜力。
2018-12-12 cs.LG stat.ME stat.ML
Conditional Contrastive Learning with Kernel
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
条件对比学习框架考虑了条件采样过程,该过程构造以特定变量为条件的正或负数据对。例如,公平对比学习从相同的性别(以敏感信息为条件)构建负对,这反过来又减少了来自学习的表示的不期望的信息;弱监督对比学习构建具有相似注释属性的正对(以辅助信息为条件),这反过来又被纳入表示中。虽然条件对比学习可以实现许多应用,但如果我们无法获得条件变量的某些值的足够数据对,则条件采样过程可能具有挑战性。本文提出了带核的条件对比学习(CCL-K),将现有的条件对比目标转换为替代形式,以减轻数据不足的问题。CCL-K不是根据条件变量的值对数据进行采样,而是使用核条件嵌入运算符,该运算符从所有可用数据中采样数据,并根据条件变量值之间的核相似性为每个采样数据分配权重。我们使用弱监督,公平和硬否定对比学习进行实验,显示CCL-K优于最先进的基线。
2022-03-15 cs.LG
MSA-GCN:Multiscale Adaptive Graph Convolution Network for Gait Emotion Recognition
Chongqing University(重庆大学);Nanning Normal University(南宁师范大学);University of Technology Sydney(悉尼科技大学)
步态情感识别在智能系统中起着至关重要的作用。大多数现有的方法通过关注局部动作来识别情绪。但是,他们忽略了不同情绪在时域上的有效距离是不同的,而行走过程中的局部动作是相当相似的。因此,情绪应该由全局状态来表示,而不是间接的局部行为。为了解决这些问题,本文提出了一种新的多尺度自适应图卷积网络(MSA-GCN),通过构造动态时域感受野和设计多尺度信息聚合来识别情绪。在该模型中,设计了一种自适应选择性时空图卷积,动态选择卷积核,以获得不同情绪的软时空特征。此外,设计了一种跨尺度映射融合机制(CSFM)来构造自适应邻接矩阵,以增强信息交互,减少冗余。与以往的最先进的方法相比,该方法在两个公共数据集上实现了最佳性能,提高了2%的mAP。我们还进行了广泛的消融研究,以显示我们的方法中不同组件的有效性。
2022-09-19 cs.CV cs.LG
Non-Negative Kernel Sparse Coding for the Classification of Motion Data
CITEC cluster of excellence(CITEC卓越集群);Bielefeld University(比勒费尔德大学)
我们感兴趣的运动数据分解成一个稀疏的线性组合的基函数,使有效的数据处理。我们结合了两个突出的框架:动态时间规整(DTW),它提供了特别成功的成对运动数据比较,和稀疏编码(SC),它使矢量数据自动分解成一个稀疏的线性组合的基本向量。我们对SC进行了如下增强:一种有效的核化,其将其应用领域扩展到诸如DTW提供的一般相似性数据,以及其对信号和基向量的非负线性表示的限制,以保证有意义的字典。运动捕捉基准的实证评估表明,我们的框架解释和歧视的关注的有效性。
2019-03-12 cs.LG stat.ML
Kernel Methods for Unobserved Confounding: Negative Controls, Proxies, and Instruments
MIT Economics(麻省理工学院经济系)
阴性对照是在存在不可测量的混杂因素的情况下了解治疗与结局之间因果关系的策略。但是,如果有两个辅助变量可用,则可以确定处理效应:阴性对照处理(对实际结果没有影响)和阴性对照结果(不受实际处理的影响)。这些辅助变量也可以被看作是一组传统控制变量的代理,它们与工具变量有相似之处。我提出了一个家庭的算法,基于核岭回归学习非参数处理效应与阴性对照。实例包括剂量反应曲线、具有分布偏移的剂量反应曲线和异质性处理效应。数据可以是离散的或连续的,以及低维、高维或无限维。我证明一致的一致性,并提供有限的样本收敛率。我估计吸烟对婴儿出生体重的剂量反应曲线调整未观察到的混杂,由于家庭收入,使用的数据集,在宾夕法尼亚州的单胎出生在1989年和1991年之间。
2023-03-23 cs.LG econ.EM stat.ML
Kernel Extreme Learning Machine Optimized by the Sparrow Search Algorithm for Hyperspectral Image Classification
China West Normal University(西华师范大学)
为提高高光谱图像分类算法的分类性能和泛化能力,采用多尺度全变分(MSTV)提取光谱特征,局部二值模式(LBP)提取空间特征,特征叠加得到高光谱图像融合特征。采用一种新的具有高收敛性和强全局搜索能力的群体智能优化方法--麻雀搜索算法(SSA)对核极限学习机(KELM)的核参数和正则化系数进行优化。综上所述,本文提出了一种多尺度融合特征的高光谱图像分类方法(MLS-KELM)。选取印第安松、帕维亚大学和休斯顿2013年数据集对MLS-KELM的分类性能进行了验证,并将该方法应用于ZY 1 - 02 D高光谱数据。实验结果表明,MLS-KELM具有较好的分类性能和泛化能力,在小样本情况下具有较强的鲁棒性。
2022-04-03 cs.CV cs.LG
Data-driven discovery of multiscale chemical reactions governed by the law of mass action
Michigan State University(密歇根州立大学);Peking University(北京大学);Tsinghua University(清华大学)
在本文中,我们提出了一种数据驱动的方法来发现由质量作用定律控制的多尺度化学反应。首先,我们使用一个单一的矩阵来表示化学计量系数的反应物和产品在一个系统中没有催化反应。矩阵中的负项表示反应物的化学计量系数,正项表示产物的化学计量系数。其次,我们发现传统的优化方法在学习多尺度化学反应时,往往会陷入局部极小,无法找到真正的解。为了克服这一困难,我们提出了一个部分参数冻结(PPF)技术,逐步确定网络参数,通过使用的事实,化学计量系数是整数。该方法在训练过程中逐步降低搜索空间的维数,最终得到全局最小解。经典的Michaelis-Menten动力学、氢氧化反应和简化的GRI-3.0机制的数值实验验证了该算法在学习多尺度化学反应方面的良好性能。代码可在\url{https://github.com/JuntaoHuang/multiscale-chemical-reaction}上获得。
2021-09-26 cs.LG cs.NA math.NA
Neighborhood and Graph Constructions using Non-Negative Kernel Regression
University of Southern California(南加州大学)
本文将邻域构建建模为稀疏信号逼近问题,提出非负核回归(NNK)算法,实现自适应邻居选择,并在图构建和局部机器学习任务中表现出更强鲁棒性与性能。
2023-04-16 cs.LG stat.ML
Supervising Nyström Methods via Negative Margin Support Vector Selection
Princeton University(普林斯顿大学)
Nyström方法是基于可扩展内核学习的流行技术。他们近似显式的,低维特征映射的核函数从成对比较与训练数据。然而,在分类/回归问题中,Nyström方法通常在没有训练标签提供监督的情况下应用。这导致与模型中随机选择的训练样本进行成对比较。相反,这项工作研究了一种监督Nyström方法,该方法选择了机器学习模型成功的关键样本子集。特别地,我们通过负间隔标准选择Nyström支持向量,并创建更适合数据分类任务的显式特征映射。在六个数据集上的实验结果表明,在不增加无监督技术复杂度的情况下,我们的方法可以显着提高通过核近似方法实现的分类性能,并减少达到或超过全维核机器性能所需的特征数量。
2018-05-18 cs.LG stat.ML
Posterior Sampling Based on Gradient Flows of the MMD with Negative Distance Kernel
Technische Universität Berlin(柏林工业大学);University College London(伦敦大学学院);Humboldt-Universität zu Berlin(柏林洪堡大学)
提出基于带负距离核的MMD条件流进行后验采样与条件生成,利用离散Wasserstein梯度流逼近联合分布并证明其误差界限,在图像生成与多种逆问题中验证了方法的有效性。
2024-03-21 cs.LG math.OC math.PR
QDC: Quantum Diffusion Convolution Kernels on Graphs
CashApp(现金应用)
本研究提出基于量子粒子传播机制的图卷积核QDC,通过顶点占据关联重连图结构,并结合传统拉普拉斯算子构建多尺度变体,在基准数据集上提升了预测性能。
2023-07-20 cs.LG quant-ph
Data-driven Learning of Interaction Laws in Multispecies Particle Systems with Gaussian Processes: Convergence Theory and Applications
School of Sciences, Great Bay University(科学学院);Department of Mathematics, University of California, Santa Barbara(数学系)
本文提出一种高斯过程框架,从轨迹数据中学习多物种粒子系统的交互核,建立了非参数贝叶斯设定下的严格统计保证,统一并推广了先前的单物种理论。
2025-11-03 cs.LG cs.NA math.NA
Data driven modeling for self-similar dynamics
School of Systems Science, Beijing Normal University(北京师范大学系统科学学院);Swarma Research(斯沃玛研究院)
本文提出一个融入自相似性先验知识的多尺度神经网络框架,用于自相似动力学建模,可提取尺度不变核、识别幂律指数,并在Ising model上验证了临界指数与理论一致。
2024-03-25 cond-mat.stat-mech cs.LG
Flux-form spatiotemporal neural operators for coarse-grained dynamics of multiscale PDEs
The Hong Kong University of Science and Technology(香港科技大学)
该研究针对多尺度PDE粗粒化动力学,提出通量型时空神经算子,结合傅里叶卷积与因果时间算子,嵌入通量型归纳偏置,经三类算例验证可实现稳定高保真的长时程自回归预测。
2026-08-20 cs.LG math.AP nlin.CD
Smoothed Distance Kernels for MMDs and Applications in Wasserstein Gradient Flows
TU Chemnitz(开姆尼茨工业大学);TU Berlin(柏林工业大学)
针对负距离核非光滑导致经典理论失效的问题,本文通过一维平滑加Riemann-Liouville分数阶积分变换构建了兼具其优良性质且利普希茨可微的新核,在梯度下降中效果相当且有理论保障。
2025-10-22 cs.LG math.FA math.PR
Characteristic kernels on Hilbert spaces, Banach spaces, and on sets of measures
University of Bern(伯尔尼大学)
我们提出了一类新的正定核的非标准空间,是整体严格正定或特征。特别地,我们讨论了可分希尔伯特空间上的径向核,并在Banach空间和强负型度量空间上引入了广泛的核。一般的结果是用来给明确类的核可分离的$L^p$空间和措施集。
2022-06-15 cs.LG math.FA math.ST