SAFE: Spectral Evolution Analysis Feature Extraction for Non-Stationary Time Series Prediction
University of Waterloo(滑铁卢大学)
本文提出了一种实用的方法来检测时间序列预测的非平稳性。这种方法被称为SAFE,其工作原理是通过距离函数监测时间序列的谱内容的演变。该方法被设计为通过在非平稳性出现时通知在线预测器执行必要的自适应来与最先进的机器学习方法实时的结合工作。我们还提出了一个算法,按比例包括一些过去的数据在适应过程中,以克服灾难性遗忘问题。为了验证我们的假设并测试我们方法的有效性,我们在涉及人工和真实世界数据集的方法的不同元素中进行了全面的实验。实验表明,该方法在保持较高预测性能的同时,能够显著节省处理器或GPU周期的计算资源。
2018-05-16 cs.AI cs.LG
Catching a Moving Subspace: Low-Rank Bandits Beyond Stationarity
H. Milton Stewart School of Industrial and Systems Engineering(H. Milton Stewart工业与系统工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文研究了在子空间漂移的情况下,低秩线性上下文老虎机的问题,提出了一种新的算法SPSC,在保持子空间变化的同时,实现了基于秩的动态遗憾率。
2026-05-18 cs.AI cs.LG stat.ML
Endmember Extraction on the Grassmannian
Colorado State University(科罗拉多州立大学)
端元提取在各种数据分析问题中起着重要的作用,因为端元通常对应于表示某些特征的最纯或最佳代表的数据。识别端元然后可以用于进一步的识别和分类任务。在具有高维数据的设置中,例如高光谱图像,考虑作为子空间的端元可能是有用的,因为它们能够捕获签名的更大范围的变化。因此,在这种设置中的端元提取问题转化为寻找格拉斯曼点集的凸包的顶点。在存在噪声的情况下,可能不太清楚是否应将点视为顶点。在本文中,我们提出了一种算法来提取端元的格拉斯曼,确定感兴趣的子空间,位于附近的边界的一个凸包,并演示了使用该算法的合成的例子和220光谱波段AVIRIS印度松高光谱图像。
2018-07-03 cs.CV cs.LG eess.IV
Kernel Multivariate Analysis Framework for Supervised Subspace Learning: A Tutorial on Linear and Kernel Multivariate Methods
特征提取和降维是信号处理和分析等许多科学领域的重要任务。这些技术的相关性正在增加,因为当前的传感器设备被开发为具有更高的分辨率,并且涉及多模式数据源的问题变得更加普遍。大量的特征提取方法可在文献中集体分组在多变量分析(MVA)领域下。本文对主成分分析(PCA)、偏最小二乘(PLS)、典型相关分析(CCA)和正交归一化PLS(OPLS)等方法进行了统一处理,并利用再生核Hilbert空间理论导出了它们的非线性推广。我们还回顾了它们与其他分类和统计依赖估计方法的联系,并介绍了一些最近的发展,以处理大规模和小规模问题的极端情况。为了说明这些方法在分类和回归问题中的广泛适用性,我们分析了它们在公开数据集基准中的性能,并特别注意涉及音乐流派预测音频处理和地球和气候监测高光谱卫星图像的具体实际应用。
2013-10-18 cs.LG stat.ML
Contextual Bandit with Adaptive Feature Extraction
Columbia University(哥伦比亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑一个在线的决策设置被称为上下文强盗问题,并提出了一种方法,提高上下文强盗性能,使用自适应特征提取(表示学习)基于在线聚类。我们的方法首先对未标记的上下文历史进行离线预训练(我们的方法可以利用它,但标准的上下文强盗不能利用它),然后在线选择和调整编码器。具体而言,给定输入样本(上下文),所提出的方法选择最合适的编码函数来提取成为上下文强盗输入的特征向量,并基于上下文和反馈(奖励)更新强盗和编码函数。我们在各种数据集上的实验,以及在几种静态和非静态环境中的实验,表明了所提出的自适应表示学习比基于“原始”输入上下文的标准上下文强盗具有明显的优势。
2020-09-14 cs.AI cs.LG stat.ML
Multi-view Feature Extraction based on Dual Contrastive Head
China Agricultural University(中国农业大学)
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法,近年来引起了广泛的关注。大多数基于CL的方法仅从样本水平构建。本文提出了一种新的基于双对比度头的多视角特征提取方法。结构级CL使潜在子空间结构在任意两个交叉视图中保持一致,从而有助于样本级CL更有效地提取区分性特征。进一步证明了结构级CL与互信息、概率内散射和概率间散射之间的关系,为该算法的优良性能提供了理论支持。最后,在六个真实数据集上的数值实验表明,该方法与现有方法相比具有更好的性能.
2023-02-08 cs.CV cs.LG
Fast, Robust and Non-convex Subspace Recovery
University of Minnesota(明尼苏达大学)
本文提出了一种快速非凸鲁棒子空间恢复算法。所考虑的数据集包括围绕高维环境空间的低维子空间绘制的内点,以及可能不位于该子空间附近的大部分离群点。所提出的算法,我们称之为快速中值子空间(FMS),旨在鲁棒地确定这些数据集的底层子空间,同时具有较低的计算复杂性比现有的方法。我们证明了FMS迭代收敛到一个稳定点。此外,在一个特殊的数据模型,FMS收敛到一个点,这是接近全局最小的压倒性的概率。在此模型下,我们证明了迭代复杂性是全局有界的和局部$r$ -线性的。后一个定理适用于任何固定的离群值分数(小于1)和极限点与全局最小值之间的任何固定的正距离。模拟数据和真实数据的数值实验表明,该方法具有较好的计算速度和精度。
2016-06-09 cs.CV cs.LG stat.AP
Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples
China Agricultural University(中国农业大学)
在这项研究中,我们提出了一个特征提取框架的基础上对比学习与自适应积极和消极的样本(CL-FEFA),适用于无监督,监督和半监督的单视图特征提取。CL-FEFA从特征提取的结果中自适应地构造正样本和负样本,使其更加合适和准确。然后,根据InfoNCE损失的大小,在前两次正样本和负样本的基础上重新提取鉴别特征,使类内样本更加紧凑,类间样本更加分散。同时,利用子空间样本的潜在结构信息动态地构造正样本和负样本,可以使我们的框架对噪声数据具有更强的鲁棒性。此外,CL-FEFA还考虑了正样本之间的互信息,即潜在结构中的相似样本,这为其在特征提取中的优势提供了理论支持。最后的数值实验证明,该框架与传统的特征提取方法和对比学习方法相比具有很强的优势。
2022-01-11 cs.AI cs.CV cs.LG
Learning Instance-Adaptive Low-Rank Orthogonal Subspaces for Clothes-Changing Person Re-Identification
Dongwoo Kim(金东吾);Tae-Kyun Kim(金泰勋)
提出Ortho-ReID方法,通过从VLM文本描述中显式建模低秩服装子空间,并利用几何约束提取服装不变特征,在多个基准数据集上取得最优性能。
2026-06-11 cs.CV cs.LG
Self-Representation Based Unsupervised Exemplar Selection in a Union of Subspaces
University of California, Berkeley(加州大学伯克利分校);The Johns Hopkins University(约翰斯·霍普金斯大学);Apple Inc(苹果公司);Lehigh University(理海大学)
在数据集摘要和信息抽取等广泛的应用中,从未标记的数据集中找到一个小的代表集是一个核心问题。经典的样本选择方法,如$k$ -medoids的工作假设下,数据点是接近一些集群的质心,并不能处理的情况下,数据位于接近一个并集的子空间。本文提出了一种新的样本选择模型,搜索一个子集,最好的重建所有数据点的表征系数的$\ell_1$范数测量。几何上,该子集最好地覆盖了由子集的Minkowski泛函测量的所有数据点。为了有效地解决我们的模型,我们引入了一个最远的第一搜索算法,迭代地选择最差的代表点作为样本。当数据集是从一个独立的子空间的联盟,我们的方法是能够选择足够多的代表从每个子空间。我们进一步开发了一个基于样本的子空间聚类方法,该方法对不平衡数据具有鲁棒性,对大规模数据具有高效性。此外,我们表明,在选定的样本上训练的分类器(当它们被标记时)可以正确地对其余的数据点进行分类。
2020-06-07 cs.CV cs.LG
A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees
University of Minnesota(明尼苏达大学)
本文研究了非凸锥优化问题的近似二阶稳定点(SOSP),该稳定点使仿射子空间与凸锥交点上的二次可微函数最小.特别是,我们提出了一个牛顿共轭梯度(Newton-CG)为基础的障碍方法找到一个$(ε,\sqrtε)$ -SOSP的这个问题。我们的方法不仅是可实现的,而且还实现了${\cal O}(ε^{-3/2})$的迭代复杂度,这匹配的最佳已知的迭代复杂度的二阶方法找到一个$(ε,\sqrtε)$ -SOSP的无约束非凸优化。由${\cal O}(ε^{-3/2})$ Cholesky分解和$\widetilde{\cal O}(ε^{-3/2}\min\{n,ε^{-1/4}\})$其他基本运算组成的运算复杂度也为我们的方法建立。
2022-10-11 cs.LG cs.NA math.NA
Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted
University of Edinburgh(爱丁堡大学);Samsung AI Research Centre, Cambridge(三星剑桥人工智能研究中心)
本文发现扩散模型中的记忆现象集中在一个可定位的共享子空间,并提出一种通过修剪该子空间权重来缓解记忆、抵御数据提取攻击的事后模型编辑方法。
2024-06-01 cs.AI cs.CV cs.LG