Detecting Nonlinear Causality in Multivariate Time Series with Sparse Additive Models
提出了一种利用稀疏加性模型（SpAM）检测多维离散时间序列中非线性因果关系的非参数方法。我们发现，当输入到SpAM是一个$β$混合时间序列，该模型可以拟合的线性组合的一组B-样条基，然后解决一组套索型优化问题的非凸正则化的每个未知函数。理论上，我们刻画了所提出的稀疏估计在函数估计和模型选择中的预言统计性质。数值上，我们提出了一个有效的路径迭代收缩阈值算法（PISTA），驯服的非凸性，并保证线性收敛到所需的稀疏估计的高概率。
2018-04-26 cs.LG stat.ME stat.ML
Dictionary Learning and Sparse Coding-based Denoising for High-Resolution Task Functional Connectivity MRI Analysis
Harvard University（哈佛大学）；School of Engineering and Applied Sciences (SEAS)（工程与应用科学学院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
我们提出了一种新的去噪框架的任务功能磁共振成像（tfMRI）数据，通过字典学习和稀疏编码（DLSC）描绘高分辨率的空间模式的大脑功能连接。为了解决基于DLSC的无监督fMRI研究的局限性，我们在学习步骤中利用任务范式的先验知识来训练数据驱动的字典并对稀疏表示建模。我们将所提出的基于DLSC的方法应用于人类连接组计划（HCP）运动tfMRI数据集。对躯体运动神经网络中小脑神经回路功能连通性的研究表明，与基于时间非局部均值（tNLM）的去噪方法以及不去噪的情况相比，基于DLSC的去噪框架可以显著改善突出的连通性模式，这在运动区内是一致的，具有神经科学意义。实验结果表明，该方法可以为高分辨率的功能连通性分析提供重要的基础，为fMRI预处理提供了一种更好的方法。
2017-07-21 cs.LG stat.ML
Learning Sparse Nonlinear Dynamics via Mixed-Integer Optimization
Massachusetts Institute of Technology（麻省理工学院）
直接从数据中发现复杂动力系统的控制方程是科学机器学习的核心问题。近年来，基于启发式稀疏回归方法的非线性动力学稀疏辨识（SINDy）框架已成为学习简约模型的主要工具。我们提出了一个精确的配方的SINDy问题，使用混合整数优化（MIO）解决稀疏约束回归问题，可证明的最优性在几秒钟内。在大量的正则常微分方程和偏微分方程上，我们说明了我们的方法在准确的模型发现方面的巨大改进，同时具有更高的样本效率，对噪声具有鲁棒性，并且在适应物理约束方面具有灵活性。
2022-06-01 cs.LG cs.SY eess.SY
Sparse Identification of Nonlinear Dynamical Systems via Reweighted $\ell_1$-regularized Least Squares
University of Colorado（科罗拉多大学）
提出了一种迭代稀疏正则化回归方法，用于从噪声状态测量中恢复非线性动力系统的控制方程。该方法受到{ \it}[Brunton et al.，PNAS，113（15）（2016）3932-3937]}，其依赖于两个主要假设：状态变量是已知的{ \it先验}，并且控制方程使其自身适合于状态变量的（非线性）基础中的稀疏线性展开。这项工作的目的是提高的准确性和鲁棒性的SINDy状态测量噪声的存在。为此，开发了重新加权的$\ell_1$ -正则化最小二乘求解器，其中正则化参数选自帕累托曲线的角点。使用加权$\ell_1$ -范数进行正则化-而不是标准的$\ell_1$ -范数-背后的想法是为了更好地促进控制方程恢复中的稀疏性，从而减轻状态变量中噪声的影响。我们还提出了一种方法来恢复单一的物理约束状态测量。通过几个著名的非线性动力系统的例子，我们证明经验的准确性和鲁棒性的重新加权$\ell_1$ -正则化最小二乘策略相对于状态测量噪声，从而说明其可行性的广泛的潜在应用。
2020-05-27 cs.LG stat.ML
Sparse Nonlinear Regression: Parameter Estimation and Asymptotic Inference
Princeton University（普林斯顿大学）；Israel Institute of Technology（以色列理工学院）；Rutgers University（罗格斯大学）
研究稀疏非线性回归的参数估计和渐近推断。更具体地说，我们假设数据由$y = f( x^\top β^* ) + ε$给出，其中$f$是非线性的。为了恢复$β^*$，我们提出了一个$\ell_1$正则化最小二乘估计。与经典的线性回归不同，由于$f$的非线性，相应的优化问题是非凸的。尽管非凸性，我们证明了在温和的条件下，目标的每一个稳定点享有最佳的统计收敛速度。此外，我们提供了一个有效的算法，可证明收敛到一个稳定点。我们还访问所获得的估计的不确定性。具体而言，基于任何平稳点的目标，我们构造有效的假设检验和置信区间的高维参数$β^*$的低维组件。详细的数值结果支持我们的理论。
2015-11-14 cs.IT cs.LG math.IT
Sparse Bayesian Deep Functional Learning with Structured Region Selection
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics（统计学院）；Data Science, Shanghai University of Finance（金融大学数据科学学院）；Department of Biostatistics, Yale School of Public Health（耶鲁大学公共卫生学院生物统计学系）
提出稀疏贝叶斯函数深度神经网络（sBayFDNN），通过深度贝叶斯架构学习自适应函数嵌入以捕捉复杂非线性关系，并利用结构化先验实现具有量化不确定性的可解释区域选择，理论上首次为贝叶斯深度函数模型提供了近似误差界、后验一致性和区域选择一致性的严格保证。
2026-06-03 cs.LG stat.AP stat.ML
A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study
University of Colorado（科罗拉多大学）
近年来，从数据中辨识非线性动力系统变得越来越流行。稀疏回归方法，如非线性动力学稀疏识别（SINDy），促进了新的控制方程识别算法的发展，假设状态变量是已知的先验和控制方程本身的稀疏，线性扩展的状态变量的（非线性）的基础。在非线性动力系统控制方程辨识的背景下，当状态测量被噪声破坏时，人们面临着模型参数的可辨识性问题。测量噪声影响恢复过程的稳定性，产生不正确的稀疏模式和不准确的估计系数的控制方程。在这项工作中，我们调查和比较几个本地和全球的平滑技术的性能先验去噪的状态测量和数值估计的状态时间导数，以提高精度和鲁棒性的两个稀疏回归方法恢复控制方程：顺序保持最小二乘（STLS）和加权基追踪去噪（WBPDN）算法。我们的经验表明，在一般情况下，全球的方法，它使用整个测量数据集，优于当地的方法，它采用了一个邻近的数据子集周围的一个局部点。我们还比较了广义交叉验证（GCV）和帕累托曲线标准作为模型选择技术，自动估计接近最优的调谐参数，并得出结论，帕累托曲线产生更好的结果。的去噪策略和稀疏回归方法的性能进行了实证评估，通过著名的非线性动力系统的基准问题。
2022-03-18 cs.LG cs.SY eess.SY
Nonlinear Markov Clustering by Minimum Curvilinear Sparse Similarity
基于非线性聚类的无监督模式识别算法的研究是数据科学中的一个重要问题。马尔可夫聚类（MCL）是一个著名的算法，它模拟样本相似性网络上的随机流，以检测数据中簇的结构组织，但它从来没有被推广到处理数据的非线性。最小曲线线性（MC）是一种用曲线距离来近似高维特征空间中的非线性样本距离的原则，曲线距离被计算为其最小生成树上的横向路径，然后存储在核中。在这里，我们提出了MC-MCL，这是第一个非线性内核扩展的MCL，并利用最小曲线性，以提高性能的真实和合成数据与潜在的非线性模式的MCL。将MC-MCL与DBSCAN、K-means和affinity propagation等基本聚类方法进行了比较。我们发现，最小Curvilinearity提供了一个有价值的框架，估计非线性距离时，其内核与MCL相结合。事实上，MC-MCL克服了经典的MCL，甚至基线聚类算法在不同的非线性数据集。
2019-12-27 cs.LG stat.ML
Sparse Additive Functional and Kernel CCA
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；University of Chicago（芝加哥大学）
典型相关分析（CCA）是寻找两个随机向量分量之间相关性的经典工具。近年来，CCA已被广泛应用于基因组数据的分析，其中研究人员通常对一组患者样本进行多项分析。最近的工作提出了稀疏的CCA的变种，以解决这些数据的高维性。然而，经典的和稀疏的CCA是基于线性模型，并因此在他们的能力有限，以找到一般的相关性。在本文中，我们提出了两种方法，高维非参数CCA，最近的发展在高维非参数回归的基础上。我们提出了这两种方法的估计程序，并分析其理论性质的高维设置。我们证明了这些程序的有效性，发现非线性相关性，通过广泛的模拟，以及通过实验与基因组数据。
2012-06-18 cs.LG stat.ML
Dynamic Multivariate Functional Data Modeling via Sparse Subspace Learning
National University of Singapore（新加坡国立大学）；Arizona State University（亚利桑那州立大学）；Samsung Electronics（三星电子）；Georgia Institute of Technology（佐治亚理工学院）
来自复杂系统的多元函数数据自然是高维的，并且具有复杂的互相关结构。数据结构的复杂性可以被观察为：（1）一些函数与相似的特征强烈相关，而另一些函数可能与非常不同的特征几乎没有互相关;以及（2）互相关结构也可能由于系统演化而随时间变化。针对这一问题，本文提出了一种基于动态子空间学习的多元函数数据建模方法。特别地，我们考虑不同的函数来自不同的子空间，并且只有相同子空间的函数彼此具有互相关。子空间可以通过将问题重新格式化为稀疏回归来自动制定和学习。通过允许但规则化随时间的回归变化，我们可以描述互相关动态。该模型可以有效地估计的快速迭代收缩阈值算法（FISTA），每个子空间的特征可以使用光滑的多通道功能PCA提取。数值研究和案例研究表明，所提出的方法的效率和适用性。
2018-04-11 cs.LG stat.ML
Sparse Symmetric Tensor Regression for Functional Connectivity Analysis
Division of Biostatistics, University of California, Berkeley（加州大学伯克利分校生物统计学系）
张量回归模型，如CP回归和Tucker回归，在神经影像学分析中有许多成功的应用，其中协变量是多维度的，具有复杂的空间结构。高维协变量数组，也称为张量，可以用低秩结构近似，并适合广义线性模型。由此产生的张量回归实现了显着的降维，同时保持有效的估计和预测。大脑功能连接是大脑活动的重要指标，并已显示出与阿尔茨海默病等神经系统疾病的显着关联。函数连通性的对称性是一个在以前的张量回归模型中尚未探索过的性质。在这项工作中，我们提出了一种稀疏对称张量回归，进一步减少了自由参数的数量，并在各种模拟设置下实现了优于对称和普通CP回归的性能。我们将所提出的方法应用于研究阿尔茨海默氏病（AD）和正常老化的伯克利老龄队列研究（BACS），并检测两个区域的兴趣，已被确定为重要的AD。
2020-10-28 cs.LG stat.ML
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
SNAP-FM: Sparse Nonlinear Accelerated Projection for Physics-Constrained Generative Modeling
针对物理约束生成模型推理时投影计算昂贵的问题，提出利用块稀疏雅可比和KKT系统结构，结合GPU稀疏优化实现高效非线性约束投影，加速约束采样。
2026-09-04 cs.AI cs.CE cs.LG
AC-SINDy: Compositional Sparse Identification of Nonlinear Dynamics
Independent Researcher（独立研究者）
AC-SINDy通过算术电路结构替代传统特征库，实现非线性动力学的稀疏识别，提升模型的可解释性和扩展性。
2026-04-20 cs.LG
Learning Functional Dependencies with Sparse Regression
我们研究的问题，发现功能依赖（FD）从一个嘈杂的数据集。我们专注于与数据集中的统计依赖性相对应的FD，并在概率图模型中绘制FD发现和结构学习之间的联系。我们表明，发现FD从嘈杂的数据集是等价于学习的二进制随机变量的图形模型的结构，其中每个随机变量对应于一个功能的数据集属性。基于这一观察，我们引入AutoFD一个概念上简单的框架，在这个框架中，学习函数依赖关系对应于解决稀疏回归问题。我们表明，我们的方法可以在各种真实世界和合成数据集上恢复真正的函数依赖关系，即使在存在噪声或丢失数据的情况下也是如此。我们发现，AutoFD可扩展到具有数百万元组和数百个属性的大型数据实例，同时与最先进的FD发现方法相比，它的平均F1提高了2倍。
2019-05-04 cs.DB cs.LG
Structure-preserving Sparse Identification of Nonlinear Dynamics for Data-driven Modeling
Arizona State University（亚利桑那州立大学）；Sandia National Laboratories（桑迪亚国家实验室）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
从数据中发现动态系统形成了数据驱动建模的基础，最近，结构保持几何视角已被证明可以提供更好的预测，稳定性和物理可实现性保证。在这里，我们提出了一个统一的稀疏识别的非线性动力学（SINDy）形式主义与神经常微分方程。由此产生的框架允许学习的“黑箱”动态和学习的结构保持括号形式主义的可逆和不可逆的动态。我们提出了一套基准证明的有效性和结构保存，包括混沌系统。
2021-09-11 cs.LG physics.comp-ph
SINDy-PI: A Robust Algorithm for Parallel Implicit Sparse Identification of Nonlinear Dynamics
University of Washington（华盛顿大学）
从测量数据中精确地建立系统的非线性动力学模型是一个具有挑战性的重要课题。非线性动力学稀疏辨识算法是从数据中发现动力系统模型的一种方法。虽然已经开发了扩展来识别隐式动力学或由有理函数描述的动力学，但这些扩展对噪声非常敏感。在这项工作中，我们开发了SINDy-PI（并行，隐式），一个强大的变体的SINDy算法，以确定隐式动力学和合理的非线性。SINDy-PI框架包括多种优化算法和模型选择的原则方法。我们证明了这种算法的能力，学习隐式常微分方程和偏微分方程和守恒律有限和嘈杂的数据。特别是，我们表明，所提出的方法是几个数量级的噪声鲁棒性比以前的方法，并可用于确定一类复杂的ODE和PDE动力学，以前无法实现的SINDy，包括双摆动力学和Belousov Zhabotinsky（BZ）反应。
2020-09-29 cs.LG physics.comp-ph stat.ML
EEG-SeeGraph: Interpreting functional connectivity disruptions in dementias via sparse-explanatory dynamic EEG-graph learning
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Institute of Neurological Diseases, Shenzhen Bay Laboratory, Shenzhen, China（深圳湾实验室神经疾病研究院）
本文提出EEG-SeeGraph，通过稀疏解释性动态EEG图学习方法，解析痴呆症中功能连接紊乱，具备噪声鲁棒性和可解释性。
2026-03-03 cs.LG eess.SP
A Sparse Nonlinear Classifier Design Using AUC Optimization
IISc Bangalore（印度科学院）；Microsoft Research（微软研究院）；IIT Gandhinagar（印度理工学院甘地讷格尔分校）
AUC（ROC曲线下面积）是数据高度不平衡的应用程序的重要性能指标。因此，学习最大化AUC性能是一个重要的研究问题。使用基于最大间隔的替代损失函数，AUC优化问题可以近似为成对rankSVM学习问题。用于解决该问题的内核化版本的批处理学习方法具有可扩展性，并且可能不会产生稀疏分类器。近年来，人们对在线或单遍在线学习算法的发展越来越感兴趣，这些算法通过最大化AUC性能来设计分类器。使用在线方法设计的非线性分类器的AUC性能与在许多真实世界数据集上使用批处理学习算法设计的非线性分类器的AUC性能不可比较。受这些观察的启发，我们设计了一个可扩展的算法，通过将所需数量的基函数添加到分类器模型中来最大化AUC性能。由此产生的稀疏分类器执行更快的推理。我们的实验结果表明，可实现的稀疏性水平可以是一个数量级小于核RankSVM模型，而不会影响AUC的性能。
2016-12-27 cs.AI cs.LG stat.ML
Nonlinear Level Set Learning for Function Approximation on Sparse Data with Applications to Parametric Differential Equations
Florida State University（佛罗里达州立大学）；University of South Carolina（南卡罗来纳大学）
提出了一种基于“非线性水平集学习”（NLL）方法的降维方法，用于稀疏采样函数的逐点预测。该算法利用隐函数定理提供的几何信息，以较小的精度损失有效地将输入维数降低到理论下限，提供了一个一维的函数表示，可用于回归和敏感性分析。实验和应用比较，这种修改后的NLL与原来的NLL和主动子空间（AS）的方法。同时容纳稀疏的输入数据，所提出的算法被证明是训练迅速，并提供了一个更准确和翔实的减少比AS或原始NLL的两个示例功能与高维域，以及两个状态依赖量取决于参数微分方程的解决方案。
2021-08-07 cs.LG cs.NA math.NA
Sparse Functional Singular Value Decomposition for Biclustering and Triclustering Longitudinal Data
Division of Biostatistics and Health Data Science University of Minnesota（生物统计学与健康数据科学系明尼苏达大学）
提出Tri-SfSVD框架，通过稀疏惩罚同时进行连续轨迹估计与对象、特征和时间选择，实现纵向数据中的双聚类和三聚类，优于现有方法。
2026-06-03 cs.LG stat.ME stat.ML
When Sparsity Breaks Connectivity: Functional Reachability and Guided Topology Dynamics in Extreme Sparse Training
University of Twente（特温特大学）；Paderborn University（帕德博恩大学）
该研究针对极端稀疏训练中动态稀疏训练（DST）易破坏信息通路的问题，提出引导DST方法，通过功能可达性引导拓扑演化，在多数据集上大幅提升精度，使模型在极高稀疏度下仍可训练。
2026-10-14 cs.LG
Decoding the Encoding of Functional Brain Networks: an fMRI Classification Comparison of Non-negative Matrix Factorization (NMF), Independent Component Analysis (ICA), and Sparse Coding Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
功能磁共振成像中的大脑网络通常使用空间独立成分分析（ICA）来识别，但稀疏编码和阳性等数学约束都为生成大脑网络提供了替代的生物学合理框架。非负矩阵分解（NMF）通过增强正性来抑制负BOLD信号。空间稀疏编码算法（$L1$正则化学习和K-SVD）将强加局部专业化和多任务的阻碍，其中单个体素中的总观察到的活动源自有限数量的可能的大脑网络。独立性，积极性和稀疏性的假设，以编码任务相关的大脑网络进行了比较，得到的大脑网络为不同的约束条件被用作基函数，在给定的时间点编码所观察到的功能活动。这些编码是使用机器学习解码的，以比较算法和它们的假设，使用时间序列权重来预测受试者是否正在观看视频，收听音频提示，或者在来自51名受试者的304次fMRI扫描中休息。对于认知活动分类，$L1$正则化学习的稀疏编码算法在不同数量的网络和噪声水平上始终优于ICA的4种变体（p $<$ 0.001）。抑制负BOLD信号的NMF算法精度最差。在每种算法中，使用稀疏空间网络（包含更多零值体素）的编码具有更高的分类准确度（p $<$ 0.001）。稀疏编码算法的成功可能表明，执行稀疏编码，不鼓励多任务处理，并促进本地专业化的算法可以更好地捕捉底层源过程比那些允许取之不尽的本地过程，如ICA。
2016-07-01 cs.LG q-bio.NC stat.ML
Low-Rank and Structured Sparse Tensor Decomposition for Anomaly Detection in Multivariate Functional Data
Georgia Institute of Technology（佐治亚理工学院）
针对多元函数数据异常检测，提出ES-CP和FG-Lasso两种无监督稀疏张量分解方法，通过低秩CP分解和结构化稀疏惩罚，在模拟与锻造案例中显著提升检测与定位性能。
2026-10-07 cs.LG stat.AP stat.CO
Sparse Recovery from Nonlinear Measurements with Applications in Bad Data Detection for Power Networks
University of Iowa（爱荷华大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Cornell University（康奈尔大学）
本文提出一种迭代混合ℓ1和ℓ2凸规划方法，通过局部线性化非线性测量实现状态估计，并给出线性与非线性测量下的性能界与收敛条件，应用于电力网络不良数据检测。
2013-01-05 cs.IT cs.LG cs.SY
Sparse-Aware Neural Networks for Nonlinear Functionals: Mitigating the Exponential Dependence on Dimension
Munich Center for Machine Learning (MCML), Germany. University of Tromsø, Norway. German Aerospace Center (DLR), Germany.（德国慕尼黑机器学习中心（MCML）、挪威特罗姆瑟大学、德国航空航天中心（DLR））
本文提出利用卷积架构提取有限样本的稀疏特征，并结合深度全连接网络近似非线性泛函，通过通用离散化方法展示稀疏近似器在离散样本中的稳定性，从而提升逼近率并减少样本量。
2026-05-11 cs.AI cs.LG math.FA
Noisy, sparse, nonlinear: Navigating the Bermuda Triangle of physical inference with deep filtering
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
捕捉决定分子反应性的微观相互作用对物理科学构成了挑战。即使是对潜在反应机制的基本理解也可以大大加快材料和化合物的设计，包括新催化剂或药物的开发。鉴于旨在提高我们对反应机理理解的实验和理论研究经常面临的困难，最近的进展集中在数据驱动的路线上，直接从高通量筛选中获得结构-性质关系。然而，即使是这些高质量、高容量的数据也是嘈杂的、稀疏的和有偏见的，这使得机器学习非常具有挑战性。在这里，我们展示了一种基于非线性特征网络深度过滤的统计方法，该方法产生的物理化学模型比标准机器学习架构更鲁棒、更透明、更通用。使用勤奋的描述符设计和数据后处理，我们使用文献和不对称催化氢化，钯催化的交叉偶联反应和药物-药物协同作用的新数据来验证该方法。我们说明了稀疏模型发现的过滤帮助我们制定物理化学反应“药效团”，调查实验偏差和机制检测和分类的策略。
2019-11-19 cs.LG physics.chem-ph stat.ML
Sparse identification of nonlinear dynamics in the presence of library and system uncertainty
College of Computing \& Informatics, Drexel University
本文研究在函数库与系统变量均存在不确定性时的非线性动力学稀疏辨识问题，提出并验证了 Augmented SINDy 及进一步增广方法，在实际数据上展现出优于原始 SINDy 的鲁棒性。
2024-01-23 cs.AI cs.LG
LES-SINDy: Laplace-Enhanced Sparse Identification of Nonlinear Dynamical Systems
School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；Department of Mathematics, Purdue University（普渡大学数学系）
针对SINDy在高阶导数、间断及噪声下建模困难的问题，提出拉普拉斯增强的LES-SINDy，通过变换到拉普拉斯域提升导数与间断项逼近精度，实验表明其鲁棒性、准确性和简约性优于现有方法。
2024-11-04 cs.LG cs.NA math.DS
Nonlinear sparse variational Bayesian learning based model predictive control with application to PEMFC temperature control
College of Control Science and Engineering（控制科学与工程学院）；Zhejiang University（浙江大学）
针对模型预测控制依赖准确系统模型的问题，提出基于非线性稀疏变分贝叶斯学习的MPC方法，通过变分推断量化不确定性，保证稳定性与约束可行性，经PEMFC温控实验验证有效。
2024-04-15 cs.LG cs.SY eess.SY
