Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning
Xidian University（西安电子科技大学）；University of Wollongong（伍伦贡大学）；Ningbo University（宁波大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在稀疏贝叶斯学习（SBL）中选择超参数的值可以显着影响性能。然而，超参数通常是手动调整的，这通常是一项困难的任务。最近，通过使用经验自动调谐器实现了有效的自动超参数调谐。在这项工作中，我们解决的问题，超参数自动调整使用神经网络（NN）为基础的学习。受经验自动调谐器的启发，我们设计并学习了一个基于神经网络的自动调谐器，并表明可以实现收敛速度和恢复性能的显着改善。
2022-11-09 cs.LG eess.SP
Sparse vs Contiguous Adversarial Pixel Perturbations in Multimodal Models: An Empirical Analysis
EPFL（洛桑联邦理工学院）；armasuisse S+T（阿尔马苏斯科技公司）
本文在黑盒设置下对多模态模型和单模态DNN发动L0范数像素扰动攻击，发现单模态模型比多模态模型更鲁棒，且使用CNN图像编码器的模型比使用ViT的模型更脆弱。
2024-07-25 cs.CR cs.CV cs.LG
A Flexible Empirical Bayes Approach to Generalized Linear Models, with Applications to Sparse Logistic Regression
Department of Statistics The University of Chicago（统计学系芝加哥大学）；Department of Statistics University of California, Irvine（统计学系加州大学伊文斯顿分校）；Department of Statistics and Department of Human Genetics The University of Chicago（统计学系和人类遗传学系芝加哥大学）
本文提出了一种灵活的经验贝叶斯方法，用于广义线性模型，适用于稀疏逻辑回归，通过优化后验均值和先验参数提升预测性能。
2026-08-28 cs.LG stat.CO stat.ME
Learning Sparse Representations in Reinforcement Learning with Sparse Coding
Indiana University（印第安纳大学）
各种各样的表示学习方法已经被研究用于强化学习;然而，很少有人关注稀疏编码的效用。在强化学习之外，稀疏编码表示已被广泛使用，其非凸目标导致区分表示。在这项工作中，我们开发了一个监督稀疏编码的政策评估目标。尽管这个目标的非凸性，我们证明了所有的局部极小值是全局极小值，使该方法适合简单的优化策略。我们的经验表明，使用监督目标是关键，而不是更直接的无监督稀疏编码方法。我们比较学习的表示一个规范的固定稀疏表示，称为瓦片编码，证明稀疏编码表示优于各种各样的瓦片编码表示。
2017-07-26 cs.AI cs.LG stat.ML
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University（普渡大学）
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战，并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功，但大多数稀疏深度学习算法缺乏理论支持。另一方面，另一系列的工作提出了理论框架，计算上是不可行的。在本文中，我们训练稀疏的深度神经网络，在尖峰和板先验下进行完全贝叶斯处理，并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率，证明了变分贝叶斯方法的一致性。值得注意的是，我们的实证结果表明，这种变分过程提供了贝叶斯预测分布方面的不确定性量化，也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
A Continuous-Time Mirror Descent Approach to Sparse Phase Retrieval
University of Oxford（牛津大学）
我们分析了连续时间镜像下降应用于稀疏相位恢复，这是从一组只测量幅度恢复稀疏信号的问题。我们应用镜像下降的无约束经验风险最小化问题（批量设置），使用平方损失和平方测量。我们提供了一个收敛性分析的算法在这个非凸设置，并证明，与hypentropy镜像映射，镜像下降恢复任何$k$ -稀疏向量$\mathbf{x}^\star\in\mathbb{R}^n$与最小（模）非零条目的顺序$\| \mathbf{x}^\star \|_2/\sqrt{k}$从$k^2$高斯测量，模对数项。这产生了一个简单的算法，不像大多数现有的方法稀疏相位检索，适应稀疏水平，不包括阈值步骤或添加正则化条款。我们的结果还为Hadamard Wirtinger流[58]提供了一个原则性的理论理解，因为应用于Hadamard参数化的经验风险问题的欧几里得梯度下降可以恢复为离散时间中镜像下降的一阶近似。
2020-10-20 cs.LG stat.ML
Is attention truly all we need? An empirical study of asset pricing in pretrained RNN sparse and global attention models
Department of Economics and Related Studies, Univiersity of York（经济与相关研究系，约克大学）
本文研究了预训练RNN注意力模型在资产定价中的应用，探讨了注意力机制在捕捉时间依赖性和长期记忆方面的改进，以及在不同市场条件下的稳定性。
2026-06-03 cs.LG econ.EM q-fin.CP
Routers in Vision Mixture of Experts: An Empirical Study
University of Basel（巴塞尔大学）；Google DeepMind（谷歌DeepMind）；Stability AI（稳定性人工智能）
本文实证研究了视觉混合专家模型中的路由器，提出统一公式并对比六种路由器，发现专家选择优于令牌选择，软MoE优于稀疏MoE。
2024-04-18 cs.AI cs.CV cs.LG
Non-Sparse Regularization for Multiple Kernel Learning
University of California（加利福尼亚大学）；Technische Universität Berlin（柏林工业大学）；Yahoo! Research（雅虎研究院）；Friedrich Miescher Laboratory（弗里德里希·米歇尔实验室）；Max Planck Society（马克斯·普朗克学会）；LIFE Biosystems GmbH（生命生物系统有限公司）
当特征的正确选择未知时，学习多个核的线性组合是一种有吸引力的策略。以前的多内核学习（MKL）方法促进稀疏内核组合，以支持可解释性和可扩展性。不幸的是，在实际应用中很少观察到这种1-范数MKL优于平凡基线。为了允许鲁棒的内核混合，我们推广MKL任意规范。我们对现有的几种MKL公式之间的联系提出了新的见解，并为任意范数（如p>1的p-范数）开发了两种有效的交错优化策略。根据经验，我们证明，与常用的包装方法相比，交错优化策略要快得多。通过理论分析和人工控制数据实验，验证了稀疏、非稀疏和$\ell_\infty$ -范数MKL在不同情况下的适用性。将p-范数MKL应用于计算生物学的三个现实问题的实验表明，非稀疏MKL实现了超越最先进水平的精度。
2010-10-26 cs.LG stat.ML
Learning Sparse Graphon Mean Field Games
Technische Universität Darmstadt（达姆施塔特工业大学）
虽然多智能体强化学习（MARL）领域在过去几年中取得了长足的进步，但解决具有大量智能体的系统仍然是一个艰巨的挑战。Graphon平均场游戏（GMFG）使MARL问题的可扩展分析，否则是棘手的。由于图子的数学结构，这种方法仅限于稠密图，这不足以描述许多现实世界的网络，如幂律图。本文介绍了一种新的GMFG公式，称为LPGMFG，它利用了$L^p$图子的图论概念，并提供了一个机器学习工具，以有效和准确地近似稀疏网络问题的解决方案。这尤其包括在各种应用领域中凭经验观察到的幂律网络，并且不能被标准图子捕获。我们推导出理论上的存在性和收敛性保证，并给出实证例子，证明我们的学习方法的准确性与许多代理的系统。此外，我们扩展了在线镜像下降（OMD）学习算法，我们的设置，以加快学习速度，经验表明其能力，并进行理论分析，使用新的概念，平滑的步骤图子。总的来说，我们提供了一个可扩展的，数学上有充分依据的机器学习方法，以解决在众多研究领域中具有重要意义的一大类棘手问题。
2023-03-13 cs.AI cs.GT cs.LG
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
EPIC TTS Models: Empirical Pruning Investigations Characterizing Text-To-Speech Models
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
众所周知，神经模型是过度参数化的，最近的工作表明，稀疏的文本转语音（TTS）模型可以优于密集模型。虽然已经提出了大量的稀疏方法用于其他领域，这样的方法很少被应用于文语转换。在这项工作中，我们试图回答的问题：什么是选定的稀疏技术的性能和模型复杂性的特点？我们比较了Tacotron 2基线和应用五种技术的结果。然后，我们通过自然度，可懂度和韵律的因素来评估性能，同时报告模型大小和训练时间。作为对先前研究的补充，我们发现在训练之前或训练期间进行修剪可以实现与训练后修剪相似的性能，并且可以更快地训练，而删除整个神经元比删除参数更能降低性能。据我们所知，这是第一个工作，比较稀疏范例在文本转语音合成。
2022-09-22 cs.LG eess.AS
Learning Fast Approximations of Sparse Nonlinear Regression
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
将迭代算法展开为深度神经网络的想法已广泛应用于解决稀疏编码问题，在收敛速度方面提供了扎实的理论分析和优越的经验性能。然而，对于稀疏非线性回归问题，由于非线性的复杂性，很少利用类似的想法。在这项工作中，我们通过引入非线性学习迭代收缩保持算法（NLISTA）来弥合这一差距，该算法在适当的条件下可以达到线性收敛。合成数据上的实验证实了我们的理论结果，并表明我们的方法优于国家的最先进的方法。
2020-10-26 cs.LG
Scalable Thompson Sampling using Sparse Gaussian Process Models
MediaTek Research（联发科研究中心）；Secondmind；Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）
基于高斯过程（GP）模型的汤普森采样（TS）是黑箱函数优化的有力工具。虽然TS享有强大的理论保证和令人信服的经验性能，它会产生一个大的计算开销，规模与优化预算的多项式。最近，基于稀疏GP模型的可扩展TS方法已经被提出来增加TS的范围，使其应用于足够多模态、噪声或组合的问题，以需要超过几百个评估来解决。然而，稀疏GP引入的近似误差使所有现有的遗憾界限无效。在这项工作中，我们进行了理论和实证分析的可扩展TS。我们提供了理论保证，并表明，可扩展TS的计算复杂度的大幅减少，可以享受没有损失的遗憾性能超过标准TS。这些概念性的要求验证了实际实施的可扩展的TS合成基准，并作为一个现实世界的高通量分子设计任务的一部分。
2021-11-05 cs.LG stat.ML
Sample-Efficient L0-L2 Constrained Structure Learning of Sparse Ising Models
Vicarious AI
考虑了从$n$ i.i.d.学习具有$p$节点的稀疏伊辛模型的基础图的问题。样品最新和最好的方法结合了经验损失（逻辑斯谛回归损失或相互作用筛选损失）与正则化（L1罚分或L1约束）。这导致了一个凸问题，可以为图的每个节点单独解决。在这项工作中，我们利用基数约束L0范数，这是已知的适当诱导稀疏性，并进一步将其与L2范数结合起来，以更好地模拟非零系数。我们表明，我们提出的估计实现了改进的样本复杂性，（a）理论上，达到新的国家的最先进的上限恢复保证，和（b）经验上，通过显示更尖锐的相变之间的穷人和完全恢复的图拓扑结构在文献中研究，当比较他们的L1为基础的国家的最先进的方法。
2021-09-15 cs.LG stat.ML
Message-Passing GNNs Fail to Approximate Sparse Triangular Factorizations
AIC, Skoltech（斯克里普金技术大学人工智能中心）；Skoltech AI4S Center（斯克里普金技术大学AI4S中心）；Sberbank of Russia（俄罗斯储蓄银行）；AIRI
本文通过理论和实验证明，消息传递图神经网络在逼近稀疏三角分解时存在根本性局限，需要超越消息传递的架构创新。
2026-05-25 cs.AI cs.LG cs.NA
Statistical learning by sparse deep neural networks
Tel Aviv University（特拉维夫大学）
本文提出基于l_1正则化经验风险最小化的深度神经网络估计器，推导其在回归与分类中的超额风险界，并证明其在整个函数类范围内自适应地接近极小极大最优。
2023-11-15 cs.LG math.ST stat.ME
Information Directed Sampling for Sparse Linear Bandits
Deepmind（深度思维）；Purdue University（普渡大学）
随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型，并具有丰富的信息后悔结构。在这项工作中，我们探讨了使用信息导向抽样（IDS），自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界，几乎匹配现有的各种问题的情况下的下限，证明了自适应的IDS。为了有效地实现稀疏入侵检测系统，我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。
2021-05-29 cs.LG math.ST stat.ML
Non-Negative Kernel Sparse Coding for the Classification of Motion Data
CITEC cluster of excellence（CITEC卓越集群）；Bielefeld University（比勒费尔德大学）
我们感兴趣的运动数据分解成一个稀疏的线性组合的基函数，使有效的数据处理。我们结合了两个突出的框架：动态时间规整（DTW），它提供了特别成功的成对运动数据比较，和稀疏编码（SC），它使矢量数据自动分解成一个稀疏的线性组合的基本向量。我们对SC进行了如下增强：一种有效的核化，其将其应用领域扩展到诸如DTW提供的一般相似性数据，以及其对信号和基向量的非负线性表示的限制，以保证有意义的字典。运动捕捉基准的实证评估表明，我们的框架解释和歧视的关注的有效性。
2019-03-12 cs.LG stat.ML
A note on the sample complexity of the Er-SpUD algorithm by Spielman, Wang and Wright for exact recovery of sparsely used dictionaries
University of Warsaw（华沙大学）
我们考虑的问题，恢复可逆的$n \times n$矩阵$A$和稀疏的$n \times p$随机矩阵$X$的观察的基础上$Y = AX$（直到一个缩放和置换的列$A$和行的$X$）。仅使用基本的工具，从理论的经验过程中，我们表明，一个版本的Er-SpUD算法Spielman，王和赖特具有很高的概率恢复$A$和$X$准确，只要$p \ge Cn\log n$，这是最佳的常数$C$。
2016-01-12 cs.LG math.PR math.ST
