Variance Reduction for Evolution Strategies via Structured Control Variates
Columbia University(哥伦比亚大学);Google Robotics(谷歌机器人);Fero Labs(费罗实验室)
演化策略(ES)是一类功能强大的黑盒优化技术,最近成为强化学习(RL)的最先进的策略梯度(PG)算法的竞争替代方案。我们提出了一种新的方法,用于提高精度的ES算法,而不是最近的方法,仅利用蒙特卡罗结构的梯度估计,利用底层MDP结构,以减少方差。我们观察到,ES目标的梯度估计可以交替使用重新参数化和PG估计,这导致新的控制变量技术的梯度估计ES优化计算。我们提供了理论见解,并通过大量的实验表明,这种RL特定的方差减少方法优于通用方差减少方法。
2020-03-13 cs.LG cs.NE stat.ML
PCA-Guided Autoencoding for Structured Dimensionality Reduction in Active Infrared Thermography
Khalifa University of Science and Technology(卡利法科技科学大学);Advanced Research and Innovation Center(先进研究与创新中心);Department of Aerospace Engineering(航空航天工程系);BioMedIA Lab(BioMedIA实验室);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Department of Information Systems and Operations Research(信息系统与运营管理系);Vienna University of Economics and Business(维也纳经济与商业大学);Department of Industrial and Information Engineering and Economics (DIIIE)(工业与信息工程与经济学系);University of L’Aquila(拉奎拉大学);Department of Industrial and Systems Engineering(工业与系统工程系)
针对主动红外热成像自编码器潜在空间缺乏结构的问题,提出PCA引导的结构化降维框架,通过PCA蒸馏损失对齐潜在表示,并引入神经网络评估指标,在PVC等样本上优于现有方法。
2025-08-11 cs.AI cs.CV cs.LG
A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning
Carnegie Mellon University(卡内基梅隆大学)
序列预测问题,如模仿学习,未来的观察取决于以前的预测(行动),违反了共同的独立同分布。统计学习中的假设。这在理论上和实践中往往导致性能不佳。最近的一些方法在这种情况下提供了更强的保证,但仍然有些不令人满意,因为它们训练非平稳或随机的政策,并需要大量的迭代。在本文中,我们提出了一个新的迭代算法,它训练一个固定的确定性政策,可以被看作是一个没有遗憾的算法在在线学习设置。我们表明,任何这样的无遗憾算法,结合额外的减少假设,必须找到一个政策下,它诱导在这样的顺序设置的观测分布具有良好的性能。我们证明了这种新的方法优于以前的方法在两个具有挑战性的模仿学习问题和基准序列标记问题。
2011-03-16 cs.AI cs.LG stat.ML
Imposing Robust Structured Control Constraint on Reinforcement Learning of Linear Quadratic Regulator
Pacific Northwest National Laboratory (PNNL)(太平洋西北国家实验室)
研究了状态矩阵未知的线性动态系统的结构反馈控制器的学习问题。控制器的结构约束是必要的许多信息物理系统,我们的方法提出了一个设计任何通用的结构,为分布式学习控制铺平了道路。强化学习(RL)的思想结合控制理论的充分稳定性和性能保证被用来开发的方法。首先,一个基于模型的框架,制定使用动态规划嵌入结构约束的线性二次型调节器(LQR)设置以及充分的鲁棒性条件。此后,我们将这些条件转化为基于数据驱动的学习框架-鲁棒结构化强化学习(RSRL),它在稳定性和收敛性方面具有控制理论保证。我们验证了我们的理论结果与模拟上的多智能体网络与6代理。
2021-02-19 cs.LG cs.SY eess.SY
Information-Induced Training Geometry: Exact Reduction, Canonical Completion, and Structured Expressivity
Xidian University(西安电子科技大学)
本研究在仿射不变黎曼几何下,证明信息诱导的压缩映射存在唯一完备化,实现精确变分约化,并刻画了正定锥上的分层结构与结构化表达性。
2026-09-14 cs.LG math.OC
Recursive nearest agglomeration (ReNA): fast clustering for approximation of structured signals
Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University Paris-Saclay(巴黎萨克雷大学);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
在这项工作中,我们重温快速降维方法,随机投影和随机采样。我们的目标是总结数据,以减少后续分析的计算成本和内存占用。当感兴趣的信号具有强结构时,例如具有图像时,这种降维可以是非常有效的。我们专注于这种设置和调查功能聚类方案的数据减少,捕捉这种结构。快速降维的一个障碍是,好的聚类伴随着大的算法成本。我们通过贡献一个线性时间凝聚聚类方案,递归最近聚集(ReNA)来解决这个问题。与现有的快速凝聚方案不同,它避免了产生巨大的集群。我们的经验验证,它近似的数据,以及传统的方差最小化聚类方案,具有二次复杂性。此外,我们分析了信号近似与特征聚类,并表明它可以去除噪声,改善后续的分析步骤。因此,通过使用ReNA对特征进行聚类来减少数据,可以产生非常快速和准确的模型,从而能够在预算范围内处理大型数据集。我们的理论分析得到了广泛的实验公开的数据,说明了计算效率和去噪性能的降维计划。
2018-03-19 cs.LG stat.ML
ML-driven detection and reduction of ballast information in multi-modal datasets
Independent Researcher(独立研究者)
本文提出了一种多模态框架,用于检测和减少数据集中的冗余信息,通过多种方法整合信号,实现特征空间的高效修剪,提升机器学习效率。
2026-02-18 cs.LG stat.ML
GraphCSVAE: Graph Categorical Structured Variational Autoencoder for Spatiotemporal Auditing of Physical Vulnerability Towards Sustainable Post-Disaster Risk Reduction
University of Cambridge(剑桥大学);Cambridge University Centre for Risk in the Built Environment(剑桥大学建筑环境风险中心);Earth Observation Center(地球观测中心);Institute of Geography(地理研究所)
提出GraphCSVAE框架,通过整合深度学习、图表示和类别概率推断,利用时间序列卫星数据和专家先验,对物理脆弱性进行建模,并在两个灾后地区验证其时空审计能力。
2026-05-20 cs.LG
Structured Sparsity and Weight-adaptive Pruning for Memory and Compute efficient Whisper models
Indian Institute of Technology Madras, India(印度理工学院马德拉斯分校);National Institute of Technology Karnataka, Surathkal(卡纳塔克国家理工学院,苏拉特卡尔)
提出结构化稀疏与权重自适应剪枝框架,在保持WER不降的前提下,显著减少Whisper模型参数、内存和FLOPs,并优于现有剪枝方法。
2025-10-14 cs.LG
Information Theoretic Limits for Linear Prediction with Graph-Structured Sparsity
Krannert School of Management(克兰纳特管理学院);Purdue University(普渡大学);Department of Computer Science(计算机科学系)
我们分析了在有噪线性预测设置中进行稀疏向量恢复所需的样本数量。该模型包括线性回归和分类等问题。我们专注于结构化图模型。特别地,我们证明了Hegde等人提出的加权图模型的足够数量的样本也是必要的。我们使用的Fano的不平等,以及构造合奏作为我们的主要工具,在建立信息论的下限。
2017-05-06 cs.IT cs.LG math.IT
Adaptive Activation-based Structured Pruning
Arizona State University(亚利桑那州立大学);Facebook(脸书)
修剪是一种很有前途的压缩复杂深度学习模型的方法,以便将它们部署在资源受限的边缘设备上。然而,许多现有的修剪解决方案是基于非结构化修剪,这产生的模型不能有效地运行在商用硬件上,并需要用户手动探索和调整修剪过程,这是耗时的,往往导致次优的结果。为了解决这些限制,本文提出了一种自适应的,基于激活的,结构化的修剪方法,自动和有效地生成小,准确,硬件效率高的模型,满足用户的需求。首先,它提出了使用基于激活的注意力特征图的迭代结构化修剪,以有效地识别和修剪不重要的过滤器。然后,它提出了自适应修剪策略,自动满足修剪目标的精度关键,内存受限,延迟敏感的任务。综合评估表明,该方法在CIFAR-10和ImageNet数据集上的性能大大优于最先进的结构化剪枝工作。例如,在使用CIFAR-10的ResNet-56上,在没有任何准确性下降的情况下,我们的方法实现了最大的参数减少(79.11%),优于相关工作22.81%至66.07%,以及最大的FLOPs减少(70.13%),优于相关工作14.13%至26.53%。
2023-03-09 cs.AI cs.CV cs.LG
SCOPE-FE: Structured Control of Operator and Pairwise Exploration for Feature Engineering via Quality-Aware Candidate-Space Reduction
SCOPE-FE通过结构化搜索空间控制框架减少候选特征空间,提升高维数据下的特征工程效率,保持预测性能。
2026-07-29 cs.LG stat.ML
Functional Transparency for Structured Data: a Game-Theoretic Approach
MIT Computer Science & Artificial Intelligence Lab(麻省理工学院计算机科学与人工智能实验室)
我们提供了一种新的方法来训练神经模型,以一种定义明确的功能性方式展现透明度。我们的方法自然地在结构化数据上运行,并在功能上针对选定的(本地)证人家庭定制预测器。估计问题被设置为一个合作的游戏之间的一个不受限制的预测器,如神经网络,和一组证人从所需的透明的家庭。见证者的目标是在局部突出预测器与所选函数族的一致性,而预测器经过训练以最小化突出的差异。我们强调,预测仍然是全球强大的,因为它只鼓励同意当地适应证人。我们分析了所提出的方法的效果,在深度图和序列模型的背景下提供了示例配方,并以经验的方式说明了化学性质预测,时间建模和分子表示学习的想法。
2019-02-26 cs.LG stat.ML
Clustering Noisy Signals with Structured Sparsity Using Time-Frequency Representation
the Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个简单而有效的时间序列聚类框架,特别适合于低信噪比(SNR),同时平滑和降维,旨在保留聚类信息。我们扩展了稀疏K-均值算法,将结构稀疏,并使用它来利用小波的多尺度特性和多变量信号的组结构。最后,我们用散射变换提取对平移和缩放不变的特征,这对应于一个卷积网络,其滤波器由小波算子给出,并在稀疏聚类中使用网络的结构。通过提高稀疏性,这种变换可以产生信号的低维表示,从而在多个真实数据集上提供改进的聚类结果。
2015-10-18 cs.LG stat.ML
TemporalPaD: a reinforcement-learning framework for temporal feature representation and dimension reduction
Jilin University(吉林大学);Guizhou Medical University(贵州医科大学)
TemporalPaD是一个基于Actor-Critic框架的端到端深度学习框架,通过强化学习与神经网络结合实现时间序列数据的特征表示与降维,在29个UCI数据集和真实DNA分类任务中验证了其有效性。
2024-09-27 cs.AI cs.LG q-bio.GN
A Low Effort Approach to Structured CNN Design Using PCA
Purdue University(普渡大学)
深度学习模型在许多领域都具有最先进的性能,但它们的设计仍然基于几何学或网格搜索方法,这通常会导致过度参数化的网络。这项工作提出了一种方法来分析训练的网络,并推导出一个优化的,压缩的架构,保持准确性,同时保持计算成本易于处理。模型压缩是针对在硬件中实现深度学习模型的问题的活跃研究领域。然而,大多数修剪方法往往是实验性的,需要大量的计算和时间密集的迭代来重新训练整个网络。我们通过使用PCA(主成分分析),提出了一个Single Shot分析的训练网络,作为一个一阶,低努力的降维方法,将结构引入模型设计。所提出的方法同时分析每一层的激活,并考虑生成这些激活的过滤器所描述的空间的维数。它在层数和每层滤波器数量方面优化了架构,而无需任何迭代再训练程序,使其成为设计高效网络的可行,低工作量技术。我们在CIFAR-10、CIFAR-100和ImageNet数据集上的AlexNet和VGG风格网络上演示了所提出的方法,并成功地实现了优化的架构,操作和参数的数量分别减少了3.8倍和9倍,而准确率不到1%。我们还将该方法应用于MobileNet,并分别实现了操作和参数数量的1.7倍和3.9倍减少,同时将准确性提高了近一个百分点。
2020-01-10 cs.CV cs.LG
Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
本文从特征学习理论角度证明标准训练偏向学习非鲁棒特征从而产生对抗样本,而对抗训练可证明增强鲁棒特征学习并抑制非鲁棒特征学习,并在MNIST、CIFAR10和SVHN上验证了理论结论。
2025-02-07 cs.LG
Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions
Department of Physics, Korea Advanced Institute of Science and Technology(韩国科学技术院物理系);Center of Complex Systems, Korea Advanced Institute of Science and Technology(韩国科学技术院复杂系统中心)
本研究通过将输入建模为高斯混合分布,揭示了神经网络动力学在标准化后表现出高斯普遍性,从而增强了深度学习理论的理解。
2025-11-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Mila(米拉);Université de Montréal(蒙特利尔大学);Preferred Networks Inc.(优选网络公司)
学习具有所需结构属性的多变量数据的可控和可推广的表示仍然是机器学习中的基本问题。在本文中,我们提出了一个新的框架,学习生成模型与各种潜在的空间结构。我们以掩码变量的形式表示归纳偏差,以在图模型中对依赖结构进行建模,并扩展了多元信息瓶颈理论来执行它。我们的模型提供了一种原则性的方法来学习一组语义上有意义的潜在因素,这些因素反映了各种类型的期望结构,如捕获相关性或编码不变性,同时还提供了根据数据自动估计依赖性结构的灵活性。我们表明,我们的框架统一了许多现有的生成模型,可以应用于各种任务,包括多模态数据建模,算法公平性,不变的风险最小化。
2020-10-02 cs.LG stat.ML
Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training
Pennsylvania State University(宾夕法尼亚州立大学)
递归神经网络(RNN),更具体地说是其长短期记忆(LSTM)变体,已被广泛用作深度学习工具,用于处理文本和语音中基于序列的学习任务。这种LSTM应用程序的训练是计算密集型的,因为每个时间步重复的隐藏状态计算的递归性质。虽然深度神经网络中的稀疏性被广泛认为是减少训练和推理阶段计算时间的机会,但在LSTM RNN中使用非ReLU激活使得与神经元激活和梯度值相关的动态稀疏性的机会有限或不存在。在这项工作中,我们确定辍学引起的稀疏LSTM作为一个合适的模式,减少计算。Dropout是一种广泛使用的正则化机制,它在每次训练迭代期间随机丢弃计算的神经元值。我们建议结构辍学模式,通过丢弃同一组物理神经元内的一批,导致列(行)级隐藏状态稀疏,这是很好的服从计算减少在运行时的通用SIMD硬件以及脉动阵列。我们对三个代表性的NLP任务进行了实验:PTB数据集上的语言建模,基于OpenNMT的机器翻译,使用IWALDE-EN和En-Vi数据集,以及使用CoNLL-2003共享任务的命名实体识别序列标记。我们证明了我们提出的方法可以用于将基于丢弃的计算减少转化为减少的训练时间,改进范围从1.23倍到1.64倍,而不会牺牲目标度量。
2021-06-22 cs.CL cs.LG cs.PF
Attention Based Machine Learning Methods for Data Reduction with Guaranteed Error Bounds
University of Florida(佛罗里达大学)
针对科学模拟数据的时空与变量间相关性,本文提出注意力超块自编码器、分块编码器及PCA误差保证后处理的分层压缩框架,在S3D、E3SM和XGC上显著优于SZ3。
2024-09-09 cs.LG
Spatio-temporal, multi-field deep learning of shock propagation in meso-structured media
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
提出多场时空模型(MSTM),通过训练多尺度多物理场数据,同时演化七个耦合热力学和动力学场,以高精度预测冲击传播中的异常响应,实现1000倍加速。
2026-05-25 cs.LG
A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
Rochester Institute of Technology(罗切斯特技术学院)
本文提出了一种集成学习的通用加权理论,通过几何和谱约束,展示结构化加权在提升模型性能中的作用。
2025-12-25 cs.LG stat.ML
SOM-CPC: Unsupervised Contrastive Learning with Self-Organizing Maps for Structured Representations of High-Rate Time Series
Eindhoven University of Technology(埃因霍温理工大学);Onera Health(奥内拉健康公司);Sleep Medicine Center Kempenhaeghe(肯彭黑格睡眠医学中心)
针对高速率时间序列的高维难解释问题,提出SOM-CPC模型,通过无监督对比学习与自组织映射在二维流形中保留高维信息,并在合成与真实数据上验证其优于多种基线方法。
2023-05-25 cs.LG cs.NE
CorrAttack: Black-box Adversarial Attack with Structured Search
The Hong Kong University of Science and Technology(香港科技大学)
提出了一种新的基于得分的对抗攻击方法,攻击者查询目标模型的损失预言。我们的方法采用了一个参数化的搜索空间的结构,捕捉的损失函数的梯度的关系。我们发现,搜索结构化空间可以近似为一个随时间变化的上下文土匪问题,攻击者采取的功能相关联的手臂进行修改的输入,并收到立即奖励的减少的损失函数。时变上下文强盗问题可以通过贝叶斯优化过程来解决,该过程可以利用结构化动作空间的特征。在ImageNet和Google Cloud Vision API上的实验表明,该方法在未防御和防御模型上都实现了最先进的成功率和查询效率。
2020-10-03 cs.CR cs.CV cs.LG
Matrix Normal PCA for Interpretable Dimension Reduction and Graphical Noise Modeling
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
主成分分析(PCA)是最广泛使用的降维和多元统计技术之一。从概率的角度来看,PCA寻求在存在独立相同高斯噪声的情况下的数据的低维表示。概率PCA(PPCA)及其变体已经被广泛研究了几十年。他们中的大多数假设潜在的噪声遵循一定的独立的同分布。然而,现实世界中的噪声通常是复杂和结构化的。为了解决这一挑战,已经提出了用于具有非IID噪声的数据的PCA的一些变体。然而,大多数现有的方法只假设噪声在特征空间中是相关的,而可能存在双向结构噪声。为此,我们提出了一个强大的和直观的PCA方法(MN-PCA)通过建模的图形噪声的矩阵正态分布,这使我们能够探索噪声的结构在特征空间和样本空间。MN-PCA同时获得数据的低秩表示和噪声的结构。它可以被解释为在广义马氏距离上的近似数据。我们开发了两种算法来解决这个模型:一个最大化正则化的可能性,另一个利用Wasserstein距离,这是更强大的。在各种数据上的大量实验证明了它们的有效性。
2021-01-05 cs.CV cs.LG stat.ML
Information Theoretic Structured Generative Modeling
University of Florida(佛罗里达大学);UiT - The Arctic University of Norway(特罗姆瑟大学-挪威北极大学);Xi’an Jiaotong University(西安交通大学)
Rényi的信息提供了一个理论基础,为易处理和数据有效的非参数密度估计,基于成对评估的再生核希尔伯特空间(RKHS)。本文将这一框架扩展到参数概率建模,其动机是雷尼的信息可以估计在封闭形式的高斯混合。基于这种特殊的连接,提出了一种新的生成模型框架,称为结构化生成模型(SGM),使直接优化成为可能,因为成本是尺度不变的,避免了高梯度方差,同时对绝对连续性施加较少的限制,这在参数信息论优化中是一个巨大的优势。该实现采用由附加到单个白噪声源的正交归一化输入驱动的单个神经网络,该单个白噪声源适于学习无限高斯混合模型(IMoG),该IMoG提供低维度的经验上易处理的模型分布。为了训练SGM,我们提供了三个新的变分成本函数,基于Rényi的二阶熵和发散,实现最小化交叉熵,最小化变分表示的$f$ -发散,最大化的证据下限(条件概率)。我们测试的框架估计的互信息和比较的结果与互信息神经估计(MINE),密度估计,条件概率估计马尔可夫模型以及训练对抗网络。我们的初步结果表明,SGM显着提高了MINE估计的数据效率和方差,传统和变分高斯混合模型,以及生成对抗网络的性能。
2022-03-07 cs.IT cs.LG math.IT
word2vec, node2vec, graph2vec, X2vec: Towards a Theory of Vector Embeddings of Structured Data
RWTH Aachen University(亚琛工业大学)
图形和关系结构的向量表示,无论是手工制作的特征向量还是学习的表示,都使我们能够将标准数据分析和机器学习技术应用于结构。在机器学习和知识表示文献中已经研究了用于生成这样的嵌入的各种方法。然而,从理论的角度来看,向量嵌入受到的关注相对较少。从一个嵌入技术,已在实践中使用的调查,在本文中,我们提出了两个理论方法,我们认为是理解向量嵌入的基础的核心。我们绘制各种方法之间的联系,并为未来的研究方向提出建议。
2020-03-27 cs.DB cs.DM cs.LG
Convex Reconstruction of Structured Matrix Signals from Linear Measurements (I): Theoretical Results
Software School, Dalian University of Technology(大连理工大学软件学院)
研究了利用凸规划重构n × n结构矩阵信号X的问题,其中每一列xj是s-稀疏向量,所有列具有相同的l1-范数.使用的正则化子是矩阵范数|||X||| 1=maxj |xj| 1.本文的贡献有两部分。第一部分是通过求解凸规划问题,研究无噪声和有噪声测量信号重构的稳定性和鲁棒性条件,建立了一致的充分条件,它们非常接近于必要条件,并讨论了非一致条件。类似于传统的压缩感知理论,重建矢量信号,相关的RIP条件建立。此外,研究了保证重构信号的支撑稳定性、符号稳定性和逼近误差鲁棒性的更强条件。第二部分是建立噪声中鲁棒重建的测量数上界和下界。我们在随机测量设置中采用凸几何方法,并且在这种方法中的关键成分之一是估计高斯和非高斯分布情况下的相关宽度界限。这些界限由信号的结构参数r和s显式控制,r和s分别决定矩阵信号的列稀疏性和l1列平坦性。
2019-12-01 cs.LG eess.SP math.ST