Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Department of Clinical Engineering, Komatsu University（小松大学临床工程系）
针对层次稀疏预测编码中迭代推理成本高的问题，提出混合摊销推理方法，结合LISTA式编码器快速初始化与少量能量校正步骤，在保持稀疏性和重建质量的同时显著降低延迟。
2026-07-28 cs.LG
EigenNet: A Bayesian hybrid of generative and conditional models for sparse learning
Purdue University（普渡大学）
在高维空间中选择相关变量是一个具有挑战性的任务。为了应对这一挑战，人们开发了弹性网，并成功应用于许多应用。尽管弹性网络取得了巨大的成功，但它并没有明确地使用数据中嵌入的相关信息来选择相关变量。为了克服这一局限性，我们提出了一种新的贝叶斯混合模型，特征网，使用数据的特征结构来指导变量选择。具体来说，它集成了一个稀疏的条件分类模型与生成模型捕捉变量的相关性在一个原则性的贝叶斯框架。我们重新参数化的混合模型的特征空间，以避免过度拟合，并提高其MCMC采样器的计算效率。此外，我们从正则化的角度提供了一个替代的观点的特征网络：特征网络有一个自适应的基于特征空间的复合正则化，自然推广的$l_{1/2}$正则化所使用的弹性网络。对合成数据和真实数据的实验表明，特征网在预测精度方面明显优于套索、弹性网和贝叶斯套索，特别是当训练样本数小于变量数时。
2011-02-08 cs.LG
Sparse Hybrid Linear-Morphological Networks
School of ECE, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）；Robotics Institute, Athena Research Center（雅典娜研究中心机器人研究所）
针对形态学层训练难但易剪枝的特性，提出将形态学层插入线性层间替代激活函数的混合网络结构，实验证明其能增强线性层稀疏性，稀疏初始化变体在MTAT上性能略优且初始收敛更快。
2025-04-12 cs.LG
Hybrid Embedded Deep Stacked Sparse Autoencoder with w_LPPD SVM Ensemble
School of Microelectornics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
深度学习是一种具有很强的非线性特征变换能力的特征学习方法，在人工智能的许多领域中发挥着越来越重要的作用。深度自动编码是深度学习方法中的一种代表性方法，能够有效地提取和抽象数据集的信息。但是，它没有考虑在深特征转换过程中的深特征和原始特征之间的互补性。此外，它还存在小样本问题。为了解决这些问题，本文提出了一种新的深度自编码器-混合特征嵌入堆叠稀疏自编码器（HESSAE）。HFESAE能够在训练期间嵌入原始特征以过滤弱隐藏层输出的帮助下学习判别式深度特征。针对小样本问题限制了抽象信息的类表示能力的问题，设计了一种特征融合策略，旨在将HFESAE学习到的抽象信息与原始特征相结合，获得混合特征进行特征约简。该策略是一种基于L1正则化的混合特征选择策略，然后采用一种支持向量机（SVM）集成模型，在每个基分类器上设计并使用加权局部判别保持投影（w_LPPD）。最后，通过几个具有代表性的公共数据集验证了算法的有效性。实验结果表明，与现有的特征学习算法（包括一些有代表性的深度自动编码方法）相比，该方法具有更好的性能。
2020-02-17 cs.LG
Exploring the impact of virtual reality user engagement on tourist behavioral response integrated an environment concern of touristic travel perspective: A new hybrid machine learning approach
本研究基于HCI和叙事传输理论，提出FRPSA混合机器学习方法，探究了COVID-19期间VR用户参与对游客意象和实地旅游意向的影响，发现环境关注的调节作用及意象的中介作用。
2024-10-16 cs.HC cs.LG
Deep hybrid model with satellite imagery: how to combine demand modeling and computer vision for behavior analysis?
Massachusetts Institute of Technology（麻省理工学院）；University of California at Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；University of Florida（佛罗里达大学）
本文提出一种结合数值数据与卫星影像的深度混合模型框架，通过混合算子与行为预测器将两类数据整合到潜在空间，在芝加哥出行方式选择分析中超越传统需求模型和深度学习，并兼具经济可解释性。
2024-02-22 cs.CV cs.LG econ.GN
A Physics-Informed Hybrid Forward-Inverse Machine Learning Framework for High-Dimensional Sparse Recipe Reconstruction
Bangladesh University of Engineering and Technology (BUET)（孟加拉工程技术大学（BUET））
本研究提出含三个模块的混合物理信息机器学习框架，在工业纺织品染色场景验证，正向模型与逆重构表现优异，可减少配方研发的实验室试验成本。
2026-10-14 cs.LG
Mobility Inference on Long-Tailed Sparse Trajectory
Beihang University（北京航空航天大学）
分析城市中的城市轨迹已成为数据采掘的一个重要课题。我们如何从原始轨迹数据中建模由停留和旅行组成的人类移动性？我们如何从单一轨迹信息推断出这样的移动模型？我们如何进一步推广移动性推断，以适应随着时间的推移稀疏采样的真实世界轨迹数据？在本文中，基于正式和严格的定义的停留/旅行的流动性，我们提出了一个单一的轨迹推理算法，利用一个通用的长尾稀疏模式的大规模轨迹数据。该算法保证了停留/旅行推理的100%的精度与可证明的召回下限。此外，我们引入了一个编码器-解码器学习架构，承认多个轨迹作为输入。通过自定义的嵌入和学习机制，该架构针对移动性推理问题进行了优化。对4000万城市用户的三个轨迹数据集的评估验证了所提出的推理算法的性能保证，并证明了我们的深度学习模型与众所周知的序列学习方法相比的优越性。在极稀疏的轨迹上，深度学习模型通过对大规模通用训练数据的经验证的可扩展性和可推广性，实现了比单轨迹推理算法高2 $\times$的总体准确性。
2020-01-21 cs.LG cs.SI stat.ML
SALO: An Efficient Spatial Accelerator Enabling Hybrid Sparse Attention Mechanisms for Long Sequences
Shanghai Jiao Tong University（上海交通大学）
Transformers的注意力机制有效地从输入序列中提取相关信息。然而，自我注意序列长度的二次复杂性会带来沉重的计算和记忆负担，特别是对于长序列的任务。现有的加速器在这些任务中面临性能下降。为此，我们提出SALO，使混合稀疏注意力机制长序列。SALO包含一个数据调度器，用于将混合稀疏注意模式映射到硬件上，以及一个空间加速器，用于执行有效的注意计算。我们表明，SALO实现了17.66倍和89.33倍的加速平均相比，GPU和CPU的实现，分别在典型的工作负载，即，Longformer和ViL。
2022-06-29 cs.AI cs.AR cs.LG
SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning
Tsinghua University（清华大学）
SpargeAttention2通过混合Top-k+Top-p掩码和蒸馏微调，实现高稀疏性且不降低生成质量。
2026-10-20 cs.CV cs.LG
Hybrid Spatio-Temporal Graph Convolutional Network: Improving Traffic Prediction with Navigation Data
Alibaba Group（阿里巴巴集团）
本文提出混合时空图卷积网络H-STGCN，通过从在线导航引擎获取即将到来的交通量并将其转换为等效行程时间，结合图卷积捕获空间依赖性，显著提升了交通预测精度，尤其在非周期性拥堵预测上表现优异。
2020-06-23 cs.LG stat.ML
Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
Idiap Research Institute（Idiap研究机构）；Ecole Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
针对线性注意力模型因有限内存导致的遗忘问题，本文提出结合稀疏注意力与可学习令牌驱逐的混合方法，在保持线性复杂度下提升检索性能。
2025-10-24 cs.CL cs.LG
Towards Hybrid-grained Feature Interaction Selection for Deep Sparse Network
McGill University（麦吉尔大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；City University of Hong Kong（香港城市大学）；FiT, Tencent（腾讯FiT）
本文提出混合粒度特征交互选择方法OptFeature，同时从特征域和特征值两个粒度高效选择特征交互，并在三个大规模真实数据集上验证了其准确性与效率。
2023-10-30 cs.IR cs.LG
An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
Beijing University of Technology（北京理工大学）；Microsoft Research（微软研究院）；Beijing Jiaotong University（北京交通大学）
本文提出Fluxion，通过输出感知的KV预算分配、头特定的稀疏配置和跨设备协调执行，提升长上下文推断的效率与准确性，实测在多种任务中取得显著加速效果。
2026-05-08 cs.AI cs.LG cs.PF
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris（巴黎中央理工学院）；KU Leuven（鲁汶大学）
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况，其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术，需要一阶计算（次梯度和邻近运算）。与近似方法不同，HCGS受益于条件梯度法的优点，这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题：正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
Centaur: A Chiplet-based, Hybrid Sparse-Dense Accelerator for Personalized Recommendations
KAIST（韩国科学技术院）
个性化推荐是支持几个重要应用领域（例如，广告、电子商务等）。稀疏嵌入层是设计建议的关键构建块，但很少注意适当加速这个重要的ML算法。本文首先提供了一个详细的个性化推荐的工作负载特征，并确定了两个显着的性能限制：内存密集型嵌入层和计算密集型多层感知器（MLP）层。然后，我们提出了Centaur，一个基于芯片的混合稀疏-密集加速器，它既解决了嵌入层的内存吞吐量挑战，又解决了MLP层的计算限制。我们实现并展示了我们的建议，英特尔HARPv 2，封装集成的CPU+FPGA设备，它显示了1.7- 17.2倍的性能加速和1.7- 19.5倍的能源效率比传统的方法改进。
2020-05-12 cs.DC cs.IR cs.LG
Long Distance Relationships without Time Travel: Boosting the Performance of a Sparse Predictive Autoencoder in Sequence Modeling
UC Berkeley（加州大学伯克利分校）；Numenta（Numenta公司）；Incubator 491（491孵化器）
在语言建模等序列学习任务中，递归神经网络必须学习按时间分隔的输入特征之间的关系。LSTM和Transformer等最先进的模型是通过将损失反向传播到存储器中保存的先前隐藏状态和输入来训练的。这允许梯度从现在流到过去，并有效地学习完美的事后诸葛亮，但在显着的内存成本。在本文中，我们表明，它是可能的训练高性能的经常性网络使用的信息是本地的时间，从而实现显着减少内存占用。我们描述了一个预测自动编码器称为bRSM具有经常性的连接，稀疏激活，并提高细胞利用率的提升规则。该架构表现出接近最佳性能的非确定性（随机）部分可观察序列学习任务组成的高马尔可夫阶序列的MNIST数字。我们发现，这个模型比LSTM更快、更完整地学习这些序列，并提供了几种可能的解释，为什么LSTM架构可能会在这个任务中与部分可观察的序列结构作斗争。我们还将我们的模型应用于Penn Treebank（PTB）数据集上的下一个单词预测任务。我们发现，一个“扁平化”的RSM网络，当与现代语义词嵌入和增加boosting配对时，实现了103.5 PPL（比最好的N-gram模型提高了20分），击败了用BPTT训练的普通RNN，并接近早期LSTM实现的分数。这项工作提供了令人鼓舞的证据，证明使用记忆密集度较低的生物学合理的训练制度可能会在具有挑战性的任务（如语言建模）上取得强有力的结果。
2019-12-02 cs.CL cs.LG cs.NE
Machine Learning Constructives and Local Searches for the Travelling Salesman Problem
Università della Svizzera Italiana（瑞士意大利语区大学）；Dalle Molle Institute for Artificial Intelligence（达莱莫勒人工智能研究所）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
ML-构造性启发式算法是最近提出的一种方法，也是第一种能够扩展到实际规模的旅行商问题的混合方法。它结合了机器学习技术和经典的优化技术。在本文中，我们对原始深度学习模型的计算权重进行了改进。此外，由于更简单的模型减少了执行时间，因此探索了添加本地搜索阶段的可能性，以进一步提高性能。实验结果证实了所提出的改进的质量。
2021-08-02 cs.AI cs.DM cs.LG
Hybrid-Field Sparse Channel Representation and Recovery for XL-RIS-Assisted mmWave MIMO Systems
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）；ZGC Institute of Ubiquitous-X Innovation and Applications（中关村泛在X创新与应用研究院）
针对XL-RIS辅助毫米波MIMO系统混合场信道估计的高维挑战，提出双时间尺度信道估计框架，结合DK-ODC方案与SI-VBL算法，实现了估计精度、复杂度与存储开销的良好权衡。
2026-08-04 cs.LG eess.SP
Data-Driven Chance Constrained AC-OPF using Hybrid Sparse Gaussian Processes
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
交流（AC）机会约束最优潮流（CC-OPF）问题解决了发电量不确定情况下发电和输电的经济性。后者是现代电网所固有的，因为可再生能源的数量很高。尽管其学术上的成功，AC CC-OPF问题是高度非线性和计算要求，这限制了它的实际影响。为了改善AC-OPF问题的复杂性/精度权衡，本文提出了一种快速的数据驱动设置，使用稀疏和混合高斯过程（GP）框架来建模的潮流方程与输入的不确定性。我们提倡的效率，所提出的方法的数值研究多个IEEE测试用例显示高达两倍的速度和更准确的解决方案相比，国家的最先进的方法。
2022-08-30 cs.LG cs.SY eess.SY
BikeVAE-GNN: A Variational Autoencoder-Augmented Hybrid Graph Neural Network for Sparse Bicycle Volume Estimation
School of Public Health and Preventive Medicine, Monash University, Melbourne, Australia（公共卫生与预防医学学院，墨尔本大学，澳大利亚）
提出双任务 BikeVAE-GNN，用 VAE 增强融合 GCN、GAT、GraphSAGE 的混合 GNN，在墨尔本市99%稀疏计数数据下实现高精度 ADB 流量回归与等级分类。
2025-07-18 cs.AI cs.LG
Recovering PCA from Hybrid-$(\ell_1,\ell_2)$ Sparse Sampling of Data Elements
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文讨论了如何以及我们可以恢复一个数据矩阵时，只有几个元素。我们提出了一个随机算法，元素明智的稀疏的数据，只保留了几个元素。我们的新算法使用依赖于条目的平方（$\ell_2$采样）和绝对值（$\ell_1$采样）的采样概率独立地对数据进行采样。我们证明了混合算法恢复近PCA重建的数据从一个次线性的样本大小：混合-（$\ell_1,\ell_2$）继承了$\ell_2$的能力，以采样的重要元素，以及$\ell_1$采样的正则化属性，并严格优于$\ell_1$或$\ell_2$自己的性能。我们还给出了一个单通版本的算法，并显示实验来证实理论。
2015-03-02 cs.IT cs.LG math.IT
Efficient Inner Product Approximation in Hybrid Spaces
Google Research（谷歌研究院）
数据采掘和机器学习的许多新兴用例都在大型数据集上运行，这些数据集包含来自异构源的数据，特别是包含稀疏和密集组件的数据。例如，密集深度神经网络嵌入向量通常与稀疏文本特征结合使用，以提供文档的高维混合表示。在这种混合空间中进行有效搜索是非常具有挑战性的，因为对于稀疏向量表现良好的技术与对于密集向量表现良好的技术几乎没有重叠。流行的技术，如局部敏感散列（LSH）及其数据依赖的变体也没有在高维混合空间中提供良好的准确性。尽管混合场景变得越来越普遍，但目前文献中还没有既快速又准确的有效技术。在本文中，我们提出了一种技术，近似的混合向量的内积计算，从而大大加快搜索，同时保持高精度。我们还提出了有效的数据结构，利用现代计算机体系结构，导致数量级更快的搜索比现有的基线。所提出的方法的性能在几个数据集上得到了证明，包括一个非常大规模的工业数据集，在十亿维空间中包含十亿个向量，与竞争基线相比，实现了超过10倍的加速和更高的准确性。
2019-03-20 cs.LG stat.ML
Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense
FAIR at Meta（Meta 的 FAIR）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对LLM推理后训练中稀疏奖励问题，提出HERO框架，通过分层归一化和方差感知加权整合验证器与奖励模型信号，在数学推理基准上超越单一信号基线。
2025-10-17 cs.CL cs.LG
Diversity-Aware Adaptive Collocation for Physics-Informed Neural Networks via Sparse QUBO Optimization and Hybrid Coresets
Research Center for Artificial Intelligence（人工智能研究中心）；Innopolis University（因诺波利斯大学）；Moscow Center for Advanced Studies（莫斯科先进研究中心）；Laboratory of Quantum Computing（量子计算实验室）；Center for Engineering Systems and Sciences（工程系统与科学中心）；Central University（中央大学）；The Center for Top-Level Educational Programs in AI（人工智能顶级教育项目中心）；National Medical Research Center of Oncology（肿瘤医学研究中心）
本文提出一种面向多样性的自适应配点方法，通过稀疏QUBO优化和混合聚类实现物理信息神经网络的高效训练。
2026-03-06 cs.AI cs.LG
Improving Low-Fidelity Models of Li-ion Batteries via Hybrid Sparse Identification of Nonlinear Dynamics
The Ohio State University（俄亥俄州立大学）
本文提出GA-STRidge混合稀疏辨识方法，结合物理与数据驱动策略补偿锂离子电池低保真模型误差，在保持计算效率的同时显著提升电压预测精度与鲁棒性。
2024-11-20 cs.LG cs.NE cs.SY
MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
MiniCPM Team（MiniCPM 团队）
MiniCPM-SALA通过融合稀疏与线性注意力机制，实现高效长上下文建模，显著降低训练成本并提升推理效率。
2026-02-28 cs.AI cs.CL cs.LG
