Gating mechanisms are ubiquitous, yet a complementary question in feed-forward networks remains under-explored: how to introduce frequency-rich expressivity without sacrificing stability and scalability? This tension is exposed by spline-based Kolmogorov-Arnold Network (KAN) parameterizations, where grid refinement can induce parameter growth and brittle optimization in high dimensions. To propose a stability-preserving way to inject spectral capacity into existing MLP/FFN layers under fixed parameter and training budgets, we introduce Spectral Gating Networks (SGN), a drop-in spectral reparameterization. SGN augments a standard activation pathway with a compact spectral pathway and learnable gates that allow the model to start from a stable base behavior and progressively allocate capacity to spectral features during training. The spectral pathway is instantiated with trainable Random Fourier Features (learned frequencies and phases), replacing grid-based splines and removing resolution dependence. A hybrid GELU-Fourier formulation further improves optimization robustness while enhancing high-frequency fidelity. Across vision, NLP, audio, and PDE benchmarks, SGN consistently improves accuracy-efficiency trade-offs under comparable computational budgets, achieving 93.15% accuracy on CIFAR-10 and up to 11.7x faster inference than spline-based KAN variants. Code and trained models will be released.
Mixture of ELM based experts with trainable gating network
Yazd University（亚兹德大学）
混合专家模型方法是一种基于神经网络的集成学习方法，具有很强的提高整体分类精度的能力。该方法基于分而治之的原则，通过选通网络的监督将问题空间划分给多个专家。本文提出了一种基于混合专家模型的集成学习方法--MEETG（mixed of ELM based experts with trainable gating networks），它由多层感知器（MLP）和门网络组成，其中应用基于梯度的学习算法来训练MLP，这是一个迭代且耗时的过程。为了克服这些问题，我们利用极限学习机（ELM）的优点设计了ME的结构，ELM作为单隐层前馈神经网络的学习算法，与其他传统的学习算法相比，具有更快的学习速度和更好的泛化能力。此外，在所提出的方法中，一个可训练的门控网络被应用于根据输入样本动态地聚集专家的输出。在11个基准数据集上的实验结果和统计分析证实了MEETG在分类问题上具有可接受的性能。此外，我们的实验结果表明，该方法在预测稳定性和分类准确性方面优于原始ELM。
Federated Mixture-of-Experts Alignment on Mobile Edge Networks under Data Heterogeneity
Hong Kong JC STEM Lab of Smart City（香港JC STEM实验室）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院）；Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系）
Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
Deconstructing Recurrence, Attention, and Gating: Investigating the transferability of Transformers and Gated Recurrent Neural Networks in forecasting of dynamical systems
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Institute of Structural Engineering, ETH Zurich（苏黎世联邦理工学院结构工程研究所）
Mixture-of-Experts for Distributed Edge Computing with Channel-Aware Gating Function
Shenzhen Future Network of Intelligence Institute（深圳未来智能网络研究院）；University of California, San Francisco（加利福尼亚大学旧金山分校）；New Jersey Institute of Technology（新泽西理工学院）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
Evolutionary Soups: Evolving Mixture-of-Experts for Multi-Objective LLM Alignment
Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所FIT）；University of Cologne（科隆大学）；University of Stuttgart（斯图加特大学）；University of Southampton（南安普顿大学）；Soochow University（苏州大学）；University Hospital of Cologne（科隆大学医院）
Precision Gating: Improving Neural Network Efficiency with Dynamic Dual-Precision Activations
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们提出了精确门控（PG），这是一种用于深度神经网络的端到端可训练动态双精度量化技术。PG以低精度计算大多数特征，仅以较高精度计算一小部分重要特征以保持准确性。所提出的方法适用于各种DNN架构，并显着降低了DNN执行的计算成本，几乎没有精度损失。我们的实验表明，PG在CNN上取得了优异的结果，包括静态压缩的移动友好网络，如ShuffleNet。与最先进的基于预测的量化方案相比，PG在ImageNet上实现了相同或更高的精度，但计算量减少了2.4 $\times$。PG也适用于RNN。与8位均匀量化相比，PG在Penn Tree Bank数据集上的LSTM上每字的困惑度提高了1.2%，计算成本降低了2.7 $\times$。代码可在：https://github.com/cornell-zhang/dnn-gating
Always-On, Sub-300-nW, Event-Driven Spiking Neural Network based on Spike-Driven Clock-Generation and Clock- and Power-Gating for an Ultra-Low-Power Intelligent Device
Columbia University（哥伦比亚大学）；Samsung Electronics（三星电子）
Faster Training of Very Deep Networks Via p-Norm Gates
Center for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
深度神经网络最近取得进展的一个主要贡献因素是让感觉信息和梯度容易传播的结构单元。门控就是这样一种结构，它起到流量控制的作用。门被用于许多最新的递归模型，如LSTM和GRU，以及前馈模型，如残差网络和高速公路网络。这使得在具有数百层的非常深的网络中进行学习成为可能，并有助于在视觉方面实现创纪录的结果（例如，ImageNet with Residual Nets）和NLP（例如，GRU的机器翻译）。然而，在分析门控在学习过程中的作用方面的工作有限。在本文中，我们提出了一个灵活的$p$ -范数选通方案，它允许用户可控的流，因此，提高学习速度。该方案包括其他现有的门控方案，包括GRU，高速公路网络和剩余网络中的特殊情况。在大型序列和向量数据集上的实验表明，所提出的门控策略在不增加额外开销的情况下，显著提高了学习速度。
Frequency-Domain Latent Attention Gating for Cross-Domain Token Aggregation
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（教育部符号计算与知识工程重点实验室）；Institute for Quantitative and Computational Biology, University of California（加州大学定量与计算生物学研究所）；Greenwich High School（格林威治高中）；BCPM Data Limited（BCPM数据有限公司）
BRIDGE: Biological Evidence Refinement and Heterogeneous Dynamic Gating for Gene Regulatory Networks
College of Computer Science（计算机科学学院）；Sichuan University（四川大学）；Xinjiang Technical Institute of Physics and Chemistry（新疆物理化学研究所）；Chinese Academy of Sciences（中国科学院）；School of Mathematics（数学学院）；University of International Business and Economics（国际商务经济大学）；School of Artificial Intelligence and Data Science（人工智能与数据科学学院）
