BRIDGE: Biological Evidence Refinement and Heterogeneous Dynamic Gating for Gene Regulatory Networks
College of Computer Science（计算机科学学院）；Sichuan University（四川大学）；Xinjiang Technical Institute of Physics and Chemistry（新疆物理化学研究所）；Chinese Academy of Sciences（中国科学院）；School of Mathematics（数学学院）；University of International Business and Economics（国际商务经济大学）；School of Artificial Intelligence and Data Science（人工智能与数据科学学院）
提出BRIDGE框架，通过共表达精炼视图和异质门控编码，从scRNA-seq数据中稳健推断基因调控网络，在多个基准数据集上取得最优性能。
2026-06-16 cs.AI cs.LG q-bio.MN
Adaptive Branch Specialization in Spectral-Spatial Graph Neural Networks for Certified Robustness
针对现有谱-空间图神经网络可认证鲁棒性研究不足的问题，提出分支特化的对抗训练方案与上下文感知门控融合机制，兼具理论保证与更优的节点分类精度和可认证鲁棒性。
2025-08-01 cs.LG
Directed Homophily-Aware Graph Neural Network
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Institute for Infocomm Research, A*STAR（信息与通信研究所，A*STAR）
本文提出DHGNN，通过引入同质性意识和方向敏感组件，解决有向图中泛化能力差和性能不佳的问题，在节点分类和链接预测中取得显著提升。
2026-01-13 cs.LG
RecMind: LLM-Enhanced Graph Neural Networks for Personalized Consumer Recommendations
Yeshiva University（耶鲁大学）；Oklahoma State University（俄克拉荷马州立大学）；Case Western Reserve University（凯斯西储大学）；North Carolina State University（北卡罗来纳州立大学）
RecMind利用冻结LLM生成文本嵌入，结合LightGCN图协同嵌入，通过对比对齐和层内门控融合，在Yelp和Amazon-Electronics上八项指标均最优，显著提升冷启动推荐性能。
2025-09-08 cs.LG
The Spike Gating Flow: A Hierarchical Structure Based Spiking Neural Network for Online Gesture Recognition
Fudan University（复旦大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）；BrainUp Research Lab（BrainUp研究实验室）
动作识别是人工智能的一个令人兴奋的研究方向，因为它可能会改变机器人视觉和汽车等新兴工业领域的游戏规则。然而，由于计算成本巨大和学习效率低下，当前的深度学习在此类应用中面临着重大挑战。因此，我们开发了一种新的大脑启发的脉冲神经网络（SNN）为基础的系统，题为尖峰门控流（SGF）的在线动作学习。所开发的系统由多个SGF单元，组装在一个层次的方式。单个SGF单元包括三层：特征提取层、事件驱动层和基于直方图的训练层。为了展示开发的系统功能，我们采用标准的动态视觉传感器（DVS）的手势分类作为基准。结果表明，我们可以达到87.5%的准确率，与深度学习（DL）相当，但训练/推理数据数比为1.5：1。在学习过程中只需要一个训练时期。同时，据我们所知，这是基于非反向传播算法的SNN中最高的准确性。最后，我们总结了所开发网络的少样本学习范式：1）基于分层结构的网络设计涉及人类先验知识; 2）用于基于内容的全局动态特征检测的SNN。
2022-06-07 cs.AI cs.CV
RoME: Robust Mixture of Low-Rank Experts against Multiple Adversarial Perturbations
KAIST（韩国科学技术院）；Oracle（甲骨文公司）
研究针对多扰动对抗训练的鲁棒性权衡问题，提出RoME方法，通过低秩专家混合及双尺度门控、威胁引导门控多样化，在联合鲁棒性和自然准确性上优于现有方法，提升对未知威胁的鲁棒性。
2026-07-08 cs.AI cs.CV
TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts
University of Chinese Academy of Sciences（中国科学院大学）；Tencent Hunyuan（腾讯文言）；National Cheng-Kung University（国立成功大学）
本文提出TAG-MoE框架，通过引入层次化任务语义标注方案和预测对齐正则化，解决密集扩散变换器架构中任务干扰问题，提升生成质量和保真度。
2026-03-26 cs.AI cs.CV
COMBA: Cross Batch Aggregation for Learning Large Graphs with Context Gating State Space Models
Florida Atlantic University（佛罗里达亚特兰大大学）；William & Mary（威廉与玛丽学院）
COMBA通过图上下文门控和跨批次聚合技术，提升大规模图学习的效率和性能。
2026-02-19 cs.LG
Enhanced Exploration in Neural Feature Selection for Deep Click-Through Rate Prediction Models via Ensemble of Gating Layers
Arizona State University（亚利桑那州立大学）；ByteDance（字节跳动）
特征选择是开发行业规模的深度点击率（CTR）预测系统的重要步骤。神经特征选择（NFS）的目标是选择一个相对较小的具有最佳解释能力的特征子集，以去除冗余特征并降低计算成本。受基于梯度的神经结构搜索（NAS）和网络修剪方法的启发，人们已经用门控方法解决了NFS问题，该方法插入一组可区分的二进制门来丢弃信息量较少的特征。二进制门与网络参数一起以高效的端到端方式进行优化。在本文中，我们分析了基于梯度的解决方案，从探索-开发的角度来看，并使用实证结果表明，门控方法可能会遭受不足的探索。为了提高基于梯度的解决方案的探索能力，我们提出了一个简单而有效的集成学习方法，命名为EnergyGating。我们选择了两个公共数据集，即Avazu和Criteo，来评估这种方法。我们的实验表明，在不增加任何计算开销或引入任何超参数（除了集合的大小）的情况下，我们的方法能够始终如一地改进Gating方法，并在具有三个不同底层深度CTR预测模型的两个数据集上找到更好的特征子集。
2021-12-07 cs.LG
Mixture-of-Experts for Distributed Edge Computing with Channel-Aware Gating Function
Shenzhen Future Network of Intelligence Institute（深圳未来智能网络研究院）；University of California, San Francisco（加利福尼亚大学旧金山分校）；New Jersey Institute of Technology（新泽西理工学院）；University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
本文提出一种用于无线分布式混合专家模型的信道感知门控函数，通过将通信信道信噪比纳入门控机制以优化专家选择，实验证明其性能优于传统MoE模型。
2025-04-01 cs.LG
Dynamic Data Augmentation with Gating Networks for Time Series Recognition
Kyushu University（九州大学）
数据增强是一种通过增加数据集的大小来提高机器学习方法泛化能力的技术。但是，由于每种增强方法对每个数据集的效果并不相同，因此需要仔细选择合适的方法。我们提出了一个神经网络，动态地选择最佳组合的数据增强方法使用一个互利的门控网络和功能的一致性损失。选通网络能够控制每个数据增强中有多少用于网络内的表示。特征一致性损失给出了来自相同输入的增强特征应该相似的约束。在实验中，我们证明了所提出的方法的有效性的12个最大的时间序列数据集从2018年UCR时间序列档案，并揭示了数据增强方法之间的关系，通过分析所提出的方法。
2022-05-28 cs.LG
GateNet: Gating-Enhanced Deep Network for Click-Through Rate Prediction
广告和提要排名对Facebook等许多互联网公司至关重要。在许多现实世界的广告和提要排名系统中，点击率（CTR）预测起着核心作用。近年来，许多基于神经网络的CTR模型已经被提出并取得了成功，例如因子分解机器支持的神经网络、DeepFM和xDeepFM。其中许多包含两个常用的组件：嵌入层和MLP隐藏层。另一方面，门控机制在计算机视觉、自然语言处理等领域也有着广泛的应用。一些研究已经证明，门控机制提高了非凸深度神经网络的可训练性。受这些观察结果的启发，我们提出了一种名为GateNet的新模型，该模型分别将特征嵌入门或隐藏门引入DNN CTR模型的嵌入层或隐藏层。特征嵌入门提供了一个可学习的特征门控模块，用于从特征级别中选择显著的潜在信息。隐藏门有助于模型更有效地隐式捕获高阶交互。在三个真实世界数据集上进行的广泛实验表明，它可以有效地提高各种最先进的模型（如FM，DeepFM和xDeepFM）在所有数据集上的性能。
2020-07-06 cs.LG
Contextual Gating within the Transformer Stack: Synergistic Feature Modulation for Enhanced Lyrical Classification and Calibration
Independent Researcher（独立研究者）
SFL Transformer通过在Transformer堆栈中引入上下文门控机制，有效融合结构和语义信息，提升了歌词分类的准确率和概率估计的可靠性。
2025-11-27 cs.LG
Multi-modal fusion with gating using audio, lexical and disfluency features for Alzheimer's Dementia recognition from spontaneous speech
Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约热夫·斯特凡研究所）
本文是对阿尔茨海默氏症通过自发语音识别（ADReSS）挑战的提交，该挑战旨在开发可以帮助从语音数据自动预测阿尔茨海默氏症严重程度的方法。我们专注于声学和自然语言的特点，在自发性言语的认知障碍检测的背景下，阿尔茨海默氏病的诊断和简易精神状态检查（MMSE）评分预测。我们提出了一个模型，该模型从不同的LSTM获得单峰决策，每个LSTM用于文本和音频的每种模态，然后使用门控机制将它们组合起来进行最终预测。我们专注于文本和音频的顺序建模，并调查个人言语中存在的不流利是否与其认知障碍的程度有关。我们的研究结果表明，所提出的分类和回归计划获得非常有前途的结果，开发和测试集。这表明阿尔茨海默病可以成功地检测与医疗会话的语音数据的序列建模。
2021-06-17 cs.LG
Spectral Gating Networks
Sun Yat-sen University, China（中山大学，中国）；Nanyang Technological University, Singapore（南洋理工大学，新加坡）
谱门网络通过引入紧凑的频谱路径和可学习门控，提升模型在保持稳定性和可扩展性的同时的准确率与效率权衡。
2026-02-07 cs.AI cs.LG
ExGate: Externally Controlled Gating for Feature-based Attention in Artificial Neural Networks
University of Cape Town（开普敦大学）
自深度学习出现以来，人工系统的感知能力已经取得了长足的进步。这些方法已被证明是有效的，但它们不如生物学方法有效。视觉注意是生物视觉系统中通过只处理刺激的相关部分来减轻计算负荷的一组机制。本文讨论了自上而下的，基于特征的注意在人工神经网络的外部控制的神经元门控使用的实现。我们的结果显示，与非门控版本相比，CIFAR-10数据集的分类准确性提高了5%，同时添加了很少的参数。我们的门控模型还通过大幅减少属于与真实类不同类别的类的预测来产生更合理的预测错误。
2018-11-08 cs.CV cs.LG cs.NE
MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding
Qwen3-Omni-30B-A3B-Thinking（通义千问3- Omni-30B-A3B-Thinking）
提出MIRAGE框架，通过原生多模态骨干网络和自适应特征门控，实现全脑fMRI对自然视听刺激的高精度编码，并证明原生多模态特征优于后期融合的单模态特征。
2026-05-28 cs.LG
Bit-Accurate FPGA Evaluation of Learned Feature Gating in a Fixed-Point Fourier-Feature Automatic Modulation Classifier
研究在定点傅里叶特征自动调制分类器中学习特征门控的效果，通过特定架构和训练方法，在FPGA上评估其对分类准确率及硬件资源的影响，发现学习门控增加成本且未提升准确率。
2026-07-28 cs.LG
Ignorance is Bliss: Robust Control via Information Gating
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research Montreal（微软蒙特利尔研究院）
本文提出 InfoGating，通过可微信噪比门控学习任务所需最少信息，并在动力学、Q-learning 和行为克隆中提升控制策略的鲁棒泛化。
2023-12-08 cs.AI cs.LG
Precision Gating: Improving Neural Network Efficiency with Dynamic Dual-Precision Activations
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们提出了精确门控（PG），这是一种用于深度神经网络的端到端可训练动态双精度量化技术。PG以低精度计算大多数特征，仅以较高精度计算一小部分重要特征以保持准确性。所提出的方法适用于各种DNN架构，并显着降低了DNN执行的计算成本，几乎没有精度损失。我们的实验表明，PG在CNN上取得了优异的结果，包括静态压缩的移动友好网络，如ShuffleNet。与最先进的基于预测的量化方案相比，PG在ImageNet上实现了相同或更高的精度，但计算量减少了2.4 $\times$。PG也适用于RNN。与8位均匀量化相比，PG在Penn Tree Bank数据集上的LSTM上每字的困惑度提高了1.2%，计算成本降低了2.7 $\times$。代码可在：https://github.com/cornell-zhang/dnn-gating
2020-05-29 cs.CV cs.LG
CoGate-LSTM: Prototype-Guided Feature-Space Gating for Mitigating Gradient Dilution in Imbalanced Toxic Comment Classification
Istanbul Technical University（伊斯坦布尔理工大学）
本文提出CoGate-LSTM，通过原型引导的特征空间门控机制，有效缓解不平衡有毒评论分类中的梯度稀释问题，实现高准确率和效率。
2026-04-07 cs.CL cs.LG
Switch Spaces: Learning Product Spaces with Sparse Gating
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
学习合适的几何嵌入空间是表示学习的关键。为了使学习的表示有效和高效，理想的是几何归纳偏差与数据的底层结构很好地对齐。在本文中，我们提出了开关空间，一个数据驱动的方法学习表示产品空间。具体地说，乘积空间（或流形）是混合曲率的空间，即，多个欧几里德和非欧几里德（双曲，球面）流形的组合。为此，我们引入稀疏门控机制，学习选择，组合和切换空间，使它们能够根据特定的输入数据进行切换。此外，所提出的方法也是有效的，并具有恒定的计算复杂性的模型大小无关。在知识图谱补全和项目推荐上的实验表明，所提出的开关空间实现了新的最先进的性能，优于纯产品空间和最近提出的特定任务模型.
2021-03-28 cs.LG
Quantum Feature Pyramid Gating for Seismic Image Segmentation
Louisiana State University Baton Rouge, Louisiana, USA（路易斯安那州立大学巴吞鲁日分校，路易斯安那州，美国）
本文提出量子特征门控方法，通过参数化量子电路在编码器-解码器中实现特征融合，提升地震图像分割精度，验证量子特征融合在密集预测中的有效性。
2026-05-14 cs.LG quant-ph
Theory of gating in recurrent neural networks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；CUNY（纽约市立大学）
循环神经网络（RNN）是一种强大的动态模型，广泛应用于机器学习（ML）和神经科学。之前的理论工作主要集中在具有加性相互作用的RNN上。然而，门控-即乘法-相互作用在真实神经元中无处不在，也是ML中性能最好的RNN的核心特征。在这里，我们表明，门控提供了灵活的控制集体动力学的两个显着特征：i）时间尺度和ii）维度。门控制时间尺度导致一个新的，边缘稳定的状态，其中网络作为一个灵活的积分器。与以前的方法不同，门控允许这个重要的功能，而无需参数微调或特殊的对称性。门还提供了一种灵活的、依赖于上下文的机制来重置记忆轨迹，从而补充了记忆功能。调制维度的门可以诱导一种新的、不连续的混沌过渡，其中输入将稳定系统推向强混沌活动，与输入的典型稳定效果相反。在这种过渡中，与加性RNN不同，临界点的扩散（拓扑复杂性）与混沌动力学的出现（动力学复杂性）解耦。丰富的动力学在相图中进行了总结，从而为ML从业者提供了一个原则性参数初始化选择的地图。
2021-12-01 cond-mat.dis-nn cond-mat.stat-mech cs.LG
TA-SparseMG: Trend-Aware Sparse Forecasting via Multi-Scale Gating for Long-Term Time Series
School of Mathematical Sciences, Guizhou Normal University（贵州师范大学数学科学学院）；School of Big Data and Computer Science, Guizhou Normal University（贵州师范大学大数据与计算机科学学院）
提出TA-SparseMG轻量级模型，结合趋势感知归一化、尺度自适应门控去噪和多尺度门控注意力MLP模块，解决长期时间序列预测中的非平稳性、高频干扰和跨周期依赖问题，在多个基准上取得稳定优异性能。
2026-06-29 cs.LG
Looking to Learn: Token-wise Dynamic Gating for Low-Resource Vision-Language Modelling
ALTA Institute（ALTA研究院）；Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
针对低资源视觉-语言建模，提出带逐词动态门控的轻量解码器架构，在BabyLM挑战赛五个基准上取得竞争性表现，并发现可解释的门控模式，兼顾性能与可解释性。
2025-10-09 cs.AI cs.CL cs.LG
Graph Highway Networks
University of Glasgow（格拉斯哥大学）；Google Research（谷歌研究院）；Telefonica Research（西班牙电信研究院）
图卷积网络（GCN）由于其有效性和效率而被广泛用于学习图表示。然而，它们受到臭名昭著的过度平滑问题的困扰，其中当许多（>3）图卷积层堆叠时，密集连接节点的学习表示收敛到相似的向量。在本文中，我们认为，在GCN中使用的there-normalization技巧导致过于均匀的信息传播，这是过度平滑的来源。为了解决这个问题，我们提出了图公路网络（GHNet），它利用门控单元自动平衡GCN学习过程中的同质性和异质性之间的权衡。门控单元作为直接的高速公路，以保持从节点本身的异构信息后，功能传播。这种设计使GHNet能够在不过度平滑的情况下实现每个节点更大的感受野，从而访问更多的图形连接信息。在基准数据集上的实验结果表明，GHNet的性能优于GCN和相关模型。
2020-04-09 cs.LG stat.ML
GateNet: A novel Neural Network Architecture for Automated Flow Cytometry Gating
University of Münster（明斯特大学）；University and University Hospital Münster（明斯特大学及明斯特大学医院）
针对流式细胞术手动设门繁琐易错的问题，提出无需校正批次效应的端到端自动设门神经网络GateNet，在多数据集上达到人类水平性能，且样本需求低、推理速度快。
2023-12-12 cs.LG
Channel Gating Neural Networks
本文介绍了通道门控，一个动态的，细粒度的，硬件有效的修剪计划，以减少卷积神经网络（CNN）的计算成本。通道门控识别特征中对分类结果贡献较小的区域，并跳过对这些无效区域的输入通道子集的计算。与静态网络修剪不同，通道门控通过利用特定于输入的特性在运行时优化CNN推理，这允许在几乎没有准确性损失的情况下大幅降低计算成本。我们的实验表明，在最先进的网络中应用通道门控实现了2.7-8.0 $\times$减少浮点运算（FLOPs）和2.0-4.4 $\times$减少片外存储器访问的CIFAR-10上的精度损失最小。将我们的方法与知识蒸馏相结合，可以将ResNet-18的计算成本降低2.6 $\times$，而不会降低ImageNet的准确性。我们进一步证明，通道门控可以有效地实现在硬件中。我们的方法表现出稀疏模式，非常适合于密集的脉动阵列与最小的额外硬件。我们设计了一个通道门控网络的加速器，它可以使用FPGA或ASIC实现。运行ImageNet的量化ResNet-18模型，我们的加速器平均实现了令人鼓舞的2.4 $\times$的加速，理论FLOP减少了2.8 $\times$。
2019-10-28 cs.CV cs.LG stat.ML
Deep Graph Memory Networks for Forgetting-Robust Knowledge Tracing
Australian National University（澳大利亚国立大学）
追踪学生的知识对于定制学习体验至关重要。最近的知识追踪方法往往响应这些挑战，通过建模知识状态动态学习概念。然而，它们仍然面临着一些固有的挑战，包括：模拟遗忘行为和识别潜在概念之间的关系。为了解决这些问题，在本文中，我们提出了一种新的知识跟踪模型，即\emph{Deep Graph Memory Network}（DGMN）。在这个模型中，我们将一个遗忘门控机制到一个注意力记忆结构，以捕捉遗忘行为动态知识追踪过程中。特别是，这种遗忘门控机制是建立在潜在概念的注意力遗忘特征上的，考虑到它们的相互依赖性。此外，该模型具有根据学生不断发展的知识状态从动态潜在概念图中学习潜在概念之间的关系的能力。使用四个成熟的基准数据集进行了全面的实验评估。结果表明，DGMN在所有数据集上的表现始终优于最先进的KT模型。在我们的实验中，也分析了建模遗忘行为和学习潜在概念图的有效性。
2021-08-18 cs.LG
Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units
Zhejiang University（浙江大学）；Hikvision Research Institute（海康威视研究院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
递归神经网络（RNN）在序列学习任务中得到了广泛的研究，而主流模型（例如，LSTM和GRU）依赖于门控机制（控制信息如何在隐藏状态之间流动）。然而，RNN中的香草门（例如，LSTM中的输入门）遭受门训练不足的问题，这可能是由各种因素引起的，例如饱和激活函数，门布局（例如，门数目和门控函数），或者甚至次优存储器状态等。这可能会导致学习门控开关角色的失败，从而导致性能低下。在本文中，我们提出了一个新的门控机制一般门控递归神经网络来处理这个问题。具体来说，所提出的门直接将提取的输入特征短接到香草门的输出，表示为精炼门。细化机制允许增强梯度反向传播以及扩展门控激活范围，这可以引导RNN达到可能更深的最小值。我们在三种流行的门控RNN上验证了所提出的门控机制，包括LSTM，GRU和MGU。在3个合成任务、3个语言建模任务和5个场景文本识别基准上的实验证明了该方法的有效性。
2020-05-26 cs.CV cs.LG cs.NE
SigGate: Enhancing Recurrent Neural Networks with Signature-Based Gating Mechanisms
Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；Institut Polytechnique de Paris（巴黎综合理工学院）；CREST-ENSAE
该研究提出SigGate方法，将路径签名整合到LSTM和GRU的门控机制中，替换遗忘门和重置门，使模型基于完整历史上下文决策，实验表明其在序列任务中优于传统模型，为时序分析与预测提供新途径。
2025-02-13 cs.LG
Dynamical Isometry and a Mean Field Theory of RNNs: Gating Enables Signal Propagation in Recurrent Neural Networks
Google（谷歌）；Google Brain（谷歌大脑）
循环神经网络在跨各个领域的序列数据建模中得到了广泛的应用。虽然许多成功的递归架构都采用了门控的概念，但实现这种卓越性能的确切机制还没有得到很好的理解。我们开发了一个理论，在经常性网络随机初始化后，使用平均场理论和随机矩阵理论相结合的信号传播。为了简化我们的讨论，我们引入了一个新的RNN单元，它具有一个简单的门控机制，我们称之为minimalRNN，并将其与vanilla RNN进行比较。我们的理论允许我们定义RNN可以记住输入的最大时间尺度。我们表明，这一理论预测可训练的经常性架构。我们发现，门控递归网络比普通RNN具有更广泛，更强大，更可训练的区域，这证实了最近的实验结果。最后，我们开发了一个封闭形式的临界初始化方案，在vanilla RNN和minimalRNN中实现动态等距。我们表明，这导致训练动态的显着改善。最后，我们证明了minimalRNN在语言建模任务中的性能与其更复杂的同行（如LSTM或GRU）相当。
2018-08-15 cs.LG stat.ML
Mixture of Experts with Soft Nearest Neighbor Loss: Resolving Expert Collapse via Representation Disentanglement
De La Salle University（德拉萨大学）
本文提出一种改进的MoE模型，利用Soft Nearest Neighbor Loss优化特征提取器，以减少专家崩溃问题，提升分类性能。
2026-03-20 cs.LG cs.NE
Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating
Nice, France（法国尼斯）
提出Dijkstra剪枝网内学习（D-INL），通过保留融合节点处的容量感知最短路径树移除非树链接，并建模有限速率随机门控以平衡稀疏性与预测信息，在分布式分类实验中减少70.4%的训练交换量且保持精度。
2026-05-22 cs.IT cs.LG math.IT
PHN: Parallel heterogeneous network with soft gating for CTR prediction
Central South University（中南大学）
点击率预测任务是推荐系统中的一项基本任务。以往的CTR模型研究大多是基于Wide \Deep结构建立的，并逐渐演变为不同模块的并行结构。然而，并行结构的简单积累会导致更高的结构复杂度和更长的训练时间。基于输出层Sigmoid激活函数，并行结构在训练过程中线性相加激活值容易使样本落入弱梯度区间，产生弱梯度现象，降低训练的有效性。为此，本文提出了并行异构网络模型（PHN），该模型通过三种不同的交互分析方法构建具有并行结构的网络，并采用软选择门（SSG）来表征不同结构的异构数据。最后，在网络中使用带有可训练参数的剩余连接来减轻弱梯度现象的影响。此外，我们在大量的对比实验中证明了PHN的有效性，并可视化了模型在训练过程和结构上的性能。
2022-06-18 cs.IR cs.LG cs.NI
Attention-based Conditioning Methods for External Knowledge Integration
National Technical University of Athens（雅典国立技术大学）；University of Edinburgh（爱丁堡大学）；Behavioral Signal Technologies（行为信号技术公司）
在本文中，我们提出了一种新的方法，将外部知识纳入递归神经网络（RNN）。我们建议将词典特征集成到基于RNN架构的自注意机制中。这种对注意力分配的制约形式，强化了最突出的单词对手头任务的贡献。我们介绍了三种方法，即注意力连接，基于特征的门控和仿射变换。在六个基准数据集上的实验表明了该方法的有效性。基于注意力特征的门控在不同任务中产生一致的性能改善。我们的方法被实现为基于RNN的模型的简单附加模块，具有最小的计算开销，并且可以适应任何深度神经架构。
2019-06-09 cs.CL cs.LG stat.ML
