挤压和激励(SE)块提出了一种通道注意力机制,通过显式捕获跨通道的依赖关系来建模全局上下文。然而,我们仍然远远没有理解SE块是如何工作的。在这项工作中,我们首先重新审视SE块,然后提出了一个详细的全球背景和注意力分布之间的关系的实证研究,在此基础上,我们提出了一个简单而有效的模块,称为线性上下文变换(LCT)块。我们将所有通道分成不同的组,并在每个通道组内对全局聚合的上下文特征进行归一化,减少了不相关通道的干扰。通过对归一化的上下文特征进行线性变换,我们独立地为每个通道建模全局上下文。LCT块非常轻量级,易于插入到不同的骨干模型中,而参数和计算负担的增加可以忽略不计。大量的实验表明,LCT块在ImageNet上的图像分类任务和具有不同骨干模型的COCO数据集上的目标检测/分割中优于SE块。此外,LCT相对于现有的最先进的检测架构(例如,1.5 $\sim$ 1.7% AP $^{bbox}$和1.0 $\sim$ 1.2% AP $^{mask}$在COCO基准上的改进,而不考虑不同容量的不同基线模型。我们希望我们简单而有效的方法将有助于未来的研究基于注意力的模型。
英文摘要:
Squeeze-and-Excitation (SE) block presents a channel attention mechanism for modeling global context via explicitly capturing dependencies across channels. However, we are still far from understanding how the SE block works. In this work, we first revisit the SE block, and then present a detailed empirical study of the relationship between global context and attention distribution, based on which we propose a simple yet effective module, called Linear Context Transform (LCT) block. We divide all channels into different groups and normalize the globally aggregated context features within each channel group, reducing the disturbance from irrelevant channels. Through linear transform of the normalized context features, we model global context for each channel independently. The LCT block is extremely lightweight and easy to be plugged into different backbone models while with negligible parameters and computational burden increase. Extensive experiments show that the LCT block outperforms the SE block in image classification task on the ImageNet and object detection/segmentation on the COCO dataset with different backbone models. Moreover, LCT yields consistent performance gains over existing state-of-the-art detection architectures, e.g., 1.5$\sim$1.7% AP$^{bbox}$ and 1.0$\sim$1.2% AP$^{mask}$ improvements on the COCO benchmark, irrespective of different baseline models of varied capacities. We hope our simple yet effective approach will shed some light on future research of attention-based models.
Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction
College of Information Science and Technology, Donghua University(东华大学信息科学与技术学院);University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
随着各种数字文本信息呈指数级爆炸式增长,如何从海量的非结构化文本信息中有效地获取特定知识成为一个挑战。关系抽取是自然语言处理的基本任务之一,其目的是从给定的文本中抽取实体对之间的语义关系。为了避免人工标注数据集,远距离监督关系抽取(DSRE)被广泛应用,旨在利用知识库自动标注数据集。不幸的是,由于潜在的强假设,这种方法严重遭受错误的标签。为了解决这个问题,我们提出了一个新的框架,使用混合注意力为基础的Transformer块与多实例学习来执行DSRE任务。具体地说,首先使用Transformer块作为句子编码器来捕获句子的句法信息,其主要利用多头自注意从词级提取特征。然后,采用一种更为简洁的句子级注意力机制来构造袋子表示,旨在整合句子的有效信息来有效地表示袋子。在公开数据集New York Times(NYT)上的实验结果表明,该方法在评估数据集上的性能优于现有算法,验证了该模型在DSRE任务中的有效性.