Self-Attentive Multi-Layer Aggregation with Feature Recalibration and Normalization for End-to-End Speaker Verification System
Sogang University（西江大学）
说话人嵌入生成是端到端说话人确认系统的重要组成部分。在我们之前的论文中，我们报告了基于快捷连接的多层聚合提高了说话人嵌入的代表性。然而，在多层聚合中，模型参数的数量相对较大并且未指定的变化增加。因此，我们提出了一个自我关注的多层聚合与功能重新校准和规范化的端到端的说话人确认系统。为了减少模型参数的数量，将缩放通道宽度和层深度的ResNet用作基线。为了控制训练中的可变性，应用自注意机制来执行具有丢弃规则化和批量规范化的多层聚合。然后，使用全连接层和非线性激活函数将特征重新校准层应用于聚合特征。深度长度归一化也用于端到端训练过程中的重新校准特征。使用VoxCeleb1评估数据集的实验结果表明，所提出的方法的性能与最先进的模型相当（分别使用VoxCeleb1和VoxCeleb2训练数据集的错误率分别为4.95%和2.86%）。
2020-07-28 cs.LG cs.SD eess.AS
Asymptotic Freeness of Layerwise Jacobians Caused by Invariance of Multilayer Perceptron: The Haar Orthogonal Case
Kyoto University（京都大学）；Fujitsu Laboratories（富士通实验室）
本文证明了多层感知机（MLP）在Haar正交情形下逐层雅可比矩阵的渐近自由性，其核心利用了MLP在权重替换下的不变性，为深度神经网络中谱分布传播和动力学等距研究提供了理论基础。
2022-02-03 cs.LG math-ph math.MP
Feature Evolution and Migration during Vision Transformer Training
University of Tartu（塔尔图大学）；Institute of Computer Science（计算机科学研究所）
该研究通过可视化训练过程的双维度特征演化，利用稀疏自编码器分析视觉Transformer的特征迁移规律，为理解其学习演化机制提供了工具。
2026-08-21 cs.CV cs.LG
Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Institute of Big Data, Fudan University（复旦大学大数据研究院）
针对当前大视觉语言模型忽略浅层视觉特征互补信息、现有多层特征融合方法任务无关的问题，提出指令引导视觉聚合器，可依据文本指令动态融合多层特征且不增加视觉令牌，在18个基准上实现了更优性能。
2025-01-17 cs.CV cs.LG
Selective Feature Connection Mechanism: Concatenating Multi-layer CNN Features with a Feature Selector
Institute of Automation, Chinese Academy of Sciences(CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences(UCAS)（中国科学院大学）
针对直接拼接CNN高低层特征导致的背景杂乱和语义模糊问题，提出选择性特征连接机制（SFCM），通过高层特征生成的选择器选择性链接低层特征，在多视觉任务上验证了其有效性、优越性与普遍适用性。
2019-04-21 cs.CV
Transfer Learning Based on AdaBoost for Feature Selection from Multiple ConvNet Layer Features
Inha University（仁荷大学）
卷积网络（ConvNets）是学习视觉特征层次的强大模型，也可用于获得迁移学习的图像表示。迁移学习的基本流水线是首先在大型数据集上训练ConvNet（源任务），然后使用经训练的ConvNet的前馈单元激活作为较小数据集的图像表示（目标任务）。我们的主要贡献是展示了多个ConvNet层特征优于单个ConvNet层特征的性能。组合多个ConvNet层特征将导致更复杂的特征空间，其中一些特征是重复的。这需要某种形式的特征选择。我们使用AdaBoost和单个树桩来隐式地选择对级联ConvNet特征分类有用的不同特征。实验结果表明，使用多个ConvNet层激活特征而不是单个ConvNet层特征将产生更好的性能。当我们增加源任务和目标任务之间的距离时，改进变得显著。
2016-03-25 cs.CV
Rethinking Layer-wise Feature Amounts in Convolutional Neural Network Architectures
Goethe University（歌德大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们根据每层特征的相对数量来表征卷积神经网络。使用一个偏正态分布作为一个参数化的框架，我们调查的共同假设单调增加的功能计数与更高层次的架构设计。我们在MNIST、Fashion-MNIST和CIFAR-10图像分类基准上对具有VGG类型层的模型进行的评估提供了证据，促使我们重新思考我们的共同假设：有利于较大早期层的架构似乎会产生更好的准确性。
2018-12-14 cs.CV cs.LG stat.ML
Transfer Learning Using Classification Layer Features of CNN
Federation University Australia（澳大利亚联邦大学）
虽然CNN已经能够凭借大型注释数据集将学习到的知识从源任务转移到目标任务，但在没有GPU的情况下需要花费大量的处理时间进行微调。在本文中，我们提出了一种新的计算效率高的迁移学习方法，使用预训练CNN的分类层特征，在现有分类层之后添加层。我们证明，微调的附加层与现有的分类层的新任务收敛速度远远快于基线，平均优于基线分类精度。此外，我们进行了彻底的实验，以检查我们的分类结果中的训练集的数量，相似性和相异性的影响，以证明分类层特征的可转移性。
2019-03-27 cs.CV
Feature Selection Based on Sparse Neural Network Layer with Normalizing Constraints
Technical University of Košice（科希策技术大学）
特征选择是机器学习中的一个重要步骤，因为它可以提高预测精度，同时降低高维数据的维数灾难。神经网络在解决许多非线性学习问题方面取得了巨大的成功。在这里，我们提出了新的基于神经网络的特征选择方法，该方法引入了两个约束，满足这两个约束会导致稀疏FS层。我们已经进行了广泛的实验，合成和真实世界的数据，以评估性能的建议FS。在实验中，我们专注于高维，低样本量的数据，因为这些代表了特征选择的主要挑战。实验结果表明，提出的基于规范化约束稀疏神经网络层的特征选择方法（SNEL-FS）能够有效地选择重要特征，并且与其他传统的FS方法相比具有更好的性能。
2021-07-12 cs.CV cs.LG cs.NE
LFA: Layer Feature Attention for Run-Time Introspection of 2D Object Detectors in Automated Driving
提出LFA方法，通过注意力机制聚合骨干网络多层特征，以提升自动驾驶中2D目标检测器的错误预测性能和可解释性。
2026-05-29 cs.CV
Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination
University of Michigan（密歇根大学）；Ohio State University（俄亥俄州立大学）
本文通过定义层内压缩和层间判别指标，理论证明深度线性网络在近正交输入和最小范数平衡低秩权重下，特征以几何率压缩、线性率判别，首次定量刻画深度线性网络的分层特征演化，并在非线性网络和迁移学习中验证。
2026-06-24 cs.CV cs.LG math.OC
LARV: Data-Free Layer-wise Adaptive Rescaling Veneer for Model Merging
University of Connecticut（康奈尔大学）；University of Georgia（佐治亚大学）
LARV通过层间自适应重标量技术提升模型合并性能，无需训练或修改现有合并器，有效抑制浅层干扰并增强深层特征对齐。
2026-02-10 cs.AI cs.CV cs.LG
Multi-Layer Visual Feature Fusion in Multimodal LLMs: Methods, Analysis, and Best Practices
Ocean University of China（中国海洋大学）；Zhejiang Gongshang University（浙江工商大学）；Meituan Inc.（美团公司）
本文系统研究多模态大语言模型中多层视觉特征融合的层选择与融合策略，发现跨阶段特征融合可提升泛化性，而输入阶段直接融合多层视觉特征能取得更优且更稳定的性能。
2025-03-08 cs.CV
Deep Boosting: Layered Feature Mining for General Image Classification
Sun Yat-Sen University（中山大学）；SYSU-CMU Shunde International Joint Research Institute（中山大学-卡内基梅隆大学顺德国际联合研究院）
构造有效的表征是多媒体理解中一个关键而又具有挑战性的问题。传统的手工特征往往依赖于领域知识，限制了现有方法的性能。本文讨论了一种新的计算架构，一般的图像特征挖掘，组装的原始过滤器（即Gabor小波）的组成特征，在一个逐层的方式。在每一层中，我们产生了一些与生成的特征相关联的基本分类器（即回归树桩），并通过使用boosting算法发现信息成分。每一层的输出组成特征被视为构建下一层的基础组件。我们的框架是能够产生表现力的图像表示，同时诱导非常歧视功能的图像分类。实验是在几个公共数据集上进行的，我们展示了优于最先进方法的性能。
2015-02-03 cs.CV
Interflow: Aggregating Multi-layer Feature Mappings with Attention Mechanism
School of Electronic Science；Engineering Nanjing University, Nanjing, China 210023 Email
传统上，CNN模型具有层次结构，并利用最后一层的特征映射来获得预测输出。然而，解决最佳网络深度并使中间层学习区别特征可能是困难的。针对传统的CNN模型提出了Interflow算法。Interflow根据深度将CNN分为几个阶段，并通过每个阶段的特征映射进行预测。随后，我们将这些预测分支输入到一个精心设计的注意力模块中，该模块学习这些预测分支的权重，将它们聚合并获得最终输出。Interflow对浅层和深层学习的特征进行加权融合，使各阶段的特征信息得到合理有效的处理，使中间层能够学习到更有区别的特征，增强模型的表示能力。此外，Interflow算法通过引入注意力机制，可以缓解梯度消失问题，降低网络深度选择的难度，减轻可能出现的过拟合问题。此外，它可以避免网络退化作为副产品。与原模型相比，采用Interflow的CNN模型在多个基准数据集上实现了更高的测试精度。
2021-07-13 cs.CV
Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion
Tsinghua University（清华大学）；Intel Labs China（英特尔中国实验室）
我们提出了一个紧凑而有效的框架，在一个单一的网络中的多个层融合多模态特征。该框架包括两个创新的融合方案。首先，不像现有的多模态方法，需要单独的编码器为不同的模态，我们验证，多模态功能可以在一个共享的单一网络中学习，只需保持特定于模态的批量归一化层的编码器，这也使隐式融合通过联合特征表示学习。其次，我们提出了一个双向的多层融合方案，多模态功能可以逐步开发。为了利用这种方案，我们引入了两个不对称的融合操作，包括通道洗牌和像素移位，学习不同的融合功能相对于不同的融合方向。这两个操作是无参数的，并且加强了跨通道的多模态特征交互，以及增强了通道内的空间特征区分。我们进行了广泛的实验语义分割和图像翻译任务，基于三个公开的数据集，涵盖不同的方式。结果表明，我们提出的框架是通用的，紧凑的，是优于国家的最先进的融合框架。
2021-08-11 cs.CV
Layer-Wise Data-Free CNN Compression
Apple（苹果公司）
我们提出了一种计算效率高的方法来压缩训练好的神经网络，而不使用真实数据。我们将无数据网络压缩问题分解为独立的逐层压缩。我们展示了如何有效地生成逐层训练数据只使用一个预先训练的网络。我们使用这些数据在预训练的网络上执行独立的逐层压缩。我们还展示了如何对网络进行预处理，以提高分层压缩方法的准确性。我们提出了分层压缩使用量化和修剪的结果。在量化时，我们以更高的精度压缩比相关的工作，而使用数量级较少的计算。当压缩MobileNetV2并在ImageNet上进行评估时，我们的方法在所有位宽下都优于现有的量化方法，在$8$位量化中实现了$+0.34\%$改进，并且在较低位宽下实现了更强的改进（在$5$位上达到了$+28.50\%$改进）。当修剪时，我们的性能优于类似计算包络的基线，在相同的精度下实现$1.5$倍的稀疏率。我们还展示了如何将我们的高效方法与高计算生成方法相结合，以改善其结果。
2022-05-19 cs.CV
Cross-Layer Feature Self-Attention Module for Multi-Scale Object Detection
Guangzhou Huashang College（广州华商学院）；Guangxi Normal University（广西师范大学）；Guilin University of Electronic Technology（桂林电子科技大学）；Jinling Institute of Technology（金陵科技学院）
本文提出跨层特征自注意力模块（CFSAM），通过建模多尺度特征图的局部与全局依赖，集成到SSD300中，在PASCAL VOC和COCO上分别提升mAP至78.6%和52.1%，并加速收敛。
2025-10-16 cs.CV
Road detection via a dual-task network based on cross-layer graph fusion modules
基于遥感图像的道路检测对智能交通管理具有重要意义。主流道路检测方法的性能主要取决于其提取的特征，通过融合不同类型的特征和跨层连接可以提高道路检测方法的丰富性和鲁棒性。然而，现有主流模型框架中的特征往往在同一层内通过单任务训练而变得相似，传统的跨层融合方式过于简单，难以获得高效的融合效果，因此除了拼接和相加之外，更复杂的融合方式值得探索。针对上述缺陷，提出了一种用于道路检测和跨层图融合模块的双任务网络（DTnet）：DTnet由两个并行分支组成，分别用于道路区域和边缘检测，同时通过设计的特征桥模块（FBM）融合两个分支之间的特征，增强特征多样性。CGM通过复杂的特征流图提高了跨层融合效果，并对四种图模式进行了评价。在三个公开数据集上的实验结果表明，该方法有效地提高了最终的检测结果。
2022-08-17 cs.CV
Cross-layer Feature Pyramid Network for Salient Object Detection
Beijing Jiaotong University（北京交通大学）；National University of Singapore（新加坡国立大学）
基于特征金字塔网络（FPN）的模型以渐进的方式融合了语义和显著细节，在显著目标检测中已被证明是非常有效的。然而，据观察，这些模型往往产生的显着地图不完整的对象结构或不清晰的对象边界，由于\emph{indirect}信息传播之间的遥远的层，使这种融合结构不太有效。在这项工作中，我们提出了一种新的跨层特征金字塔网络（CFPN），其中直接跨层通信，使显着目标检测，以提高渐进融合。具体来说，所提出的网络首先将来自不同层的多尺度特征聚合到可以访问高级和低级信息的特征图中。然后，它将聚合的特征分发到所有涉及的层，以获得对更丰富的上下文的访问。通过这种方式，每层的分布式特征同时拥有所有其他层的语义和显著细节，并且减少了重要信息的丢失。在六个广泛使用的显著性目标检测基准和三个流行的骨干上的大量实验结果清楚地表明，CFPN可以准确地定位相当完整的显著区域，并有效地分割对象边界。
2020-02-25 cs.CV eess.IV
Foreground Guidance and Multi-Layer Feature Fusion for Unsupervised Object Discovery with Transformers
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
无监督对象发现（UOD）最近通过采用预训练的Transformer特征取得了令人鼓舞的进展。然而，基于Transformers的当前方法主要集中于设计定位头（例如，种子选择-扩展和标准化切割），而忽略了改进Transformer特性的重要性。在这项工作中，我们从特征增强的角度处理UOD任务，并提出FOREground指导和多层特征融合的无监督对象发现，称为FORMULA。首先，我们提出了一种前景指导策略，使用现成的UOD检测器来突出特征图上的前景区域，然后以迭代的方式细化对象位置。此外，为了解决目标检测中的尺度变化问题，我们设计了一个多层特征融合模块，将不同尺度下的目标特征进行融合。在VOC 07、VOC 12和COCO 20 k上的实验表明，所提出的FORMULA算法在无监督对象发现方面取得了新的成果。该代码将在https://github.com/VDIGPKU/FORMULA上发布。
2022-10-24 cs.CV
Learnable Histogram: Statistical Context Features for Deep Neural Networks
The Chinese University of Hong Kong（香港中文大学）
统计特征，如直方图，词袋（BoW）和Fisher向量，通常与传统分类方法中的手工特征一起使用，但由于深度学习方法的流行，引起的关注较少。在本文中，我们提出了一个可学习的直方图层，它在端到端训练中学习深度神经网络中的直方图特征。这样的层能够反向传播（BP）错误，学习最佳的bin中心和bin宽度，并在训练期间与深度网络中的其他层联合优化。通过将可学习直方图层集成到深度网络中，探索了两个视觉问题，即语义分割和目标检测，这表明所提出的层可以很好地推广到不同的应用。进行深入调查，以提供对新引入的层的见解。
2018-10-15 cs.CV
Out-of-distribution detection based on subspace projection of high-dimensional features output by the last convolutional layer
ShangHai University（上海大学）
本文提出一种基于最后卷积层高维特征子空间投影的OOD检测方法，通过PEDCC-Loss训练并修改BN和ReLU层扩大ID与OOD特征分布差距，无需预处理或OOD预调优，在多个基准上达到最优性能。
2024-05-02 cs.CV
Cross-Layer Feature Pyramid Transformer for Small Object Detection in Aerial Images
National Key Lab of Autonomous Intelligent Unmanned Systems, School of Automation, Beijing Institute of Technology（国家级自主智能无人机系统实验室，自动化学院，北京理工大学）
本文提出跨层特征金字塔Transformer（CFPT），通过CCA和CSA模块实现单步高效跨层交互，结合全局上下文与相对位置编码，在航拍图像小目标检测中以更低计算成本超越现有特征金字塔网络。
2025-05-28 cs.CV
MS23D: A 3D Object Detection Method Using Multi-Scale Semantic Feature Points to Construct 3D Feature Layer
organization= The School of Mechanical
针对自动驾驶LiDAR点云稀疏、空洞导致的体素检测难题，提出两阶段框架MS23D，通过多分支体素特征点、距离加权采样及深浅层特征点偏移策略构建3D特征层，并在KITTI和ONCE上验证。
2024-08-10 cs.CV
Global Feature Pyramid Network
本文提出全局特征金字塔网络（GFPNet），通过轻量级MLP和VNC编码器引入全局信息以增强层内特征交互，同时保留PAFPN的层间交互，有效降低误检和漏检，持续提升目标检测性能。
2024-01-02 cs.AI cs.CV
Feature Evaluation of Deep Convolutional Neural Networks for Object Recognition and Detection
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们使用AlexNet架构和非常深的卷积网络（VGGNet）架构来评估卷积神经网络（CNN）的功能。到目前为止，大多数CNN研究人员在输出之前使用了最后一层，这些层是从完全连接的特征层中提取的。然而，由于特征表示有效性不太可能取决于问题，因此除了执行简单的特征级联调整（例如，第3层+第5层+第7层）和变换，使用诸如主成分分析的工具。在我们的实验中，我们使用加州理工学院101和戴姆勒行人基准数据集进行检测和分类任务。
2015-09-25 cs.AI cs.CV cs.MM
Learning Features and their Transformations by Spatial and Temporal Spherical Clustering
University of Memphis（孟菲斯大学）
学习对数据中的任意变换不变的特征是任何生物或人工识别系统的要求。现在人们普遍认为，初级视觉皮层中的简单细胞对特征做出反应，而复杂细胞对不同变换不变的特征做出反应。我们提出了一种新的两层前馈神经模型，它通过空间球形聚类学习第一层中的特征，通过时间球形聚类学习第二层中的变换不变性。学习以在线和无监督的方式发生，遵循Hebbian规则。当暴露于安装在猫头上的摄像头获取的自然视频时，我们模型中的第一层和第二层神经元会产生简单和复杂的细胞样感受野特性。该模型可以通过学习第一层神经元之间的横向连接来进行预测。它们的空间特征的地形图通过在第一层中从一个神经元到另一个神经元的距离指数衰减激活流而出现，这些神经元在时间上非常接近，从而在特征学习的同时以在线方式最小化池化长度。
2013-08-10 cs.AI cs.CV cs.LG
Cell image segmentation by Feature Random Enhancement Module
Meijo University（名城大学）
为了实现高精度的语义分割，使用编码器提取好的特征是很重要的。虽然在训练深度神经网络时对损失函数进行了优化，但距离计算损失函数的层较远的层很难进行训练。跳过连接对这个问题是有效的，但仍然有远离损失函数的层。在本文中，我们提出了特征随机增强模块，仅在训练中随机增强特征。通过强调远离损失函数的层的特征，可以很好地对这些层进行训练，从而提高了分类精度。在实验中，我们对两种细胞图像数据集进行了评估，我们的模块在测试阶段在不增加计算成本的情况下提高了分割精度。
2021-01-20 cs.CV eess.IV
Flexible Image Denoising with Multi-layer Conditional Feature Modulation
Harbin Institute of Technology（哈尔滨工业大学）
对于灵活的非盲图像去噪，现有的深度网络通常将噪声图像和噪声水平图两者作为输入，以单个模型处理各种噪声水平。然而，在这种解决方案中，噪声方差（即，噪声水平）仅用于利用逐通道移位来调制第一层卷积特征，这在平衡噪声去除和细节保留方面受到限制。在本文中，我们提出了一种新的灵活的图像去噪网络（CFMNet）配备了多层条件特征调制（CFM）模块的U-Net骨干。与仅在第一层中进行信道移位相比，CFMNet可以通过部署多层CFM来更好地利用噪声水平信息。此外，每个CFM模块都将噪声图像和噪声水平图的卷积特征作为输入，以便在噪声去除和细节保留之间进行更好的权衡。实验结果表明，我们的CFMNet是有效的利用噪声水平信息灵活的非盲去噪，并表现出优于现有的深度图像去噪方法在定量指标和视觉质量。
2020-06-24 cs.CV eess.IV
