Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco(伯南布哥联邦大学)
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样,最新的改进来自基于深度学习方法的模型。然而,经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中,我们提出了使用视觉注意技术,以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类(DAC)的深度图像聚类模型与空间Transformer网络(STN)的组合。该模型在数据集MNIST和FashionMNIST中进行了评估,并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
MLKV: Multi-Layer Key-Value Heads for Memory Efficient Transformer Decoding
Institut Teknologi Bandung(万隆理工学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对Transformer自回归推理中KV缓存导致的内存瓶颈,提出跨层共享KV的MLKV方法,在性能损失极小的前提下将内存占用较MQA降低6倍,助力模型高效部署。
2024-10-15 cs.LG
HoughToRadon Transform: New Neural Network Layer for Features Improvement in Projection Space
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Smart Engines Service LLC(Smart Engines服务有限责任公司);Federal Research Center “Computer Science and Control” of RAS(俄罗斯科学院“计算机科学与控制”联邦研究中心)
本文提出HoughToRadon变换层,置于Hough变换层后以加速语义分割,在MIDV-500上达到97.7%准确率并节省时间。
2024-02-05 cs.CV cs.LG cs.NE
Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers
ETH Zürich(苏黎世联邦理工学院)
该研究提出需最少层数Transformer求解的检索问题,证实大模型无需微调即可完成,通过训练分析揭示隐式课程引导下注意力头按序涌现的机制。
2025-03-29 cs.CL cs.LG
ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
Georgia Institute of Technology(佐治亚理工学院)
针对多层稀疏自编码器(SAE)在Transformer中因层间耦合导致的冗余和交互问题,提出残差化稀疏自编码器(ReSAE),通过拟合层间仿射映射并训练SAE于残差上,减少解码器冗余并提升多层替换下的交叉熵恢复。
2026-05-27 cs.AI cs.LG
A Multi-Layer Regression based Predicable Function Fitting Network
Huizhou University(惠州学院)
函数在数学和许多科学分支中起着重要的作用。随着计算机技术的飞速发展,计算函数分析的研究越来越多,快速傅立叶变换、小波变换、曲线函数等是近年来提出的新方法。然而,这些方法存在两个主要问题:1)难以处理平稳与非平稳、周期与非周期、高阶与低阶的复杂函数; 2)难以将拟合函数从训练数据推广到测试数据。本文介绍了一种基于多元回归的函数拟合网络,作为一种可预测的函数拟合技术,解决了这两个主要问题。该技术构造的网络包括三个主要部分:1)静态变换层,2)特征编码层,和3)微调回归层。平稳变换层识别输入函数数据的顺序,并将非平稳函数变换为平稳函数。特征编码层将原始输入序列数据编码为一种新的线性回归特征,该特征可以捕获序列数据的结构特征和时间特征。然后,微调回归层将特征拟合到目标提前值。具有线性回归特征层和非线性回归层的拟合网络提供了高质量的拟合结果和可推广的预测。数学函数实例和实际函数实例的实验验证了该方法的有效性。
2022-09-19 cs.LG
Out-of-Distribution Detection by Leveraging Between-Layer Transformation Smoothness
TakeLab;Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);Technical University of Darmstadt(达姆施塔特工业大学)
针对现有OOD检测方法依赖训练数据或需干预训练的局限,提出基于Transformer层间变换平滑性的检测方法BLOOD,无需训练数据即可用于预训练模型,在文本分类任务上性能优于同资源需求的方法。
2024-03-11 cs.CL cs.LG
Layer-Parallel Training for Transformers
Sandia National Laboratories(桑迪亚国家实验室);Università della Svizzera Italiana(瑞士意大利语区大学);Toulouse-INP/ENSEEIHT(图卢兹国立综合理工学院/法国国立高等电力技术、电子学、计算机、水力学与电信学院);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of New Mexico(新墨西哥大学)
Transformer分层并行训练方法通过多级并行-in-time算法提升训练效率,同时解决梯度偏差问题,实现与串行训练相当的准确性。
2026-01-24 cs.LG
Block Walsh-Hadamard Transform Based Binary Layers in Deep Neural Networks
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
卷积一直是现代深度神经网络的核心运算。众所周知,卷积可以在傅里叶变换域中实现。在本文中,我们建议使用二进制块沃尔什-哈达玛变换(WHT),而不是傅立叶变换。我们使用基于WHT的二进制层来取代深度神经网络中的一些常规卷积层。我们利用一维(1-D)和二维(2-D)的二进制WHTs在本文中。在1-D和2-D层中,我们计算输入特征图的二进制WHT,并使用软阈值与双曲正切函数相结合获得的非线性对WHT域系数进行去噪。在去噪之后,我们计算逆WHT。我们使用1D-WHT来代替$1\times 1$卷积层,2D-WHT层可以代替3个$\times$ 3卷积层和Squeeze-and-Excite层。具有可训练权重的2D-WHT层也可以在全局平均池(GAP)层之前插入,以帮助密集层。通过这种方式,我们可以显著减少可训练参数的数量,同时略微减少可训练参数。在本文中,我们将WHT层实现到MobileNet-V2、MobileNet-V3-Large和ResNet中,以显着减少参数数量,而准确性损失可以忽略不计。此外,根据我们的速度测试,在NVIDIA Jetson Nano实验中,2D-FWHT层的运行速度是常规$3\times 3$卷积的24倍,RAM使用量减少了19.51%。
2022-01-28 cs.CV cs.LG eess.IV
Multi-layer Residual Sparsifying Transform (MARS) Model for Low-dose CT Image Reconstruction
University of Michigan - Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University(密歇根大学-上海交通大学联合学院,上海交通大学);Michigan State University(密歇根州立大学)
近年来,基于稀疏表示的信号模型受到了相当大的关注。另一方面,由级联功能层组成的深度模型,通常称为深度神经网络,对于对象分类任务已经非常成功,并且最近已经被引入到图像重建中。在这项工作中,我们开发了一种新的图像重建方法,该方法基于一种新的多层模型,通过结合稀疏表示和深度模型,以无监督的方式学习。所提出的框架扩展了经典的图像稀疏化变换模型的多层残差稀疏化变换(MARS)模型,其中变换域数据联合稀疏层。我们研究的应用MARS模型学习有限的常规剂量图像低剂量CT重建使用惩罚加权最小二乘(PWLS)优化。我们提出了新的配方多层变换学习和图像重建。我们推导出一个有效的块坐标下降算法来学习跨层的变换,以无监督的方式从有限的常规剂量图像。然后将学习的模型并入低剂量图像重建阶段。XCAT体模和Mayo Clinic数据的低剂量CT实验结果表明,MARS模型在两个数值度量(RMSE和SSIM)和噪声抑制方面优于基于边缘保留(EP)正则化器的FBP和PWLS方法等传统方法。与单层学习变换(ST)模型相比,MARS模型在保持一些细微细节方面表现得更好。
2021-05-28 cs.LG eess.IV eess.SP
A Hybrid Scattering Transform for Signals with Isolated Singularities
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Michigan State University(密歇根州立大学)
散射变换是一种基于小波的卷积神经网络模型,最初由S。马拉特Mallat的分析表明,该网络具有理想的稳定性和不变性保证,因此有助于解释卷积神经网络早期层学习的滤波器通常类似于小波的观察结果。我们的目标是了解在网络的后面几层应该使用什么样的过滤器。为此,我们提出了一个两层混合散射变换。在第一层中,我们将输入信号与小波滤波器变换进行卷积以提高稀疏性,在第二层中,我们与Gabor滤波器进行卷积以利用第一层创建的稀疏性。我们表明,这些测量的特征信息与孤立的奇点信号。我们还表明,在第二层中使用的Gabor测量可以用来合成稀疏信号,如由第一层产生的。
2021-10-10 cs.LG cs.NA eess.SP
Theoretical limitations of multi-layer Transformer
UC Berkeley(加州大学伯克利分校);Simons Institute, UC Berkeley(加州大学伯克利分校西蒙斯研究所)
本研究首次证明多层仅解码器Transformer的无条件下界,提出多方自回归通信模型及新证明技术,揭示其深度-宽度权衡、编码器-解码器差异及思维链优势,推动对Transformer计算能力的理论理解。
2024-12-04 cs.AI cs.CC cs.DS
Balancing Cost and Benefit with Tied-Multi Transformers
National Institute of Information and Communications Technology(信息通信技术国家研究所)
我们提出并评估了一种新的程序,用于训练多个Transformers与捆绑参数,压缩多个模型成一个,使动态选择的编码器和解码器层的数量在解码过程中。在序列到序列建模中,通常,N层编码器的最后一层的输出被馈送到M层解码器,并且最后一个解码器层的输出被用于计算损失。相反,我们的方法计算由NXM个损失组成的单个损失,其中每个损失是从连接到N个编码器层之一的M个解码器层之一的输出计算的。这样的模型包含具有不同数量的编码器和解码器层的NXM模型,并且可以用于具有少于最大数量的编码器和解码器层的解码。然后,我们提出了一种机制,选择先验的编码器和解码器层的数量更快的解码,并探讨了经常性的堆栈层和知识蒸馏的模型压缩。我们提出了一个成本效益分析的神经机器翻译,并表明他们降低解码成本,同时保持翻译质量。
2020-02-20 cs.CL cs.LG
A novel asymmetrical autoencoder with a sparsifying discrete cosine Stockwell transform layer for gearbox sensor data compression
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Politecnico di Milano(米兰理工大学)
针对齿轮箱数据无线传输压缩难题,提出含可训练DCST变换与硬阈值稀疏层的非对称自编码器,以更少参数和样本提升重建质量。
2023-10-04 cs.AI cs.LG eess.SP
Vision Conformer: Incorporating Convolutions into Vision Transformer Layers
Kyushu University(九州大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
针对 ViT 缺乏图像结构归纳偏置的问题,本文提出 Vision Conformer,用 CNN 替换 ViT 层中的 MLP,并通过反向嵌入重建图像,从而提升分类性能。
2023-04-27 cs.CV cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
Electroencephalogram Sensor Data Compression Using An Asymmetrical Sparse Autoencoder With A Discrete Cosine Transform Layer
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学)
本文提出一种结合DCT层与硬阈值稀疏约束的非对称自编码器用于EEG数据压缩,通过可训练DCT系数缩放和稀疏潜在表示,在多种压缩实验中显著提升重建质量。
2023-09-15 cs.AI cs.LG eess.SP
Two-layer clustering-based sparsifying transform learning for low-dose CT reconstruction
University of Michigan - Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Michigan State University(密歇根州立大学)
从低剂量计算机断层扫描(LDCT)测量中获得高质量的重建在临床环境中非常重要。基于模型的图像重建方法已被证明是有效的消除LDCT中的伪影。在这项工作中,我们提出了一种方法来学习一个丰富的基于两层聚类的稀疏化变换模型(MCST 2),其中图像补丁及其后续的特征图(滤波器残差)被聚类成组,每组具有不同的学习稀疏化滤波器。我们研究了一种惩罚加权最小二乘法(PWLS)的LDCT重建方法,将学习MCST 2先验。实验结果表明,所提出的PWLS-MCST 2方法相比,其他相关的最新计划的优越性能。
2020-11-01 cs.CV cs.LG eess.IV
How important are specialized transforms in Neural Operators?
Tata Consultancy Services Research(塔塔咨询服务研究中心)
本文通过将基于变换的神经算子中的变换层替换为可学习线性层,发现线性层即可达到相当性能并具备计算时间优势,从而质疑专用变换层的关键作用。
2023-08-18 cs.AI cs.CE cs.LG