Spatial Feature-wise Linear Modulation (SpFiLM) for Contrast Agent-Aware Brain Parcellation
University College London(伦敦大学学院)
针对造影剂增强MRI分割精度下降的问题,提出空间特征线性调制(SpFiLM)层,在UNet中按空间变化调制特征,使统一网络可靠分割注射前后T1w MRI,平均Dice从80.2%提升至84.1%。
2026-09-09 cs.CV cs.LG eess.IV
Modified online Newton step based on element wise multiplication
Panjab University(潘贾布大学)
二阶牛顿法是在线学习中保证后悔界的一种有效方法。用牛顿法将二阶矩阵存储为海森矩阵时,数据量大是一个难题。在本文中,我们提出了一个修改的在线牛顿步骤,存储一阶和二阶矩阵的维数m(类)由d(功能)。我们已经使用逐元素算术运算来保持矩阵大小相同。修改的二阶矩阵大小导致更快的计算。此外,错误率与文献中的流行方法相当。实验结果表明,该方法可以在普通台式机上使用二阶牛顿法处理大型多类数据集。
2019-04-16 cs.LG stat.ML
Layer-Wise Interpretation of Deep Neural Networks Using Identity Initialization
Kyushu University(九州大学);Fujitsu Laboratories(富士通实验室)
神经网络(NN)的可解释性是一个具有挑战性的,但在决策过程中使用机器学习的透明度必不可少的主题。缺乏可解释性的原因之一是随机权重初始化,其中输入被随机嵌入到每一层的不同特征空间中。在本文中,我们提出了一种解释方法的深层多层感知器,这是最一般的结构的神经网络,基于身份初始化(即,初始化使用单位矩阵)。所提出的方法允许我们分析每个神经元的贡献,在每个隐藏层的分类和类的可能性。作为身份初始化感知器的一个属性,即使在学习之后,权重矩阵也保持在身份矩阵附近。这个属性使我们能够将特征从输入到每个隐藏层的变化视为对分类的贡献。此外,我们可以将每个隐藏层的输出分离成一个贡献图,该贡献图描述了对分类和类似然的贡献,通过根据类的数量向每个层添加额外的维度,从而允许计算每个层中的识别精度,从而揭示独立层的作用,例如特征提取和分类。
2021-02-26 cs.LG
Efficient Deweather Mixture-of-Experts with Uncertainty-aware Feature-wise Linear Modulation
Nanjing University(南京大学);Peking University(北京大学);University of California, Berkeley(加州大学伯克利分校);Panasonic(松下)
本研究提出高效MoFME架构,通过共享专家块上的特征调制和不确定性感知路由器,在多去天气任务中以低开销实现SOTA性能,节省72%参数和39%推理时间。
2023-12-27 cs.CV cs.LG
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出在音频编码器中引入可训练提示以捕获任务特定声学特征,与文本提示结合提升少样本适应性能,在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
Exploring Oversmoothing with Householder Matrices
针对深度图神经网络的过平滑问题,提出HouseGNN模型,利用豪斯霍尔德反射器与GroupSort构建分段正交层,证明其核心性质以缓解过平滑。
2026-08-14 cs.LG
Multi-source Learning via Completion of Block-wise Overlapping Noisy Matrices
University of California, Davis(加利福尼亚大学戴维斯分校);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
矩阵完备化在统计学、应用数学和电子工程等领域引起了广泛的关注。大部分的工作集中在独立抽样模型下,观察到的条目独立抽样。出于对来自多源生物医学数据(如电子健康记录(EHR)和生物医学文本)的知识图进行集成的应用,我们提出了{ \bf B}锁式{ \bf O}重叠{ \bf N}oisy { \bf M}矩阵{ \bf I}集成(BOMMI)来处理表示实体对之间相关性的对称矩阵的块式缺失。我们的思想是利用正交Procrustes问题对齐两个子矩阵的特征空间,然后用两个低秩分量的内积来完成缺失的块。此外,我们证明了统计率的特征空间的基础矩阵,这是可比率下的独立缺失的假设。仿真研究表明,该方法在各种配置下都有很好的性能。在实际数据分析中,该方法被应用于两个任务:(i)由英文EHR和中文医学文本数据构建的多个逐点互信息矩阵的集成;(ii)英汉医学概念的机器翻译。我们的方法比现有的方法显示出优势。
2021-10-09 cs.LG math.ST stat.AP
CALM: Class-wise Agreement and Label-gated Disagreement Modulation for Decentralized Federated Learning
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
CALM通过类别一致性加权、样本发散缩放和标签门控三层平滑信任机制,在去中心化联邦蒸馏中替代硬决策,无需额外通信或数据,在多个数据集上优于现有方法。
2026-09-09 cs.DC cs.LG
TransPL: VQ-Code Transition Matrices for Pseudo-Labeling of Time Series Unsupervised Domain Adaptation
本文提出 TransPL,利用时间序列块的 VQ 码构建类别与通道级转移矩阵,并结合贝叶斯规则生成可解释伪标签,在四个 UDA 基准上显著优于现有方法。
2025-05-15 cs.AI cs.LG
Coupled Layer-wise Graph Convolution for Transportation Demand Prediction
Beihang University(北京航空航天大学);University of Central Florida(中佛罗里达大学);Rutgers University(罗格斯大学)
图卷积网络(Graph Convolutional Network,简称GCN)因其能够捕捉站级或区域交通需求之间的非欧空间相关性而被广泛应用于交通需求预测。然而,现有的研究大多是在逐层生成的邻接矩阵上实现图卷积,既不能准确反映站点的真实空间关系,也不能自适应地捕捉需求的多层次空间依赖性。针对上述问题,提出了一种新的图卷积网络用于交通需求预测。首先,提出了一种新的图卷积结构,该结构在不同的层中具有不同的邻接矩阵,并且所有的邻接矩阵都是在训练过程中自学习的。其次,提供了一种分层耦合机制,将上层邻接矩阵与下层邻接矩阵相关联。它还减少了模型中参数的规模。最后,将隐含的空间状态与门控递归单元相结合,构建了一个酉网络,并给出最终的预测结果,该网络能够同时捕获多层次的空间依赖性和时间动态性。在两个真实世界的数据集(NYC Citi Bike和NYC Taxi)上进行了实验,结果表明我们的模型优于最先进的模型。
2020-12-15 cs.LG
EquiFiLM: Charge-Conditioned Equivariant Force Fields via Feature-wise Linear Modulation
Stanford University(斯坦福大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);University of Southern California(南加州大学)
研究针对基础机器学习力场不能处理外部诱导电子态变化的问题,提出EquiFiLM方法,通过特征线性调制为等变基础MLFF添加外部条件,以少量训练数据学习势能面变化,在带电液态水实验中大幅提升精度,且与骨干和条件无关。
2026-07-08 cond-mat.mtrl-sci cs.LG physics.chem-ph
AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
Tongyi Lab, Alibaba Group(阿里集团通义实验室);Alibaba Cloud Computing, Alibaba Group(阿里集团阿里云计算)
本文提出 AsymKV 方法,利用键矩阵与值矩阵在量化敏感性上的非对称性,通过逐层差异化配置实现 KV 缓存 1 比特量化,可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
2024-10-17 cs.AI cs.LG
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
模型压缩对于在资源有限的设备或需要实时响应的应用程序上服务大型深度神经网络至关重要。作为一个案例研究,最先进的神经语言模型通常由一个或多个递归层组成,这些递归层夹在用于表示输入令牌的嵌入层和用于生成输出令牌的softmax层之间。对于词汇量非常大的问题,嵌入和softmax矩阵可以占模型大小的一半以上。例如,bigLSTM模型在拥有约80万词汇的十亿字(OBW)数据集上实现了最先进的性能,其词嵌入和softmax矩阵使用超过6Gbit空间,并负责超过90%的模型参数。在本文中,我们提出了GroupReduce,神经语言模型的一种新的压缩方法,基于词汇分区(块)的低秩矩阵近似和令牌的固有频率分布(词的幂律分布)。实验结果表明,该方法的压缩性能明显优于传统的压缩方法,如低秩近似和修剪。在OBW数据集上,我们的方法对嵌入和softmax矩阵实现了6.6倍的压缩率,当与量化相结合时,我们的方法可以实现26倍的压缩率,这意味着整个模型的压缩系数为12.8倍,并且在困惑度方面几乎没有退化。
2018-06-18 cs.AI cs.CL cs.LG
DNNLasso: Scalable Graph Learning for Matrix-Variate Data
Singapore University of Technology and Design(新加坡科技设计大学);Chinese Academy of Sciences(中国科学院)
针对矩阵变量数据的行列依赖联合估计问题,提出对角非负的 DNNLasso 模型以可扩展地学习 Kronecker 和结构精度矩阵,并在准确率与速度上显著超越现有方法。
2024-03-05 cs.LG math.OC
Locally adaptive activation functions with slope recovery term for deep and physics-informed neural networks
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们提出了两种局部自适应激活函数的方法,即逐层和逐神经元局部自适应激活函数,它们可以提高深度和物理信息的神经网络的性能。激活函数的局部自适应是通过在每一层(逐层)和每个神经元(逐神经元)分别引入一个可伸缩参数,然后使用随机梯度下降算法的变体对其进行优化来实现的。为了进一步提高训练速度,在损失函数中加入了基于激活斜率的斜率恢复项,进一步加快了收敛速度,从而降低了训练成本。在理论方面,我们证明了在所提出的方法中,梯度下降算法不会被吸引到次优临界点或局部极小值的实际条件下的初始化和学习率,所提出的方法的梯度动态是无法实现的任何(自适应)学习率的基础方法。我们进一步表明,自适应激活方法加快收敛隐式乘条件矩阵的基础方法的梯度,而没有任何明确的计算条件矩阵和矩阵向量积。不同的自适应激活函数诱导不同的隐式条件矩阵。此外,所提出的方法与斜率恢复,以加快训练过程。
2020-06-17 cs.LG stat.ML
Dissecting Hessian: Understanding Common Structure of Hessian in Neural Networks
Princeton University(普林斯顿大学);Duke University(杜克大学)
Hessian捕捉了深度神经网络损失景观的重要属性。以前的工作已经观察到低秩结构的神经网络的海森。在本文中,我们提出了一个解耦猜想,分解的两个较小的矩阵的克罗内克积的网络的逐层海森。我们可以分析这些小矩阵的性质,并证明顶部特征空间随机2层网络的结构。解耦猜想还有其他几个有趣的含义-不同模型的顶部特征空间具有惊人的高重叠,并且顶部特征向量形成低秩矩阵时,它们被重塑为与相应的权重矩阵相同的形状。所有这些都可以在更深层次的网络中得到经验验证。最后,我们利用逐层Hessian的结构得到了神经网络更好的显式泛化界。
2022-10-21 cs.LG cs.NE stat.ML
Polynomial Tensor Sketch for Element-wise Function of Low-Rank Matrix
KAIST(韩国科学技术院);Tel Aviv University(特拉维夫大学)
本文研究了如何画低秩矩阵的逐元素函数。形式上,给定低秩矩阵A = [Aij]和标量非线性函数f,我们的目标是找到(可能是高秩)矩阵[f(Aij)]的近似低秩表示。为此,我们提出了一种有效的基于草图的算法,其复杂度明显低于A的条目数,即,它在不显式访问[f(Aij)]的所有条目的情况下运行。我们的方法的主要思想是将f的多项式逼近与现有的张量草图方案相结合,用于逼近A的条目的单项式。为了以最佳方式平衡两个近似分量的误差,我们提出了一个新的回归公式来找到给定A和f的多项式系数。特别是,我们利用基于核心集的回归与严格的近似保证。最后,我们证明了所提出的计划下的各种机器学习任务的适用性和优越性。
2020-06-29 cs.LG stat.ML
Layer-wise Model Pruning based on Mutual Information
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences(中国科学院智能信息处理重点实验室);Zhejiang University(浙江大学);Computer Center of Peking University(北京大学计算中心);Peng Cheng Laboratory(鹏城实验室)
与基于权重的剪枝技术相比,本文提出的剪枝策略具有以下优点:(1)由于表示和矩阵可以压缩成较小但密集的对应部分,避免了不规则的内存访问,从而提高了加速比;(2)以自顶向下修剪的方式,所提出的方法基于顶层中的训练信号从更全局的角度操作,并且通过将全局信号的效果传播通过层来修剪每一层,从而在相同的稀疏度水平下产生更好的性能。大量的实验表明,在相同的稀疏水平下,所提出的策略比基于权重的修剪方法(例如,幅度修剪、运动修剪)。
2021-08-28 cs.AI cs.CL cs.LG
Visual Reasoning with Multi-hop Feature Modulation
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Université de Montréal(蒙特利尔大学);Rice University(莱斯大学);Criteo(科韬);Google Brain(谷歌大脑)
计算机视觉和自然语言处理的最新突破激发了人们对具有挑战性的多模态任务(如视觉问答和视觉对话)的兴趣。对于这样的任务,一种成功的方法是通过逐行线性调制(FiLM)层将基于图像的卷积网络计算条件化到语言上,即,每通道缩放和移位。我们建议以多跳方式生成Film层的参数,而不是像以前的工作那样一次生成。通过在关注语言输入和生成电影层参数之间交替,这种方法能够更好地扩展到具有较长输入序列(例如对话)的设置。我们证明,多跳电影生成实现了最先进的短输入序列任务参考-与单跳电影生成-同时也显着优于现有的最先进的单跳电影生成的GuessWhat?!视觉对话任务。
2018-10-12 cs.CL cs.CV cs.LG