Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels
The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);Xidian University(西安电子科技大学);Brain-Inspired Technology Co., Ltd.(脑启发技术有限公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
近年来,带噪声标签的学习吸引了很多关注,其中主流方法是逐点方式。同时,成对方式在有监督的度量学习和无监督的对比学习中显示出巨大的潜力。因此,一个自然的问题被提出来了:以成对的方式学习是否可以减轻标签噪声?为了给出肯定的答案,在本文中,我们提出了一个名为Class2Simi的框架:它将具有噪声类标签的数据点转换为具有噪声相似性标签的数据对,其中相似性标签表示一对是否共享类标签。通过这种变换,理论上保证了噪声率的降低,因此原则上更容易处理有噪声的相似性标签。令人惊讶的是,预测干净类别标签的DNN可以从嘈杂的数据对中训练出来,如果它们首先从嘈杂的数据点中进行预训练的话。Class2Simi在计算上是高效的,因为这种转换不仅是在小批量中进行的,而且它只是将模型预测之上的损失计算改为成对的方式。通过大量的实验验证了其有效性。
2021-06-17 cs.LG stat.ML
Physics-aware, probabilistic model order reduction with guaranteed stability
Technical University of Munich(慕尼黑工业大学)
给定来自高维、细粒度、多尺度动力系统的(少量)时间序列数据,我们提出了一个生成框架,用于学习有效的、低维、粗粒度动力学模型,该模型不仅可以预测细粒度系统的长期演化,还可以预测其在不同初始条件下的行为。我们的目标是细粒度模型,因为它们出现在物理应用中(例如分子动力学,基于代理的模型),其动力学是强非平稳的,但它们向平衡态的过渡是由未知的缓慢过程控制的,这些过程在很大程度上是无法通过蛮力模拟实现的。基于领域知识的方法严重依赖于物理洞察力,在识别时间上缓慢的功能,并未能执行长期稳定的学习动态。另一方面,纯统计框架缺乏可解释性,并且依赖于大量昂贵的模拟数据(长且多轨迹),因为它们无法注入领域知识。所提出的生成框架实现了上述desiderata通过采用灵活的前复杂平面上的潜在的,缓慢的过程,和一个中间层的物理动机的潜变量,减少对数据的依赖和灌输归纳偏见。与现有方案相比,它不需要从细粒度描述中先验定义投影算子,并同时解决了降维和模型估计的任务。我们证明了它的有效性和准确性,在粒子动力学的多尺度物理系统中产生的概率,长期预测的现象不包含在训练数据中。
2021-01-14 cs.LG physics.comp-ph stat.ML
Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对多源双层数据选择问题,本文提出基于可学习分类先验的概率松弛方法,设计ReSGD算法并建立近似保证,通过实验验证其有效性。
2026-10-14 cs.AI cs.LG
Coverage-Guaranteed Prediction Sets for Out-of-Distribution Data
Wuhan University(武汉大学)
本文针对分布外场景中分裂共形预测因可交换性假设失效而无法保证覆盖的问题,提出一种新的置信预测集构造方法,并给出理论证明和模拟实验验证。
2024-03-29 cs.LG
Learning to Forget Attention: Memory Consolidation for Adaptive Compute Reduction
Iowa State University(爱荷华州立大学)
本文提出了一种基于记忆巩固的注意力路由机制,通过减少冗余注意力计算,显著提升模型效率,同时在未见过的任务中保持高准确性。
2026-02-12 cs.LG
DimPO: Dimensionality Reduction for Attention using Preference Optimization
DimPO通过偏好优化与top-k交叉熵结合,在注意力降维中保留关键键的排序和集中度,在长上下文任务中优于KL散度方法,实现更好的下游性能。
2026-09-29 cs.LG
On State Reduction in Linear Attention
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute Tübingen(图宾根ELLIS研究所);Tübingen AI Center(图宾根人工智能中心)
本文提出了一种基于秩的线性注意力状态缩减方法,通过结构化修剪减少状态大小,同时保持模型性能,实现更快和更节省内存的模型。
2026-09-30 cs.LG
Guaranteed Multidimensional Time Series Prediction via Deterministic Tensor Completion Theory
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文将多维时间序列预测重新表述为确定性张量补全问题,提出TCTNN模型,通过时间卷积和张量核范数确定精确预测的最大范围,在多种真实数据集上实现了更高的预测精度和计算效率。
2025-01-26 cs.LG
Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction
UC Berkeley(加州大学伯克利分校);UPenn(宾夕法尼亚大学);UMich(密歇根大学);THU(清华大学);Transcengram(瞬像科技);Tsinghua SIGS(清华大学深圳国际研究生院);HKU(香港大学);JHU(约翰斯·霍普金斯大学)
本文提出线性复杂度的Token Statistics Self-Attention (TSSA)模块及ToST架构,通过变分MCR²目标的展开梯度下降推导而成,在视觉和语言等任务上媲美传统Transformer,挑战了成对相似度注意力不可或缺的传统观点。
2024-12-23 cs.LG
Harnessing Structures in Big Data via Guaranteed Low-Rank Matrix Estimation
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
低秩建模在信号处理和机器学习中起着举足轻重的作用,其应用范围从协同滤波、视频监控、医学成像到降维和自适应滤波。许多现代高维数据及其相互作用可以被建模为近似位于低维子空间或流形中,可能具有附加结构,并且其适当的开发导致传感,计算和存储成本的显着降低。近年来,在理解如何以可证明的方式使用计算有效的过程来利用低秩结构方面取得了大量进展,包括凸和非凸方法。一方面,凸松弛,如核范数最小化往往导致统计最优的程序估计低秩矩阵,其中一阶方法的开发,以解决计算的挑战;另一方面,有新的证据表明,适当设计的非凸程序,如投影梯度下降,往往提供全局最优的解决方案,在许多问题的计算成本要低得多。这篇调查文章将提供一个统一的概述,这些最新进展低秩矩阵估计不完全测量。注意这些算法的性能的严格表征,并在低秩矩阵有额外的结构特性,需要新的算法设计和理论分析的问题。
2018-05-02 cs.IT cs.LG eess.SP
STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference
De Artificial Intelligence Lab(人工智能实验室)
针对大视觉语言模型视觉token推理计算开销大、现有单阶段免训练剪枝高剪枝率下性能下降明显的问题,提出分两阶段注意力引导的即插即用免训练token缩减框架STAR,实现加速同时保持甚至提升性能。
2025-05-18 cs.CV cs.LG
LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs
Openchip & Software Technologies, S.L(Openchip与软件技术公司)
LayerBoost通过层敏感性分析,选择性地调整Transformer层的注意力机制,减少计算复杂度,提升推理效率并保持模型质量。
2026-05-14 cs.CL cs.LG
Harnessing Attention Mechanisms: Efficient Sequence Reduction using Attention-based Autoencoders
Centre for Artificial Intelligence Research, University of Agder(阿格德尔大学人工智能研究中心);Department of ICT, University of Agder(阿格德尔大学信息与通信技术系);Oslo Metropolitan University(奥斯都会大学)
本研究提出了一种基于注意力的序列长度缩减方法,并在自编码器模型中验证其有效性,发现将序列缩减至原长度的四分之一时仍能以约90%的准确率重现原始序列。
2023-10-23 cs.AI cs.LG
BanditQ: Fair Bandits with Guaranteed Rewards
School of Technology and Computer Science, Tata Institute of Fundamental Research(塔塔基础研究院技术与计算机科学学院)
针对经典多臂赌博机算法忽视非最优臂导致的不公平问题,提出 BanditQ 在线策略,结合排队论与对抗性赌博机,保证各臂最低奖励速率并给出遗憾与违例惩罚界。
2024-05-12 cs.LG cs.PF
Sampling low-dimensional Markovian dynamics for pre-asymptotically recovering reduced models from data with operator inference
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
介绍了一种从高维黑箱动力系统的数据中学习低维模型的方法。新颖之处在于,所学习的模型正是传统上用模型降阶技术构造的降阶模型,所述模型降阶技术需要完全了解高维系统的控制方程和算子。因此,学习的模型保证继承了从传统的模型降阶得到的降阶模型的充分研究的性质。关键成分是一个新的数据采样方案,以获得重新投影的高维系统,对应于马尔可夫动力学在低维子空间的轨迹。精确恢复的降阶模型从这些重新投影的轨迹是保证前渐近在一定条件下的有限数量的数据和一个大类的系统与多项式非线性项。数值实验结果表明,该方法学习的低维模型与传统模型降阶到实际数值误差的降阶模型相匹配。数值结果进一步表明,低维模型拟合到重新投影的轨迹是预测的,即使在模型拟合到没有重新投影的轨迹是不准确和不稳定的情况下。
2019-08-29 cs.LG cs.NA math.NA
Sparse Query Attention (SQA): A Computationally Efficient Attention Mechanism with Query Heads Reduction
针对Transformer多头注意力计算复杂度高、长序列扩展难的问题,提出通过减少查询头降低浮点运算量的稀疏查询注意力SQA,长序列场景下最高提3倍吞吐量且对模型质量影响极小。
2025-10-02 cs.CL cs.LG
TurboPairFormer: Fast and Stable Protein Folding Model Training with an Optimized Triangle Attention Kernel
Stevens Institute of Technology(史蒂文斯理工学院);Lambda;Open Molecular Software Foundation(开放分子软件基金会)
TurboPairFormer提出优化的三角注意力核,解决AlphaFold3式模型训练中梯度归约和BF16精度问题,在Hopper GPU上实现确定性累积和残差补偿,显著提升训练速度与梯度精度。
2026-10-06 cs.LG
Multi-Head Attention as Ensemble Nadaraya-Watson Estimation: Variance Reduction, Decorrelation, and Optimal Head Diversity
School of Mathematics and Statistics, College of Science(数学与统计学学院,科学学院)
本文提出多头注意力可以视为恩德里亚-沃森核回归估计器的集合,通过分析头输出的去相关性,推导出方差减少与头多样性之间的关系,并提出头多样性指数来衡量不同头之间的去相关程度,最终得出最优的头数量和维度分配方案。
2026-05-18 cs.LG stat.ML
Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
Nara Institute of Science and Technology(奈良科学技术研究所)
针对 KV 缓存 token 剪枝仅依赖注意力分数的问题,本文提出 VATP,联合注意力分数与 value 向量 $\ell_1$ 范数评估重要性,并在 16 项 LongBench 任务中验证其优势。
2024-10-02 cs.CL cs.LG
ANML: Attribution-Native Machine Learning with Guaranteed Robustness
University of Cambridge(剑桥大学)
ANML通过质量加权训练提升模型性能和归因能力,在多个数据集上显著减少误差。
2026-02-12 cs.AI cs.LG
NoiseFormer -- Noise Diffused Symmetric Attention Transformer
Intel Corporation(英特尔公司)
NoiseFormer通过引入噪声扩散对称注意力机制,在保持内存优势的同时提升模型准确性和推理效率。
2026-10-27 cs.AI cs.LG
Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters
Zyphra(齐夫拉公司);EleutherAI(EleutherAI 研究机构)
本文提出Tree Attention算法,通过树形归约在多个GPU上并行化精确注意力计算,相比Ring Attention解码速度最高提升8倍,通信量和峰值内存显著降低,并在Llama 3.1-8B及多种硬件上验证了效果。
2025-02-09 cs.CL cs.LG
ConvFormer: Parameter Reduction in Transformer Models for 3D Human Pose Estimation by Leveraging Dynamic Multi-Headed Convolutional Attention
Inseer, Inc.(Inseer公司)
提出ConvFormer卷积Transformer,利用动态多头卷积自注意力机制全面建模时空关节关系,在三个基准数据集上实现SOTA或接近SOTA性能的同时显著减少了模型参数。
2023-04-04 cs.CV cs.LG
A Novel Attention-based Aggregation Function to Combine Vision and Language
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
视觉和语言的联合理解最近在计算机视觉和自然语言处理社区中获得了很多关注,出现了图像描述,图像-文本匹配和视觉问答等任务。由于图像和文本都可以被编码为元素的集合或序列(如区域和单词),因此需要适当的归约函数将一组编码元素转换为单个响应,如分类或相似性得分。在本文中,我们提出了一种新的全注意力的减少方法的视觉和语言。具体来说,我们的方法计算一组分数为每个元素的每一个模态采用一种新的变种的交叉注意,并执行一个可学习的和跨模态的减少,这可以用于分类和排名。我们测试我们的方法在图像-文本匹配和视觉问答,建立公平的比较与其他减少选择,COCO和VQA 2.0数据集。实验表明,我们的方法导致这两个任务的性能提高。此外,我们进行消融研究,以验证该方法的每个组成部分的作用。
2020-07-13 cs.CL cs.CV cs.LG
A Nonlinear Dimensionality Reduction Framework Using Smooth Geodesics
Worcester Polytechnic Institute(伍斯特理工学院);Clarkson University(克拉克森大学)
现有的降维方法善于揭示隐藏的底层流形所产生的高维数据,从而产生一个低维的表示。然而,由经典技术在稀疏和噪声数据上产生的流形的平滑性是不能保证的。事实上,使用这些数据生成的嵌入可能会扭曲流形的几何形状,从而产生不忠实的嵌入。在这里,我们提出了一个非线性降维的框架,生成一个流形上的光滑测地线,旨在处理问题,其中流形测量是稀疏的或被噪声破坏。我们的方法生成一个网络结构,给定的高维数据使用最近邻搜索,然后产生分段线性最短路径被定义为测地线。然后,我们拟合点在每个测地线光滑样条强调的光滑性。通过在合成数据集和真实数据集上实施该方法,证明了该方法对稀疏和噪声数据集的鲁棒性。
2018-07-13 cs.CV cs.LG math.DS
Sparse Attention to Emotion: Efficient Facial Emotion Recognition via Token Reduction
针对现有视觉Transformer面部表情识别方法复杂度高难以边缘部署的问题,提出SAE模型,通过丢弃90%无价值图像令牌实现轻量FER,在RAF-DB数据集上达最优结果且复杂度降90%。
2026-08-11 cs.CV cs.LG
Single-modal and Multi-modal False Arrhythmia Alarm Reduction using Attention-based Convolutional and Recurrent Neural Networks
Northern Arizona University(北亚利桑那大学)
这项研究提出了一种深度学习模型,可以有效地抑制重症监护病房(ICU)中的假警报,而不会忽略使用单一和多模态生物信号的真实警报。目前文献中的大多数工作是基于规则的方法,需要心律失常分析的先验知识来构建规则,或者是经典的机器学习方法,这取决于手工设计的特征。在这项工作中,我们应用卷积神经网络来自动提取时不变特征,一种注意力机制来更加强调输入分段信号的重要区域,这些区域更有可能有助于报警,以及长短期记忆单元来捕获信号片段中呈现的时间信息。我们使用两步训练算法(即,预训练和微调拟议的网络)的数据集提供的生理网络计算在心脏病学挑战2015年。评估结果表明,该方法获得了更好的结果相比,其他现有的算法在ICU的虚警减少任务。该方法实现了93.88%的灵敏度和92.05%的特异性报警分类,考虑三种不同的信号。此外,我们对5种单独的警报类型的实验得出了显著的结果,其中我们只考虑单导联ECG(例如,对室性心动过速心律失常报警类型的敏感性为90.71%,特异性为88.30%,AUC为89.51)
2019-09-25 cs.LG eess.SP q-bio.QM
Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction
Zhejiang University(浙江大学);Tencent AI Lab(腾讯人工智能实验室);University of Michigan(密歇根大学);University of Science and Technology of China(中国科学技术大学)
稀疏支持向量机(SVM)是一种流行的分类技术,它可以同时学习一小组最可解释的特征并识别支持向量。它在许多实际应用中取得了巨大的成功。然而,对于涉及大量样本和超高维特征的大规模问题,求解稀疏支持向量机仍然具有挑战性。注意到稀疏支持向量机在特征空间和样本空间都具有稀疏性,我们提出了一种新的方法,该方法基于对稀疏支持向量机的原始和对偶最优解的精确估计,同时识别不活动的特征和样本,保证与输出无关。因此,我们可以从训练阶段中删除已识别的非活动样本和特征,从而在不牺牲准确性的情况下大幅节省计算成本。此外,我们表明,我们的方法可以扩展到多类稀疏支持向量机。据我们所知,所提出的方法是\emph{first} \emph{static}特征和样本减少方法的稀疏支持向量机和多类稀疏支持向量机。在合成数据集和真实数据集上的实验表明,我们的方法明显优于最先进的方法,并且通过我们的方法获得的加速比可以是数量级的。
2019-07-18 cs.LG stat.ML
Eigen Attention: Attention in Low-Rank Space for KV Cache Compression
Purdue University(普渡大学)
提出Eigen Attention,在低秩空间进行注意力操作以压缩KV缓存,与现有技术兼容,在OPT、MPT、Llama上实现缓存大小减40%、延迟减60%,性能损失小。
2024-11-08 cs.AI cs.CL cs.LG
Machine Learning Techniques for Data Reduction of Climate Applications
University of Florida(佛罗里达大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出结合神经网络区域识别与有保证自编码器(GAE)的流水线压缩方法,仅对关键目标量区域进行低误差压缩,在保证下游检测跟踪任务的同时实现高压缩比,并在E3SM气候数据上验证其优于现有方法。
2024-05-01 cs.LG physics.ao-ph
PRISM: Deriving a White-Box Transformer as a Signal-Noise Decomposition Operator via Maximum Coding Rate Reduction
Institute of Physics, Chinese Academy of Sciences(中国科学院物理研究所)
Prism通过几何构造实现白盒变换器,通过信号-噪声分解提升模型可解释性与性能
2026-02-03 cs.AI cs.CL cs.LG
How Sparse Attention Approximates Exact Attention? Your Attention is Naturally $n^C$-Sparse
The University of Washington(华盛顿大学);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学)
本研究针对稀疏注意力与精确注意力性能相当的条件缺失理论理解的问题,通过分析标准注意力的固有稀疏性,揭示其为$n^C$-稀疏、稳定$o(\text{log}(n))$-稀疏不可行及自适应窗口策略更优的关键见解,填补了理论空白。
2025-02-12 cs.AI cs.CL cs.LG