Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning
Stanford University(斯坦福大学);University of Michigan(密歇根大学)
通过限制模型置信度改进数学推理,研究发现传统交叉熵损失与测试时间策略pass@N存在不一致,提出改进的训练损失以提升性能。
2025-11-24 cs.AI cs.LG
SparseBERT: Rethinking the Importance Analysis in Self-attention
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
基于转换器的模型广泛应用于自然语言处理(NLP)中。它的核心组成部分,自注意力,引起了广泛的兴趣。为了理解自注意力机制,一个直接的方法是可视化预训练模型的注意力图。基于观察到的模式,一系列有效的Transformers与不同的稀疏注意掩模已被提出。从理论的角度来看,最近也证明了基于变换器的模型的通用逼近性。然而,上述对自注意力的理解和分析是基于预先训练的模型。为了重新思考自注意力中的重要性分析,我们研究了预训练过程中注意矩阵中不同位置的重要性。一个令人惊讶的结果是,与其他注意力位置相比,注意力地图中的对角线元素是最不重要的。我们提供了一个证明,这些对角线元素确实可以被删除,而不会恶化模型的性能。此外,我们还提出了一种可区分注意力掩模(DAM)算法,进一步指导了SparseBERT的设计。大量的实验验证了我们有趣的发现,并说明了所提出的算法的效果。
2021-07-01 cs.LG
SchoenbAt: Rethinking Attention with Polynomial basis
Beijing Institute of Technology(北京理工大学)
针对当前基于随机特征的核化注意力局限于傅里叶基展开的问题,提出基于Schoenberg定理的SchoenbAt注意力,用多项式基和两阶段正则化近似点积核化注意力,兼具效率与精度优势。
2025-05-18 cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究院,阿德莱德大学)
本文质疑softmax在transformer中的高性能是否源于对输入的概率分布,提出softmax的有效性在于其对注意力矩阵Frobenius范数的隐式正则化。通过探索多项式替代方案,理论分析显示某些多项式可有效替代softmax,保持强性能。
2026-03-13 cs.CV cs.LG stat.ML
Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft Research Redmond(微软研究院雷德蒙德分院);Yahoo Research(雅虎研究院);Duke University(杜克大学)
神经注意力机制在许多自然语言处理应用中起着重要的作用。特别是,多头注意力的使用扩展了单头注意力,允许模型从不同的角度共同关注信息。然而,如果没有明确的约束,多头注意力可能会遭受注意力崩溃,这使得不同的头部提取相似的注意力特征,从而限制了模型的表示能力。在本文中,我们首次从贝叶斯的角度提供了一个新的理解多头注意力。基于最近发展起来的粒子优化采样技术,我们提出了一种非参数的方法,显式地提高了排斥多头注意力,从而加强模型的表达能力。值得注意的是,我们的贝叶斯解释提供了理论上的启发,不太明白的问题:为什么和如何使用多头注意力。在各种注意力模型和应用上的大量实验表明,所提出的排斥性注意力可以提高学习的特征多样性,从而在各种任务上具有一致的性能改善的更多信息表示。
2020-11-02 cs.LG stat.ML
First De-Trend then Attend: Rethinking Attention for Time-Series Forecasting
UC San Diego(加州大学圣地亚哥分校);AWS AI Labs(亚马逊云科技人工智能实验室);AWS(亚马逊云科技)
近年来,基于变换的模型在长期时间序列预测中得到了广泛的应用,并显示出良好的效果。除了在时域中学习注意力之外,最近的工作还探索了在频域中学习注意力(例如,傅立叶域、小波域),因为在这些域中可以更好地捕获季节模式。在这项工作中,我们试图了解在不同的时间和频率域的注意力模型之间的关系。理论上,我们证明了不同领域的注意力模型在线性条件下是等价的(即,注意力分数的线性内核)。在实证方面,我们分析了不同领域的注意力模型如何表现出不同的行为,通过各种合成实验与季节性,趋势和噪音,重点是softmax操作中的作用。这些理论和实证分析促使我们提出了一种新的方法:TDformer(趋势分解Transformer),首先应用季节趋势分解,然后添加组合的MLP预测的趋势分量与傅立叶注意预测的季节分量,以获得最终的预测。在基准时间序列预测数据集上的大量实验表明,TDformer相对于现有的基于注意力的模型实现了最先进的性能。
2022-12-15 cs.LG
Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention
本文提出 TLinFormer,通过重构神经元连接拓扑实现严格线性复杂度,同时计算精确注意力并保持全历史上下文感知,在长序列推理的延迟、缓存、内存和加速指标上显著优于标准 Transformer。
2025-08-28 cs.LG
Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination
Monash University(莫纳什大学);Griffith University(格里菲斯大学);La Trobe University(乐卓博大学)
图对比学习(GCL)通过自监督学习方案消除了图表示学习(GRL)对标签信息的严重依赖。其核心思想是通过最大化相似实例的互信息来学习,这需要计算两个节点实例之间的相似度。然而,GCL在时间和内存消耗方面效率低下。此外,GCL通常需要大量的训练epoch才能在大规模数据集上得到良好的训练。受技术缺陷观察的启发(即,针对GCL的两个代表性著作DGI和MVGRL中常用的Sigmoid函数的不恰当使用),重新审视了GCL,引入了一种新的自监督图表示学习的学习范式,即群判别(GD),并提出了一种新的基于GD的图群判别(GGD)方法.代替相似度计算,GGD直接区分两组节点样本与一个非常简单的二进制交叉熵损失。此外,与GCL方法相比,GGD在大规模数据集上需要更少的训练时间来获得有竞争力的性能。这两个优点赋予GGD非常高效的性能。大量的实验表明,GGD在八个数据集上的性能优于最先进的自监督方法。特别是,GGD可以在ogbn-arxiv上在0.18秒(包括数据预处理在内为6.44秒)内完成训练,这比GCL基线快了几个数量级(10,000+),同时消耗的内存要少得多。经过9小时的ogbn-papers 100 M十亿边缘训练,GGD在准确性和效率方面都优于GCL同行。
2022-10-17 cs.AI cs.LG
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
Northeastern University(东北大学)
该研究针对脉冲语言模型的时间编码与非线性计算权衡问题,提出联合设计脉冲编码和注意力算子的Spora模型,在GLUE、CoLA基准上较SpikeLM取得显著性能提升,且编码保真度与计算成本的关联得到进一步表征。
2026-10-09 cs.AI cs.LG
Rethinking Attention-Model Explainability through Faithfulness Violation Test
City University of Hong Kong(香港城市大学);National University of Singapore(新加坡国立大学);The Hong Kong Polytechnic University(香港理工大学)
注意力机制决定着深层模型的可解释性。它们在输入上产生概率分布,这被广泛认为是特征重要性指标。然而,在本文中,我们发现一个关键的限制,注意力的解释:在识别功能的极性影响的弱点。这在某种程度上会产生误导--具有较高注意力权重的特征可能不会忠实地对模型预测做出贡献;相反,它们会施加抑制效应。有了这一发现,我们反映了目前的注意力为基础的技术,如注意力$\odot$梯度和LRP为基础的注意力解释的可解释性。首先,我们提出了一个可行的诊断方法(以下简称忠实违反测试)来衡量解释权重和影响极性之间的一致性。通过大量的实验,我们发现,大多数测试的解释方法出乎意料地阻碍了忠实违反问题,特别是原始的注意。对违规问题影响因素的实证分析进一步为注意模型中采用解释方法提供了有益的观察。
2022-07-05 cs.CL cs.CV cs.LG
Rethinking RoPE Scaling in Quantized LLM: Theory, Outlier, and Channel-Band Analysis with Weight Rescaling
Department of EECS, University of California, Irvine, USA(加州大学尔湾分校电子工程与计算机科学系);Google(谷歌)
针对RoPE位置插值与训练后量化结合导致精度下降的问题,本文提出轻量的Q-ROAR权重重缩放方法,可在无微调、无额外开销的情况下显著降低长上下文困惑度并保留短上下文性能。
2025-09-26 cs.AI cs.LG
Decentralized Attention Fails Centralized Signals: Rethinking Transformers for Medical Time Series
Department of Biomedical Engineering, PolyU(PolyU 生物医学工程系);School of Nursing, PolyU(PolyU 护理学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学尤太数学科学中心)
本文提出CoTAR模块,通过集中化MLP替代去中心化注意力,以更好地捕捉医疗时间序列数据中的中心化依赖关系,提升模型效果与效率。
2026-05-07 cs.AI cs.LG
Rethinking Spatio-Temporal Transformer for Traffic Prediction:Multi-level Multi-view Augmented Learning Framework
Heilongjiang University(黑龙江大学)
针对交通预测中复杂的时空相关性问题,提出LVSTformer模型,通过多级多视图空间注意力、门控时间注意力及时空上下文广播模块捕捉依赖关系,在六个基准上实现SOTA性能,最大提升4.32%。
2024-06-17 cs.AI cs.LG
Rethinking Conventional Wisdom in Machine Learning: From Generalization to Scaling
Google DeepMind(谷歌DeepMind)
本文反思机器学习从泛化到扩展的范式转变,质疑 L2、小批量和大学习率等正则化原则在 LLM 时代的有效性,并提出“扩展定律交叉”现象及规模化模型比较问题。
2025-02-14 cs.LG stat.ML
Rethinking the Role of Efficient Attention in Hybrid Architectures
Tsinghua University(清华大学);OpenBMB
本文系统分析混合架构中高效注意力模块(如滑动窗口注意力和循环序列混合器)的影响,发现其主要影响长上下文能力的涌现速度,并揭示“大窗口惰性”现象,提出仅对全注意力层去除位置编码可提升长上下文性能。
2026-06-16 cs.CL cs.LG
Rethinking Adam: A Twofold Exponential Moving Average Approach
Northeastern University(东北大学);University of California, Davis(加利福尼亚大学戴维斯分校)
自适应梯度方法,例如\textsc{Adam},在机器学习中取得了巨大的成功。通过某种形式的梯度的二阶矩估计,按元素缩放学习率,这种方法能够实现现代深度神经网络的快速训练。然而,观察到它们与随机梯度下降(\textsc{SGD})相比具有受损的泛化能力,并且在训练期间的早期阶段往往被困在局部最小值中。有趣的是,我们发现用\textsc{Adam}中的动量化版本代替第二原始矩估计项中的梯度可以解决这个问题。直觉是,具有动量的梯度包含更准确的方向信息,因此其二阶矩估计比原始梯度的二阶矩估计对于学习率缩放是更有利的选择。因此,我们提出了\textsc{AdaMomentum}作为一个新的优化器,达到训练速度快,同时更好地推广的目标。我们进一步发展了一个理论来支持推广的改进,并在凸和非凸设置下提供收敛保证。在广泛的任务和模型上进行的大量实验表明,\textsc{AdaMomentum}始终表现出最先进的性能和卓越的训练稳定性。
2022-02-09 cs.AI cs.LG
Rethinking Graph Transformers with Spectral Attention
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);Valence Discovery;University of Ottawa(渥太华大学)
近年来,Transformer体系结构已被证明在序列处理中非常成功,但由于难以正确定义位置,其在其他数据结构(如图)中的应用仍然有限。在这里,我们提出了$\textit{Spectral Attention Network}$(SAN),它使用一个学习的位置编码(LPE),可以利用完整的拉普拉斯频谱来学习给定图中每个节点的位置。然后将此LPE添加到图的节点特征中,并传递给全连接的Transformer。通过利用拉普拉斯算子的全谱,我们的模型理论上在区分图方面是强大的,并且可以更好地从它们的共振中检测相似的子结构。此外,通过完全连接图形,Transformer不会遭受过度挤压,这是大多数GNN的信息瓶颈,并且能够更好地建模物理现象,例如热传递和电相互作用。当在一组4个标准数据集上进行经验测试时,我们的模型的性能与最先进的GNN相当或更好,并且远远优于任何基于注意力的模型,成为第一个在图形基准上表现良好的全连接架构。
2021-10-27 cs.LG
Synthesizer: Rethinking Self-Attention in Transformer Models
Google Research(谷歌研究院)
点积自注意力是最先进的Transformer模型的核心和不可或缺的。但这真的是必需的吗?本文研究了基于点积的自注意力机制对Transformer模型性能的真正重要性和贡献。通过大量的实验,我们发现(1)随机对齐矩阵令人惊讶地表现得相当有竞争力,(2)从令牌-令牌(查询-密钥)交互中学习注意力权重是有用的,但毕竟不是那么重要。为此,我们提出了\textsc{Synthesizer},一个模型,学习合成注意力权重没有令牌令牌的相互作用。在我们的实验中,我们首先表明,简单的合成器实现了高度竞争力的性能相比,香草Transformer模型在一系列的任务,包括机器翻译,语言建模,文本生成和GLUE/SuperGLUE基准。当与点积注意组成时,我们发现合成器始终优于Transformers。此外,我们进行了额外的比较合成器对动态卷积,表明简单的随机合成器不仅$60\%$更快,但也提高了相对$3.5\%$的困惑。最后,我们证明了简单的因式分解合成器在仅编码任务上的性能优于Linformer。
2021-05-24 cs.CL cs.IR cs.LG
QUILT: Rethinking Sparse-Attention Prefill through Shared Query Execution
Huawei Technologies Co., Ltd.(华为技术有限公司)
QUILT是一种工作负载感知的稀疏注意力执行机制,通过共享查询的KV条目减少冗余开销,在LongBench上的实验显示其可降低内核延迟、KV数据量及TTFT延迟,且精度损失极小。
2026-10-09 cs.LG
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Google Research, Brain Team(谷歌研究院大脑团队)
卷积神经网络(ConvNets)通常以固定的资源预算开发,然后如果有更多的资源可用,则扩展以获得更好的准确性。在本文中,我们系统地研究了模型缩放,并确定仔细平衡网络深度,宽度和分辨率可以带来更好的性能。基于这一观察,我们提出了一种新的缩放方法,使用简单而高效的复合系数均匀缩放深度/宽度/分辨率的所有维度。我们证明了这种方法在扩展MobileNets和ResNet上的有效性。为了更进一步,我们使用神经架构搜索来设计一个新的基线网络,并将其扩展以获得一系列称为EfficientNets的模型,这些模型比以前的ConvNets具有更高的准确性和效率。特别是,我们的EfficientNet-B7在ImageNet上实现了最先进的84.3%的top-1准确率,同时比现有最好的ConvNet小8.4倍,推理速度快6.1倍。我们的EfficientNets在CIFAR-100(91.7%),Flowers(98.8%)和其他3个迁移学习数据集上也能很好地传输并达到最先进的准确性,参数数量级更少。源代码位于https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet。
2020-09-11 cs.CV cs.LG stat.ML
Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
本文提出用固定无参数的Walsh-Hadamard变换替代多头注意力的密集输出投影,减少参数并提升效率,通过实验验证结构化变换在不同复杂度下优于密集投影。
2026-03-30 cs.CL cs.LG
Learning to ignore: rethinking attention in CNNs
Tampere University(坦佩雷大学);Finnish Environment Institute(芬兰环境研究所);Aarhus University(奥胡斯大学)
最近,人们越来越关注在卷积神经网络(CNN)中应用注意力机制来解决计算机视觉任务。这些方法中的大多数学习显式地识别和突出显示场景的相关部分,并将参与的图像传递到网络的其他层。在本文中,我们认为这种方法可能不是最佳的。可以说,明确地学习图像的哪些部分是相关的通常比学习图像的哪些部分不太相关更难,因此应该被忽略。事实上,在视觉领域中,存在许多容易识别的无关特征模式。例如,靠近边界的图像区域不太可能包含用于分类任务的有用信息。基于这个想法,我们建议重新制定CNN中的注意力机制,以学习忽略而不是学习注意。具体来说,我们建议明确学习场景中的不相关信息,并在生成的表示中抑制它,只保留重要的属性。这种内隐注意机制可以被结合到任何现有的注意力机制中。在这项工作中,我们使用两个最近的注意力方法挤压和激励(SE)块和卷积块注意力模块(CBAM)来验证这个想法。在不同数据集和模型架构上的实验结果表明,学习忽略,即,与标准方法相比,内隐注意产生更好的性能。
2021-11-10 cs.CV cs.LG
Rethinking Generative Image Pretraining: How Far Are We From Scaling Up Next-Pixel Prediction?
Google Deepmind(谷歌DeepMind)
本文研究了自回归下一步像素预测的扩展特性,探讨了统一视觉模型中简单且端到端但尚未充分探索的框架。通过在32x32分辨率的图像上训练Transformer模型,评估了三个目标指标:下一步像素预测目标、ImageNet分类准确率和基于生成的完成度(通过Fr'echet距离测量)。研究发现,最优扩展策略高度依赖任务,且随着图像分辨率的增加,模型大小必须比数据量增长得更快。通过预测发现,计算能力是主要瓶颈,而非训练数据量。随着计算能力每年增长四到五倍,预计在五年内可实现像素级图像建模。
2026-05-17 cs.CV cs.LG
LASP-2: Rethinking Sequence Parallelism for Linear Attention and Its Hybrid
Shanghai AI Laboratory(上海人工智能实验室);South China University of Technology(华南理工大学);The Chinese University of Hong Kong(香港中文大学)
针对现有序列并行方法在处理线性注意力Transformer模型超长序列时的并行性和可扩展性问题,提出LASP-2,通过重新设计通信-计算工作流减少通信需求,提升并行性及其重叠度,并扩展到混合模型LASP-2H,在Linear-Llama3上实现显著速度提升。
2025-02-11 cs.AI cs.CL cs.LG
Rethinking Language Model Scaling under Transferable Hypersphere Optimization
Microsoft(微软)
本文提出HyperP框架,通过Frobenius球约束和Muon优化器,在模型宽度、深度、训练token和MoE粒度间转移最优学习率,实现更稳定的扩展,同时引入SqrtGate机制提升MoE粒度扩展性能。
2026-04-05 cs.LG
Rethinking the Unsolvable: When In-Context Search Meets Test-Time Scaling
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Beijing University of Posts and Telecommunications(北京邮电大学)
本文探讨了上下文搜索与测试时扩展结合在超难推理任务上的潜力,通过实证与理论分析证明该方法能显著提升成功率并扩展可解问题复杂度类别,挑战了现有LLM评估范式。
2025-05-28 cs.AI cs.CL cs.LG
Rethinking Random Transformers as Adaptive Sequence Smoothers for Sleep Staging
School of Biological Science and Medical Engineering(生物科学与医学工程学院);Southeast University(东南大学);University of Bath(巴斯大学);Donders Institute for Brain, Cognition and Behaviour(脑、认知与行为研究所);Radboud University Medical Center(拉德堡德大学医学中心);School of Computer Science & Software Engineering(计算机科学与软件工程学院)
本文提出利用随机初始化的变换器作为自适应序列平滑器,通过局部时间连续性提升睡眠分期性能,证明架构偏置而非参数学习是主要贡献。
2026-05-11 cs.AI cs.LG
UniBench: Visual Reasoning Requires Rethinking Vision-Language Beyond Scaling
Meta FAIR;Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIGM;Brown University(布朗大学)
本文提出统一评估框架UniBench,覆盖50多个VLM基准并评测59个模型,揭示规模扩展难以提升推理、关系及简单计数能力,强调数据质量与定制目标。
2024-08-09 cs.AI cs.CV cs.LG
UnitNorm: Rethinking Normalization for Transformers in Time Series
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对时间序列Transformer中传统归一化导致的问题,提出UnitNorm方法,通过范数缩放和注意力调节,在6个模型和10个数据集上显著提升预测与分类性能。
2024-05-24 cs.LG
TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google(谷歌);Peking University(北京大学)
针对Transformer扩展成本高、架构修改需从头重训的问题,提出将参数视为token的TokenFormer架构,用token-参数注意力层替换线性投影,实现渐进式高效扩展,124M到1.4B规模下性能媲美从头训练的Transformer且成本更低。
2025-03-24 cs.LG
Rethinking the Global Knowledge of CLIP in Training-Free Open-Vocabulary Semantic Segmentation
Beihang University(北航大学)
本文提出GCLIP,通过重塑最后块注意力和Value嵌入来提取CLIP的全局知识,提升无训练开放词汇语义分割性能。
2026-07-20 cs.LG
Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers
University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学)
针对传统线性或加性代理模型与 Transformer 结构不兼容的问题,本文提出 SLALOM 代理模型,以更低成本或更高保真度实现特征归因解释并开源代码。
2025-01-09 cs.AI cs.CL cs.LG
Kinetics: Rethinking Test-Time Scaling Laws
Carnegie Mellon University(卡内基梅隆大学)
本文从效率角度重新思考测试时扩展,提出Kinetics扩展定律,发现注意力是主导成本,并倡导稀疏注意力范式,在AIME上显著提升准确率。
2025-06-20 cs.CL cs.LG
Rethinking Attention with Performers
Google(谷歌);University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所);DeepMind(深度思维)
我们介绍表演者,Transformer架构,可以估计定期(softmax)满秩注意力Transformers可证明的准确性,但只使用线性(而不是二次)的空间和时间复杂度,而不依赖于任何先验,如稀疏或低秩。为了近似softmax注意力内核,执行者使用一种新的快速注意力通过正正交随机特征方法(FAVOR+),这可能是可扩展内核方法的独立兴趣。FAVOR+还可以用于有效地建模softmax之外的可内核化注意力机制。这种代表性的能力对于在大规模任务中首次准确地将softmax与其他内核进行比较至关重要,超出了常规Transformers的范围,并研究最佳注意力内核。执行者是线性架构,与常规Transformers完全兼容,并具有强大的理论保证:无偏或接近无偏估计的注意矩阵,一致收敛和低估计方差。我们在一组丰富的任务上测试了Performers,从像素预测到文本模型再到蛋白质序列建模。我们展示了竞争力的结果与其他检查有效的稀疏和密集的注意力方法,展示了有效性的新的注意力学习范式的表演者利用。
2022-11-19 cs.CL cs.LG stat.ML
Rethinking Contextualization by Reinterpreting Attention Head Channels
RIKEN(理化学研究所);Tohoku University(东北大学);New York University(纽约大学);JAIST(北陆先端科学技术大学院大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出上下文化的一般原则:低信息词吸收更多上下文信息,并通过将注意力头重新解释为奇异向量门控的通道,揭示其信息路由机制,实现自动可解释的头分析。
2026-09-29 cs.CL cs.LG
RESCHED: Rethinking Flexible Job Shop Scheduling from a Transformer-based Architecture with Simplified States
School of Computing and Information Systems, Singapore Management University, Singapore(新加坡管理大学计算机与信息系);College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院);Institute of Marine Science and Technology, Shandong University, China(山东大学海洋科学与技术研究院)
ReSched通过简化状态空间和改进架构,在柔性作业车间调度问题中实现了更高效和通用的调度方法。
2026-03-07 cs.AI cs.LG
From Complex Dynamics to DynFormer: Rethinking Transformers for PDEs
School of Aeronautics and Astronautics, Shanghai Jiao Tong University(航空宇航学院,上海交通大学)
DynFormer 通过引入谱嵌入和局部-全局混合模块,重新设计 Transformer 架构以高效处理 PDEs 的多尺度特性,实现高精度与低内存消耗的平衡。
2026-03-03 cs.AI cs.LG nlin.CD
From Scaling to Structured Expressivity: Rethinking Transformers for CTR Prediction
Alibaba Group(阿里巴巴集团)
针对CTR预测中Transformer模型因结构错位导致收益递减的问题,提出Field-Aware Transformer (FAT),通过场感知参数重构和基组合超网络实现结构化表达能力,在理论(Rademacher复杂度标度律)和实验(AUC提升+4.38%,线上CTR+2.33%,RPM+0.66%)上均优于现有方法。
2026-05-31 cs.IR cs.LG
Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme
Shanghai Jiao Tong University (SJTU)(上海交通大学);Minimax;Fudan University(复旦大学);SII;Generative Artificial Intelligence Lab (GAIR)(生成式人工智能实验室(GAIR))
本文提出了一个透明且从零开始的视觉语言模型强化学习框架及标准化评估方案,实验发现RL在泛化上始终优于SFT,为该领域提供了可复现的基线。
2025-04-04 cs.CL cs.CV cs.LG
Rethinking Graph Transformer Architecture Design for Node Classification
Zhejiang University of Technology(浙江工业大学);Binjiang Institute of Artificial Intelligence, ZJUT(浙江工业大学滨江人工智能研究院);Science and Technology on Communication Information Security Control Laboratory(通信信息安全控制实验室)
针对图Transformer在节点分类中易受全局噪声影响且难以扩展到大型图的问题,本文提出基于传播与转换解耦的GNNFormer架构,有效提升了同质与异质场景下的分类性能与计算效率。
2024-10-15 cs.LG
Rethinking Decoders for Transformer-based Semantic Segmentation: A Compression Perspective
School of Artificial Intelligence(人工智能学院);Beijing University of Posts and Telecommunications(北京邮电大学)
本文从压缩视角重新解释Transformer语义分割解码器,提出白盒注意力解码器DEPICT,在ADE20K上优于Segmenter且更轻量鲁棒。
2025-10-09 cs.CV cs.LG
Rethinking Federated Learning Over the Air: The Blessing of Scaling Up
Zhejiang University/University of Illinois Urbana-Champaign Institute(浙江大学/伊利诺伊大学厄巴纳-香槟分校研究所);Zhejiang University(浙江大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Engineering Systems and Design, Singapore University of Technology and Design(新加坡科技与设计大学工程系统与设计系);School of Computer Science, Nanjing University of Posts and Telecommunications(南京邮电大学计算机科学学院);Department of Computer and Information Science, Linköping University(_linköping大学计算机与信息科学系)
本文针对联邦学习通信资源受限问题,构建理论框架分析大规模客户端场景下空中联邦学习的性能,揭示扩大客户端数量可增强隐私、缓解信道衰落、提升收敛性,证实其可行性。
2025-08-25 cs.LG
Rethinking Text Line Recognition Models
Google Research(谷歌研究院)
本文研究了文本行识别问题。与大多数针对特定领域(如场景文本或手写文档)的方法不同,我们研究了开发一个通用架构的一般问题,该架构可以从任何图像中提取文本,而不管源或输入方式如何。我们考虑两个解码器系列(连接时间分类和Transformer)和三个编码器模块(双向LSTM,自我注意,和GRCL),并进行广泛的实验,以比较其准确性和性能广泛使用的场景和手写文本的公共数据集。我们发现,到目前为止,在文献中很少受到关注的组合,即自注意编码器与CTC解码器相结合,当与外部语言模型相结合并在公共和内部数据上进行训练时,在准确性和计算复杂性方面优于所有其他人。与更常见的基于Transformer的模型不同,该架构可以处理任意长度的输入,这是通用线路识别的要求。使用从多个来源收集的内部数据集,我们还暴露了当前公共数据集在评估线识别器的准确性方面的局限性,因为相对较窄的图像宽度和序列长度分布不允许观察Transformer方法在应用于长线转录时的质量下降。
2021-04-21 cs.CV cs.LG
Rethinking Data Distillation: Do Not Overlook Calibration
Texas A&M University(德州农工大学);Zhejiang University(浙江大学);Certik;University of Maryland, College Park(马里兰大学帕克分校);Purdue University(普渡大学);North Carolina State University(北卡罗来纳州立大学)
针对蒸馏数据导致网络不可校准的问题,本文提出MTS和MDT方法,通过掩码机制缓解最大logits集中及语义信息丢失的局限,在保持数据蒸馏效率的同时显著提升校准效果。
2023-09-14 cs.CV cs.LG
You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection
Huazhong University of Science & Technology(华中科技大学);Horizon Robotics(地平线机器人)
Transformer是否可以从纯粹的序列到序列的角度执行2D对象和区域级别的识别,而对2D空间结构的了解很少?为了回答这个问题,我们提出了你只看一个序列(YOLOS),一系列的目标检测模型的基础上香草视觉Transformer与尽可能少的修改,区域先验,以及目标任务的归纳偏见。我们发现,仅在中等规模的ImageNet-1 k数据集上预训练的YOLOS已经可以在具有挑战性的COCO目标检测基准上实现相当有竞争力的性能,例如,YOLOS-Base直接采用BERT-Base架构,可以在COCO val上获得42.0盒AP。我们还通过YOLOS讨论了当前预训练方案和视觉中Transformer的模型缩放策略的影响和局限性。代码和预训练模型可在https://github.com/hustvl/YOLOS上获得。
2021-10-27 cs.AI cs.CV cs.LG
Rethinking Evaluation of Sparse Autoencoders through the Representation of Polysemous Words
The University of Tokyo(东京大学)
针对传统指标忽视 SAE 语义表征能力的问题,本文提出以多义词为核心的单义特征评估套件,揭示 MSE-L0 Pareto 优化的局限及 LLM 层与注意力机制的消歧作用。
2025-02-18 cs.AI cs.CL cs.LG
Rethinking Degradation: Radiograph Super-Resolution via AID-SRGAN
Tohoku University(东北大学);Baidu Research(百度研究院)
在本文中,我们提出了一种用于地理图像超分辨率的医学AttentIon去噪超分辨率生成对抗网络(AID-SRGAN)。首先,我们提出了一个医疗实用的退化模型,考虑各种退化因素以外的下采样。据我们所知,这是第一个复合退化模型提出的射线照相图像。此外,我们提出了AID-SRGAN,它可以同时去噪和生成高分辨率(HR)射线照片。在该模型中,我们在去噪模块中引入了注意机制,使其对复杂的退化更具鲁棒性。最后,SR模块使用“干净的”低分辨率(LR)射线照片重建HR射线照片。此外,我们提出了一个单独的联合训练方法来训练的模型,并进行了大量的实验,表明所提出的方法是优于它的同行。例如,在一个实施例中,我们提出的方法实现了PSNR的$31.90$,其比例因子为$4 \times$,其$7.05 \%$高于最近的工作SPSR [16]所获得的比例因子。我们的数据集和代码将在https://github.com/yongsongH/AIDSRGAN-MICCAI2022上提供。
2022-08-05 cs.CV cs.LG eess.IV
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University(卡内基梅隆大学)
DETR是最近提出的一种基于transformer的方法,它将目标检测视为一个集合预测问题,并实现了最先进的性能,但需要额外的训练时间来收敛。在本文中,我们调查的原因,优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素,主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题,我们提出了两种解决方案,即TSP-FCOS(基于变换的集合预测与FCOS)和TSP-RCNN(基于变换的集合预测与RCNN)。实验结果表明,该方法不仅收敛速度比原来的DETR,但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Rethinking Nonlinearity: Trainable Gaussian Mixture Modules for Modern Neural Architectures
Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院);Great Bay University(大湾大学);University of Massachusetts at Amherst(马萨诸塞大学阿姆赫斯特分校)
本文提出高斯混合启发式非线性模块(GMNM),利用GMM密度逼近与高斯核距离属性,可灵活集成于MLP、CNN、注意力及LSTM等架构,端到端训练并持续提升性能。
2025-10-08 cs.LG math.PR
From Models to Operators: Rethinking Autoscaling Granularity for Large Generative Models
Rice University(里士大学);Microsoft Research(微软研究院);Microsoft Azure Research(微软Azure研究院)
本文针对大型生成式模型服务中模型级自动伸缩粒度过粗导致资源利用率低的问题,提出算子级自动伸缩框架,基于算子异构性优化资源分配,在保持SLO的同时显著降低GPU和能耗并提升吞吐量。
2025-11-04 cs.DC cs.LG
Rethinking Positional Encoding in Language Pre-training
Microsoft Research(微软研究院)
在这项工作中,我们研究了用于语言预训练的位置编码方法(例如,BERT)并识别现有公式中的几个问题。首先,我们证明了在绝对位置编码中,位置嵌入和词嵌入上的加法运算带来了两个异构信息资源之间的混合相关性。它可能会在注意力上带来不必要的随机性,并进一步限制模型的表达能力。第二,我们质疑,考虑到符号\texttt{[CLS]}在下游任务中的特殊作用(代表整个句子),将符号的位置与其他单词相同是否是一个合理的设计。基于上述分析,我们提出了一种新的位置编码方法--\textbf{T} transformer with \textbf{U} ntied \textbf{P} ositional \textbf{E} ncoding(TUPE).在自注意模块中,TUPE分别计算了词的上下文相关度和位置相关度,并将它们相加。这种设计消除了异构嵌入上的混合和噪声相关性,并通过使用不同的投影矩阵提供了更多的表现力。此外,TUPE将\texttt{[CLS]}符号与其他位置分开,从而更容易从所有位置捕获信息。大量的实验和GLUE基准上的烧蚀研究证明了该方法的有效性。代码和模型在https://github.com/guolinke/TUPE上发布。
2021-03-15 cs.CL cs.LG
Rethinking Associative Memory Mechanism in Induction Head
The University of Tokyo(东京大学)
本文从联想记忆视角,理论分析并实验验证了两层Transformer在下一词预测中如何捕获上下文信息并平衡预训练二元语法知识,揭示了归纳头机制的内在运作原理。
2025-07-08 cs.CL cs.LG
CascadeXML: Rethinking Transformers for End-to-end Multi-resolution Training in Extreme Multi-label Classification
Aalto University(阿尔托大学)
极端多标签文本分类(XMC)涉及学习一个分类器,该分类器可以从数百万个标签选择中为输入分配最相关的标签子集。最近的方法(如XR-Transformer和LightXML)利用Transformer实例来实现最先进的性能。然而,在这个过程中,这些方法需要在性能和计算要求之间做出各种权衡。与基于Bi-LSTM的AttentionXML相比,一个主要的缺点是它们无法在标签树中为每个分辨率保留单独的特征表示。因此,我们提出了CascadeXML,一个端到端的多分辨率学习管道,它可以利用多层架构的Transformer模型参加不同的标签分辨率与单独的功能表示。CascadeXML显著优于所有现有的方法,在由多达300万个标签组成的基准数据集上获得了非平凡的收益。CascadeXML的代码将在\url{https://github.com/xmc-aalto/cascadexml}上公开提供。
2022-10-29 cs.CL cs.LG stat.ML