Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);The Swiss AI Lab IDSIA / USI / SUPSI(瑞士人工智能实验室IDSIA / 瑞士意大利语大学 / 瑞士南方应用科技大学)
我们在Transformer中加入了张量积表示,以便更好地支持关系结构的显式表示。我们的Tensor-Product Transformer(TP-Transformer)在最近推出的包含56类自由形式数学应用题的数学数据集上开创了新的艺术水平。该模型的基本组成部分是一种新的注意力机制,称为TP-注意力,它明确编码每个Transformer细胞和其他细胞之间的关系,从这些细胞中的值已被检索的注意。TP-Attention超越了检索值的线性组合,加强了表征构建并解决了多层标准注意力引入的歧义。TP-Transformer的注意力地图可以更好地了解它如何能够解决数学数据集的挑战性问题。预训练的模型和代码将在发布后提供。
2020-11-04 cs.LG stat.ML
Enhancing Latent Computation in Transformers with Latent Tokens
Alibaba Group(阿里巴巴集团)
本研究提出潜Token轻量方法,可参数高效地集成到预训练Transformer中调控解码,经合成任务验证,其在分布外泛化等场景显著优于基线,有望提升大语言模型适配性。
2025-05-19 cs.CL cs.LG
Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information
The University of Chicago(芝加哥大学);Tsinghua University(清华大学)
本文提出 Graph Spectral Token,通过参数化 [CLS] token 将图谱全局结构信息注入图 Transformer,并在 GraphTrans 与 SubFormer 上验证其性能与效率收益。
2024-04-08 cs.LG
EMAformer: Enhancing Transformer through Embedding Armor for Time Series Forecasting
针对iTransformer在多变量时间序列预测中落后于MLP模型的问题,提出EMAformer通过嵌入装甲引入三个归纳偏置增强Transformer,在12个基准上实现SOTA,平均降低2.73% MSE和5.15% MAE,提升Transformer方法实用性。
2025-11-11 cs.LG
Enhancing Transformer Efficiency for Multivariate Time Series Classification
University of California, Santa Barbara(加州大学圣巴巴拉分校)
目前大多数多变量时间序列(MTS)分类算法的重点是提高预测精度。然而,对于大规模(高维或长序列)时间序列(TS)数据集,还有一个额外的考虑因素:设计一个有效的网络架构,以减少计算成本,如训练时间和内存占用。在这项工作中,我们提出了一种基于模块修剪和帕累托分析的方法来研究模型效率和准确性之间的关系,以及其复杂性。在MTS基准数据集上的实验结果表明了该方法的有效性。
2022-03-28 cs.AI cs.LG
Enhancing Transformer with GNN Structural Knowledge via Distillation: A Novel Approach
China Telecom Shanghai Company(中国电信上海公司);Ferret Relationship Intelligence(Ferret关系智能公司)
提出一种新颖的知识蒸馏框架,通过微宏观蒸馏损失和多尺度特征对齐,将GNN教师模型的多尺度结构知识迁移至Transformer学生模型,有效弥合架构鸿沟,为Transformer继承图结构偏置确立新范式。
2025-02-27 cs.AI cs.LG
Higher Order Transformers: Enhancing Stock Movement Prediction On Multimodal Time-Series Data
Mila(米拉研究所);McGill University(麦吉尔大学);University of Montreal(蒙特利尔大学)
本文提出高阶 Transformer 架构,通过扩展自注意力至高阶并采用低秩近似与核注意力降低复杂度,结合多模态信号在 Stocknet 数据集上有效提升股票走势预测。
2024-12-13 cs.LG q-fin.ST
PENGUIN: Enhancing Transformer with Periodic-Nested Group Attention for Long-term Time Series Forecasting
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Key Laboratory of Data Science, Fudan University(复旦大学上海市数据科学重点实验室);Xiaohongshu Inc.(小红书公司)
本文提出PENGUIN,一种周期-嵌套组注意力机制,用于提升Transformer在长期时间序列预测中的性能,通过捕捉周期结构和处理多重周期性。
2026-03-29 cs.AI cs.LG
Enhancing Transformer Training Efficiency with Dynamic Dropout
ASCENDING inc.(ASCENDING公司)
本文提出 Dynamic Dropout 技术,通过动态调整 dropout 率以平衡正则化与模型容量,在 Shakespeare_char 数据集上显著加速 GPT 模型训练并提升推理效率,其中基于验证损失的调度策略表现最佳。
2024-11-05 cs.LG
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America(美国三星研究院)
Transformer模型的引入使序列建模,特别是文本领域的建模取得了巨大的进步。然而,使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中,我们引入了门控对抗Transformer(GAT),以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外,GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析,以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Resource-aware Mixed-precision Quantization for Enhancing Deployability of Transformers for Time-series Forecasting on Embedded FPGAs
Intelligent Embedded Systems Lab, University of Duisburg-Essen(Duisburg-埃森大学智能嵌入式系统实验室)
本文提出面向资源的混合精度量化方法,通过灵活的资源类型选择和BRAM高效利用,解决嵌入式FPGA上整数量化Transformer部署难题,提升模型部署效率和适用性。
2026-04-21 cs.LG
TraM : Enhancing User Sleep Prediction with Transformer-based Multivariate Time Series Modeling and Machine Learning Ensembles
Kookmin University(国民大学);Korea University(高丽大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出TraM框架,结合Time Series Transformer和机器学习集成预测睡眠质量、情绪与压力,实验得分6.10/10,优于其他方法。
2024-10-15 cs.AI cs.LG
DenseFormer: Enhancing Information Flow in Transformers via Depth Weighted Averaging
EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
本文提出 DenseFormer 架构,通过在每个 transformer 块后引入 Depth-Weighted-Average (DWA) 操作计算当前与过去表示的加权平均,在不显著增加参数量的前提下提升了模型困惑度、数据效率及推理性能。
2024-03-21 cs.CL cs.LG
Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting
University of California Santa Barbara(加州大学圣巴巴拉分校)
时间序列预测是许多领域的重要问题,包括预测太阳能发电厂的能量输出,电力消耗和交通拥堵情况。在本文中,我们建议用Transformer [1]来处理这样的预测问题。虽然在我们的初步研究中对它的性能印象深刻,但我们发现它的两个主要弱点:(1)局部不可知性:规范Transformer架构中的逐点点积自注意对局部上下文不敏感,这可能使模型在时间序列中容易出现异常;(2)内存瓶颈:规范Transformer的空间复杂度与序列长度$L$成二次增长,使得直接建模长时间序列不可行。为了解决这两个问题,我们首先提出了卷积自注意,通过产生查询和关键字与因果卷积,使局部上下文可以更好地纳入注意力机制。然后,我们提出了LogSparse Transformer,只有$O(L(\log L)^{2})$内存成本,提高预测精度的细粒度和强长期依赖性的时间序列在有限的内存预算。我们在合成数据和真实世界数据集上的实验表明,它比最先进的。
2020-01-03 cs.LG stat.ML
Global Clipper: Enhancing Safety and Reliability of Transformer-based Object Detection Models
Intel Labs(英特尔实验室);University of British Columbia(不列颠哥伦比亚大学);Technical University of Munich(慕尼黑工业大学)
针对传统CNN范围限制方案无法适配Transformer模型、软错误会影响目标检测性能的问题,提出Global Clipper等专属缓解策略,经多场景大量推理测试,可将错误推理率降至约0%,还探究了Transformer注意力模块特性。
2024-07-09 cs.AI cs.CV cs.LG
RefineNet: Enhancing Text-to-Image Conversion with High-Resolution and Detail Accuracy through Hierarchical Transformers and Progressive Refinement
Southern Illinois University(南伊利诺伊大学)
RefineNet通过层次化Transformer与渐进式细化技术,在文本到图像转换中实现高分辨率与细节精度提升,优于现有模型,尤其在复杂图像类别中表现突出。
2023-12-27 cs.AI cs.CV cs.LG
Enhancing Graph Transformers with Hierarchical Distance Structural Encoding
Beihang University(北京航空航天大学);The Hong Kong Polytechnic University(香港理工大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出层级距离结构编码(HDSE)增强图变换器,建模节点多级距离,可集成于注意力机制,理论上优于最短路径距离,并在图分类、回归及大规模节点分类任务中表现优异。
2024-05-27 cs.AI cs.LG cs.SI
Enhancing Tropical Cyclone Path Forecasting with an Improved Transformer Network
Faculty of Electronics and Telecommunications University of Engineering and Technology, VNU Hanoi, Vietnam(电子电信学院 工程技术大学 巴黎越南河内分校);Faculty of Information Technology University of Engineering and Technology, VNU Hanoi, Vietnam(信息技术学院 工程技术大学 巴黎越南河内分校)
本研究提出一种基于改进Transformer网络的深度学习方法,用于预测未来6小时风暴移动轨迹,实验证明其比传统方法更准确、快速且具成本效益。
2025-05-01 cs.LG cs.PF
Enhancing compact convolutional transformers with super attention
C.V. Raman Global University(C.V. Raman全球大学);Assam Royal Global University(阿萨姆皇家全球大学)
本文提出一种结合令牌混合、序列池化和卷积令牌化器的视觉Transformer,在CIFAR100上显著提升准确率并降低计算成本,且训练稳定,不依赖数据增强等技术。
2025-08-26 cs.CV cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架,在保持表达能力的同时降低复杂度,实验显示平均性能提升12.4%,参数量减少61.3%。
2024-12-16 cs.AI cs.LG
TT-BLIP: Enhancing Fake News Detection Using BLIP and Tri-Transformer
TT-BLIP利用BLIP和三重Transformer融合文本、图像及多模态特征,在Weibo和Gossipcop数据集上超越现有模型,提升假新闻检测性能。
2025-01-23 cs.CV cs.LG
Enhancing Transformer Representations of Symbolic ODE Expressions
University of Southampton(南安普顿大学)
本研究探索树位置嵌入与对比学习增强Transformer对符号ODE表达式的结构化表示,提升学习性能并支持数学交换性质。
2026-09-22 cs.AI cs.LG
GLoG-CSUnet: Enhancing Vision Transformers with Adaptable Radiomic Features for Medical Image Segmentation
Computer Science Department Michigan State University East Lansing, USA(密歇根州立大学计算机科学系);Department of Radiation Oncology Henry Ford Health Detroit, US(亨利福特健康辐射肿瘤科);Division of Engineering New York University Abu Dhabi, UAE(纽约大学工程学院)
提出GLoG-CSUnet架构,通过集成动态自适应的Gabor和LoG滤波器以结合影像组学特征与Transformer的长程建模能力,在Synapse和ACDC数据集上以极小计算开销显著提升了医学图像分割性能。
2025-01-08 cs.AI cs.CV cs.LG
Optimization Strategies for Enhancing Resource Efficiency in Transformers & Large Language Models
Brock University(布洛克大学)
本研究探讨了量化、知识蒸馏和剪枝等优化技术,以在保持性能的同时提升 Transformer 和大型语言模型的资源与能效,并引入了新颖的优化方程来比较各方法,为开发可持续高效的 LLMs 提供见解。
2025-01-16 cs.CL cs.LG
Enhancing Risk Assessment in Transformers with Loss-at-Risk Functions
Portland State University(波特兰州立大学);Westview High School(韦维尤高中)
针对Transformer模型在金融预测中低估极端风险的问题,本文提出将VaR和CVaR融入损失函数(Loss-at-Risk),实验证明该方法在不影响决策性能的前提下提升了风险评估能力。
2024-11-04 cs.CL cs.LG q-fin.RM
SuperTran: Reference Based Video Transformer for Enhancing Low Bitrate Streams in Real Time
Amazon(亚马逊)
这项工作的重点是低比特率的视频流场景(例如50 - 200 Kbps),其中视频质量严重受损。我们提出了一系列新颖的深度生成模型,用于通过执行超分辨率来增强此类流的感知视频质量,同时还去除压缩伪影。我们的模型,我们称之为SuperTran,除了低质量,低分辨率的视频流之外,还需要输入一个高质量,高分辨率的参考图像。因此,模型学习如何从参考图像借用或复制视觉元素(如纹理),并填充低分辨率流中的剩余细节,以产生感知增强的输出视频。参考帧可以在视频会话开始时发送一次,也可以从图库中检索。重要的是,所得到的输出具有比仅使用低分辨率输入的方法(例如SuperVEGAN方法)可能具有的细节好得多的细节。SuperTran在标准管道旁边的云上实时工作(高达30帧/秒)。
2022-11-22 cs.CV cs.LG eess.IV
N-Best ASR Transformer: Enhancing SLU Performance using Multiple ASR Hypotheses
口语语言理解(SLU)系统将语音解析成语义结构,如对话行为和槽。这涉及到使用自动语音识别器(ASR)将语音转录为多个文本替代(假设)。ASR中常见的转录错误会对下游SLU性能产生负面影响。减轻这种错误的方法涉及使用来自ASR的更丰富的信息,无论是以N-最佳假设还是词格的形式。我们假设,Transformer模型使用N个最佳ASR替代品的串联,使用更简单的话语表示来学习得更好,其中每个替代品由特殊的分隔符[SEP]分隔。在我们的工作中,我们测试我们的假设,通过使用级联的N-最好的ASR替代品作为输入到Transformer编码器模型,即BERT和XLM-RoBERTa,并实现性能相当于现有的国家的最先进的模型在DSTC 2数据集。我们还表明,我们的方法显着优于现有的最先进的低数据制度时。此外,该方法可供不提供词格信息的第三方ASR API的用户访问。
2021-06-11 cs.CL cs.LG cs.SD
Polyhedra Encoding Transformers: Enhancing Diffusion MRI Analysis Beyond Voxel and Volumetric Embedding
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心);National Institute on Aging(美国国家老龄化研究所)
本文提出多面体编码Transformer(PE-Transformer),通过将二十面体投影到单位球面重采样dMRI球面信号并结合方向信息,在估计多室模型和纤维取向分布上优于传统CNN和标准Transformer。
2025-03-11 cs.CV cs.LG eess.IV
Interpretable Joint Event-Particle Reconstruction for Neutrino Physics at NOvA with Sparse CNNs and Transformers
University of California Irvine(加州大学欧文分校)
在NOvA长基线中微子振荡实验中观察到的复杂事件包含了理解标准模型中最难以捉摸的粒子的重要信息。NOvA探测器观测费米实验室NuMI光束中中微子的相互作用。将这些相互作用事件中产生的粒子与它们的源粒子相关联,这一过程称为重建,对于准确测量标准模型的关键参数至关重要。事件可能包含几个粒子,每个粒子产生稀疏的高维空间观测,目前的方法仅限于评估单个粒子。为了准确地标记这些大量的高维观测,我们提出了一种新的神经网络架构,该架构将卷积实现的空间学习与注意力实现的上下文学习相结合。这种联合方法,transformerCVN,同时对每个事件进行分类,并重建每个粒子的身份。TransformerCVN以90%的准确度对事件进行分类,并将单个粒子的重建比缺乏TransformerCVN集成架构的基线方法提高了6%。此外,这种架构使我们能够执行几个可解释性研究,这些研究提供了对网络预测的见解,并表明TransformerCVN发现了源于标准模型的几个基本原则。
2023-03-10 cs.LG
Enhancing Decision Transformer with Diffusion-Based Trajectory Branch Generation
针对Decision Transformer因缺乏桥接数据易收敛于次优轨迹的问题,提出基于扩散模型的轨迹分支生成方法(BG)扩展数据集,使DT能学习向更优轨迹转移的策略,在D4RL基准上取得SOTA效果。
2024-11-18 cs.LG
CrystalGPT: Enhancing system-to-system transferability in crystallization prediction and control using time-series-transformers
Texas A&M University(德克萨斯农工大学)
本文提出基于 time-series-transformer 的 CrystalGPT 框架,利用多结晶器过程数据实现跨系统及未见系统的结晶预测迁移,并结合预测控制器将跟踪方差降至 1%。
2023-05-31 cond-mat.mtrl-sci cs.LG
Enhancing Solar Driver Forecasting with Multivariate Transformers
Universidad Politécnica de Madrid(马德里理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出基于PatchTST的多元Transformer框架,通过自定义加权损失函数和18天回溯窗口预测未来6天的F10.7等太阳驱动因子,在SET数据集上取得更低标准平均误差,尤其在高太阳活动期表现更优。
2024-08-01 cs.AI cs.LG physics.space-ph
Enhancing Vision Transformer Explainability Using Artificial Astrocytes
University of Miami(迈阿密大学);University of A Coruña(阿罗乌纳大学)
提出受神经科学启发的免训练框架ViTA,通过人工星形胶质细胞增强预训练ViT的推理,生成更符合人类感知的解释,在ClickMe数据集上各项XAI指标均获显著提升。
2025-05-20 cs.AI cs.CV cs.LG
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
Capital One(第一资本)
QUARTET通过因果随机游走采样和四分支交叉注意力,在局部与全局层面增强图Transformer,于RelBench v1分类任务中匹配或超越现有最先进模型。
2026-10-08 cs.AI cs.LG
Enhancing Actuarial Non-Life Pricing Models via Transformers
Allianz Versicherungs-AG(安联保险股份公司)
该研究针对非寿险定价问题,基于组合精算神经网络和LocalGLMnet框架,结合特征分词器Transformer增强表格数据下的精算模型,在真实数据集上优于多个基准模型且保留广义线性模型优势。
2024-06-21 cs.AI cs.LG q-fin.ST
Optimal Control for Transformer Architectures: Enhancing Generalization, Robustness and Efficiency
Department of Mathematics UCLA(数学系,加州大学洛杉矶分校);Oden Institute University of Texas at Austin(奥登研究所,德克萨斯大学奥斯汀分校);School of Data Science and Society UNC Chapel Hill(数据科学与社会学院,北卡罗来纳大学夏洛特分校);SRI International(SRI国际);Department of Mathematics and Statistics University of Massachusetts Amherst(数学与统计系,马萨诸塞大学阿姆赫斯特分校)
本文提出基于最优控制理论的Transformer训练与架构设计框架,在提升泛化、鲁棒性和参数效率的同时,显著降低测试损失,为首个将最优控制理论应用于Transformer的工作。
2025-10-23 cs.AI cs.LG math.OC
LayerShuffle: Enhancing Robustness in Vision Transformers by Randomizing Layer Execution Order
University of Copenhagen(哥本哈根大学);IT University of Copenhagen(哥本哈根信息技术大学)
针对人工神经网络测试时对层剪枝或打乱操作鲁棒性不足的问题,提出LayerShuffle方法,通过训练时随机化视觉Transformer注意力模块执行顺序,使其测试时适应任意层序(精度降约20%),且剪枝后性能优雅下降。
2024-12-06 cs.AI cs.CV cs.LG
Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对自回归思维链生成长且正确轨迹的挑战,该研究提出RELAY方法,将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督,提升其泛化性以生成超长推理链,进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
All You Need is an Improving Column: Enhancing Column Generation for Parallel Machine Scheduling via Transformers
North Carolina State University(北卡罗来纳州立大学)
本文提出用Transformer和pointer架构的神经网络增强列生成,通过预测负削减成本列替代动态规划求解子问题,在保持最优性保证的同时显著提升并行机调度的计算效率与泛化能力。
2024-10-21 cs.LG math.OC
Enhancing 3D Human Pose Estimation Amidst Severe Occlusion with Dual Transformer Fusion
Information Technology University(信息技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
针对单目视频3D人体姿态估计中的严重遮挡问题,提出基于时间插值遮挡引导机制的双Transformer融合算法,通过双中间视图自细化与融合实现端到端估计,在两个基准数据集上性能超越现有最优方法。
2024-10-06 cs.CV cs.LG
Topology-Informed Graph Transformer
National Institute for Mathematical Sciences(数学科学研究院);Max Planck Institute(马克斯·普朗克研究所)
本研究提出拓扑感知图Transformer,通过增强图同构判别能力与整体性能,提升图神经网络在区分同构类任务中的表现。
2026-01-08 cs.LG
Geometry-Aware Optimization for Respiratory Sound Classification: Enhancing Sensitivity with SAM-Optimized Audio Spectrogram Transformers
Başkent University(巴什肯特大学);Gaziantep University(加济安泰普大学)
本文提出基于SAM优化的音频频谱变压器框架,提升呼吸声分类的灵敏度和泛化能力,达到68.31%的灵敏度,优于现有方法。
2025-12-27 cs.AI cs.LG cs.SD
Sound Event Detection Transformer: An Event-based End-to-End Model for Sound Event Detection
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Toshiba China R&D Center(东芝中国研发中心)
声音事件检测(SED)在监控、视频检索等领域有着广泛的应用,得到了越来越多的关注。现有的SED模型主要产生帧级预测,将其转化为序列多标签分类问题。基于帧的模型的一个关键问题是,它追求最佳的帧级预测,而不是最佳的事件级预测。此外,它需要后期处理,不能以端到端的方式进行训练。本文首先提出了一维检测Transformer(1D-DETR)的启发,检测Transformer器的图像目标检测。此外,鉴于SED的特点,音频查询分支和一个一对多的匹配策略,微调模型添加到1D-DETR,形成声音事件检测Transformer(SEDT)。据我们所知,SEDT是第一个基于事件的端到端SED模型。在URBAN-SED数据集和DCASE 2019 Task 4数据集上进行的实验表明,SEDT可以获得有竞争力的性能。
2021-11-12 cs.LG cs.SD eess.AS
Enhancing GraphQL Security by Detecting Malicious Queries Using Large Language Models, Sentence Transformers, and Convolutional Neural Networks
Department. of CSE University of Moratuwa Colombo, Sri Lanka(计算机科学与工程系,穆塔瓦拉大学,科伦坡,斯里兰卡)
本文提出一种结合静态分析、LLM、句子转换器和CNN等机器学习技术的AI方法,用于实时检测恶意GraphQL查询,以增强API安全性,实验证明能高准确率识别多种攻击并有效缓解DoS和SSRF。
2025-10-08 cs.AI cs.CR cs.LG
SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
Booking.com, Amsterdam, The Netherlands(Booking.com,阿姆斯特丹,荷兰)
提出SOHET模型,通过层次化架构结合事件类型特定表格编码器与时间/类型嵌入,并引入三种自监督预训练目标,在欺诈检测和EBES基准上取得最优性能。
2026-06-23 cs.AI cs.LG
Concept-Centric Transformers: Enhancing Model Interpretability through Object-Centric Concept Learning within a Shared Global Workspace
Arizona State University(亚利桑那州立大学)
该研究受共享全局工作空间理论启发,提出以概念为中心的Transformer,通过对象中心内存模块、交叉注意力及分类与解释损失,在多数据集分类任务上实现了优于基线的准确率与更一致的概念解释。
2023-11-07 cs.CV cs.LG
HT-Transformer: Event Sequences Classification by Accumulating Prefix Information with History Tokens
Sber AI Lab(Sber AI实验室)
本文提出历史令牌机制,解决Transformer在事件序列分类中缺乏全局状态表示及局部上下文捕获不足的问题,在金融、电商和医疗任务上显著提升性能。
2025-08-02 cs.LG
Integrating ConvNeXt and Vision Transformers for Enhancing Facial Age Estimation
University of the Basque Country(巴斯克大学);IKERBASQUE
本研究提出一种结合 ConvNeXt 和 Vision Transformers 互补优势的混合架构用于面部年龄估计,通过在多个基准数据集上优化配置,显著降低了平均绝对误差并优于传统方法。
2025-10-31 cs.CV cs.LG
Enhancing IoT Intelligence: A Transformer-based Reinforcement Learning Methodology
Aqaba University of Technology(阿卡巴理工大学);Concordia University(康考迪亚大学);Khalifa University(哈利法大学);The University of Jordan(约旦大学);Applied Science Private University(应用科学私立大学);King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学)
针对传统 RL 难以处理 IoT 复杂异构数据的问题,提出融合 Transformer 与 PPO 的框架,并在多类 IoT 场景中验证其决策效率与适应性优势。
2024-04-05 cs.AI cs.LG
Enhancing Price Prediction in Cryptocurrency Using Transformer Neural Network and Technical Indicators
K.N. Toosi University of Technology(K.N. 图西理工大学)
本研究提出融合技术指标、带FAVOR+的Performer网络与BiLSTM的加密货币价格预测方法,在多主流币种的小时/日级数据上表现优于现有模型,提升了预测性能与计算效率。
2024-03-06 cs.AI cs.LG q-fin.CP
eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion
Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-罗克琴库特研究所);Rajiv Gandhi University(拉贾·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室);Independent Researcher(独立研究者);Sber AI Lab(Sber人工智能实验室)
本文系统基准测试了Transformer推荐模型模块化改进的叠加性,提出结合SASRec训练目标、LiGR层和Sampled Softmax Loss的eSASRec,在类生产环境中达到帕累托前沿并提升学术基准效果23%。
2025-08-08 cs.IR cs.LG
Enhancing Transformer RNNs with Multiple Temporal Perspectives
University of Arizona(亚利桑那大学);MultiversX;Lucian Blaga University of Sibiu(锡比乌卢西恩·布拉加大学)
本研究提出多时间视角方法并融入RWKV架构,以极少量参数增量和微调开销解决单隐藏状态存历史信息的问题,保持推理线性复杂度,在多个基准上实现性能提升且相关资源开源。
2024-07-11 cs.AI cs.CL cs.LG
Enhancing Parameter-Efficient Fine-Tuning of Vision Transformers through Frequency-Based Adaptation
University of Houston(休斯顿大学)
针对传统PEFT方法限制视觉Transformer捕捉高频复杂模式的问题,提出在ViT块间插入FreqFit频率微调模块,与现有PEFT集成后在24个数据集上实现1%-16%性能提升,无需正则化或强增强即可超基线10%以上。
2024-11-28 cs.CV cs.LG
Enhancing Transformer-Based Foundation Models for Time Series Forecasting via Bagging, Boosting and Statistical Ensembles
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
本文针对时间序列基础模型在真实数据上的方差、偏差和不确定性量化不足问题,提出装袋、堆叠、残差建模等统计集成增强方法,并在比利时电力负荷数据上验证其能显著提升预测准确性、可靠性和可解释性。
2025-08-18 cs.LG stat.ML