Differential Evolution Algorithm based Hyper-Parameters Selection of Transformer Neural Network Model for Load Forecasting
Indian Institute of Engineering Science and Technology, Shibpur(印度工程科学与技术学院);Carnegie Mellon University(卡内基梅隆大学)
本文提出利用差分进化算法优化Transformer神经网络超参数以提升负荷预测精度,通过MSE和MAPE指标验证了其有效性。
2024-02-05 cs.LG cs.NE
Mitigating Partial Observability in Adaptive Traffic Signal Control with Transformers
University of Toronto(多伦多大学);Ben-Gurion University of the Negev(本-古里安大学)
针对自适应交通信号控制中部分可观测性导致的控制效果受限问题,提出集成基于Transformer的控制器并优化训练策略,可捕捉历史观测信息以优化控制策略、改善交通流,为城市交通管理提供新方案。
2024-09-16 cs.LG cs.SY eess.SY
Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity
Brown University(布朗大学);Worcester Polytechnic Institute(伍斯特理工学院)
本研究建立Transformer作为神经算子的通用逼近理论,并应用于有限正则性微分方程解预测,在多个动力系统上验证,相比DeepONet精度更高但计算更昂贵。
2024-05-29 cs.AI cs.LG
DRAformer: Differentially Reconstructed Attention Transformer for Time-Series Forecasting
Southwest Jiaotong University(西南交通大学)
时间序列预测在许多现实场景中扮演着重要的角色,例如设备生存周期预测、天气预报和交通流量预测。从最近的研究中可以观察到,各种基于变压器的模型在时间序列预测中表现出显著的效果。然而,仍然存在一些问题限制了基于transformer的模型在时间序列预测任务上的能力:(i)由于其复杂和不稳定的特征表示,直接在原始数据上学习容易受到噪声的影响;(ii)自我注意机制对变化的特征和时间依赖性关注不够。为了解决这两个问题,我们提出了一种基于变换的差分重构注意力模型DRAformer。具体而言,DRAformer具有以下创新:(i)针对差分序列进行学习,通过差分保留清晰稳定的序列特征,并突出序列的变化属性;(ii)重建注意力:综合距离注意力通过可学习的高斯核表示序列距离,分布差异注意力通过将差异序列映射到自适应特征空间计算分布差异,并且两者的组合有效地集中于具有显著关联的序列;(iii)重构的解码器输入,其通过整合变化信息和时间相关性来提取序列特征,从而获得更全面的序列表示。在四个大规模数据集上进行的广泛实验表明,DRAformer的性能优于最先进的基线。
2022-06-11 cs.AI cs.LG
From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers
Google Brain Robotics(谷歌大脑机器人部门);Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学);Google Research(谷歌研究院);The Alan Turing Institute(艾伦·图灵研究所);Google(谷歌)
在本文中,据我们所知,我们提供了第一种全面的方法,用于以可扩展的方式将各种掩蔽机制整合到Transformers架构中。我们表明,最近的结果线性因果注意(Choromanski等人,2021)和对数线性RPE-注意(Luo等人,2021)是这一一般机制的特例。然而,通过铸造的问题作为一个拓扑(基于图形)调制的未掩蔽的注意,我们得到了一些结果未知的,包括有效的d维RPE掩蔽和图形内核掩蔽。我们利用许多数学技术,从频谱分析,通过动态规划和随机游走的新算法解决图上的马尔可夫过程。我们提供了相应的实证评价。
2023-03-28 cs.AI cs.LG
Partial Answer of How Transformers Learn Automata
Tiantian ZHANG (Crystal) cz2737(独立研究者)
针对 Transformer 学习有限自动机的机制问题,提出结合表示论半直积与 Fourier 模块的模拟框架,以获得更高效的 Transformer 实现。
2025-05-11 cs.FL cs.LG
GITO: Graph-Informed Transformer Operator for Learning Complex Partial Differential Equations
Applied Research, Quantiphi(Quantiphi应用研究)
本研究提出了由混合图Transformer和Transformer神经算子组成的GITO架构,可高效学习不规则几何与非均匀网格上的复杂偏微分方程,性能优于现有同类神经算子,为工程领域网格无关的代理求解器提供了新方案。
2025-06-16 cs.LG
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo(滑铁卢大学应用数学系);University of Waterloo(滑铁卢大学)
我们使用神经常微分方程制定的Transformer,这是深度自适应的意义上说,一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说,我们考虑的简单问题,确定奇偶校验的二进制序列,标准的Transformer具有已知的限制,只能通过使用足够大的层数或注意头克服。然而,我们发现,深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质,并提供解释为什么会这样。接下来,我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化,但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer,可能会导致提高精度和效率的序列建模任务,如神经机器翻译。
2020-10-22 cs.CL cs.LG
DPFormer: Learning Differentially Private Transformer on Long-Tailed Data
Shenzhen University(深圳大学);Rutgers University(罗格斯大学);WeBank(微众银行)
本文提出DPFormer,通过幻影裁剪和重注意力机制解决差分隐私Transformer训练中的计算开销大和注意力分散问题,并在长尾数据上验证了其有效性和效率。
2023-05-28 cs.LG
Predicting Ordinary Differential Equations with Transformers
Helmholtz AI(亥姆霍兹人工智能);Helmholtz Center Munich(亥姆霍兹慕尼黑中心);Apple(苹果公司);DeepMind(深度思维);OpenAI(开放人工智能);Technical University of Munich(慕尼黑工业大学)
本研究提出基于transformer的序列到序列模型,可从含噪不规则采样的单条解轨迹中恢复符号形式标量常微分方程,性能优于或持平现有方法,且经预训练后仅需少数前向传播即可推断新解的控制规律。
2023-07-24 cs.LG
A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting
Southwest Jiaotong University(西南交通大学)
时间序列预测广泛应用于设备生存周期预测、天气预报、交通流量预测等领域。近年来,由于Transformer强大的并行训练能力,一些学者尝试将其应用于时间序列预测。然而,现有的Transformer方法对预测中起决定性作用的小时间段关注不够,使得其对影响时间序列趋势的微小变化不敏感,难以有效学习连续的时间相关特征。针对这一问题,提出了一种基于Transformer的差分注意力融合模型,该模型在经典的Transformer体系结构的基础上,设计了差分层、邻居注意力、滑动融合机制和剩余层。具体地说,相邻时间点的差异提取和关注的差异和邻居的注意。滑动融合机制融合了每个时间点的各种特征,使数据可以参与编码和解码,而不会丢失重要信息。包括卷积和LSTM的残差层进一步学习时间点之间的依赖关系,并使我们的模型能够进行更深入的训练。在三个数据集上的大量实验表明,该方法产生的预测结果与最先进的预测结果相当。
2022-02-23 cs.LG
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University(复旦大学数据科学学院)
提出基于微分包含的SPP剪枝方法,在单次剪枝阶段内实现任意比例的Transformer剪枝,通过低秩压缩配对模块,兼顾性能与灵活性。
2025-02-28 cs.LG
Differential Gated Self-Attention
提出多头差分门控自注意力(M-DGSA),通过输入依赖门控动态抑制注意力噪声,在视觉和语言基准上提升鲁棒性。
2025-09-25 cs.LG
DP-TBART: A Transformer-based Autoregressive Model for Differentially Private Tabular Data Generation
Stanford University(斯坦福大学);Bloomberg(彭博社)
针对差分隐私表格数据生成中深度学习方法表现落后于边际方法的问题,提出基于Transformer的DP-TBART自回归模型,性能可比肩甚至超越最优边际方法,并提供理论框架分析两类方法的适用场景。
2023-07-19 cs.CR cs.LG
Feature Engineering and Classification Models for Partial Discharge in Power Transformers
Rice University(莱斯大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Hyundai Electric & Energy Systems Co., Ltd.(现代电气能源系统有限公司)
为了确保可靠性,监测电力Transformers的局部放电(PD)事件,其是Transformer故障的症状。由于故障可能造成灾难性的连锁后果,因此必须尽早采取预防措施。我们的目标是将PD分类为电晕、漂浮、颗粒或空隙,以了解故障位置。使用相位分辨的局部放电信号数据,我们创建了一个小的功能,它可以用来分类PD具有高精度。这组特征包括总震级、最大震级和最长空带的长度。这些特征代表整个信号,而不仅仅是单个相位,因此特征集具有固定的大小并且易于理解。使用随机森林和SVM分类方法,我们达到了99%的分类准确率,这是显着高于使用基于相位的特征集,如相位幅度分类。此外,我们开发了一个堆叠集成,结合几个分类模型,从而在一个优越的模型,优于现有的方法在准确性和方差。
2022-10-21 cs.AI cs.LG eess.SP
Differential Privacy for Transformer Embeddings of Text with Nonparametric Variational Information Bottleneck
Idiap Research Institute(Idiap研究 institute);EPFL(瑞士联邦理工学院)
本文提出非参数变分微分隐私方法,通过在transformer嵌入中注入噪声来保护文本数据隐私,同时保持模型准确性。
2026-01-14 cs.LG
Physics Informed Token Transformer for Solving Partial Differential Equations
Carnegie Mellon University(卡内基梅隆大学)
针对Transformer缺乏物理与推理结合的问题,提出PITT模型,通过将偏微分方程进行token化并嵌入偏导数来学习数值更新算子,在1D和2D PDE预测任务上优于流行神经算子。
2024-02-12 cs.LG physics.comp-ph
Privacy-Preserving Transformers: SwiftKey's Differential Privacy Implementation
Microsoft(微软)
本文提出在SwiftKey中用差分隐私训练缩小版GPT2 Transformer,通过两阶段训练在隐私、模型大小、速度和准确率间取得平衡,并以ONNX集成实现灵活高效的部署。
2025-05-08 cs.CL cs.CR cs.LG
Delving into Differentially Private Transformer
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Hong Kong University of Science and Technology(香港科技大学);Changan Automobile(长安汽车);Changan Technology Co., Ltd(长安科技有限公司);Rutgers University(罗格斯大学)
本文探讨了差分隐私 Transformer 训练问题,通过模块化归约思想,针对注意力分散与梯度裁剪不兼容两大难点,提出 Re-Attention Mechanism 和 Phantom Clipping 两种方法,为该领域研究提供了新视角。
2024-08-26 cs.CR cs.LG
Virtual Temperature Sensors in Power Transformers Using Neural Ordinary Differential Equations
University of Oslo(奥斯陆大学);SINTEF AS(辛特夫研究院);Norwegian University of Life Sciences(挪威生命科学大学)
本文提出结合物理知识的神经常微分方程框架,利用15台不同变压器的时间序列数据,实现电力变压器热行为的鲁棒预测,解决了现有方法的局限性。
2026-08-14 cs.LG
HAMLET: Graph Transformer Neural Operator for Partial Differential Equations
MIT(麻省理工学院);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
本文提出图Transformer神经算子框架HAMLET,利用模块化输入编码器融合PDE信息,在复杂、含噪及少数据场景下实现跨领域稳健求解,并超越现有方法。
2024-10-02 cs.LG cs.NA math.NA
Iterative Transformer Network for 3D Point Cloud
The Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
三维点云是一种高效、灵活的三维结构表示方法。最近,在点云上运行的神经网络在形状分类和零件分割等3D理解任务上表现出优异的性能。然而,这些任务的性能是在标准框架中对齐的完整形状上进行评估的,而真实世界的3D数据是部分和未对齐的。从部分未对齐的点云数据中学习的一个关键挑战是学习相对于几何变换不变或等变的特征。为了解决这一挑战,我们提出了迭代Transformer网络(IT-Net),一个网络模块,规范化的一系列3D刚性变换预测的迭代方式的部分对象的姿势。我们证明了IT-Net作为部分点云的随时姿态估计器的有效性,而无需使用完整的对象模型。此外,我们表明,IT-Net在各种任务上,如部分形状分类和对象部分分割,都比替代的3D Transformer网络具有更好的性能。
2019-10-18 cs.CV cs.LG
Exploring the Benefits of Differentially Private Pre-training and Parameter-Efficient Fine-tuning for Table Transformers
University of Science and Technology of China(中国科学技术大学);National Yang Ming Chiao Tung University(国立阳明交通大学);IBM Research(IBM研究院)
本文探讨了在迁移学习场景下结合差分隐私预训练与参数高效微调(如Adapter、LoRA和Prompt Tuning)对TabTransformers的益处,实验表明这些PEFT方法在参数效率、隐私和准确率间实现了更好的权衡。
2023-09-12 cs.CR cs.LG
Hasse Diagrams for Attention: A Partial Order Framework for Designing Transformer Masks
School of Mathematics and Statistics(数学与统计学学院)
本文提出一个理论框架,证明多层Transformer的信息流收敛到哈斯图,并将并行训练任务设计转化为求哈斯图最小公共超图问题,由此导出两种新注意力掩码。
2026-06-08 cs.LG
Decision Transformer as a Foundation Model for Partially Observable Continuous Control
University of Illinois Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
本文提出以GPT初始化并用LoRA训练的Decision Transformer框架,将部分可观测控制转化为序列动作预测,在五类任务上展现零样本泛化和少样本超越专家的能力。
2024-04-03 cs.AI cs.LG cs.RO
Seeing the Forest through the Trees: Data Leakage from Partial Transformer Gradients
Macquarie University(麦考瑞大学)
本文揭示分布式训练中单个Transformer层乃至仅0.54%参数的线性组件梯度即可泄露训练数据,并指出差分隐私对此类新型泄露防护有限。
2024-10-04 cs.CL cs.CR cs.LG