Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
Mila & Université de Montréal(Mila与蒙特利尔大学);Noah’s Ark Lab(Noah’s Ark实验室);Advanced Micro Devices;Chandar Research Lab(Chandar研究实验室);Polytechnique Montréal(蒙特利尔理工学院);CIFAR AI Chair(CIFAR人工智能主席)
本研究通过广泛评估,探究了架构归纳偏置(如循环模型与传统自注意力模型)对大型语言模型幻觉倾向的影响,发现幻觉虽普遍但发生情境与诱导难度因架构而异,强调需结合理解并设计通用处理技术。
2025-10-24 cs.AI cs.CL cs.LG
Multi-task Learning with Multi-head Attention for Multi-choice Reading Comprehension
IBM Research AI(IBM研究人工智能部门(IBM Research AI))
多项选择机器阅读理解(MRC)是一项重要且具有挑战性的自然语言理解(NLU)任务,机器必须从一组选项中选择问题的答案,问题置于文本段落或对话的上下文中。在过去的几年里,随着基于Transformer架构的模型的出现,NLU领域发生了革命性的变化,这些模型在大量无监督数据上进行了预训练,然后针对各种监督学习NLU任务进行了微调。Transformer模型已经在NLU领域的各种排行榜中占据主导地位;在MRC领域,DREAM数据集上的当前最先进的模型(参见[Sunet al.,2019])微调Albert,一个大型的基于transformer的预训练模型,并将其与上下文和问答之间的额外一层多头注意力结合起来[Zhuet al.,2020].本文的目的是记录一个新的国家的最先进的结果在梦想的任务,这是通过,此外,执行多任务学习的两个MRC多项选择阅读理解任务(种族和梦想)。
2020-02-26 cs.CL cs.LG
Rethinking Graph Transformers with Spectral Attention
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);Valence Discovery;University of Ottawa(渥太华大学)
近年来,Transformer体系结构已被证明在序列处理中非常成功,但由于难以正确定义位置,其在其他数据结构(如图)中的应用仍然有限。在这里,我们提出了$\textit{Spectral Attention Network}$(SAN),它使用一个学习的位置编码(LPE),可以利用完整的拉普拉斯频谱来学习给定图中每个节点的位置。然后将此LPE添加到图的节点特征中,并传递给全连接的Transformer。通过利用拉普拉斯算子的全谱,我们的模型理论上在区分图方面是强大的,并且可以更好地从它们的共振中检测相似的子结构。此外,通过完全连接图形,Transformer不会遭受过度挤压,这是大多数GNN的信息瓶颈,并且能够更好地建模物理现象,例如热传递和电相互作用。当在一组4个标准数据集上进行经验测试时,我们的模型的性能与最先进的GNN相当或更好,并且远远优于任何基于注意力的模型,成为第一个在图形基准上表现良好的全连接架构。
2021-10-27 cs.LG
Long-Range Transformers for Dynamic Spatiotemporal Forecasting
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院);UT Austin(德克萨斯大学奥斯汀分校)
多变量时间序列预测侧重于基于历史背景预测未来值。最先进的序列到序列模型依赖于时间步长之间的神经注意力,这允许时间学习,但未能考虑变量之间的不同空间关系。相比之下,基于图神经网络的方法显式地对变量关系进行建模。然而,这些方法通常依赖于预定义的图,这些图不能随时间变化,并且在每个时间步的每个变量之间没有建立直接联系的情况下执行单独的空间和时间更新。我们的工作通过将多变量预测转换为“时空序列”公式来解决这些问题,其中每个Transformer输入令牌表示给定时间的单个变量的值。然后,远程Transformers可以沿着这个扩展序列共同学习空间、时间和值信息之间的交互。我们的方法,我们称之为Spacetimeformer,在从交通预测到电力需求和天气预测的基准上取得了有竞争力的结果,同时纯粹从数据中学习时空关系。
2023-03-18 cs.LG stat.ML
Improving Transformer World Models for Data-Efficient RL
Google DeepMind(谷歌DeepMind)
本文提出三项改进Transformer世界模型的技术——带预热的Dyna、最近邻分词器和分块教师强制,在Craftax-classic等基准上以1M环境步实现69.66%奖励,首次超越人类表现。
2025-07-16 cs.AI cs.LG
Tabular Data with Class Imbalance: Predicting Electric Vehicle Crash Severity with Pretrained Transformers (TabPFN) and Mamba-Based Models
College of Science and Engineering, Texas State University, San Marcos, Texas, USA(科学与工程学院,德克萨斯州立大学,圣马科斯,德克萨斯州,美国)
本文提出了一种深度表格学习框架,利用真实世界碰撞数据预测电动汽车碰撞严重程度,通过SMOTEENN处理类别不平衡问题,评估了TabPFN、MambaNet和MambaAttention三种模型,发现MambaAttention在严重伤害分类上表现更优。
2025-09-14 cs.AI cs.LG
Transformer autoencoder with local attention for sparse and irregular time series with application on risk estimation
本文提出了一种针对稀疏不规则时间序列的风险估计框架,结合Transformer自编码器与局部注意力机制,有效捕捉稀疏数据中的相关模式,提升风险估计的准确性和鲁棒性。
2026-05-09 cs.AI cs.LG
Predicting Estimated Times of Restoration for Electrical Outages Using Longitudinal Tabular Transformers
Exelon Corporation(爱克斯龙公司)
本研究提出纵向表格Transformer(LTT)模型,将停电恢复时间预测从静态回归改为纵向回归,利用修订序列在六个公司中显著降低误差并改善满意度。
2026-09-10 cs.AI cs.LG
Secure short-term load forecasting for smart grids with transformer-based federated learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文针对智能电网短期负荷预测中的隐私问题,提出基于Transformer的联邦学习方法,在保护用户数据隐私的同时实现准确预测,并通过与集中式学习、本地学习、LSTM和CNN的对比验证其有效性。
2023-10-26 cs.LG
Short-Term Electricity Load Forecasting Using the Temporal Fusion Transformer: Effect of Grid Hierarchies and Data Sources
University of Bamberg(班贝格大学)
本文研究了Temporal Fusion Transformer在不同时间范围和电网层级进行短期电力负荷预测的潜力,发现其在变电站层级日前预测和周前预测中显著优于LSTM模型。
2023-05-17 cs.LG
Online Electric Vehicle Charging Detection Based on Memory-based Transformer using Smart Meter Data
School of Engineering, Royal Melbourne Institute of Technology(皇家墨尔本理工大学工程学院);Monash University(莫纳什大学)
针对电动汽车充电检测数据不平衡问题,提出一种基于记忆型 Transformer 的无监督在线检测模型,利用粗细粒度时间特征与迁移学习,在仅使用非EV用户数据的条件下实现了优于现有方法的检测性能和1.2秒的实时执行速度。
2024-08-06 cs.AI cs.LG eess.SP
A Comparison of Baseline Models and a Transformer Network for SOC Prediction in Lithium-Ion Batteries
University of Leeds(利兹大学)
本文比较了多种数据驱动方法在锂离子电池SOC预测中的表现,发现决策树在BMW i3自然驾驶循环数据上优于包括带自注意力和位置编码的Transformer在内的所有对比模型。
2024-10-22 cs.AI cs.LG cs.SY
Divide-Conquer Transformer Learning for Predicting Electric Vehicle Charging Events Using Smart Meter Data
Monash University(莫纳什大学);Monash Energy Institute(莫纳什能源研究所)
提出基于智能电表数据和Divide-Conquer Transformer的电动汽车家庭充电事件预测方法,实现提前一小时分钟级预测,准确率超96.81%。
2024-03-20 cs.CY cs.LG
QuantFlow: A Federated Mamba-Based Post-Transformer Foundation Model for Time-Series Forecasting
Department of Computer Science and Engineering, University of Science and Technology Chittagong(信息科学与工程系,查塔姆冈科技大学);Department of Electrical and Electronic Engineering, University of Science and Technology Chittagong(电气电子工程系,查塔姆冈科技大学);Faculty of Science, Engineering and Technology, University of Science and Technology Chittagong(科学、工程与技术学院,查塔姆冈科技大学)
研究针对时间序列预测,提出结合多种技术的概率预测框架QuantFlow,用反向序列嵌入等进行处理,经实验验证其在多数据上效果好,且联合学习可保护隐私。
2026-07-28 cs.AI cs.LG
Toto: Time Series Optimized Transformer for Observability
Datadog
本研究提出由Datadog开发的时间序列预测基础模型Toto,基于万亿级含75%平台匿名指标的数据集训练,在可观测性任务及多个公开基准的零样本预测上达到现有最优水平。
2024-07-11 cs.AI cs.LG
Exploring Different Time-series-Transformer (TST) Architectures: A Case Study in Battery Life Prediction for Electric Vehicles (EVs)
Texas A&M University(德克萨斯农工大学)
本文针对电动汽车电池寿命预测问题,探索并提出了编码器TST+解码器LSTM及混合TST-LSTM等新型时间序列Transformer架构,利用BMW i3实际驾驶数据融合环境、电池、驾驶与加热电路多源信息,以准确预测未来SOC和电池温度。
2023-08-07 cs.LG cs.SY eess.SY
Grouped self-attention mechanism for a memory-efficient Transformer
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
时间序列数据分析很重要,因为许多现实任务,如预测天气,电力消耗和股票市场,都涉及预测随时间变化的数据。时间序列数据一般是在长时间的观测中记录的,由于其周期性和长期依赖性,序列较长。因此,捕获长期相关性是时间序列数据预测中的一个重要因素。为了解决这些问题,我们提出了两个新的模块,分组自注意力(GSA)和压缩交叉注意(CCA)。利用这两个模块,在小的超参数限制下,实现了序列长度为$l$的$O(l)$阶的计算空间和时间复杂度,并且在考虑全局信息的同时能够捕获局部性.在时间序列数据集上进行的实验结果表明,该模型有效地降低了计算复杂性,性能与现有方法相当或更好。
2022-10-06 cs.AI cs.LG
Deep Analysis of Time Series Data for Smart Grid Startup Strategies: A Transformer-LSTM-PSO Model Approach
New York University(纽约大学)
针对电网启动场景预测不充分的问题,提出结合自注意力、时间建模与参数调优的Transformer-LSTM-PSO模型,显著降低了RMSE和MAE,提升了智能电网启动预测的准确性与效率。
2024-08-22 cs.AI cs.LG cs.SY
Transformer-based few-shot learning for modeling Electricity Consumption Profiles with minimal data across thousands of domains
Intelligent Electrical Power Grids (IEPG) Group(智能电力电网组);Centrum Wiskunde & Informatica (CWI)(数学与信息学研究中心);Alliander N.V(Alliander公司)
针对电力消费曲线建模中数据稀缺问题,提出一种结合Transformer和高斯混合模型的免微调少样本学习框架,仅需1.6%数据即可准确恢复复杂分布,优于现有方法。
2026-05-25 cs.LG cs.SY eess.SY
ECGformer: Leveraging transformer for ECG heartbeat arrhythmia classification
Louisiana State University Health Sciences Center(路易斯安那州立大学健康科学中心);Erzurum Technical University(埃尔祖鲁姆技术大学)
本文提出ECGformer模型,利用Transformer架构对心电图心律失常进行分类,并在MIT-BIH和PTB数据集上验证了其有效性。
2024-01-06 cs.AI cs.LG eess.SP
IISE PG&E Energy Analytics Challenge 2025: Hourly-Binned Regression Models Beat Transformers in Load Forecasting
Columbia University(哥伦比亚大学)
本研究针对长期电力负荷预测问题,基于ESD 2025竞赛数据对比多种模型,提出结合PCA降维、分小时回归并堆叠24个模型的方法,发现XGBoost效果优于TimeGPT等深度学习模型,为模型选择提供了参考。
2025-05-16 cs.LG cs.SY econ.EM
Benchmarking Traditional Machine Learning and Deep Learning Models for Fault Detection in Power Transformers
National Institute of Technology, Tiruchirappalli, TamilNadu, India(印度坦米尔纳德邦特里奇里帕利国家理工学院)
该研究基于10个月状态监测数据,基准比较五种传统机器学习与四种深度学习模型在电力变压器故障分类中的表现,发现RF以86.82%准确率略优于1D-CNN的86.30%。
2025-05-07 cs.LG
ADF & TransApp: A Transformer-Based Framework for Appliance Detection Using Smart Meter Consumption Series
EDF R&D(法国电力公司研发部);Université Paris Cité(巴黎西岱大学);IUF(法国大学研究院)
本文提出ADF框架和基于Transformer的TransApp分类器,通过自监督预训练和用电序列子序列分析,在智能电表低频数据上实现优于现有方法的电器检测。
2023-12-17 cs.LG eess.SP
Powerformer: A Section-adaptive Transformer for Power Flow Adjustment
State Key Laboratory of Blockchain & Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);College of Electrical Engineering, Zhejiang University(浙江大学电气工程学院);State Grid Shandong Electric Power Company(国网山东省电力公司)
本文提出Powerformer这一分区自适应Transformer架构,通过专用注意力机制整合系统状态与分区信息,结合图神经网络传播和多因素注意力策略,在多场景下性能优于基线方法,优化不同输电分区的潮流调整调度。
2024-11-29 cs.LG cs.SY eess.SY