Kriformer: A Novel Spatiotemporal Kriging Approach Based on Graph Transformers
Southwestern University of Finance and Economics(西南财经大学);Sichuan University(四川大学);Dongbei University of Finance and Economics(东北财经大学)
针对稀疏传感器部署导致的数据估计难题,提出基于图Transformer的时空克里金模型Kriformer,通过位置编码、时空注意力及随机掩码机制有效捕获时空相关性,在真实交通数据集上验证了其卓越性能。
2024-09-23 cs.LG stat.ML
A Gravity-informed Spatiotemporal Transformer for Human Activity Intensity Prediction
National Engineering Research Center of Geographic Information System, China University of Geosciences (Wuhan)(中国地质大学(武汉)国家地理信息系统工程技术研究中心);JD iCity, JD Technology(京东科技京东智能城市)
针对现有方法忽视物理约束导致时空预测不可解释和过度平滑的问题,提出融合万有引力的Gravityformer框架,通过自适应重力模型改进注意力并缓解过度平滑,在六个大规模数据集上超越最先进基准,并支持可解释与零样本跨区域泛化。
2025-10-24 cs.LG
ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation
Tongji University(同济大学);The Hong Kong Polytechnic University(香港理工大学)
针对时空数据缺失问题,提出低秩诱导的Transformer模型ImputeFormer,结合低秩先验与深度学习表达能力,在异构数据集上实现了高精度、高效率且可泛化的插补。
2024-05-29 cs.LG
Hierarchical Transformer Model for Scientific Named Entity Recognition
FI Group(FI集团);Université Sorbonne Paris Nord(索邦巴黎北大学)
命名实体识别是关系抽取、知识图谱构建等自然语言处理系统的重要组成部分。在这项工作中,我们提出了一个简单而有效的方法命名实体识别。我们的方法的主要思想是使用预先训练的Transformer(如BERT)对输入子字序列进行编码,然后,不是直接对单词标签进行分类,而是将另一层Transformer添加到子字表示中,以更好地对单词级交互进行编码。我们评估我们的方法在三个基准数据集的科学NER,特别是在计算机科学和生物医学领域。实验结果表明,我们的模型优于目前的最先进的SciERC和TDM数据集,而不需要外部资源或特定的数据增强。代码可在\url{https://github.com/urchade/HNER}上获得。
2022-03-28 cs.CL cs.LG
Long-Range Transformers for Dynamic Spatiotemporal Forecasting
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院);UT Austin(德克萨斯大学奥斯汀分校)
多变量时间序列预测侧重于基于历史背景预测未来值。最先进的序列到序列模型依赖于时间步长之间的神经注意力,这允许时间学习,但未能考虑变量之间的不同空间关系。相比之下,基于图神经网络的方法显式地对变量关系进行建模。然而,这些方法通常依赖于预定义的图,这些图不能随时间变化,并且在每个时间步的每个变量之间没有建立直接联系的情况下执行单独的空间和时间更新。我们的工作通过将多变量预测转换为“时空序列”公式来解决这些问题,其中每个Transformer输入令牌表示给定时间的单个变量的值。然后,远程Transformers可以沿着这个扩展序列共同学习空间、时间和值信息之间的交互。我们的方法,我们称之为Spacetimeformer,在从交通预测到电力需求和天气预测的基准上取得了有竞争力的结果,同时纯粹从数据中学习时空关系。
2023-03-18 cs.LG stat.ML
GTrans: Spatiotemporal Autoregressive Transformer with Graph Embeddings for Nowcasting Extreme Events
Indiana University Bloomington(印第安纳大学伯明顿分校);University of Virginia(弗吉尼亚大学)
时空时间序列临近预报应该保持时间和空间动态,因为从模型生成的新序列尊重历史的协方差关系。传统的特征提取器是用深度卷积神经网络(CNN)构建的。然而,CNN模型对于可以用高维数组形成数据的类似图像的应用具有限制。相反,在社交网络、道路交通、物理和化学性质预测中的应用,其中数据特征可以用图的节点和边来组织。Transformer架构是一种新兴的预测模型方法,由于注意力机制的设计,带来了高精度和高效率。本文提出了一种时空模型,即GTrans,它将数据特征转换为图嵌入,并使用Transformer模型预测时间动态。根据我们的实验,我们证明了GTrans可以模拟空间和时间动态,并对数据集的极端事件进行临近预报。此外,在所有的实验中,GTrans可以实现最高的F1和F2分数在二进制类预测测试比基线模型。
2022-01-18 cs.AI cs.LG
OSLAT: Open Set Label Attention Transformer for Medical Entity Retrieval and Span Extraction
University of British Columbia(不列颠哥伦比亚大学);Curai(Curai公司);Vatic Investments(Vatic投资公司)
医疗实体跨度提取和链接是许多医疗NLP任务的关键步骤。大多数现有的实体提取方法要么具有固定的医学实体词汇表,要么需要跨度注释。在本文中,我们提出了一种方法,用于连接一组开放的实体,不需要任何跨度注释。我们的方法,开放集标签注意力Transformer(OSLAT),使用标签-注意力机制来学习候选实体上下文文本表示。我们发现,OSLAT不仅可以链接实体,但也能够隐式地学习与实体相关联的跨度。我们在两个任务上评估OSLAT:(1)在没有显式跨度注释的情况下训练跨度提取,以及(2)在没有跨度级别注释的情况下训练实体链接。我们通过在两个具有低实体重叠的数据集上训练两个独立的模型并比较跨数据集性能来测试我们方法的通用性。
2022-11-20 cs.AI cs.CL cs.LG
HittER: Hierarchical Transformers for Knowledge Graph Embeddings
University of Virginia(弗吉尼亚大学);Microsoft Research(微软研究院);Microsoft Bing Ads(微软必应广告)
本文研究了在复杂的多关系知识图谱中学习实体和关系表示的挑战性问题。我们提出了HittER,一个分层的Transformer模型,共同学习基于源实体邻域的语义关系组合和关系上下文化。我们提出的模型由两个不同的Transformer块组成:底部块提取源实体的局部邻域中的每个实体-关系对的特征,顶部块从底部块的输出中聚合关系信息。我们进一步设计了一个掩码实体预测任务,以平衡来自关系上下文和源实体本身的信息。实验结果表明,HittER在多个链接预测数据集上取得了新的最先进的结果。此外,我们提出了一个简单的方法来集成HittER到BERT,并证明其有效性的两个Freebase的模拟问答数据集。
2021-10-06 cs.CL cs.LG
MuST: Multimodal Spatiotemporal Graph-Transformer for Hospital Readmission Prediction
The University of Hong Kong(香港大学)
本文提出多模态时空图-Transformer(MuST)模型,融合电子健康记录、胸部X光片和临床笔记的时空特征,在MIMIC-IV数据集上超越单模态及现有领先方法,有效提升医院再入院预测性能。
2023-11-11 cs.AI cs.LG
Spatiotemporal Transformers for Predicting Avian Disease Risk from Migration Trajectories
本研究提出基于Transformer的框架,利用多源数据预测候鸟迁徙终点疾病风险,在测试集上取得高准确率,支持禽类疾病早期预警。
2025-10-17 cs.LG
ANEC: An Amharic Named Entity Corpus and Transformer Based Recognizer
Istanbul Technical University(伊斯坦布尔理工大学)
命名实体识别是一种信息抽取任务,它作为其他自然语言处理任务(如机器翻译、信息检索和问答)的预处理步骤。命名实体识别能够识别专有名称以及开放域文本中的时间和数值表达式。对于阿拉伯语、阿姆哈拉语和希伯来语等闪米特语言,由于这些语言的严重屈折结构,命名实体识别任务更具挑战性。本文提出了一种基于双向长短期记忆和条件随机场层的阿姆哈拉语命名实体识别系统。我们注释了一个新的阿姆哈拉语命名实体识别数据集(8,070个句子,其中有182,691个标记),并将合成少数过采样技术应用于我们的数据集,以减轻不平衡的分类问题。我们的命名实体识别系统达到了93%的F_1分数,这是阿姆哈拉语命名实体识别的新的国家的最先进的结果。
2022-07-02 cs.AI cs.CL cs.LG
Transformer-based Entity Legal Form Classification
Sociovestix Labs(Sociovestix实验室);GLEIF(全球法人识别编码基金会);University of St. Gallen (HSG)(圣加仑大学(HSG));University College Dublin(都柏林大学学院)
本研究提出应用基于Transformer的BERT变体模型,从原始法律实体名称中分类实体法律形式,在包含超110万实体的大规模LEI数据上表现优于传统方法,有助于推进数据标准化与集成。
2023-10-19 cs.CL cs.LG
GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer
FI Group(FI集团);LIPN, CNRS UMR 7030(巴黎第十三大学计算机科学实验室,法国国家科学研究中心UMR 7030)
本文提出紧凑型NER模型GLiNER,利用双向Transformer编码器实现并行实体提取,在零样本评估中优于ChatGPT和微调LLMs,适用于资源受限场景。
2023-11-14 cs.AI cs.CL cs.LG
Span-based Joint Entity and Relation Extraction with Transformer Pre-training
RheinMain University of Applied Sciences(莱茵美因应用科学大学)
介绍了SpERT,一种基于跨度的联合实体的注意力模型和关系抽取。我们的主要贡献是一个轻量级的推理BERT嵌入,其功能实体识别和过滤,以及关系分类与本地化,无标记的上下文表示。该模型使用强句内否定样本进行训练,这些样本在单个BERT通道中有效地提取。这些方面便于在句子中的所有跨度上进行搜索。在消融研究中,我们证明了预训练,强负采样和局部背景的好处。我们的模型在联合实体和关系抽取的几个数据集上的F1得分高达2.6%,优于先前的工作。
2021-06-28 cs.CL cs.LG
Mention Memory: incorporating textual knowledge into Transformers through entity mention attention
University of Southern California(南加利福尼亚大学);Google(谷歌);Google Research(谷歌研究院)
诸如开放域问答之类的自然语言理解任务通常需要从多个源检索和吸收事实信息。我们建议通过将大型文本语料库的半参数表示集成到Transformer模型中作为事实知识的来源来解决这个问题。具体来说,我们的方法表示知识与“提及记忆”,一个表的密集向量表示的每一个实体中提到的语料库。所提出的模型- TOME -是一个Transformer,它通过内部记忆层访问信息,其中输入通道中提到的每个实体都参与提到记忆。这种方法支持在单个Transformer模型中对许多不同的信息源进行合成和推理。在使用1.5亿次维基百科提及的记忆的实验中,TOME在几个开放领域知识密集型任务上实现了强大的性能,包括声明验证基准HoVer和FEVER以及几个基于实体的QA基准。我们还表明,该模型学习参加信息提及没有任何直接的监督。最后,我们证明了该模型可以推广到新的看不见的实体更新的内存,而无需再训练。
2022-04-19 cs.AI cs.CL cs.LG
Deep Generative Transformers for Probabilistic Time Series and Spatiotemporal Forecasting
SAFIR, Sorbonne University Abu Dhabi(SAFIR,索邦大学阿布扎赫尔分校);Indian Institute of Technology Guwahati(印度理工学院古瓦哈蒂分校)
提出Enformer和GEnformer,结合Transformer与engression学习条件分布,无需参数假设即可生成连贯多变量轨迹,在时间序列和时空预测中优于现有方法。
2026-06-23 cs.AI cs.LG stat.ML
DG-Trans: Dual-level Graph Transformer for Spatiotemporal Incident Impact Prediction on Traffic Networks
Virginia Tech(弗吉尼亚理工大学);South Dakota State University(南达科他州立大学)
交通事件影响的及时估计可以指导通勤者进行出行规划,提高交通机构决策的弹性。然而,它比节点级和图级预测任务更具挑战性,因为它需要从动态图中提取异常子图或子时间序列。在本文中,我们提出了DG-Trans,一种新的交通事件影响预测框架,通过动态图学习来预测交通事件的影响。该框架包含一个双层的空间Transformer和一个基于重要性分数的时间Transformer,该框架的性能是合理的两个新构建的基准数据集。双层空间Transformer移除节点之间不必要的边,以将受影响的子图与其他节点隔离。同时,基于重要性分数的时间Transformer识别节点特征的异常变化,导致预测更多地依赖于事件发生后的测量变化。因此,DG-Trans具有提取时空依赖性和识别受事件影响的异常节点的双重能力,同时消除良性节点引入的噪声。在真实数据集上的大量实验验证了DG-Trans优于现有的最先进的方法,特别是在提取时空依赖模式和预测交通事故影响方面。它为交通事故管理系统提供了很好的潜力。
2023-03-21 cs.LG cs.SI
STGformer: Efficient Spatiotemporal Graph Transformer for Traffic Forecasting
SUSTech-UTokyo Joint Research Center on Super Smart City(南方科技大学-东京大学超级智慧城市联合研究中心);Research Institute of Trustworthy Autonomous Systems(可信自主系统研究院);Southern University of Science and Technology (SUSTech)(南方科技大学);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);University of Tokyo(东京大学)
针对大规模时空交互路网计算开销大的问题,提出STGformer架构,通过单层STG注意力块高效捕获高阶时空交互,在LargeST基准上超越现有方法并大幅降低计算与内存成本。
2024-10-15 cs.AI cs.DB cs.LG
Improving Legal Entity Recognition Using a Hybrid Transformer Model and Semantic Filtering Approach
University of Arkansas Little Rock(阿拉巴马州立大学)
本文提出一种结合语义相似度过滤机制的混合Transformer模型,以增强Legal-BERT在法律实体识别中的准确率,在15,000份法律文件上取得93.4%的F1分数。
2024-10-11 cs.CL cs.IR cs.LG
ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
Singapore Management University(新加坡管理大学)
使用大量数据进行预训练,自回归语言模型能够生成高质量的序列。然而,这些模型在严格的词汇约束下表现不佳,因为它们缺乏对内容生成过程的精细控制。基于渐进插入的Transformers可以克服上述限制,并在给定一些输入令牌作为约束的情况下高效地并行生成序列。然而,这些Transformers可能无法支持硬词汇约束,因为它们的生成过程更有可能过早终止。本文分析了这种提前终止的问题,并提出了一种新的插入式Transformer,解决了上述缺陷,而不影响发电效率的安全约束插入式Transformer(ENCONTER)。我们引入了一种新的训练策略,该策略考虑了预定义的硬词汇约束(例如,要包括在生成的序列中的实体)。我们的实验表明,ENCONTER优于其他基准模型在几个性能指标,使其更适合在实际应用中。我们的代码可在https://github.com/LARC-CMU-SMU/Enconter上获得
2021-03-17 cs.AI cs.CL cs.LG
TrackGPT -- A generative pre-trained transformer for cross-domain entity trajectory forecasting
Illumina Consulting Group(Illumina咨询集团)
本研究提出基于GPT的跨域实体轨迹预测模型TrackGPT,仅需位置和时间特征即可在海事、航空等领域实现高精度长短期预测,在准确性、可靠性和模块化上优于现有深度学习方法,验证了GPT架构在轨迹预测领域的潜力。
2024-01-29 cs.AI cs.LG
Video Prediction of Dynamic Physical Simulations With Pixel-Space Spatiotemporal Transformers
Durham University(杜伦大学)
本文提出一种纯Transformer像素空间自回归模型,用于动态物理模拟的视频预测,无需复杂训练或潜在特征学习,将物理准确预测时间范围延长50%,并验证了可解释性及对PDE参数估计的泛化能力。
2025-10-23 cs.CV cs.LG
Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking
Google Research(谷歌研究院)
在这项工作中,我们提出了一个实体链接模型,它结合了Transformer架构与大规模的预训练维基百科链接。我们的模型在两个常用的实体链接数据集上达到了最先进的水平:CoNLL上的96.7%和TAC-KBP上的94.9%。我们提出了详细的分析,以了解什么样的设计选择是重要的实体链接,包括选择负实体候选人,Transformer架构,和输入扰动。最后,我们提出了更有挑战性的设置,如端到端的实体链接和实体链接,没有域内训练数据有希望的结果。
2020-05-28 cs.CL cs.LG
MoCap2Radar: A Spatiotemporal Transformer for Synthesizing Micro-Doppler Radar Signatures from Motion Capture
Computer Science & Engineering The Ohio State University(计算机科学与工程 俄亥俄州立大学)
本文提出MoCap2Radar时空Transformer模型,将MoCap到雷达频谱图转换建模为加窗序列到序列任务,可生成高真实度、泛化性好的微多普勒雷达特征,计算成本远低于物理方法,可用于扩充雷达数据集。
2025-11-14 cs.LG
Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
Arbetsförmedlingen(瑞典公共就业服务局);(Swedish Public Employment Service)(瑞典公共就业服务局(注:括号内为英文机构名的中文翻译补充,实际机构名以英文为准))
当前用于微调基于变换器的语言模型的标准方法包括固定数量的训练时期和线性学习率调度。为了获得给定下游任务的近似最优模型,通常需要在优化超参数空间中进行搜索。特别是,需要根据数据集大小调整训练epoch的数量。在本文中,我们介绍了自适应微调,这是一种替代方法,使用提前停止和自定义学习率调度来动态调整训练时期的数量,以数据集的大小。对于命名实体识别的示例用例,我们表明,我们的方法不仅使超参数搜索相对于训练时期的数量冗余,而且还导致性能,稳定性和效率方面的改进结果。这尤其适用于小数据集,在这种情况下,我们的性能大大优于最先进的微调方法。
2022-02-05 cs.CL cs.LG
STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer
University of Washington(华盛顿大学)
建模神经元群体动态噪声单次试验尖峰活动是必不可少的相关神经观察和行为。最近的一种非递归方法-神经数据Transformers(NDT)-在没有显式动力学模型的情况下,在捕获具有低推理延迟的神经动力学方面取得了巨大成功。然而,NDT侧重于模拟群体活动的时间演化,而忽略了单个神经元之间丰富的协变。在本文中,我们介绍了时空神经数据Transformer(STNDT),一个基于NDT的架构,明确地模拟在整个时间和空间的人口中的单个神经元的反应,以揭示其潜在的放电率。此外,我们提出了一个对比学习损失,根据掩模建模目标,以进一步提高预测性能。我们表明,我们的模型在估计四个神经数据集的神经活动方面实现了最先进的集成性能,证明了它能够捕获跨越不同皮层区域的自主和非自主动态,同时对手头的特定行为完全不可知。此外,STNDT空间注意力机制揭示了神经元的重要子集,这些子集在驱动整个群体的反应中发挥着至关重要的作用,为神经元群体如何执行计算提供了可解释性和关键见解。
2022-06-09 cs.LG q-bio.NC
SCouT: Synthetic Counterfactuals via Spatiotemporal Transformers for Actionable Healthcare
Princeton University(普林斯顿大学)
合成控制方法开创了一类强大的数据驱动技术,用于从供体单位中估计单位的反事实现实。其核心是,该技术涉及一个线性模型,该模型适用于干预前时期,将捐助者的结果结合起来,以产生反事实。然而,使用时间不可知权重在每个时间实例处线性组合空间信息无法捕获重要的单元间和单元内时间上下文以及真实数据的复杂非线性动态。相反,我们提出了一种方法,使用当地的时空信息的干预开始之前,作为一个有前途的方式来估计反事实序列。为此,我们提出了一个Transformer模型,利用特定的位置嵌入,修改后的解码器注意力掩模,和一个新的预训练任务来执行时空序列到序列建模。我们对合成数据的实验证明了我们的方法在典型的小供体库设置中的有效性及其对噪声的鲁棒性。我们还通过模拟全州范围内的公共卫生政策来评估其有效性,对哮喘药物进行计算机模拟试验以支持随机对照试验,以及对弗里德赖希共济失调患者进行医疗干预以改善临床决策并促进个性化治疗,从而在人群和患者层面产生可操作的医疗保健见解。
2022-11-23 cs.AI cs.LG
ESTformer: Transformer utilising spatiotemporal dependencies for electroencephalogram super-resolution
East China University of Science and Technology(东华大学)
提出ESTformer框架,基于Transformer利用时空依赖关系进行EEG超分辨率,通过级联空间插置与时间重建模块有效提升数据质量,在识别任务中实现显著性能提升。
2025-10-31 cs.LG eess.SP
Transformer with Koopman-Enhanced Graph Convolutional Network for Spatiotemporal Dynamics Forecasting
Charles F. Dolan School of Business, Fairfield University(Fairfield大学商学院);Department of Industrial & Systems Engineering, The University of Tennessee(田纳西大学工业与系统工程系)
本文提出TK-GCN两阶段框架,结合Koopman增强图卷积网络与Transformer,在不规则几何域上实现长程时空动力学预测,并在心脏动力学预测中验证其优越精度。
2025-07-05 cs.LG stat.ML
ASTEROID: A Spatiotemporal Information Transformer for Forecasting Multi-Step Time Series of Molecular Dynamics
Department of Medicinal Chemistry, School of Pharmaceutical Sciences, Fudan University(药学院药物化学系,复旦大学);School of Mathematical Sciences and School of AI, Shanghai Jiao Tong University(数学科学学院和人工智能学院,上海交通大学)
提出ASTEROID框架,通过将分子动力学轨迹重构为高维时空序列并集成时空信息变换方程到Transformer中,实现多步原子坐标的直接预测,在多个量子力学分子数据集上显著提升预测精度并降低计算成本。
2026-06-17 cs.AI cs.LG q-bio.QM
DS2TA: Denoising Spiking Transformer with Attenuated Spatiotemporal Attention
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出 DS2TA,一种专为视觉应用设计的去噪脉冲 Transformer,通过引入衰减时空注意力机制和基于哈希映射的非线性去噪器,在不增加权重的情况下提升参数效率与鲁棒性,在多个静态与动态数据集上达到最先进性能。
2024-09-20 cs.AI cs.CV cs.LG
T-NER: An All-Round Python Library for Transformer-based Named Entity Recognition
School of Computer Science and Informatics(计算机科学与信息学院);Cardiff University(卡迪夫大学)
语言模型(LM)预训练已经在许多NLP下游任务中取得了一致的改进,包括命名实体识别(NER)。在本文中,我们提出了T-NER(基于Transformer-based命名实体识别),用于NER LM微调的Python库。除了它的实际效用,T-NER有利于跨领域和跨语言的泛化能力的学习和调查的LMs微调NER。我们的库还提供了一个Web应用程序,用户可以在其中交互式地获得任意文本的模型预测,这有助于非专业程序员进行定性模型评估。我们通过将九个公共NER数据集编译成统一格式并评估跨数据集的跨域和跨语言性能来展示该库的潜力。我们最初的实验结果表明,域内性能通常在数据集之间具有竞争力。然而,跨领域泛化是具有挑战性的,即使有一个大的预训练的LM,它仍然有能力学习领域特定的功能,如果在组合数据集上进行微调。为了方便未来的研究,我们还通过拥抱脸模型中心发布了所有LM检查点。
2022-09-09 cs.CL cs.LG
Entity Alignment with Reliable Path Reasoning and Relation-Aware Heterogeneous Graph Transformer
South China Normal University(华南师范大学);Hanshan Normal University(韩山师范学院)
实体对齐是从不同的知识图谱中寻找具有相同意义的实体的一种方法,已引起学术界和工业界的广泛关注。知识库中实体之间存在大量的多步关系路径,反映了实体之间的语义关系。然而,现有的方法很少考虑路径信息,因为不是所有的自然路径有利于EA判断。在本文中,我们提出了一个更有效的实体对齐框架,RPR-RHGT,它集成了关系和路径结构信息,以及在知识库中的异构信息。令人印象深刻的是,一个初始的可靠路径推理算法的发展,产生的路径有利于EA任务的关系结构的KG,这是第一个算法在文献中成功地使用不受限制的路径信息。此外,为了有效地捕捉实体邻域中的异构特征,设计了一个关系感知的异构图转换器Transformer来建模KG的关系和路径结构。在三个知名数据集上的大量实验表明,RPR-RHGT显著优于11种最先进的方法,在Hits@1上超过最佳性能基线高达8.62%。我们还展示了它在不同比例的训练集和更硬的数据集上比基线更好的性能。
2022-08-07 cs.AI cs.CL cs.LG
B-TGAT: A Bi-directional Temporal Graph Attention Transformer for Clustering Multivariate Spatiotemporal Data
Dept of Information Systems University of Maryland, Baltimore County Baltimore, USA(信息系统系 马里兰大学巴尔的摩分校 美国巴尔的摩)
针对高维时空气候数据聚类难题,提出集成B-TGAT的混合U-Net自编码器,结合ConvLSTM2D与图注意力机制提取时空特征,显著提升了聚类效果与可解释性。
2025-09-16 cs.AI cs.LG
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba(阿里巴巴达摩院)
基于变换器的方法最近在基于2D图像的视觉任务上取得了很大的进步。然而,对于基于3D视频的任务,如动作识别,直接应用时空Transformers的视频数据将带来沉重的计算和内存负担,由于补丁的数量大大增加和自注意计算的二次复杂度。如何高效地对视频数据的3D自注意力建模一直是Transformers面临的巨大挑战。在本文中,我们提出了一个时间补丁移位(TPS)的方法,有效的3D自我注意力建模Transformers基于视频的动作识别。TPS在时间维度上移动具有特定镶嵌模式的部分斑块,从而将香草空间自注意操作转换为时空操作,并且几乎没有额外的成本。因此,我们可以使用与2D自我注意力几乎相同的计算和内存成本来计算3D自我注意力。TPS是一个即插即用的模块,可以插入到现有的2D Transformer模型,以增强时空特征学习。所提出的方法在Something-something V1 & V2、Diving-48和Kinetics 400上实现了具有竞争力的性能,同时在计算和内存成本上更有效。TPS的源代码可以在https://github.com/MartinXM/TPS上找到。
2022-07-27 cs.AI cs.CV cs.LG
PatchSTG: Scalable Spatiotemporal Graph Transformers for Traffic Forecasting on Irregular Sensor Networks
Portsmouth Abbey School(波特茅斯修道学校);CodingFuture (Shanghai) Education Technology Co., Ltd.(上海CodingFuture教育科技有限公司)
提出PatchSTG,通过地理信息将传感器划分为平衡的局部补丁,并采用双注意力编码器交替捕捉局部和全局依赖,实现计算复杂度从二次降至近线性,在不规则传感器网络上取得高效且稳定的交通预测性能。
2026-06-02 cs.AI cs.LG
Spatiotemporal Multi-Task Graph Transformer for Trip-Level Transit Prediction
Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)(工程 cybernetics 部,挪威科学与技术大学(NTNU));Department of Computer Science, Norwegian University of Science and Technology (NTNU)(计算机科学部,挪威科学与技术大学(NTNU))
提出SMT-GraphFormer,一种将行程级公交预测建模为序列到序列问题的时空多任务图Transformer,通过图嵌入、上下文编码器和多门专家混合模块,在挪威特隆赫姆公交数据上优于停靠级基线方法。
2026-05-30 cs.LG
Spatiotemporal Graph Transformer for Traffic Intelligence in Edge Computing
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算与人工智能学院);SWJTU-Leeds Joint School, Southwest Jiaotong University(西南交通大学-利兹学院);State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(北京邮电大学网络与交换技术国家重点实验室)
该研究针对边缘计算中流量预测的非平稳长程建模难题,提出时空图Transformer框架,经真实蜂窝网络数据集验证,其性能优于GCN-RNN等基线模型,可支撑主动资源管理。
2026-08-06 cs.AI cs.LG
Does Entity Abstraction Help Generative Transformers Reason?
Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));Polytechnique Montreal(蒙特利尔理工学院);ServiceNow Research(ServiceNow研究院);McGill University(麦吉尔大学)
我们研究了将实体类型抽象纳入预先训练的Transformers的实用性,并在四个需要不同形式逻辑推理的NLP任务上测试这些方法:(1)基于文本的关系推理(CLUTRR)的组合语言理解,(2)溯因推理(ProofWriter),(3)多跳问答(HotpotQA),以及(4)会话问答(CoQA)。我们提出并经验性地探索了三种添加这种抽象的方法:(i)作为额外的输入嵌入,(ii)作为单独的编码序列,以及(iii)作为模型的辅助预测任务。总体而言,我们的分析表明,模型与抽象实体知识的表现优于没有它。最好的抽象感知模型实现了88.8%和91.8%的整体准确率相比,基线模型实现62.9%和89.8%的CLUTRR和ProofWriter分别。然而,对于HotpotQA和CoQA,我们发现F1分数平均只提高了0.5%。我们的研究结果表明,显式抽象的好处是显着的,在正式定义的逻辑推理设置需要许多推理跳,但点的概念,它是不太有益的NLP任务具有不太正式的逻辑结构。
2022-11-21 cs.AI cs.CL cs.LG
SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow Estimation
The University of Memphis(孟菲斯大学)
本文提出SSTM,利用3D-ConvGRU和时空Transformer从多帧序列并行估计光流,以增强遮挡及边界外区域的光流估计精度,并在Sintel Final和KITTI2015上取得领先结果。
2023-04-26 cs.CV cs.LG
Triplet Attention Transformer for Spatiotemporal Predictive Learning
Zhejiang University(浙江大学);The University of Hong Kong(香港大学)
本文提出三重注意力Transformer,通过时间、空间和通道维度的自注意力机制替代循环单元,在多个时空预测任务中取得最先进性能。
2023-10-28 cs.CV cs.LG
Future Object Detection with Spatiotemporal Transformers
Zenseact AB(Zenseact公司);Lund University(隆德大学);Linköping University(林雪平大学);Chalmers University of Technology(查尔姆斯理工大学)
我们提出了未来目标检测任务,其目标是预测未来视频帧中所有可见对象的边界框。虽然这项任务涉及识别时间和运动模式,除了语义和几何的,它只需要在标准形式的注释为个人,单一(未来)帧,在昂贵的全序列注释。我们建议用一种端到端的方法来处理这个任务,在这种方法中,一个检测Transformer被训练成直接输出未来的对象。为了对未来做出准确的预测,有必要捕捉场景中的动态,包括对象运动和自我相机的运动。为此,我们以两种方式扩展现有的检测Transformers。首先,我们实验了三种不同的机制,使网络能够时空处理多帧。其次,我们以可学习的方式向模型提供自我运动信息。我们表明,这两个扩展大大提高了未来的目标检测性能。我们的最终方法学习捕获动态,并在预测范围高达100 ms的情况下与Oracle进行预测,并且在更长的预测范围内优于所有基线。通过可视化注意力地图,我们观察到网络中出现了一种跟踪形式。代码可在github.com/atonderski/future-object-detection上获得。
2022-10-17 cs.CV cs.LG
Spatiotemporal Transformer for Stock Movement Prediction
University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
针对金融市场动态非线性导致股价预测困难的问题,提出时空Transformer-LSTM模型STST,在ACL18和KDD17数据集上分别取得63.707%和56.879%的准确率,模拟中利润比S&P500高至少10.41%,年化回报率最低31.24%。
2023-05-05 cs.AI cs.CE cs.LG
Transformer Based Model for Spatiotemporal Feature Learning in EEG Emotion Recognition
Beijing Neurodeep Technology Co., Ltd(北京纽罗德普科技有限公司);University of Pennsylvania(宾夕法尼亚大学)
提出EEG-TransNet架构,通过局部自注意力块和模糊注意力同步Transformer捕捉脑电信号的时空特征,在三个数据集上优于现有方法。
2026-06-09 cs.AI cs.LG
Spatiotemporal Graph Transformer for 3D Neighborhood Interaction and Quality Prediction in Metal Additive Manufacturing
Department of Industrial Engineering(工业工程系)
提出一种时空图Transformer,通过加权网络表示和双注意力机制建模3D邻域交互,显著提升金属增材制造质量预测性能。
2026-06-08 cs.LG
Spatiotemporal Decision Transformer for Traffic Coordination
New York University(纽约大学);UC Berkeley(伯克利大学)
MADT通过引入图注意力机制、时间变压器编码器和返回到去的条件,实现了多智能体交通信号控制的序列建模,有效提升了交通协调性能。
2026-02-02 cs.AI cs.LG cs.SY
TrajGPT: Controlled Synthetic Trajectory Generation Using a Multitask Transformer-Based Spatiotemporal Model
University of Southern California(南加州大学);Novateur Research Solutions(诺瓦泰研究解决方案公司)
TrajGPT提出一种基于Transformer的多任务时空生成模型,将受控轨迹生成视为文本填充问题,通过贝叶斯模型整合时空信息,在填补访问序列空缺时实现时空一致,并在下一位置预测中显著提升时间准确性。
2024-11-07 cs.LG
Convolutional State Space Models for Long-Range Spatiotemporal Modeling
Stanford University(斯坦福大学);NVIDIA(英伟达)
本文提出卷积状态空间模型ConvSSM及其高效变体ConvS5,通过将ConvLSTM的张量建模与S4/S5的长序列方法结合,并利用并行扫描实现次二次方并行化,在长程时空建模上显著超越Transformer和ConvLSTM,训练与生成速度大幅提升。
2023-10-30 cs.LG
Entity-driven Fact-aware Abstractive Summarization of Biomedical Literature
Wright State University(莱特州立大学)
作为每年出版的大量科学文章的一部分,生物医学文献的出版率一直在增加。因此,已经有相当大的努力来利用和总结大量的生物医学研究文章。虽然已经针对不同领域中的抽象摘要广泛研究了普通源文档到摘要设置中的基于变换器的编码器-解码器模型,但是它们的主要局限性仍然是实体幻觉(生成的摘要构成与源文章不相关或不存在于源文章中的实体的现象)和事实不一致。在生物医学环境中,命名实体及其语义(可以通过知识库捕获)构成文章的本质,这一问题会加剧。在生物医学文章摘要文献中,尚未研究使用命名实体和从与命名实体有关的背景知识库中挖掘的事实来指导抽象摘要。在本文中,我们提出了一个实体驱动的事实感知框架,用于训练端到端的基于变换的编码器-解码器模型,用于生物医学文章的抽象摘要。我们称之为所提出的方法,其构建块是一个基于变换的模型,EFAS,可靠性驱动的事实感知抽象摘要。我们使用五种最先进的基于变压器的模型进行实验(其中两个是专门为长文档摘要设计的),并证明将知识注入这些模型的训练/推理阶段,使模型能够在实体级事实准确性,N-gram新颖性,和语义等价。在ICD-11-Summ-1000和PubMed-50 k上对所提出的方法进行了评价。
2022-03-30 cs.CL cs.LG
A novel forecasting framework combining virtual samples and enhanced Transformer models for tourism demand forecasting
School of Computer, Electronics and Information, Guangxi University(广西大学计算机与电子信息学院);School of Electrical Engineering, Guangxi University(广西大学电气工程学院);School of Mathematics and Statistics, Xuzhou University of Technology(徐州工程学院数学与统计学院)
针对旅游需求预测中数据稀缺与时空依赖难题,提出结合虚拟样本生成和增强Transformer的新框架,实验显示平均MASE降低18.37%,显著提升预测精度。
2025-03-25 cs.LG stat.AP
MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers
Azure Text Analytics, Microsoft Cloud & AI(微软云与人工智能部门Azure文本分析团队);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能团队);Alexa AI, Amazon(亚马逊Alexa人工智能团队)
Cortana、Alexa和Siri等会话代理不断通过添加新域来提高其功能。对新领域的支持包括设计和开发用于领域分类、意图分类和槽标记(包括命名实体识别)的多个NLU组件。每个组件只有在大量标记数据上训练时才能表现良好。第二,这些组件部署在有限内存的设备上,这需要一些模型压缩。第三,对于诸如健康领域的某些领域,难以找到覆盖所有所需槽类型的单个训练数据集。为了克服这些问题,我们提出了一个多任务的转换器为基础的神经网络结构的插槽标记。我们认为使用多个数据集覆盖不同的插槽类型作为一个多任务学习问题的槽标签的培训。生物医学领域的实验结果表明,所提出的方法优于以前的国家的最先进的系统槽标记不同的基准生物医学数据集的(时间和内存)的效率和有效性。输出时隙标注器可以由会话代理使用以更好地识别输入话语中的实体。
2020-01-24 cs.CL cs.LG stat.ML
Unsupervised Detection of Spatiotemporal Anomalies in PMU Data Using Transformer-Based BiGAN
West Virginia University(西弗吉尼亚大学)
本文提出T-BiGAN框架,利用窗口注意力Transformer和双向生成对抗网络,实现实时检测电力系统中细微频率和电压异常,其在硬件在环PMU基准测试中表现出色。
2026-04-11 cs.AI cs.LG cs.SY
AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles
University of Udine(乌迪内大学);University of Naples Federico II(那不勒斯费德里科二世大学);The Hong Kong Polytechnic University(香港理工大学);Bayer Pharmaceuticals(拜耳制药)
本文介绍了AILAB-Udine团队为SMM 4 H 22共享任务开发的模型。我们探索了基于Transformer的模型在文本分类、实体提取和实体规范化方面的局限性,解决了任务1、2、5、6和10。我们从参与不同任务中得到的主要收获是:在使用集成学习时,结合不同架构的压倒性积极影响,以及生成模型在术语规范化方面的巨大潜力。
2022-09-07 cs.CL cs.LG
Spatiotemporal Feature Learning Based on Two-Step LSTM and Transformer for CT Scans
National Cheng Kung University(国立成功大学)
计算机断层扫描(CT)成像可以非常实用的诊断各种疾病。然而,CT图像的性质甚至更加多样化,因为CT扫描的分辨率和切片数量由机器及其设置确定。传统的深度学习模型很难处理如此多样化的数据,因为深度神经网络的基本要求是输入数据的形状一致。在本文中,我们提出了一种新的,有效的,两步式的方法来彻底解决这个问题,以进行COVID-19症状分类。首先,通过传统的主干网提取CT扫描的每个切片的语义特征嵌入。然后,我们提出了一个长短期记忆(LSTM)和基于transformer的子网络来处理时间特征学习,从而实现时空特征表示学习。以这种方式,所提出的两步LSTM模型可以防止过拟合,并提高性能。综合实验结果表明,所提出的两步方法不仅表现出良好的性能,而且可以相互补偿。更具体地说,两步LSTM模型的假阴性率较低,而两步Swin模型的假阳性率较低。综上所述,建议在实际应用中采用模型集成以获得更稳定和有前途的性能。
2022-07-08 cs.CV cs.LG eess.IV