Hierarchical Transformer Model for Scientific Named Entity Recognition
FI Group(FI集团);Université Sorbonne Paris Nord(索邦巴黎北大学)
命名实体识别是关系抽取、知识图谱构建等自然语言处理系统的重要组成部分。在这项工作中,我们提出了一个简单而有效的方法命名实体识别。我们的方法的主要思想是使用预先训练的Transformer(如BERT)对输入子字序列进行编码,然后,不是直接对单词标签进行分类,而是将另一层Transformer添加到子字表示中,以更好地对单词级交互进行编码。我们评估我们的方法在三个基准数据集的科学NER,特别是在计算机科学和生物医学领域。实验结果表明,我们的模型优于目前的最先进的SciERC和TDM数据集,而不需要外部资源或特定的数据增强。代码可在\url{https://github.com/urchade/HNER}上获得。
2022-03-28 cs.CL cs.LG
Detecting Generated Scientific Papers using an Ensemble of Transformer Models
University of Tyumen(秋明大学);Voctiv RnD d.o.o. Beograd(Voctiv研发有限责任公司(贝尔格莱德))
本文介绍了神经模型开发的DAGPap22共享任务主办的第三次学术文件处理研讨会。这个共享任务的目标是自动检测生成的科学论文。我们的工作重点是比较不同的基于transformer的模型,以及使用额外的数据集和技术来处理不平衡的类。作为最后的提交,我们使用了SciBERT,RoBERTa和DeBERTa的合奏,使用随机过采样技术进行了微调。我们的模型在F1得分方面达到了99.24%。官方的评估结果把我们的系统排在第三位。
2022-09-17 cs.AI cs.CL cs.LG
Approximation Rate of the Transformer Architecture for Sequence Modeling
National University of Singapore(新加坡国立大学)
本文研究单层单头Transformer的逼近率,通过提出新的复杂度度量建立Jackson型逼近率估计,揭示其结构特性并分析其与循环神经网络等经典序列建模方法的差异。
2025-01-02 cs.LG
Sequence Length Scaling in Vision Transformers for Scientific Images on Frontier
Oak Ridge National Laboratory(橡树岭国家实验室);Indiana University Bloomington(印第安纳大学伯明顿分校);RIKEN Center for Computational Science(理化学研究所计算科学中心)
本研究提出面向ViT的分布式序列并行方法,支持百万级令牌,在2048块GPU上实现94%扩展效率,并将气候温度预测精度提升20%。
2024-04-17 cs.CV cs.LG
Variational Neurons in Transformers for Language Modeling
Conservatoire National des Arts et Métiers(法国国立工艺学院)
本文提出在变换器中引入变分神经元,使不确定性成为内部计算的一部分,通过实验验证其在语言建模中的有效性,展示了变分变换器在不确定性建模中的实用性。
2026-03-30 cs.LG
A Hybrid Science-Guided Machine Learning Approach for Modeling and Optimizing Chemical Processes
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
这项研究提出了一个广泛的角度混合过程建模和优化相结合的科学知识和数据分析在生物加工和化学工程与科学指导的机器学习(SGML)的方法。我们将方法分为两大类。第一种是指基于数据的ML模型补充并使基于科学的第一原理模型在预测中更准确的情况,第二种对应于科学知识有助于使ML模型在科学上更一致的情况。我们提出了一个详细的审查有关的混合SGML方法的科学和工程文献,并提出了一个系统的分类混合SGML模型。为了应用ML改进基于科学的模型,我们提出了直接串行和并行混合建模及其组合,逆建模,降阶建模,量化过程中的不确定性,甚至发现过程模型的控制方程的子类别的论述。为了应用科学原理来改进ML模型,我们讨论了科学指导的设计,学习和改进的子类别。对于每个子类别,我们确定其要求,优点和局限性,连同其已发表的和潜在的应用领域在生物加工和化学engineering.We还提出了几个例子来说明不同的混合SGML方法建模聚合物过程。
2022-01-25 cs.LG
Text Role Classification in Scientific Charts Using Multimodal Transformers
Universität Ulm(乌尔姆大学)
本文研究科学图表中文本角色的语义分类问题,通过微调LayoutLMv3和UDOP两种多模态Transformer,并结合数据增强与平衡方法,在多个数据集上验证了LayoutLMv3的优越性能与泛化能力。
2024-02-08 cs.CL cs.CV cs.LG
Transformer Modeling for Both Scalability and Performance in Multivariate Time Series
Southern Methodist University(南方 Methodist 大学)
针对多变量时间序列Transformer中变量数导致的扩展瓶颈与性能下降问题,提出DELTAformer,通过委托令牌约束变量间混合,实现线性扩展并提升性能,达到最先进水平。
2025-09-23 cs.LG
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher(独立研究者)
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer,以线性成本高效建模长上下文依赖,并在PyTorch中从零实现,适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Frailty-Aware Transformer for Recurrent Survival Modeling of Driver Retention in Ride-Hailing Platforms
Civil \& Mineral Engineering University of Toronto Toronto, Canada
本文提出一种考虑脆弱性的变换器模型,用于网约车平台司机留存的复发生存建模,通过捕捉长期时间依赖性和司机异质性,提升了风险预测的准确性。
2025-11-25 cs.LG
Scalable Transformer for PDE Surrogate Modeling
Carnegie Mellon University(卡内基梅隆大学)
本文提出FactFormer,利用轴向分解核积分与可学习投影降低高维PDE代理建模的注意力成本,并在二维Kolmogorov流和三维烟雾浮力模拟中验证其精度、效率与可扩展性。
2023-11-03 cs.LG
Introduction to Sequence Modeling with Transformers
Tampere University(坦佩雷大学)
本文面向机器学习工程师,通过逐一添加分词、嵌入、掩码、位置编码和填充等组件,逐步剖析Transformer架构中除注意力外的关键组件,并利用0/1序列阐明其工作机制。
2025-02-26 cs.LG
Neural Residual Modeling for Scientific Data Compression under Guaranteed Error Bounds
University of Florida(佛罗里达大学)
针对科学数据压缩,提出结合潜空间RVQ、U-Net像素空间残差校正和GAE误差界保证的后处理流水线,在S3D、JHTDB和E3SM数据集上提升压缩比并维持严格误差界。
2026-09-22 cs.LG
On the Runway Cascade of Transformers for Language Modeling
Department of Computer Science, Southern Methodist University, Dallas TX USA(计算机科学系,南方 Methodist 大学,德克萨斯州达拉斯)
本文提出运行道意识重 wiring方法,通过直接融入运行道上下文改善Transformer的语言建模能力,提升信息检索与外推性能。
2026-11-04 cs.LG
Exploring Data Augmentation and Resampling Strategies for Transformer-Based Models to Address Class Imbalance in AI Scoring of Scientific Explanations in NGSS Classroom
Michigan State University(密歇根州立大学);CREATE for STEM(STEM创新计划);University of Houston(休斯顿大学)
本文研究了通过数据增强策略提升Transformer模型对科学解释评分的性能,发现GPT生成数据和ALP方法在处理严重类别不平衡时效果显著,优于传统过采样方法。
2026-03-21 cs.AI cs.LG
A Survey on Memory-Efficient Transformer-Based Model Training in AI for Science
College of Computer Science and Technology, National University of Defense Technology, Changsha 410073, China(计算机科学与技术学院,国防科技大学,长沙410073,中国)
本综述回顾了基于Transformer的LLM在科学领域的应用,系统分类了内存高效预训练技术,并以AlphaFold 2为例展示定制优化方法在降低存储需求的同时保持预测精度,为可扩展且成本效益高的LLM训练提供见解。
2025-07-29 cs.AI cs.LG
Decision Transformer: Reinforcement Learning via Sequence Modeling
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们介绍了一个框架,抽象的强化学习(RL)作为一个序列建模问题。这使我们能够利用Transformer架构的简单性和可伸缩性,以及语言建模(如GPT-x和BERT)的相关进步。特别是,我们提出了决策Transformer,一个架构,铸造的RL作为条件序列建模的问题。与先前的RL方法不同,该方法拟合价值函数或计算策略梯度,决策Transformer通过利用因果屏蔽的Transformer来简单地输出最佳动作。通过将期望回报(奖励)、过去状态和动作作为自回归模型的条件,我们的决策Transformer模型可以生成实现期望回报的未来动作。尽管简单,Decision Transformer在Atari、OpenAI Gym和Key-to-Door任务上的性能仍与最先进的无模型离线RL基线相匹配或超过。
2021-06-24 cs.AI cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo(滑铁卢大学);Peking University(北京大学)
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是,它仅通过标记位置索引来区分连续标记。我们假设,更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点,我们提出了一个段感知的Transformer(Segatron),通过替换原来的令牌位置编码与段落,句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL,这是一种流行的基于transformer的语言模型,具有内存扩展和相对位置编码。我们发现,我们的方法可以进一步改善Transformer-XL基础模型和大模型,在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明,使用Segatron(SegaBERT)预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT,在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Kinematics Transformer: Solving The Inverse Modeling Problem of Soft Robots using Transformers
Bahcesehir University(巴耶塞特大学)
软机器人操纵器在脆弱的环境如海洋环境中提供了许多优于传统刚性操纵器的优点。然而,发展必要的形状,运动和力控制的机器人的解析逆模型仍然是一个具有挑战性的问题。作为分析模型的替代方案,可以使用强大的机器学习方法来学习数值模型。在本文中,Kinetics Transformer提出了发展准确和精确的逆运动学模型的软机器人肢体。该方法将机器人逆运动学问题转化为序列预测问题,并基于Transformer结构。数值仿真结果表明,该方法可以有效地用于控制软肢体。基准研究也表明,与基线前馈神经网络相比,该方法具有更好的准确性和精度
2022-11-12 cs.LG cs.RO
TransforMesh: A Transformer Network for Longitudinal modeling of Anatomical Meshes
Ludwig-Maximilians-Universität(路德维希-马克西米利安大学)
与阿尔茨海默病(AD)相关的神经解剖学变化的纵向建模对于研究疾病的进展至关重要。为此,我们介绍了transforMesh,一个时空网络的基础上的Transformers器模型的纵向形状变化的三维解剖网格。虽然Transformer和Mesh网络最近在自然语言处理和计算机视觉中显示出令人印象深刻的性能,但它们在医学图像分析中的应用非常有限。据我们所知,这是第一个结合Transformer和网状网络的工作。我们的研究结果表明,TransforMesh可以更好地建模形状轨迹比其他基线架构,不捕捉时间依赖性。此外,我们还探讨了TransforMesh在检测AD患者海马结构异常方面的能力。
2021-09-23 cs.CV cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);AI for Science Institute Beijing(北京AI for Science研究院)
该研究系统分析Transformer序列建模的逼近性质,明确各组件及层数、头数等参数对表达能力的影响机制,通过显式逼近速率验证组合效应,理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
Semantic maps and metrics for science Semantic maps and metrics for science using deep transformer encoders
QuillBot;University of Chicago(芝加哥大学);Santa Fe Institute(圣塔菲研究所)
越来越多的科学出版物需要文本分析工具,可以帮助科学家和政策制定者导航,预测和有益地指导科学研究。由深度Transformer网络驱动的自然语言理解的最新进展为映射科学提供了新的可能性。由于相同的表面文本可以在不同的研究社区中呈现多种甚至有时是相互矛盾的专业感觉,因此对上下文的敏感性对于信息计量应用至关重要。诸如BERT之类的Transformer嵌入模型捕捉在任何特定单词或文本跨度的不同语言上下文中变化的关联和内涵的阴影。在这里,我们报告了一个程序编码的科学文献与这些工具,测量其改进静态词嵌入在最近邻检索任务。我们发现上下文表征的可辨别性受到用于总结高维网络激活的池化策略的选择的强烈影响。重要的是,我们注意到领域匹配的训练数据等基础知识比最先进的NLP工具更重要。然而,最先进的模式确实带来了巨大的收益。我们研究的最佳方法结合了域匹配预训练,声音池和最先进的深度Transformer网络编码器。最后,为了利用深度编码器的上下文表示,我们提出了一系列用于理解和预测科学研究社区的测量方法。
2021-04-13 cs.AI cs.CL cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先,我们回顾专门用于语言建模的Transformer模型配置。我们发现,基于LSTM递归神经网络层的浅栈,配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验,用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型,传统的混合语音识别的格重评分,和子词级模型的注意基于编码器-解码器模型的浅层融合。其次,我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制,它对序列排序是不变的。然而,在自回归设置中,就像语言建模的情况一样,信息量沿着位置维度增加,这本身就是一个位置信号。对注意权重的分析表明,深度自回归自注意模型可以自动利用这种位置信息。我们发现,删除位置编码,甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
A Tensorized Transformer for Language Modeling
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Microsoft Research Asia(微软亚洲研究院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院)
神经模型的最新发展是通过自我注意力机制将编码器和解码器连接起来。特别是完全基于自我注意力的Transformer,在自然语言处理(NLP)任务上取得了突破性进展。然而,作为Transformer关键组件的多头注意力机制限制了模型在资源有限的环境中的有效部署。基于张量分解和参数共享的思想,提出了一种新的基于块项张量分解的自注意模型(即多线性注意力模型).我们在三个语言建模任务上测试和验证了所提出的注意力方法(即,PTB、WikiText-103和10亿)和神经机器翻译任务(即,WMT-2016英语-德语)。与Transformer、Transformer-XL和带张量训练分解的Transformer等语言建模方法相比,多线性注意力不仅可以大大压缩模型参数,而且可以获得性能上的提高。
2019-11-06 cs.CL cs.LG
Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers
Applied Brain Research(应用大脑研究公司)
最近的研究表明,Transformers的语言建模任务的性能服从幂律关系模型的大小超过六个数量级。虽然Transformers表现出令人印象深刻的可扩展性,但它们的性能取决于处理大量数据,并且它们的计算和内存需求随着序列长度呈二次方增长。出于这些考虑,我们构建了一个基于Legendre内存单元的模型,该模型引入了一般的序列处理之前,并表现出$O(n)$和$O(n \ln n)$(或更好)的内存和计算的依赖性。超过三个数量级,我们表明我们的新架构达到了与Transformers相同的精度,但令牌减少了10倍。我们还表明,对于相同的训练量,我们的模型改善了Transformers器的损耗,就像Transformers改善LSTM一样。此外,我们证明,增加全球自我关注补充我们的架构和增强模型进一步提高性能。
2021-10-05 cs.CL cs.LG
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York(纽约哥伦比亚大学)
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说,我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法,格重新评分,允许更长的范围内的历史记录捕获的一个基于多变量的语言模型,并利用一个Transformer的能力,以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文从元学习视角解析了Transformer在因果语言建模中的训练过程,通过阐明其内部优化机制,发现并理论分析了学习到的token表示范数的特殊特征,且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
DiffUNet^2: Bidirectional Conditional Diffusion for Probabilistic Scientific Spatiotemporal Modeling
Ohio State University(俄亥俄州立大学);NVIDIA;Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出基于扩散模型的条件生成框架DiffUNet^2,实现时间序列的双向任意步预测与概率分布捕获,并结合交互式可视化支持科学探索。
2026-09-25 cs.HC cs.LG
CORAL: COde RepresentAtion Learning with Weakly-Supervised Transformers for Analyzing Data Analysis
Peking University(北京大学);University of Washington(华盛顿大学)
对源代码,特别是科学源代码的大规模分析,有望更好地理解数据科学过程,确定分析最佳实践,并为科学工具包的构建者提供见解。然而,大型语料库仍然没有深入分析,因为没有描述性标签,需要专业领域知识来生成。我们提出了一种新的弱监督变换为基础的架构计算联合表示的代码从抽象语法树和周围的自然语言的意见。然后,我们评估了一个新的分类任务,标记计算笔记本细胞的数据分析过程中的阶段,从数据导入到争吵,探索,建模和评估的模型。我们表明,我们的模型,只利用容易获得的弱监督,实现了38%的准确性比专家提供的分析,并优于一套基线。我们的模型使我们能够检查一组118,000字节的笔记本电脑,以揭示常见的数据分析模式。专注于笔记本与学术文章的关系,我们进行了有史以来最大的科学代码的研究,发现笔记本的组成与相应论文的引用计数相关。
2020-08-28 cs.DL cs.LG stat.ML
Transformers for Modeling Physical Systems
University of Notre Dame(圣母大学)
由于Transformers能够对文本中的长期依赖关系进行建模,因此广泛用于自然语言处理中。虽然这些模型实现了许多语言相关任务的最先进的性能,其适用性以外的自然语言处理领域一直是最小的。在这项工作中,我们提出了使用Transformer模型的物理现象的动力系统代表的预测。基于Koopman的嵌入提供了一种独特而强大的方法,用于将任何动态系统投影到矢量表示中,然后可以通过Transformer进行预测。所提出的模型能够准确地预测各种动力系统,并优于科学机器学习文献中常用的经典方法。
2021-12-13 cs.LG physics.comp-ph
LLMComp: A Language Modeling Paradigm for Error-Bounded Scientific Data Compression (Technical Report)
KAUST(卡塞姆大学);University of Peloponnese(希腊皮洛斯大学)
本文提出 LLMCOMP,一种利用仅解码器大语言模型结合量化、Z 顺序排列、覆盖率引导采样和自回归 Transformer 建模的科学数据有损压缩范式,在严格误差界限下实现最高 30% 的压缩比提升。
2025-11-04 cs.AI cs.LG
Transformers in Action Recognition: A Review on Temporal Modeling
Graduate University of Advanced Technology(高等技术研究生院);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);University of Isfahan(伊斯法罕大学)
在基于视觉的动作识别中,来自不同模态的时空特征被用于识别活动。时间建模是动作识别的一个长期挑战。然而,在基于深度的方法中,存在诸如预先计算的运动特征、三维(3D)滤波器和递归神经网络(RNN)之类的有限方法来对运动信息进行建模。最近,Transformers在自然语言处理(NLP)任务中成功地建模了长距离依赖关系,这引起了其他领域的极大关注;包括语音,图像和视频,完全依赖于自我注意力,而不使用序列对齐的RNN或卷积。虽然Transformers的应用动作识别是相对较新的,在过去几年中提出的关于这个主题的研究量是惊人的。本文特别回顾了用于建模时间变化的深度学习方法的最新进展。它侧重于动作识别方法,使用Transformers的时间建模,讨论其主要特点,使用的方式,并确定未来的研究机会和挑战。
2022-12-29 cs.AI cs.CV cs.LG
Finnish Language Modeling with Deep Transformer Models
Aalto University(阿尔托大学)
Transformers最近在语言建模中占据了中心地位,因为LSTM被认为是长期以来占主导地位的模型架构。在这个项目中,我们调查的性能的Transformer架构BERT和Transformer-XL的语言建模任务。我们使用芬兰语的子词模型设置,并将其与之前的最新技术水平(SOTA)LSTM模型进行比较。BERT达到了14.5的伪困惑分数,这是我们所知道的第一个这样的指标。Transformer-XL将困惑分数提高到73.58,比LSTM模型高出27%。
2020-03-27 cs.CL cs.LG cs.SD
Continuous Spatiotemporal Transformers
Yale University(耶鲁大学);Wu Tsai Institute(吴蔡研究所)
针对传统Transformer在建模连续时空动力系统时无法保证连续采样的局限,提出新型架构CST,通过在Sobolev空间优化保证输出的连续平滑性,并在合成与真实系统任务上取得卓越性能。
2023-07-28 cs.CV cs.LG
Tensorized Transformer for Dynamical Systems Modeling
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
从观测中识别非线性动力学对于理论思想和实验数据的一致性至关重要。最后,反过来,往往被不同性质的副作用和噪声破坏,因此概率方法可以给出更全面的过程。同时,高维概率建模是一项具有挑战性的数据密集型任务。在本文中,我们建立了一个并行的动态系统建模和语言建模任务。我们提出了一个基于变换器的模型,该模型结合了数据的几何特性,并提供了一个迭代训练算法,允许高维动力系统的条件概率的细网格近似。
2020-06-05 cs.LG math.DS stat.ML
TorchScale: Transformers at Scale
Microsoft(微软)
大型Transformers在许多任务中实现了最先进的性能。大多数扩展Transformers的开源库都专注于通过更好的并行化来改进训练或推理。在这项工作中,我们提出了TorchScale,一个开源工具包,允许研究人员和开发人员有效地扩展Transformers。TorchScale实现了多种建模技术,可以提高建模的通用性和能力,以及训练的稳定性和效率。对语言建模和神经机器翻译的实验结果表明,TorchScale可以成功地将Transformers缩放到不同的大小,而不会出现撕裂。该库可在https://aka.ms/torchscale上查阅。
2022-11-23 cs.CL cs.LG
Generative Inverse Design of Crystal Structures via Diffusion Models with Transformers
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所)
本文提出一种以 Transformer 为骨干的新型扩散模型,用于晶体结构生成式逆向设计,实验表明其在按目标属性生成结构方面优于既有方法,且最优条件化策略依赖数据集。
2024-06-14 cond-mat.mtrl-sci cs.LG
Dateformer: Time-modeling Transformer for Longer-term Series Forecasting
Sichuan University(四川大学)
Transformers在长期序列预测方面表现出了令人印象深刻的实力。现有的预测研究主要集中在将过去的短期子序列(回顾窗口)映射到未来的序列(预测窗口)。一旦训练完成,较长的训练数据集时间序列将被丢弃。模型只能依赖回看窗口信息进行推理,这阻碍了模型从全局角度分析时间序列。而且Transformers使用的这些窗口非常窄,因为它们必须对其中的每个时间步长进行建模。在这种逐点处理风格下,扩大窗口将迅速耗尽其模型容量。对于细粒度时间序列,这导致信息输入和预测输出的瓶颈,这对长期序列预测是致命的。为了克服这个障碍,我们提出了一个全新的方法,利用Transformer的时间序列预测。具体来说,我们分裂成补丁的时间序列的一天和改革逐点逐块处理,这大大提高了Transformers的信息输入和输出。为了进一步帮助模型在推理过程中利用整个训练集的全局信息,我们提取信息,将其存储在时间表示中,并将序列替换为时间表示作为主要建模实体。我们设计的时间建模Transformer -Datemformer在7个真实世界数据集上产生了最先进的精度,相对提高了33.6%,并将最大预测范围扩展到半年。
2023-02-21 cs.AI cs.LG
Encoding Multi-Domain Scientific Papers by Ensembling Multiple CLS Tokens
Purdue University(普渡大学);Amazon(亚马逊);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对科学文档跨多领域任务,提出 Multi2SPE 方法利用多个 CLS token 集成学习并构建 Multi-SciDocs 基准,在仅增加极少计算量下使多领域引文预测误差降低达 25%。
2023-09-08 cs.CL cs.DL cs.LG
Generative Modeling of Networked Time-Series via Transformer Architectures
Virginia Tech(弗吉尼亚理工大学)
针对安全领域数据受限且现有合成样本难以提升模型性能的问题,本文提出一种高效的基于 Transformer 的时间序列生成框架,可跨数据集生成高质量样本并取得 SOTA 结果。
2025-06-08 cs.AI cs.LG
Chemical transformer compression for accelerating both training and inference of molecular modeling
University of Gothenburg(哥德堡大学)
Transformer模型是近年来发展起来的分子生物学模型,在定量构效关系(QSAR)和虚拟筛选(VS)等方面具有良好的应用前景。然而,与其他类型的模型相比,它们很大,这导致了对硬件的高要求,以缩短训练和推理过程的时间。在这项工作中,跨层参数共享(CLPS),和知识蒸馏(KD)被用来减少在分子科学中的Transformers的大小。与原始BERT模型相比,这两种方法不仅具有竞争力的QSAR预测性能,而且参数效率更高。此外,通过将CLPS和KD集成到一个两态化学网络中,我们引入了一个新的深层化学Transformer模型DeLiCaTe。DeLiCaTe捕获一般领域以及特定于任务的知识,由于参数和层数分别减少了10倍和3倍,因此训练和推理的速度都提高了4倍。同时,它在QSAR和VS建模中取得了相当的性能。此外,我们预计,模型压缩策略提供了一种途径,有效的生成Transformer模型的有机药物和材料的设计。
2022-05-16 cs.LG q-bio.BM
Modeling chaotic Lorenz ODE System using Scientific Machine Learning
Acko;Vizuara AI Labs(Vizuara AI实验室);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
针对气候建模数据不足的问题,该研究将科学机器学习方法融入基础天气模型,结合物理模型可解释性与神经网络算力,以低数据量实现高精度混沌气候系统建模,推动气候建模向物理信息驱动决策转变。
2024-10-09 cs.AI cs.LG
Compressive Modeling and Visualization of Multivariate Scientific Data using Implicit Neural Representation
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔学院)
本文提出利用隐式神经表示和参数共享的单一网络,对含数十至数百变量的多变量科学数据进行压缩建模,实现最先进的数据压缩,并在重建质量、可视化效果、依赖保持和存储效率上表现优越。
2025-10-17 cs.GR cs.LG
Modeling Information Change in Science Communication with Semantically Matched Paraphrases
University of Copenhagen(哥本哈根大学);University of Michigan(密歇根大学)
媒体是否忠实地传播科学信息一直是科学界关注的核心问题。自动识别转述的科学发现可以实现对科学传播过程中信息变化的大规模跟踪和分析,但这需要系统理解跨多个领域的科学信息之间的相似性。为此,我们提出了科学释义和信息变化数据集(SPICED),第一个释义数据集的科学发现注释程度的信息变化。SPICED包含从新闻报道、社交媒体讨论和原始论文全文中提取的6,000个科学发现对。我们证明了SPICED提出了一项具有挑战性的任务,并且在SPICED上训练的模型提高了证据检索的下游性能,用于对现实世界的科学主张进行事实检查。最后,我们表明,在SPICED上训练的模型可以揭示人们和组织忠实地传达新科学发现的程度的大规模趋势。数据、代码和预训练模型可在http://www.copenlu.com/publication/2022_emnlp_wright/上获得。
2022-10-24 cs.CL cs.CY cs.LG
On the Computational Power of Transformers and its Implications in Sequence Modeling
Microsoft Research India(微软印度研究院)
Transformers在多个序列建模任务中广泛使用。大量的研究工作致力于实验探测Transformers的内部工作。然而,我们对它们的力量和内在局限性的概念和理论理解仍然处于萌芽状态。特别是,Transformers中的各种组件的作用,例如位置编码、注意头、剩余连接和前馈网络,并不清楚。在本文中,我们采取一个步骤来回答这些问题。我们分析了图灵完备性捕获的计算能力。我们首先提供一个替代的和更简单的证明,香草Transformers是图灵完备的,然后我们证明,Transformers只有位置掩蔽和没有任何位置编码也是图灵完备的。我们进一步分析了网络的图灵完备性的每个组件的必要性;有趣的是,我们发现一种特定类型的剩余连接是必要的。我们通过对机器翻译和合成任务的实验证明了我们的结果的实际意义。
2020-10-10 cs.CL cs.LG stat.ML
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构,在标准VAE框架内通过辅助变量引入先验统计知识,以最小损失函数修改实现潜空间解耦,并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer
University of Washington(华盛顿大学)
建模神经元群体动态噪声单次试验尖峰活动是必不可少的相关神经观察和行为。最近的一种非递归方法-神经数据Transformers(NDT)-在没有显式动力学模型的情况下,在捕获具有低推理延迟的神经动力学方面取得了巨大成功。然而,NDT侧重于模拟群体活动的时间演化,而忽略了单个神经元之间丰富的协变。在本文中,我们介绍了时空神经数据Transformer(STNDT),一个基于NDT的架构,明确地模拟在整个时间和空间的人口中的单个神经元的反应,以揭示其潜在的放电率。此外,我们提出了一个对比学习损失,根据掩模建模目标,以进一步提高预测性能。我们表明,我们的模型在估计四个神经数据集的神经活动方面实现了最先进的集成性能,证明了它能够捕获跨越不同皮层区域的自主和非自主动态,同时对手头的特定行为完全不可知。此外,STNDT空间注意力机制揭示了神经元的重要子集,这些子集在驱动整个群体的反应中发挥着至关重要的作用,为神经元群体如何执行计算提供了可解释性和关键见解。
2022-06-09 cs.LG q-bio.NC
ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling
Microsoft Research Asia(微软亚洲研究院);Shanghai Jiao Tong University(上海交通大学)
针对不规则时间序列建模,提出 ContiFormer,将 Neural ODEs 的连续动力学建模能力与 Transformer 注意力机制结合,扩展至连续时间域,在合成和真实数据上展现出更优的预测性能。
2024-02-16 cs.AI cs.LG
baller2vec: A Multi-Entity Transformer For Multi-Agent Spatiotemporal Modeling
Auburn University(奥本大学)
从算法设计和计算复杂性的角度来看,多智能体时空建模都是一项具有挑战性的任务。最近的工作已经探索了传统的深度顺序模型在这一领域的有效性,但这些架构是缓慢和繁琐的训练,特别是随着模型大小的增加。此外,之前对代理之间跨时间交互进行建模的尝试也有局限性,例如对代理施加命令,或对它们的关系做出假设。在本文中,我们介绍了baller2vec,一个多实体的标准Transformer的推广,可以在最小的假设,同时,有效地整合跨实体和时间的信息。我们通过训练baller2vec执行两个不同的篮球相关任务来测试其用于多智能体时空建模的有效性:(1)同时对球场上所有球员的轨迹进行建模,以及(2)对球的轨迹进行建模。baller2vec不仅能够很好地完成这些任务(远远优于具有类似参数数量的图递归神经网络),而且似乎还能够“理解”篮球比赛,在其嵌入中编码球员的特质,并使用其注意力头执行篮球相关功能。
2021-09-28 cs.LG cs.MA
Modeling Patient Care Trajectories with Transformer Hawkes Processes
University at Buffalo(布法罗大学)
本文基于Transformer Hawkes过程建模患者护理轨迹,通过结合历史编码与动态过程捕捉事件依赖性,联合预测事件类型和时间,采用逆平方根权重解决类别不平衡问题,提升对罕见但重要事件的敏感性。
2026-04-07 cs.LG q-bio.QM
The Go Transformer: Natural Language Modeling for Game Play
PeopleTec Inc.(PeopleTec公司);Auburn University(奥本大学)
这项工作应用自然语言建模,以产生合理的战略行动,在古老的游戏围棋。我们训练生成预训练的Transformer(GPT-2)来模仿智能游戏格式(SGF)中存档的围棋冠军的风格,该格式提供了移动序列的文本描述。经过训练的模型进一步生成有效但以前看不见的Go策略。因为GPT-2保留了标点符号和空格,文本生成器的原始输出为游戏可视化和创意模式提供了输入,例如Sabaki项目的游戏引擎使用自动重放。结果表明,语言建模可以捕捉到冠军围棋比赛的顺序格式和他们的战略形成。与随机游戏板相比,GPT-2微调显示了有效的开局移动序列,有利于角落发挥不太有利的中心和侧面发挥。作为语言建模任务的游戏生成为40多个其他棋盘游戏提供了新颖的方法,其中历史文本注释提供了训练数据(例如,Amazons & Connect 4/6)。
2020-09-07 cs.CL cs.LG
Complex Transformer: A Framework for Modeling Complex-Valued Sequence
Carnegie Mellon University(卡内基梅隆大学)
虽然近年来深度学习在各个领域引起了人们的兴趣,但主要的深度学习模型几乎不使用复数。然而,语音、信号和音频数据在傅立叶变换之后自然是复值的,并且研究已经显示了复网络的潜在更丰富的表示。在本文中,我们提出了一个复杂的Transformer,它采用了Transformer模型作为骨干序列建模,我们还开发了注意和编码器-解码器网络复杂的输入操作。该模型在MusicNet数据集和同相正交(IQ)信号数据集上实现了最先进的性能。
2021-08-06 cs.LG cs.SD eess.AS
Comparative Analysis of Transformers for Modeling Tabular Data: A Casestudy using Industry Scale Dataset
BITS Pilani(比尔拉科学技术学院皮拉尼校区);American Express AI Labs(美国运通人工智能实验室)
本文针对基于transformer的表格数据建模模型在行业规模数据集上表现不佳的问题,利用合成数据集和美国运通Kaggle数据集进行广泛比较分析,提供了数据预处理、预训练与监督学习比较及特征管理策略,旨在促进时序金融数据建模的可扩展性。
2023-11-24 cs.AI cs.LG
baller2vec++: A Look-Ahead Multi-Entity Transformer For Modeling Coordinated Agents
Auburn University(奥本大学)
在许多多智能体时空系统中,智能体在共享的、不可观测的变量(例如,在篮球比赛中一个队正在进行的比赛)。因此,代理的轨迹通常在任何给定的时间步是统计依赖的;然而,几乎普遍地,多代理模型隐含地假设代理的轨迹在每个时间步是统计独立的。在本文中,我们介绍了baller 2 vec ++,多实体Transformer,可以有效地协调代理建模。具体来说,baller 2 vec ++将一个专门设计的自我注意力掩模应用于位置和“前瞻”轨迹序列的混合,以学习统计相关代理轨迹的分布。我们表明,与baller 2 vec(baller 2 vec ++的前身),baller 2 vec ++可以学习模仿完美协调代理在模拟玩具数据集的行为。此外,在对职业篮球运动员的轨迹进行建模时,baller 2 vec ++的性能远远优于baller 2 vec。
2021-09-28 cs.LG cs.MA