A Transformer-based Generative Model for De Novo Molecular Design
Texas A&M University-Corpus Christi(德州农工大学科珀斯克里斯蒂分校);Biogen(渤健);Cornell University(康奈尔大学)
在药物发现的范围内,分子设计的目的是从化学空间中识别新的化合物,其中潜在的药物样分子估计在10^60 - 10^100的数量级。由于这种搜索任务由于无限的搜索空间而在计算上难以处理,因此深度学习作为一种生成看不见的分子的新方法引起了很多关注。当我们寻找具有特定靶蛋白的化合物时,我们提出了一种基于Transformer的深度模型,用于从头靶向分子设计。所提出的方法能够产生药物样化合物(没有指定的靶标)和靶标特异性化合物。后者是通过对每个目标强制执行多头注意力的不同键和值来生成的。通过这种方式,我们允许SMILES字符串的生成以指定的目标为条件。实验结果表明,我们的方法是能够产生有效的药物样化合物和目标特异性化合物。此外,条件模型的样本化合物占据了目标分子的化学空间,也涵盖了相当一部分新化合物。
2022-10-23 cs.LG q-bio.BM
Towards Foundation Models for Zero-Shot Time Series Anomaly Detection: Leveraging Synthetic Data and Relative Context Discrepancy
Department of Industrial Engineering, Tsinghua University, Beijing, China(清华大学工业工程系);Datadog AI Research, Paris, France. This work was completed prior to joining Datadog(Datadog AI 研究院);Lab, Huawei Technologies, ShenZhen, China(华为技术2012实验室)
提出基于相对上下文差异(RCD)的预训练范式,通过合成数据训练Transformer模型比较查询模式与上下文,实现零样本时间序列异常检测,在多个基准上超越现有基础模型。
2026-11-09 cs.AI cs.LG
Timer-M1: A Multivariate Time Series Foundation Model via Learning Primitives
ByteDance(字节跳动)
Timer-M1是一种基于基元学习的多元时间序列基础模型,通过开发基元相关的数据合成与预训练流程,在三个大规模预测基准中取得优异成绩,为通用预测技术提供了新路径。
2026-10-09 cs.AI cs.LG
BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling
本文提出BlackGoose Rimer,将RWKV-7的时间混合与通道混合组件集成到Timer模型中,以更少参数实现1.13至43.3倍性能提升和4.5倍训练时间缩减,为大规模时间序列建模提供了优于Transformer的替代方案。
2025-03-08 cs.LG
Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
Transformers与之前的序列处理架构(如RNN)相比,表现出了更好的性能。尽管他们的相当大的性能增益,最近建议,该模型是计算昂贵的训练和高参数预算。鉴于此,我们探讨参数共享方法在Transformers与生成模型的具体重点。我们对不同的参数共享/缩减方法进行了分析,并开发了Subformer。我们的模型结合了自适应风格的参数共享,克服了生成模型中天真的跨层参数共享,以及自关注嵌入因子分解(SAFE)。在机器翻译、抽象摘要和语言建模方面的实验表明,Subformer即使在使用显著较少的参数时也能优于Transformer。
2021-09-08 cs.CL cs.LG
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design(新加坡科技设计大学)
新颖的概念对于设计创新是必不可少的,并且可以在数据刺激和计算机的帮助下产生。然而,目前的生成式设计算法集中在图形或空间的概念,要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers(GPT)的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
Generative Modeling of Networked Time-Series via Transformer Architectures
Virginia Tech(弗吉尼亚理工大学)
针对安全领域数据受限且现有合成样本难以提升模型性能的问题,本文提出一种高效的基于 Transformer 的时间序列生成框架,可跨数据集生成高质量样本并取得 SOTA 结果。
2025-06-08 cs.AI cs.LG
A Transformer-based Generative Adversarial Network for Brain Tumor Segmentation
Beijing Institute of Technology(北京理工大学)
脑肿瘤分割仍然是医学图像分割任务中的一个挑战。随着Transformer在各种计算机视觉任务中的应用,Transformer块显示出在全局空间中学习长距离依赖的能力,这与CNN是互补的。在本文中,我们提出了一种新的基于transformer的生成对抗网络自动分割脑肿瘤与多模态MRI。我们的架构由一个生成器和一个训练器组成,它们在最小-最大游戏进度中进行训练。该生成器是基于一个典型的“U形”的编码器-解码器架构,其底层是由Transformer块与resnet。此外,发电机采用深度监控技术进行训练。我们设计的神经网络是一个基于CNN的多尺度$L_{1}$损失网络,它被证明是有效的医学语义图像分割。为了验证我们的方法的有效性,我们在BRATS 2015数据集上进行了实验,实现了与以前最先进的方法相当或更好的性能。
2022-07-29 cs.LG eess.IV
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business(雅典经济与商业大学)
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中,我们提出了一种使用Transformers(特别是自回归语言模型)从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集,我们尝试训练模型来识别烹饪技术,提出新的食谱,并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
Shanghai AI Laboratory(上海人工智能实验室)
提出GAMMT模型,通过选择机制连接多个并行Transformer来捕捉序列数据生成过程中的模糊性,以近似模糊概率并支持多种表示,旨在提升不确定序列建模的质量与多样性。
2023-04-04 cs.AI cs.LG math.PR
Time-series Transformer Generative Adversarial Networks
Imperial College London(帝国理工学院)
许多现实世界的任务都受到数据限制的困扰:在某些情况下,只有很少的数据可用,而在其他情况下,数据受到隐私执行法规(例如GDPR)的保护。我们认为,具体的时间序列数据的限制,并提出了一个模型,可以生成合成的时间序列,可以用来代替真实的数据。生成合成时间序列数据的模型有两个目标:1)捕获实序列的逐步条件分布,以及2)忠实地对整个实序列的联合分布进行建模。通过最大似然估计训练的自回归模型可以用于反馈先前预测并用于预测未来预测的系统中;在这种模型中,误差会随着时间的推移而累积。此外,需要一个合理的初始值,使基于MLE的模型不是真正的生成。许多下游任务学习对时间序列的条件分布进行建模,因此,从生成模型提取的合成数据除了执行2)之外还必须满足1)。我们提出了TsT-GAN,这是一个利用Transformer架构来满足需求的框架,并将其性能与五个数据集上的五个最先进模型进行比较,并表明TsT-GAN在所有数据集上实现了更高的预测性能。
2022-05-23 cs.LG
The Chess Transformer: Mastering Play using Generative Language Models
PeopleTec;Auburn University(奥本大学)
这项工作表明,自然语言Transformers可以支持更通用的战略建模,特别是对文本存档的游戏。除了学习自然语言技能之外,抽象的Transformer架构还可以在棋盘上生成有意义的移动。通过进一步的微调,Transformer通过在Portable Game Notation中对280万盘国际象棋进行训练来学习复杂的游戏玩法。经过30,000个训练步骤后,OpenAI的生成式预训练Transformer(GPT-2)优化了7.74亿个参数的权重。这款经过微调的国际象棋Transformer可以生成合理的策略,并显示可识别为经典开局的游戏阵型,例如英语或斯拉夫交换。最后,在现场比赛中,新模型展示了一个人对Transformer的界面,正确过滤非法移动,并提供了一种新的方法来挑战Transformer的象棋策略。我们预计未来的工作将建立在这个Transformer的承诺,特别是在其他战略游戏中,功能可以捕获简单但富有表现力的玩家注释的基础复杂的规则语法。
2020-09-18 cs.AI cs.CL cs.GT
Probabilistic Generative Transformer Language models for Generative Design of Molecules
University of South Carolina(南卡罗来纳大学)
近年来,自监督神经语言模型在有机分子和蛋白质序列的生成设计以及下游结构分类和功能预测的表示学习中得到了广泛的应用。然而,大多数现有的用于分子设计的深度学习模型通常需要一个大数据集,并且具有黑盒架构,这使得难以解释其设计逻辑。在这里,我们提出了生成分子Transformer(GM Transformer),一个概率神经网络模型的分子生成设计。我们的模型建立在最初为文本处理开发的空白填充语言模型上,该模型在学习具有高质量生成、可解释性和数据效率的“分子语法”方面表现出独特的优势。以MOSES数据集为基准,与其他基线相比,我们的模型具有很高的新颖性和Scaf。概率生成步骤具有修补分子设计的潜力,因为它们能够推荐如何通过解释来修改现有分子,并由所学习的隐式分子化学指导。源代码和数据集可以在https://github.com/usccolumbia/GMTransformer上免费访问
2022-09-20 cond-mat.mtrl-sci cs.LG physics.chem-ph
Efficient generative adversarial networks using linear additive-attention Transformers
Facultad de Ingeniería, Universidad Nacional Autónoma de México(墨西哥国立自治大学工程学院);Instituto de Investigaciones en Matematicas Aplicadas y en Sistemas, Universidad Nacional Autónoma de México(墨西哥国立自治大学应用数学与系统研究所)
针对现有深度生成模型计算成本高的问题,提出基于线性加性注意力Transformer模块Ladaformer的混合GAN模型LadaGAN,在保持生成性能的同时大幅提升效率,可单GPU高效训练。
2026-09-16 cs.CV cs.LG
Efficient Generative Transformer Operators For Million-Point PDEs
Sorbonne Université, CNRS, ISIR(索邦大学);Criteo AI Lab(Criteo人工智能实验室)
ECHO通过分层卷积架构、训练适应策略和生成建模范式,高效生成百万点PDE轨迹,解决传统方法在可扩展性和误差累积上的不足。
2026-10-28 cs.LG
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research(Declic人工智能研究院);CESI LINEACT Laboratory(CESI LINEACT实验室);Université Paris-Est(巴黎东部大学);UPEC(巴黎第十二大学)
本文提出一种集成生成式自监督学习(SSL)与残差图Transformer的前沿方法,通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号,在多数据集上持续优于基线方法,增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
SiT: Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers
New York University(纽约大学)
本文提出SiT生成模型,基于DiT骨干网络,利用灵活的插值框架模块化研究动态传输生成模型的设计选择,在相同结构和参数下于ImageNet基准上全面超越DiT。
2024-09-23 cs.CV cs.LG
Generative or Discriminative? Revisiting Text Classification in the Era of Transformers
Amazon Inc.(亚马逊公司)
本文在Transformer时代重新审视文本分类,比较生成式与判别式模型的性能,揭示不同架构下的表现差异并提供实际应用指导。
2026-01-09 cs.CL cs.LG
World Machine: Towards Generative World Modeling for Time-Series
Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Universidade Estadual Paulista (UNESP)(保罗斯州立大学)
提出基于Transformer的潜在状态架构World Machine,用于时间序列生成式世界建模,在合成数据集Toy1D上验证了其超越传统Transformer的能力。
2026-05-21 cs.LG
OmniJet-$α_C$: Learning point cloud calorimeter simulations using generative transformers
Institute for Experimental Physics, Universität Hamburg(汉堡大学实验物理研究所)
本研究首次将生成式Transformer用于高粒度量能器的点云簇射模拟,基于OmniJet-$α$的分词与生成模块将击中转为可变长整数序列,可学习簇射几何且不受体素网格限制。
2025-06-11 cs.LG hep-ex hep-ph
Generative Video Transformer: Can Objects be the Words?
Rutgers University(罗格斯大学);SAP Labs(SAP实验室);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
Transformers已经成功地用于许多自然语言处理任务。然而,由于高计算复杂性和缺乏自然标记化,将Transformers应用于视频域以执行诸如长期视频生成和场景理解之类的任务仍然是难以捉摸的。在本文中,我们提出了以对象为中心的视频Transformer(OCVT),它利用对象为中心的方法分解成适合用于生成视频Transformer令牌的场景。通过将视频分解为对象,我们的完全无监督模型能够学习场景中多个交互对象的复杂时空动态,并生成视频的未来帧。我们的模型也比基于像素的模型具有更高的内存效率,因此能够使用单个48 GB GPU对长度高达70帧的视频进行训练。我们将我们的模型与以前的基于RNN的方法以及其他可能的视频Transformer基线进行了比较。我们证明了OCVT在生成未来帧时与基线相比表现良好。OCVT还为视频推理开发了有用的表示,在CATER任务上实现了最先进的性能。
2021-07-20 cs.CL cs.CV cs.LG
Discovery of 2D materials using Transformer Network based Generative Design
University of South Carolina(南卡罗来纳大学);University of Colombo(科伦坡大学)
二维材料在超导、量子和拓扑材料中有着广泛的应用。然而,它们的合理设计还没有很好地建立起来,目前已经报道了不到6,000种实验合成的2D材料。最近,深度学习、数据挖掘和基于密度泛函理论(DFT)的高通量计算被广泛执行,以发现用于各种应用的潜在新材料。在这里,我们提出了一个生成材料设计管道,即材料Transformer发电机(MTG),用于大规模发现假设的2D材料。我们训练两个二维材料成分生成器使用自学习神经语言模型的基础上Transformers与和没有转移学习。然后使用这些模型来生成大量的候选2D成分,这些成分被馈送到已知的2D材料模板中用于晶体结构预测。接下来,我们进行了DFT计算,研究他们的热力学稳定性的基础上,能量以上的船体和形成能。我们报告了四种新的DFT验证的稳定的二维材料,具有零e-above-hull能量,包括NiCl $_4$,IrSBr,CuBr $_3$和CoBrCl。因此,我们的工作证明了我们的MTG生成材料设计管道在发现新型2D材料和其他功能材料方面的潜力。
2023-01-14 cond-mat.mtrl-sci cs.LG
Extreme Precipitation Nowcasting using Transformer-based Generative Models
Delft University of Technology(代尔夫特理工大学);Deltares(三角洲研究院)
针对现有模型难以捕捉极端降水的问题,提出带EVL正则化的NowcastingGPT模型,基于KNMI数据集验证其在短期降水临近预报、尤其极端事件预测上的性能优势,并开源代码。
2024-03-06 cs.AI cs.LG
ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing
Adobe Research(奥多比研究院);Carnegie Mellon University(卡内基梅隆大学);Argo AI(阿尔戈人工智能公司)
我们解决的问题,找到现实的几何校正的前景对象,使它看起来自然合成到一个背景图像。为了实现这一目标,我们提出了一种新的生成对抗网络(GAN)架构,该架构利用空间Transformer网络(STNs)作为生成器,我们称之为空间Transformer GANs(ST-GANs)。ST-GAN通过在几何扭曲参数空间中操作来寻求图像真实感。特别是,我们利用了一个迭代的扭曲方案,并提出了一个顺序的训练策略,实现了更好的结果相比,一个单一的发电机天真的训练。ST-GAN的主要优点之一是其间接适用于高分辨率图像,因为预测的扭曲参数在参考帧之间是可转移的。我们在两个应用中展示了我们的方法:(1)可视化室内家具(例如,从产品图像)在房间中的感知方式,(2)当与真实肖像匹配时,眼镜等配件的外观会产生幻觉。
2018-03-05 cs.CV cs.LG
Contrastive Triple Extraction with Generative Transformer
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
三元抽取是信息抽取中自然语言处理和知识图谱构建的一项重要任务。在本文中,我们重新审视了端到端的三重提取任务的序列生成。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新的模型,具有生成Transformer的对比三元组提取。具体来说,我们引入了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了生成可靠的结果,我们提出了一种新的三元组对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,分批动态注意力掩蔽和三重校准)。三个数据集(即,NYT,WebNLG和MIE)表明,我们的方法比基线实现了更好的性能。
2022-07-21 cs.AI cs.CL cs.DB
GTAC: A Generative Transformer for Approximate Circuits
Global College, Shanghai Jiao Tong University, Shanghai, China(上海交通大学全球学院)
本文提出GTAC,一种端到端的生成式近似逻辑综合框架,通过生成核心和不可约编码提升电路设计效率,实现延迟和门数的显著降低。
2026-04-26 cs.AI cs.AR cs.LG
Generative Chemical Transformer: Neural Machine Learning of Molecular Geometric Structures from Chemical Language via Attention
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
发现更适合特定用途的新材料是提高人类生活质量的一个重要问题。在这里,提出了一种基于对化学语言的深刻理解来创建满足某些期望条件的分子的神经网络(生成化学Transformer,GCT)。GCT中的注意力机制使我们能够超越化学语言本身的局限性,对分子结构有更深层次的理解。通过对生成分子质量的定量评价,研究了语言模型在反分子设计问题中的意义。GCT生成高度逼真的化学字符串,满足化学和语言语法规则。从生成的字符串中解析出的分子同时满足多个目标属性,并且针对单个条件集而变化。这些进展将有助于通过加速所需材料发现的过程来改善人类生活质量。
2021-12-03 cs.LG physics.chem-ph
A Generative Model for Raw Audio Using Transformer Architectures
Stanford University(斯坦福大学)
提出了一种利用Transformer结构在波形级进行音频合成的新方法。我们提出了一个用于生成波形的深度神经网络,类似于waveNet。这是完全概率的、自回归的和因果的,即生成的每个样本仅取决于先前观察到的样本。我们的方法在预测下一步的类似数据集上比广泛使用的wavenet架构高出9%。使用注意力机制,我们使架构能够学习哪些音频样本对于未来样本的预测是重要的。我们展示了因果Transformer生成模型如何用于原始波形合成。我们还表明,通过在更广泛的背景下调节样本,这种性能可以再提高2%。当前模型从潜在表示合成音频的灵活性表明了大量的潜在应用。然而,使用生成式Transformer架构进行原始音频合成的新颖方法仍然远离生成任何有意义的音乐,而不使用潜在代码/元数据来辅助生成过程。
2021-07-08 cs.AI cs.LG cs.MM
Graph Generative Pre-trained Transformer
Tufts University(塔夫茨大学);Northeastern University(东北大学);Cornell University(康奈尔大学)
本文提出图生成预训练Transformer(G2PT),将图表示为节点集和边集序列,通过自回归下一token预测学习图结构,并在通用图和分子生成及下游任务中展现出优越性能和适应性。
2025-06-03 cs.AI cs.LG
Fourier Transformers for Latent Crystallographic Diffusion and Generative Modeling
CRIL UMR 8188, Universit\'e d'Artois, CNRS, France
本文提出一种基于傅里叶变换的生成模型,用于高效生成具有周期性和对称性的晶体结构,通过潜在扩散模型在压缩空间中实现高精度重建和生成。
2026-02-12 cs.AI cs.LG
Trie-Aware Transformers for Generative Recommendation
Zhejiang University(浙江大学)
TrieRec通过引入基于Trie的结构归纳偏差,改进生成推荐中的自回归建模,提升推荐效果。
2026-02-25 cs.IR cs.LG
Crystal Transformer: Self-learning neural language model for Generative and Tinkering Design of Materials
University of South Carolina(南卡罗来纳大学)
自监督神经语言模型最近取得了前所未有的成功,从自然语言处理到学习生物序列和有机分子的语言。这些模型在蛋白质和分子的生成、结构分类和功能预测方面表现出优异的性能。然而,大多数基于掩蔽的预训练语言模型并不是为生成设计而设计的,它们的黑盒性质使得很难解释它们的设计逻辑。在这里,我们提出了BLMM晶体Transformer,基于神经网络的概率生成模型的生成和修补设计的无机材料。我们的模型建立在用于文本生成的空白填充语言模型上,在学习“材料语法”以及高质量的生成,可解释性和数据效率方面表现出独特的优势。它可以产生化学有效的材料组合物,具有高达89.7%的电中性和84.8%的平衡电负性,与伪随机采样基线相比,这是4倍和8倍以上。BLMM的概率生成过程允许它根据所学的材料化学推荐修补操作,并使其对材料掺杂有用。结合TCSP晶体结构预测算法,我们应用我们的模型发现了一组新材料,并通过DFT计算进行了验证。因此,我们的工作带来了无监督的Transformer语言模型为基础的生成人工智能的无机材料。已经为计算材料掺杂开发了一个用户友好的网络应用程序,可以在\url{www.materialsatlas.org/blmtinker}上免费访问。
2022-04-25 cond-mat.mtrl-sci cs.LG
Advancements in Generative AI: A Comprehensive Review of GANs, GPT, Autoencoders, Diffusion Model, and Transformers
Bowie State University(鲍伊州立大学);Morgan State University(摩根州立大学);University of the District of Columbia(哥伦比亚特区大学)
本文系统综述了以ChatGPT为代表的生成式AI进展,涵盖GAN、GPT、自编码器、扩散模型和Transformer等核心模型,分析其多样化任务能力、面临的挑战及未来前景。
2023-11-21 cs.AI cs.LG
TurboViT: Generating Fast Vision Transformers via Generative Architecture Search
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI
本研究针对视觉Transformer结构与计算复杂度高、难部署的问题,通过生成式架构搜索构建了基于掩码单元注意力与Q池化的TurboViT,在ImageNet-1K上实现准确率与效率的更优平衡,适配高吞吐量场景。
2023-08-22 cs.AI cs.CV cs.LG
All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Fundamental AI Research (FAIR) at Meta(Meta 基础人工智能研究);University of Cambridge(剑桥大学);MIT(麻省理工学院)
本文提出全原子扩散Transformer(ADiT),一个统一潜扩散框架,用同一模型联合生成分子和材料,在多个数据集上达到最先进性能,并支持大规模扩展。
2025-05-22 cs.AI cs.LG
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo(滑铁卢大学)
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性,符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年,但基于深度学习的方法相对较新,是一个活跃的研究领域。在这项工作中,我们提出了SymbolicGPT,一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点,包括性能和灵活性方面的优势。通过全面的实验,我们表明,我们的模型表现强劲的竞争模型的准确性,运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology(佐治亚理工学院)
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而,用于层间映射空间(aka层融合映射空间)的映射器很少被讨论。在这项工作中,我们提出了一个映射器,DNNFuser,专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器,但据我们所知,这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构,将层融合优化作为序列建模问题进行学习。此外,经过训练的DNNFuser可以概括其知识,并为看不见的条件推断新的解决方案。在一次推理过程中,DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案,同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
MAGVLT: Masked Generative Vision-and-Language Transformer
Korea University(高丽大学);Kakao Brain
虽然已经利用大规模成对数据集积极开发了多模态图像-文本数据的生成建模,但是通过单个模型而不是以另一模态为条件的一个固定模态的生成来生成图像和文本数据的尝试有限。在本文中,我们探讨了一个统一的生成视觉和语言(VL)模型,可以产生图像和文本序列。特别地,我们提出了一种基于非自回归掩模预测的生成VL Transformer,称为MAGVLT,并将其与自回归生成VL Transformer(ARGVLT)进行了比较。与ARGVLT相比,所提出的MAGVLT能够实现双向上下文编码,通过迭代细化中的并行令牌预测进行快速解码,以及扩展的编辑功能,例如图像和文本填充。为了从头开始使用图像-文本对严格训练我们的MAGVLT,我们结合了图像到文本,文本到图像以及联合图像和文本掩码预测任务。此外,我们设计了两个额外的任务的基础上的步骤展开掩模预测和选择性预测的混合物的两个图像-文本对。各种下游生成任务的VL基准测试的实验结果表明,我们的MAGVLT优于ARGVLT的大幅利润,即使有显着的推理加速。特别是,MAGVLT实现了竞争力的结果zero-shot图像到文本和文本到图像生成任务从MS-COCO的一个中等大小的模型(小于500 M参数),即使没有使用单峰数据和网络。
2023-03-21 cs.CL cs.CV cs.LG
What Makes Graph Unified? Principles and Generative Sliding-Window Transformer for Graph Foundation Models
本研究提炼出跨领域图特征统一的四项要求,提出基于拓扑感知滑动窗口特征编码与生成式重构的图基础模型SliGFM,以实现异质节点特征的有效统一与跨领域知识迁移。
2026-07-31 cs.LG
Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出ESGPT开源库,简化连续时间复杂事件序列上生成式预训练Transformer的构建与评估,支持灵活数据配置、因果建模及少样本/零样本性能评估。
2023-06-21 cs.LG
DDxT: Deep Generative Transformer Models for Differential Diagnosis
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Booz Allen Hamilton(博思艾伦汉密尔顿公司);Laboratory for Physical Sciences(物理科学实验室)
本文提出基于Transformer的生成式鉴别诊断模型DDxT,通过监督与自监督学习替代强化学习,在DDXPlus数据集上大幅超越此前RL方法,显著提升诊断准确率与F1分数。
2023-12-02 cs.AI cs.LG
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);NeuralMagic(神经魔法公司)
生成式预训练的Transformer模型,称为GPT或OPT,通过在复杂语言建模任务中的突破性性能,以及极高的计算和存储成本,使自己脱颖而出。具体而言,由于其庞大的尺寸,即使是大型,高精度GPT模型的推理也可能需要多个高性能GPU,这限制了此类模型的可用性。虽然通过模型压缩缓解这种压力的工作正在兴起,但现有压缩技术的适用性和性能受到GPT模型的规模和复杂性的限制。在本文中,我们解决这个挑战,并提出GPTQ,一个新的单次权重量化方法的基础上近似二阶信息,这是高精度和高效率。具体来说,GPTQ可以在大约4个GPU小时内使用1750亿个参数对GPT模型进行优化,将位宽降低到每权重3或4位,相对于未压缩的基线,精度下降可以忽略不计。相对于之前提出的单次量化方法,我们的方法将压缩增益提高了一倍多,保持了准确性,使我们首次能够在单个GPU内执行1750亿个参数模型,以进行生成推理。此外,我们还表明,我们的方法仍然可以提供合理的精度在极端的量化制度,其中权重被量化到2位,甚至三进制量化水平。我们的实验表明,这些改进可以利用FP16的端到端推理加速,当使用高端GPU(NVIDIA A100)时约为3.25倍,当使用更具成本效益的GPU(NVIDIA A6000)时约为4.5倍。该实现可在https://github.com/IST-DASLab/gptq上获得。
2023-03-22 cs.LG
Generative Pre-Trained Transformer for Cardiac Abnormality Detection
Swiss Center for Electronics and Microtechnology (CSEM SA)(瑞士电子与微技术中心)
心搏分类在心律失常的诊断中起着至关重要的作用。Physionet/CinC 2021挑战赛的目标是根据12、6、4、3或2导联ECG记录对临床诊断进行准确分类,以帮助医生诊断不同的心脏疾病。Transformers在过去的几年里在自然语言处理领域取得了巨大的成功。我们的团队CinCSEM提出,通过将重复的周期视为单词,将整个信号视为这些单词的序列,来绘制文本和周期时间序列信号之间的平行关系。以这种方式,Transformers的注意力机制可以应用于周期性时间序列信号。在我们的实现中,我们遵循Transformer Encoder架构,该架构将几个编码器层与密集层结合起来,分别用于生成预训练或分类。这里介绍的用例是挑战共享的ECG记录的心跳异常的多标签分类。我们最好的参赛作品,没有超过挑战的硬件限制,分别在12导联、6导联、4导联、3导联和2导联测试集上获得了0.12、0.07、0.10、0.10和0.07的分数。不幸的是,我们的团队无法排名,因为缺少预印。
2021-10-07 cs.LG eess.SP
Efficient Remote Sensing Segmentation With Generative Adversarial Transformer
University of Electronic Science and Technology of China(电子科技大学);Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
针对高分割精度的深度学习网络过重难以部署在嵌入式设备的问题,提出结合结构相似度损失优化的高效生成对抗Transformer GATrans,在Vaihingen数据集上实现高精度遥感语义分割且模型尺寸极小。
2023-10-02 cs.CV cs.LG eess.IV
LLamol: A Dynamic Multi-Conditional Generative Transformer for De Novo Molecular Design
Fraunhofer SCAI(弗劳恩霍夫算法与科学计算研究所)
本文提出基于LLama 2架构的生成式Transformer模型LLamol,通过引入随机上下文学习训练程序,在1300万有机化合物数据集上实现了支持最多四个条件的动态多条件分子生成,为从头分子设计提供了灵活且易于扩展的强大工具。
2023-11-24 cs.AI cs.LG physics.chem-ph
A Hybrid Model for Traffic Incident Detection based on Generative Adversarial Networks and Transformer Model
University of Shanghai for Science and Technology(上海理工大学);Capital One(第一资本)
针对交通事件检测中数据获取困难与类别不平衡问题,提出融合 Transformer 和 GANs 的混合模型,并在四个真实数据集上验证其检测性能提升。
2024-03-02 cs.AI cs.LG
TTS-GAN: A Transformer-based Time-Series Generative Adversarial Network
Texas State University(德克萨斯州立大学)
以时间序列形式出现的信号测量是医学机器学习应用中最常见的数据类型之一。然而,这样的数据集通常很小,使得深度神经网络架构的训练无效。对于时间序列,我们可以用来扩展数据集大小的一套数据增强技巧受到保持信号基本属性的需要的限制。生成对抗网络(GAN)生成的数据可以用作另一种数据增强工具。基于RNN的GANs的缺点是它们不能有效地对具有不规则时间关系的长序列数据点进行建模。为了解决这些问题,我们介绍了TTS-GAN,一个基于变换的GAN,它可以成功地产生现实的合成时间序列的数据序列的任意长度,类似于真实的。GAN模型的生成器和卷积网络都使用纯Transformer编码器架构构建。我们使用可视化和降维技术来展示真实和生成的时间序列数据的相似性。我们还比较了我们生成的数据的质量与现有的最佳替代方案,这是一个基于RNN的时间序列GAN。
2022-06-26 cs.AI cs.LG
Generative Inverse Design of Crystal Structures via Diffusion Models with Transformers
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所)
本文提出一种以 Transformer 为骨干的新型扩散模型,用于晶体结构生成式逆向设计,实验表明其在按目标属性生成结构方面优于既有方法,且最优条件化策略依赖数据集。
2024-06-14 cond-mat.mtrl-sci cs.LG
Materials Transformers Language Models for Generative Materials Design: a benchmark study
University of South Carolina(南卡罗来纳大学);University of Colombo(科伦坡大学)
在大型未标记语料库上预训练的Transformer语言模型在自然语言处理、有机分子设计和蛋白质序列生成方面产生了最先进的结果。然而,没有这样的模型已被应用于学习无机材料的组成模式。在这里,我们训练了一系列七个现代Transformer语言模型(GPT、GPT-2、GPT-Neo、GPT-J、BLMM、BART和RoBERTa),使用的是ICSD、OQMD和Materials Projects数据库中存储的材料的扩展公式。六个不同的数据集与/出非电中性或平衡电负性样本被用来基准的性能和揭示现代Transformer模型的生成偏差的材料成分的生成设计。我们的大量实验表明,基于因果语言模型的材料Transformers可以生成高达97.54%的电荷中性和91.40%的电负性平衡的化学有效材料成分,与基线伪随机采样算法相比,其富集度高出6倍以上。这些模型也表现出很高的新颖性,它们在新材料发现中的潜力已被它们回收遗留材料的能力所证明。我们还发现,生成的样本的属性可以通过使用选定的训练集(如高带隙材料)训练模型来定制。我们的实验还表明,不同的模型都有自己的偏好,在生成的样本的属性和他们的运行时间复杂度有很大的差异。我们应用我们的材料Transformer模型发现了一组新材料,并使用DFT计算进行了验证。
2022-06-27 cond-mat.mtrl-sci cs.LG
Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers
York University(约克大学);Dialpad Canada Inc.(Dialpad加拿大公司)
本文首次全面评估ChatGPT在生物医学领域的性能,发现其在小训练集生物医学数据集上的零样本表现优于现有最优微调生成式Transformer模型,可为缺标注数据的生物医学任务提供新工具。
2023-08-24 cs.CL cs.LG
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题,提出无需训练的对比注意力引导方法UNCAGE,利用注意力图优先去掩码清晰对象令牌,提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
Transformer-based conditional generative adversarial network for multivariate time series generation
时间相关数据的条件生成是一项非常有趣的任务,无论是用于数据增强、情景模拟、完成缺失数据还是其他目的。最近的工作提出了一种基于转换器的时间序列生成对抗网络(TTS-GAN),以解决递归神经网络的局限性。然而,该模型假设单峰分布,并试图围绕真实数据分布的期望生成样本。它的一个局限性是它可能生成一个随机的多变量时间序列;它可能无法在整体分布中存在多个子分量的情况下生成样本。人们可以训练模型来分别适应每个子组件,以克服这种限制。我们的工作扩展了TTS-GAN,通过在特定的编码上下文上调节其生成的输出,允许使用一个模型来拟合具有多个子分量的混合分布。从技术上讲,它是一种条件生成对抗网络,可以在不同类型的条件下对现实的多变量时间序列进行建模,例如分类变量或多变量时间序列。我们在UniMiB数据集上评估我们的模型,该数据集包含使用智能手机收集的人类活动XYZ轴的加速度数据。我们使用定性评估和定量指标,如主成分分析(PCA),我们引入了一个修改版本的弗雷歇初始距离(FID)来衡量我们的模型的性能和生成的和真实的数据分布之间的统计相似性。我们表明,这种基于变换的CGAN可以在不同的条件下产生现实的高维和长的数据序列。
2022-10-05 cs.AI cs.LG
Induced Generative Adversarial Particle Transformers
Fermi National Accelerator Laboratory(费米国家加速器实验室);University of California, San Diego(加州大学圣地亚哥分校)
本文提出 iGAPT,通过诱导粒子注意力块和全局喷流属性条件实现线性复杂度,并在多项指标上超越 MPGAN,可高效精确模拟复杂高能物理碰撞数据。
2023-12-08 cs.LG hep-ex physics.data-an
Transformers for scientific data: a pedagogical review for astronomers
University of Pennsylvania(宾夕法尼亚大学)
本文是一篇面向科学家的教学性综述,介绍了ChatGPT等生成式AI背后的transformers架构及其自注意力机制,并涵盖其数学基础、原始架构及在天文学时间序列与成像数据中的应用。
2023-10-19 astro-ph.IM cs.LG