Task-Agnostic Contrastive Pretraining for Relational Deep Learning
Czech Technical University in Prague(捷克技术大学布拉格分校)
本文提出一种任务无关的对比预训练方法,通过三层对比目标提升关系数据的表示学习,实验表明预训练模型在关系数据迁移学习中表现优异。
2025-06-27 cs.DB cs.LG
Pretraining on the Test Set Is All You Need
本文提出仅用评估基准数据(不到10万token)预训练100万参数模型phi-CTNL,在多个学术基准上取得完美结果并超越所有已知基础模型,同时打破幂律缩放并展现预测基准金丝雀样本的能力。
2023-09-13 cs.AI cs.CL
Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data
SAP Labs, LLC.(思爱普实验室有限责任公司)
该研究针对关系型PFN预训练,发现采用PluRel作为合成数据源,渐进式课程设计可大幅减少所需合成数据量,且其性能接近专用关系型管线,凸显课程设计与合成数据多样性的关键作用。
2026-08-03 cs.DB cs.LG
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
University of Bern(伯尔尼大学)
针对MLLM中视觉编码器与自回归LLM的语义接口差距,提出MedMLIP框架,通过报告生成预训练视觉编码器并采用局部关系蒸馏避免视觉崩溃,实验证明跨LLM迁移的有效性。
2026-09-22 cs.AI
PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models
Stanford University(斯坦福大学);SAP Labs LLC(SAP实验室)
PluRel通过合成多表关系数据库,实现了关系基础模型在扩展定律上的突破,展示了合成数据在提升模型泛化能力方面的潜力。
2026-07-15 cs.AI cs.DB cs.LG
When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior
Lexsi Labs
本研究通过数据归因方法,发现合成预训练数据中跨表信息的预测必要性促使关系模型学习关系机制,RelDiff因外键链接增益最大而表现最佳,干预实验验证了其因果作用。
2026-10-05 cs.LG
Relational Graph Transformer
Stanford University(斯坦福大学);NVIDIA
RelGT通过新颖的多元素分词策略,解决关系图中异构性、时效性和拓扑结构的编码问题,实现对关系数据的高效建模,优于GNN基线。
2026-02-05 cs.AI cs.DB cs.LG
Temporal Heterogeneous Graph Pretraining for Relational Deep Learning
RWTH Aachen University(亚琛工业大学);Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所)
针对关系深度学习中的时序异构图,提出结合多尺度与旋转时间编码及三目标自监督的两阶段预训练框架,在RelBench数据集上显著提升下游任务性能。
2026-09-29 cs.LG
Flaky Performances when Pretraining on Relational Databases
ServiceNow Research(ServiceNow研究院)
我们探讨了图神经网络(GNN)自监督学习(SSL)方法的下游任务性能,这些方法是在从关系数据库(RDBs)中提取的子图上训练的。直观地说,SSL和GNN的联合使用应该允许利用更多的可用数据,这可以转化为更好的结果。然而,我们发现,天真地移植对比SSL技术可能会导致“负转移”:对来自预训练模型的固定表示的线性评估比随机初始化模型的表示更差。基于对比SSL的GNN的消息传递层的冲突的猜想,我们提出了InfoNode:一个对比损失,旨在最大限度地提高节点的初始和最终层表示之间的互信息。主要的实证结果支持我们的猜想和有效性的InfoNode。
2022-11-09 cs.LG stat.ML
PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining
该研究将合成关系数据库生成器PluRel作为RDB-PFN的外部预训练数据源,通过三种课程策略对比,发现模式优先引导策略仅用少量数据即可恢复RDB-PFN近94%的性能,证实早期接触真实模式的有效性。
2026-08-03 cs.LG
Griffin: Towards a Graph-Centric Relational Database Foundation Model
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Amazon Web Services(亚马逊网络服务)
本研究提出首个专门面向关系数据库的图中心基础模型Griffin,通过统一编解码架构、交叉注意力模块等创新组件及多数据集预训练,在超1.5亿节点的多领域图任务上性能优异,低数据场景和迁移能力突出。
2025-06-11 cs.AI cs.DB cs.LG
Relational Attention: Generalizing Transformers for Graph-Structured Tasks
Rice University(莱斯大学);Microsoft Research(微软研究院)
Transformers在表示任务特定实体及其属性的实值向量集上灵活地操作,其中每个向量可以编码一个单词段标记及其在序列中的位置,或者编码一些根本不携带位置的信息段。但作为集合处理器,Transformers在对更一般的图结构数据进行推理时处于劣势,其中节点表示实体,边表示实体之间的关系。为了解决这个缺点,我们概括了Transformer的注意力,以考虑和更新每个Transformer层中的边缘向量。我们评估这种关系的Transformer上的一系列不同的图形结构的任务,包括大型和具有挑战性的CLRS数学推理基准。在那里,它大大优于最先进的图神经网络,专门设计用于对图结构数据进行推理。我们的分析表明,这些收益是由于关系注意力的内在能力,利用更大的表现力的图形集。
2023-03-10 cs.AI cs.LG
Gaussian Relational Graph Transformer
School of Artificial Intelligence and Data Science, University of Science and Technology of China(中国科学技术大学人工智能与数据科学学院);School of Biomedical Engineering, USTC(中国科学技术大学生物医学工程学院);Data Darkness Lab, Suzhou Institute for Advanced Research, USTC(中国科学技术大学苏州市先进研究机构数据暗室);Chinese Academy of Sciences(中国科学院)
本文提出GelGT,通过结构-语义协作采样和高斯图注意力机制,解决关系图模型中长距离依赖和多信息联合建模问题,实验显示在多个真实数据集上达到最先进的预测性能。
2026-09-29 cs.DB cs.LG
SMART: Self-supervised Multi-task pretrAining with contRol Transformers
University of Maryland(马里兰大学);Microsoft(微软)
自监督预训练在语言和视觉领域得到了广泛的研究,其中统一的模型可以通过预训练没有显式标签的表示来轻松适应各种下游任务。然而,当涉及到顺序决策任务时,很难正确设计这样一种预训练方法,既可以处理高维感知信息,又可以处理长交互范围内顺序控制的复杂性。如果我们想预训练能够适应各种任务的表示,那么挑战在组合上变得更加复杂。为了解决这个问题,在这项工作中,我们制定了一个通用的预训练,微调管道顺序决策,在此基础上,我们提出了一个通用的预训练框架\textit{Self-supervised Multi-task pretrAining with contRol Transformer (SMART)}。通过系统地研究预训练机制,我们精心设计了一个控制Transformer(CT)加上一个新的控制为中心的预训练目标在一个自我监督的方式。SMART鼓励代表捕获与短期控制和长期控制相关的共同基本信息,这些信息可以在任务之间转移。我们通过在DeepMind Control Suite中的大量实验表明,SMART在不同的学习场景下,包括模仿学习(IL)和强化学习(RL),显着提高了可见和不可见下游任务和领域的学习效率。受益于所提出的以控制为中心的目标,SMART对预训练和微调之间的分布偏移具有弹性,甚至可以很好地处理随机收集的低质量预训练数据集。
2023-01-24 cs.AI cs.LG
Identifiability of Relational Queries in Multi-View Pretraining
University of Stuttgart, Germany(斯图加特大学,德国);Analytic Computing, KI, University of Stuttgart(斯图加特大学分析计算与人工智能研究所)
研究数据集成中查询可识别性问题,通过形式化接口定律下的查询可识别性,证明多项式时间证书CheckCert可判定、不可识别查询有误差下限、最小增强算法Greedy-MinAug可找最小接口集,实验验证了算法效果。
2026-07-07 cs.DB cs.LG
Transformers Meet Relational Databases
Department of Computer Science, Czech Technical University in Prague(计算机科学系,布拉格捷克技术大学)
针对 Transformer 难以处理关系数据库的问题,本文提出遵循关系模型的模块化神经消息传递方案,支持从数据库存储端到端学习,并在广泛数据集上验证其性能优于多个相关领域的代表性模型。
2024-12-06 cs.DB cs.LG
Generative Pretraining at Scale: Transformer-Based Encoding of Transactional Behavior for Fraud Detection
Tencent(腾讯)
本文提出一种基于GPT架构的自回归模型,通过无监督预训练和差分卷积方法,有效解决令牌爆炸并重构行为序列,用于支付系统欺诈检测,在中国最大在线支付商户中展现出高安全性和广泛适用性。
2023-12-22 cs.AI cs.LG
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
Yale University(耶鲁大学);UCLA(加利福尼亚大学洛杉矶分校);Princeton University(普林斯顿大学)
该研究提出含关系交叉注意力的Abstractor模块扩展Transformer,通过解耦关系与对象特征实现显式关系推理,在多类任务上提升了性能与样本效率。
2024-04-12 cs.LG stat.ML
Few-shot Relational Reasoning via Connection Subgraph Pretraining
Stanford University(斯坦福大学)
Few-Shot知识图谱(KG)完成任务旨在对KG执行归纳推理:仅给定新关系$\bowtie$的几个支持三元组(例如,(chop,$\bowtie$,kitchen),(read,$\bowtie$,library),目标是预测相同的不可见关系$\bowtie$的查询三元组,例如,(sleep,$\bowtie$,?).当前的方法将问题投射在元学习框架中,其中模型需要首先在许多训练Few-Shot任务上进行联合训练,每个训练任务由其自身的关系定义,使得对目标Few-Shot任务的学习/预测可以是有效的。然而,在现实世界的幼儿园,策划许多培训任务是一个具有挑战性的特设过程。在这里,我们提出了连接子图推理器(CSR),它可以直接对目标Few-Shot任务进行预测,而不需要对人工策划的训练任务集进行预训练。CSR的关键是,我们显式地建模支持和查询三元组之间的共享连接子图,消除归纳法的原则的启发。为了适应特定的KG,我们设计了相应的自监督预训练方案,目标是自动重建采样的连接子图。然后,我们的预训练模型可以直接应用于目标Few-Shot任务,而不需要训练Few-Shot任务。在NELL、FB 15 K-237和ConceptNet等真实KG上的大量实验证明了该框架的有效性:我们表明,即使是无学习的CSR实现,在目标Few-Shot任务上也可以与现有方法竞争;通过预训练,CSR可以在更具挑战性…
2022-10-13 cs.AI cs.CL cs.LG
Disentangling and Integrating Relational and Sensory Information in Transformer Architectures
Yale University(耶鲁大学);Wu Tsai Institute, Yale University(耶鲁大学吴莎研究所)
针对Transformer缺乏显式关系信息处理机制的问题,提出双注意力Transformer(DAT),通过感官注意力和关系注意力分别处理两类信息,在合成基准及语言建模、视觉任务上显著提升数据与参数效率。
2025-06-20 cs.LG
RelGT-AC: A Relational Graph Transformer for Autocomplete Tasks in Relational Databases
Appsofa LLC(Appsofa公司)
提出RelGT-AC模型,通过列掩码策略、统一任务头和TF-IDF文本编码器,在关系数据库的自动完成任务上优于GraphSAGE基线。
2026-06-02 cs.AI cs.LG
Representation Learning on Hyper-Relational and Numeric Knowledge Graphs with Transformers
School of Computing, KAIST(韩国科学技术院计算机学院)
针对含数值的超关系知识图谱表示问题,提出HyNT统一框架,通过上下文与预测Transformer结合关联和数值信息学习表示,降低计算成本,可预测缺失实体、关系及数值,性能优于现有最优方法。
2024-10-05 cs.AI cs.LG
REaLTabFormer: Generating Realistic Relational and Tabular Data using Transformers
The World Bank(世界银行)
表格数据是组织数据的常见形式。多个模型可用于生成观测独立的合成表格数据集,但很少有模型能够生成关系数据集。对关系数据进行建模具有挑战性,因为它需要对“父”表及其跨表的关系进行建模。我们介绍REaLTabFormer(Realistic Relational and Tabular Transformer),一个表格和关系的合成数据生成模型。它首先使用自回归GPT-2模型创建父表,然后使用序列到序列(Seq 2Seq)模型生成以父表为条件的关系数据集。我们实现了目标屏蔽,以防止数据复制,并提出了$Q_δ$统计和统计自举检测过拟合。使用真实世界数据集的实验表明,REaLTabFormer比基线模型更好地捕捉关系结构。REaLTabFormer还可以在预测任务上实现最先进的结果,“开箱即用”,用于大型非关系数据集,而无需微调。
2023-02-04 cs.LG
AdPE: Adversarial Positional Embeddings for Pretraining Vision Transformers via MAE+
Purdue University(普渡大学);Amazon AWS AI Labs(亚马逊AWS人工智能实验室);OPPO US Research Center(OPPO美国研究中心)
视觉Transformer的无监督学习试图通过没有标签的借口任务来预训练编码器。其中之一是Masked Image Modeling(MIM),它通过预测掩码补丁作为借口任务,与语言Transformers的预训练保持一致。无监督预训练中的一个标准是,托词任务需要足够困难,以防止Transformer编码器学习不能很好地推广到下游任务的琐碎低级特征。为此,我们提出了一种对抗性位置嵌入(AdPE)方法--它通过扰动位置编码来扭曲局部视觉结构,使得学习的Transformer不能简单地使用局部相关的补丁来预测丢失的补丁。我们假设它迫使Transformer编码器在全局上下文中学习更多的判别特征,并具有更强的下游任务的泛化能力。我们将考虑绝对和相对位置编码,其中可以在嵌入模式和坐标模式中施加对抗位置。我们还将提出一个新的MAE+基线,使MIM预训练的性能与AdPE达到一个新的水平。实验结果表明,在Imagenet 1 K上对ViT-B和ViT-L进行1600次预训练后,我们的方法可以通过$0.8\%$和$0.4\%$提高MAE的微调精度。对于迁移学习任务,它的性能优于具有ViT-B主干的MAE,分别是ADE 20 K上mIoU中的$2.6\%$,以及COCO上AP $^{bbox}$中的$3.2\%$和AP $^{mask}$中的$1.6\%$。这些结果是通过AdPE获得的,AdPE是一…
2023-03-14 cs.AI cs.CV cs.LG
Integrating Temporal and Structural Context in Graph Transformers for Relational Deep Learning
University of Pennsylvania(宾夕法尼亚大学);SAP(SAP公司)
本文针对关系数据建模中时间信息利用不足和单任务限制问题,提出时间子图采样器和关系图感知器RGP,通过潜在瓶颈整合时空上下文并支持多任务联合学习,在多个基准上取得最优性能。
2025-11-06 cs.AI cs.LG
Pretraining Graph Transformers with Atom-in-a-Molecule Quantum Properties for Improved ADMET Modeling
University of Luxembourg(卢森堡大学)
本文评估了在原子级量子力学特征上预训练 Graph Transformer 对类药化合物 ADMET 建模的影响,发现该策略优于分子量子性质和自监督掩码预训练,能捕获更多低频拉普拉斯特征模态并生成更好的原子环境表示,且在大规模制药数据上表现出良好的泛化性。
2024-10-10 cs.AI cs.LG
MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction
School of Integrated Technology (SIT), Gwangju Institute of Science and Technology (GIST)(光州科学技术院集成技术学院(SIT))
本文提出多尺度关系Transformer网络MART,通过超图Transformer编码器和自适应群体估计器建模个体与群体关系,在多智能体轨迹预测任务上取得最先进性能。
2024-07-31 cs.LG
Dynamic Relational Priming Improves Transformer in Multivariate Time Series
Department of Computer Science, Southern Methodist University, Dallas TX USA(计算机科学系,南方 Methodist 大学,德克萨斯州达拉斯)
提出动态关系先验注意力机制(prime attention),通过为每个token对动态调整表示,有效捕捉多变量时间序列中异构的通道间依赖关系,在保持相同计算复杂度下提升预测精度达6.5%。
2026-10-26 cs.AI cs.LG
XTab: Cross-table Pretraining for Tabular Transformers
EPFL(洛桑联邦理工学院);Cornell University(康奈尔大学);Boson AI(玻色人工智能);Amazon Web Services(亚马逊云科技)
XTab提出跨表预训练框架,利用独立特征化器与联邦学习解决列不一致问题,在84个任务上提升表格Transformer的泛化、速度与性能,并超越其他先进模型。
2023-05-10 cs.LG
Billion-Scale Pretraining with Vision Transformers for Multi-Task Visual Representations
Pinterest(品趣志)
视觉表示的大规模预训练已经在一系列基准计算机视觉任务上实现了最先进的性能,但这些技术在复杂生产系统中的极端规模的好处相对未被探索。我们考虑流行的视觉发现产品的情况,其中这些表示是用多任务学习训练的,从特定于用例的视觉理解(例如肤色分类)到所有视觉内容的一般表示学习(例如用于检索的嵌入)。在这项工作中,我们描述了我们如何(1)通过大型弱监督预训练生成一个包含超过10亿张图像的数据集,以提高这些视觉表示的性能,以及(2)利用Transformers来取代传统的卷积主干,深入了解系统和性能改进,特别是在1B+图像规模下。为了支持这个骨干模型,我们详细介绍了一个系统的方法来从异质文本信号中获得弱监督的图像注释,展示了聚类技术处理图像标签的长尾分布的好处。通过对离线和在线评估的全面研究,我们表明,大规模的基于transformer的预训练为工业计算机视觉应用提供了显着的好处。该模型被部署在一个生产视觉购物系统中,前1相关性提高了36%,点击量提高了23%。我们进行了广泛的实验,以更好地了解基于transformer的架构,数据集规模和生产视觉系统的性能之间的经验关系。
2021-08-12 cs.AI cs.CV cs.LG
ViT-2SPN: Vision Transformer-based Dual-Stream Self-Supervised Pretraining Networks for Retinal OCT Classification
The University of Arizona(亚利桑那大学);University of Arizona(亚利桑那大学)
提出ViT-2SPN框架,通过监督预训练、自监督预训练和监督微调三阶段流程,利用ViT-Base和负余弦相似度损失增强特征提取,在OCTMNIST数据集上实现高诊断准确率并优于现有方法。
2025-01-28 cs.AI cs.CV cs.LG
Inductive Relation Prediction from Relational Paths and Context with Hierarchical Transformers
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出REPORT框架,利用分层Transformer同时聚合关系路径和上下文,仅依赖关系语义实现完全归纳式关系预测,并在两个数据集上一致优于基线且具备可解释性。
2023-07-10 cs.AI cs.CL cs.LG
Supervised Pretraining Can Learn In-Context Reinforcement Learning
Stanford University(斯坦福大学);Microsoft Research(微软研究院);Google DeepMind(谷歌DeepMind)
本文提出Decision-Pretrained Transformer (DPT),通过监督预训练让模型根据查询状态和交互数据预测最优动作,使其具备上下文强化学习能力,实现贝叶斯后验采样并保证更快的收敛速度。
2023-06-26 cs.AI cs.LG
Group-Level Data Selection for Efficient Pretraining
Language Technologies Institute, Carnegie Mellon University(语言技术研究所,卡内基梅隆大学);Meta
本文提出Group-MATES,一种基于关系型数据影响模型的组级数据选择方法,通过聚类独立选择数据,在多个规模上显著提升预训练速度-质量前沿,性能增益近乎翻倍。
2025-06-20 cs.CL cs.LG
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University(名古屋大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们介绍了一种新的序列到序列(seq2seq)语音转换(VC)模型的基础上Transformer架构与文本转语音(TTS)预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络(RNN)和卷积神经网络(CNN)的seq2seq模型已成功应用于VC,但尚未研究Transformer网络的使用,该网络已在各种语音处理任务中显示出有希望的结果。尽管如此,它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此,我们提出了一种简单而有效的预训练技术,从学习的TTS模型中转移知识,这些模型受益于大规模,易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明,这样的预训练方案可以促进数据有效的训练,并在可理解性,自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
Jetfire: Efficient and Accurate Transformer Pretraining with INT8 Data Flow and Per-Block Quantization
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
提出Jetfire,一种针对Transformer的INT8全量化训练方法,通过INT8数据流和逐块量化实现与FP16相当的准确性,并带来1.42倍加速和1.49倍内存节省。
2024-07-21 cs.LG
BERT Meets Relational DB: Contextual Representations of Relational Databases
Indian Institute of Technology, Delhi(德里印度理工学院)
在本文中,我们解决的问题,学习低维表示的实体在关系数据库组成的多个表。嵌入有助于捕获数据库中编码的语义,并可用于各种设置,如表的自动完成,关系连接查询的全神经查询处理,无缝处理缺失值等。目前的工作仅限于使用单个表,或者在外部语料库上使用预训练的嵌入,这使得它们不适合在现实世界的数据库中使用。在这项工作中,我们研究如何使用这些基于注意力的模型来学习嵌入的实体在关系数据库。我们的灵感来自于BERT风格的预训练方法,并有兴趣观察它们如何在结构化数据库上扩展为表示学习。我们评估我们的方法的自动完成的关系数据库,并实现了改进的标准基线。
2021-04-30 cs.CL cs.DB cs.LG
Improving DNS Exfiltration Detection via Transformer Pretraining
School of Electrical Engineering, University of Belgrade(贝尔格莱德大学电气工程学院)
研究变换器预训练对子域级数据外泄检测的影响,通过控制流程验证预训练对分类任务的效果,结果显示在ROC曲线左尾有显著提升,尤其对抗随机初始化基线。
2026-04-09 cs.CR cs.LG
Graph-Transformer Fraud Detection with Self-Supervised Pretraining and Conformal Risk Control
JP Morgan(摩根大通)
针对企业交易网络中的协调欺诈,提出图变换器检测器GTFD,融合结构与时序证据,结合自监督预训练和保形风险控制,显著提升检测性能与鲁棒性。
2026-09-15 cs.AI cs.LG
Dual-Scale Relational Graph Transformers for Ecosystem-Aware Fraud Detection
University of Kansas(堪萨斯大学);Capital One(第一资本)
提出双尺度图变换器HERMES,联合建模局部关系与全局生态上下文,在1.3亿高风险会话上实现客户摩擦降低44.44%、欺诈召回提升24.66%。
2026-10-06 cs.AI cs.LG
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University(萨尔兰大学);Brown University(布朗大学)
本研究通过检索与复制任务,发现预训练Transformer存在归纳优于反归纳的不对称性,且该不对称性在理论保证下可经微调消除,表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
Toward Manifest Relationality in Transformers via Symmetry Reduction
University of Graz (Uni Graz)(格拉茨大学);Masaryk University (MUNI)(马萨里克大学);Mons University (UMONS)(蒙斯大学)
本文提出通过对称性减少方法,改进变换器模型以减少参数冗余并分析优化。
2026-07-22 cs.LG cs.NE hep-th
Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models
Google DeepMind(谷歌DeepMind)
本文通过受控的 $(x, f(x))$ 序列实验表明,Transformer 的上下文模型选择能力高度依赖预训练数据覆盖,域外任务会导致明显失败。
2023-11-01 cs.CL cs.LG stat.ML
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
Capital One(第一资本)
QUARTET通过因果随机游走采样和四分支交叉注意力,在局部与全局层面增强图Transformer,于RelBench v1分类任务中匹配或超越现有最先进模型。
2026-10-08 cs.AI cs.LG
TUNet: A Block-online Bandwidth Extension Model based on Transformers and Self-supervised Pretraining
FPT Software(FPT软件公司);Nanyang Technological University(南洋理工大学)
我们引入了一个块的时间特征线性调制(TFiLM)模型的在线变体,以实现带宽扩展。该架构简化了TFiLM的UNet主干以减少推理时间,并在瓶颈处采用高效的Transformer以缓解性能下降。我们还利用自监督预训练和数据增强来提高带宽扩展信号的质量,并降低对下采样方法的敏感性。在VCTK数据集上的实验结果表明,该方法在侵入性和非侵入性度量方面都优于最近的几个基线。预训练和滤波器增强也有助于稳定和提高整体性能。
2022-06-07 cs.LG cs.SD eess.AS
Mixed Sparsity Training: Achieving 4$\times$ FLOP Reduction for Transformer Pretraining
Tsinghua University(清华大学);Central South University(中南大学)
本文提出混合稀疏训练(MST)方法,通过结合动态稀疏训练、稀疏变化和混合稀疏注意力,在保持性能的同时将Transformer预训练的FLOP减少4倍。
2024-08-21 cs.LG
Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL
National University of Singapore(新加坡国立大学);Northwestern University(西北大学);Yale University(耶鲁大学)
基于置换不变智能体框架的协作多智能体自主学习(MARL)在实际应用中取得了巨大的成功。不幸的是,这个MARL问题的理论理解是缺乏的,由于许多代理人的诅咒和有限的探索关系推理在现有的作品。在本文中,我们验证了Transformer实现了复杂的关系推理,我们提出并分析了无模型和基于模型的离线MARL算法与Transformer逼近。我们证明了无模型和基于模型的算法的次优差距是独立的和对数的代理的数量分别,这减轻了许多代理的诅咒。这些结果是一种新的泛化误差界的Transformer和一种新的分析的最大似然估计(MLE)的系统动态与Transformer的后果。我们的基于模型的算法是第一个证明有效的MARL算法,明确利用置换不变性的代理。我们改进的泛化界可能是独立的利益,并适用于其他回归问题有关的Transformer超越MARL。
2022-10-16 cs.LG cs.MA stat.ML
Using Graph Algorithms to Pretrain Graph Completion Transformers
ServiceNow Research(ServiceNow研究院);Mila(米拉研究所);Samsung AI(三星人工智能中心);Polytechnique Montreal(蒙特利尔综合理工学院);Google Research(谷歌研究院)
最近关于图神经网络的研究表明,自监督预训练可以进一步提高下游图、链接和节点分类任务的性能。然而,预训练任务的有效性还没有得到充分的研究,下游大型知识图谱完成任务。使用上下文化的知识图谱嵌入方法,我们研究了五种不同的预训练信号,使用几种图算法构建,没有外部数据,以及它们的组合。我们利用基于transformer的模型的多功能性来探索图结构生成预训练任务(即路径和k-hop邻域生成),通常不适用于大多数图嵌入方法。我们进一步提出了一种新的路径查找算法引导的信息增益,并发现它是最好的预训练任务跨三个下游的知识图谱完成数据集。虽然使用我们的新的路径查找算法作为预训练信号提供了2-3%的MRR改进,我们表明,所有信号的预训练一起给出了最好的知识图谱完成结果。在结合所有预训练任务的多任务设置中,我们的方法在FB 15 K-237的所有指标上,在WN 18 RR的MRR和Hit@1上,以及在JF 17 K(知识超图数据集)的MRR和hit@10上,都超过了最新且性能强大的知识图谱嵌入方法。
2023-03-27 cs.LG
Point-RTD: Replaced Token Denoising for Pretraining Transformer Models on Point Clouds
Department of Computer Science;Engineering, University of Nevada, Reno, USA
本文提出Point-RTD预训练策略,通过损坏-重建和判别器-生成器架构对点云Token进行去噪,在ShapeNet等基准上显著优于Point-MAE,重建误差降低93%以上,分类准确率更高且收敛更快。
2025-09-21 cs.AI cs.CV cs.LG
Can LLMs Use Relational Transformer Embeddings?
Kunumi Institute(库鲁米研究所);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
本研究探索将关系Transformer嵌入作为软令牌注入大语言模型的可行性,经多任务评估发现该混合模型表现不佳,需更强对齐目标与感知模式设计才能成为关系预测可靠途径。
2026-09-02 cs.LG
FaultFormer: Pretraining Transformers for Adaptable Bearing Fault Classification
Carnegie Mellon University(卡内基梅隆大学)
提出基于transformer的自监督预训练与微调框架FaultFormer,通过tokenization和数据增强策略解决轴承故障分类中数据稀缺与泛化能力不足的问题,实现跨数据集的one-shot泛化。
2024-05-29 cs.LG eess.SP
Relphormer: Relational Graph Transformer for Knowledge Graph Representations
Zhejiang University(浙江大学);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学蚂蚁集团知识图谱联合实验室);Alibaba Group(阿里巴巴集团)
针对原始Transformer难以捕捉知识图谱异构信息的问题,提出Relphormer模型,通过Triple2Seq动态采样子图序列和结构增强自注意力机制编码关系与语义,并利用掩码知识建模在多项KG任务上取得优于基线的性能。
2023-11-21 cs.AI cs.CL cs.IR
Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);The Swiss AI Lab IDSIA / USI / SUPSI(瑞士人工智能实验室IDSIA / 瑞士意大利语大学 / 瑞士南方应用科技大学)
我们在Transformer中加入了张量积表示,以便更好地支持关系结构的显式表示。我们的Tensor-Product Transformer(TP-Transformer)在最近推出的包含56类自由形式数学应用题的数学数据集上开创了新的艺术水平。该模型的基本组成部分是一种新的注意力机制,称为TP-注意力,它明确编码每个Transformer细胞和其他细胞之间的关系,从这些细胞中的值已被检索的注意。TP-Attention超越了检索值的线性组合,加强了表征构建并解决了多层标准注意力引入的歧义。TP-Transformer的注意力地图可以更好地了解它如何能够解决数学数据集的挑战性问题。预训练的模型和代码将在发布后提供。
2020-11-04 cs.LG stat.ML
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley(加州大学伯克利分校);Salesforce AI Research(Salesforce AI研究)
本文提出理论框架,证明监督预训练的Transformer可模仿专家算法条件期望,并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法,首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG