Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients
本研究比较了文本、结构化数据和多模态方法在心力衰竭患者短期死亡预测中的表现,发现实体层面的表示能提升预测性能,而监督多模态融合表现最佳。
2026-04-02 cs.CL
Generalized Decision Transformer for Offline Hindsight Information Matching
The University of Tokyo(东京大学);Google Research(谷歌研究院)
如何从每个轨迹数据中提取尽可能多的学习信号一直是强化学习(RL)的关键问题,其中样本效率低下给实际应用带来了严重挑战。最近的工作表明,使用表达性策略函数近似器和对未来轨迹信息的条件作用-例如决策Transformer(DT)中的后见之明经验重放或返回到去的未来状态-可以有效地学习多任务策略,其中有时在线RL完全被离线行为克隆所取代,例如序列建模。我们证明了所有这些方法都在进行事后信息匹配(HIM)-训练策略,可以输出与未来状态信息的一些统计数据相匹配的其余轨迹。我们提出了广义决策Transformer(GDT)解决任何HIM问题,并显示如何不同的选择的功能和反因果聚合器不仅恢复DT作为一个特例,但也导致新的分类DT(CDT)和双向DT(BDT)匹配不同的统计数据的未来。为了评估CDT和BDT,我们定义了离线多任务状态边缘匹配(SMM)和模仿学习(IL)作为两个通用的HIM问题,提出了一个Wasserstein距离损失作为度量,并在MuJoCo连续控制基准上进行了实证研究。CDT简单地用DT中的反因果分箱替换了反因果求和,实现了第一个有效的离线多任务SMM算法,该算法可以很好地推广到看不见的甚至是合成的多模态状态特征分布。BDT使用反因果第二Transformer作为聚合器,可以学习对未来的任何统计数据进行建模,并在离线多任务IL中优于DT变体。我们从HIM和GDT的广义公式大大扩展…
2022-02-04 cs.AI cs.LG stat.ML
Sparse is Enough in Scaling Transformers
University of Warsaw(华沙大学);Google Research(谷歌研究院);OpenAI
大型Transformer模型在许多任务上都能产生令人印象深刻的结果,但训练或甚至微调都很昂贵,而且解码速度太慢,以至于它们的使用和研究变得遥不可及。我们通过利用稀疏性来解决这个问题。我们研究了Transformer中所有层的稀疏变体,并提出了Scaling Transformers,这是下一代Transformer模型的一个系列,它使用稀疏层来有效地扩展,并在我们扩展模型大小时比标准Transformer更快地执行非批量解码。令人惊讶的是,稀疏层足以获得与具有相同数量参数的标准Transformer相同的困惑。我们还集成了先前的稀疏性方法来注意,即使在内存有限的情况下,也可以对长序列进行快速推理。这导致性能竞争的国家的最先进的长文本摘要。
2021-11-24 cs.CL cs.LG
On the Universality of Transformer Architectures; How Much Attention Is Enough?
Department of Computer Science and Information Technology(计算机科学与信息技术系);Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究所)
本文探讨Transformer架构的通用性问题,分析其表达能力及未来研究方向。
2025-12-20 cs.LG
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay(印度理工学院孟买分校)
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似,从而质疑其作为通用函数逼近器的能力,并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
$O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers
MIT(麻省理工学院);Google Research NY(谷歌纽约研究院)
最近,Transformer网络重新定义了许多NLP任务的最新技术。然而,这些模型遭受在输入序列长度$n$中的二次计算成本,以计算每层中的成对注意。这促使最近的研究稀疏Transformers,稀疏的注意力层中的连接。虽然经验上有希望的长序列,基本问题仍然没有答案:稀疏Transformers可以近似任何任意的序列到序列的功能,类似于他们的密集同行?稀疏模式和稀疏级别如何影响它们的性能?在本文中,我们解决了这些问题,并提供了一个统一的框架,捕获现有的稀疏注意力模型。我们提出了充分的条件下,我们证明了稀疏注意力模型可以普遍近似任何序列到序列的功能。令人惊讶的是,我们的研究结果表明,稀疏的Transformers只有$O(n)$连接,每个注意层可以近似相同的功能类的密集模型与$n^2$连接。最后,我们在标准NLP任务上比较了不同的稀疏模式/水平。
2020-12-19 cs.LG stat.ML
Classical Sequence Match is a Competitive Few-Shot One-Class Learner
Nankai University(南开大学);Tsinghua University(清华大学)
如今,基于transformer的模型逐渐成为人工智能先驱的默认选择。即使在Few-Shot场景中,模型也显示出优越性。在本文中,我们回顾了经典的方法,并提出了一个新的Few-Shot替代。具体来说,我们研究了Few-Shot一类问题,它实际上需要一个已知的样本作为参考,以检测一个未知的实例是否属于同一个类。这个问题可以从序列匹配的角度来研究。结果表明,与元学习,经典的序列匹配方法,即比较聚合,显着优于Transformer的。经典的方法需要更少的训练成本。此外,我们在简单微调和元学习下对两种序列匹配方法进行了实证比较。元学习使得Transformer模型的特征具有高相关维度。究其原因,与Transformer型号的层数和头数密切相关。实验代码和数据可在https://github.com/hmt2014/FewOne上获得
2022-10-06 cs.CL cs.LG
When are 1.58 bits enough? A Bottom-up Exploration of BitNet Quantization
University of Southern Denmark(南丹麦大学)
本文探索了1.58比特量化训练在非Transformer架构(MLP、GNN)及其他Transformer模型(仅编码器、编码器-解码器)中的适用性,发现其性能与标准32/16比特模型相当或更优,验证了低比特量化的广泛潜力。
2024-11-08 cs.CL cs.LG
Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies
University of California, Merced(加州大学默塞德分校)
本研究揭示多智能体Transformer策略在排列鲁棒性评估中的陷阱,提出结合动作坍缩诊断,并发现弱等变性正则化可在保持动作多样性的同时提升鲁棒性。
2026-10-05 cs.LG cs.MA cs.RO
Pruning One More Token is Enough: Leveraging Latency-Workload Non-Linearities for Vision Transformers on the Edge
本文针对边缘设备小负载场景,利用延迟-工作负载非线性关系确定令牌剪枝调度,提出免训练的令牌剪枝方法,在相似延迟下实现更高精度。
2024-11-08 cs.CV cs.LG
Attention is All You Need? Good Embeddings with Statistics are enough:Large Scale Audio Understanding without Transformers/ Convolutions/ BERTs/ Mixers/ Attention/ RNNs or ....
Stanford University(斯坦福大学)
本文提出了一种在没有传统的最先进的神经架构的情况下进行大规模音频理解的方法。自从在过去十年中引入深度学习来理解音频信号以来,卷积架构已经能够实现超越传统手工制作功能的最先进结果。最近,从传统的卷积和递归神经网络向纯粹的端到端Transformer架构进行了类似的转变。我们,在这项工作中,探索一种方法,基于词袋模型。我们的方法没有任何卷积,递归,注意力,变压器或其他方法,如BERT。我们利用微观和宏观层次的聚类香草嵌入,并使用MLP头分类。我们只使用前馈编码器-解码器模型,以获得频谱的瓶颈,频谱补丁和切片以及多分辨率频谱。分类头(前馈层),类似于Simplified中的方法,是在学习的表示上训练的。使用在潜在表示上学习的简单代码,我们展示了我们如何超越传统的卷积神经网络架构,并惊人地接近于超越强大的Transformer架构。这项工作有望为表示学习领域的令人兴奋的进步铺平道路,而无需大规模的端到端神经架构。
2022-01-30 cs.AI cs.IR cs.LG
SwitchHead: Accelerating Transformers with Mixture-of-Experts Attention
Stanford University(斯坦福大学);KAUST(阿卜杜拉国王科技大学);Harvard University(哈佛大学);The Swiss AI Lab IDSIA, USI & SUPSI(瑞士IDSIA人工智能实验室(隶属于瑞士意大利语区大学和瑞士应用科学与艺术大学南部))
本文提出SwitchHead,一种用于注意力层的专家混合方法,最多减少8倍注意力矩阵计算,可与MoE前馈层结合构建全MoE Transformer,在匹配基线性能的同时大幅降低计算和内存开销。
2024-09-30 cs.CL cs.LG cs.NE
On Limitations of the Transformer Architecture
Google(谷歌公司)
本文利用通信复杂度理论证明Transformer层在函数定义域较大时无法组合函数,并通过实例和计算复杂度猜想说明其在组合任务上的根本局限,揭示了大语言模型幻觉的可能根源。
2024-02-26 cs.AI cs.LG stat.ML
Sensor-Specific Transformer (PatchTST) Ensembles with Test-Matched Augmentation
University of Siegen(锡根大学)
本文提出一种噪声感知的传感器特定PatchTST集成方法,通过测试匹配增强训练数据,在WEAR挑战赛中实现稳健的人类活动识别,显著提升宏F1分数。
2025-10-24 cs.LG
Large-Scale In-Game Outcome Forecasting for Match, Team and Players in Football using an Axial Transformer Neural Network
本文提出基于轴向变压器神经网络的足球比赛结果预测方法,能够高效预测球员、队伍和比赛层面的动作总次数,适用于战术决策和体育博彩等应用。
2025-11-24 cs.LG
Is In-Context Universality Enough? MLPs are Also Universal In-Context
The Vector Institute(向量研究所);McMaster University(麦克马斯特大学);Shimane University(岛根大学)
本文通过证明具有可训练激活函数的 MLP 同样具备上下文内通用性,否定了上下文内通用性是 Transformer 相对经典模型优势来源的观点,指出其成功更可能源于归纳偏置或训练稳定性等因素。
2025-02-05 cs.LG cs.NA cs.NE
SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers
Tsinghua University(清华大学);ByteDance Seed(字节跳动Seed);M-A-P
该研究在严格匹配关键预算指标的前提下,提出SMELT方案,通过循环MoE Transformer中间层,提升了模型性能并节省了训练FLOPs,为Transformer架构优化提供了实用方案。
2026-09-14 cs.LG
Screening Is Enough
Center for Emergent Matter Science (CEMS), RIKEN Graduate School of Science, The University of Tokyo(新兴物质科学中心(CEMS)、理化学研究所科学研究生院、东京大学)
本文提出Multiscreen模型,通过引入筛查机制解决标准softmax注意力的局限性,实现绝对查询-键相关性评估,减少参数并提升稳定性与效率。
2026-09-30 cs.AI cs.CL cs.LG
Transformer-Based Neural Marked Spatio Temporal Point Process Model for Football Match Events Analysis
Nagoya University(名古屋大学);The Chinese University of Hong Kong(香港中文大学);RIKEN(理化学研究所);Japan Science and Technology Agency(日本科学技术振兴机构)
利用最近可用的足球比赛事件数据记录足球比赛的细节,分析师和研究人员有很好的机会开发新的性能指标,获得洞察力,并评估关键性能。然而,大多数体育序列事件建模方法和性能度量方法可能是不全面的,在处理这样的大规模时空数据(特别是时间过程),从而需要一个更全面的时空模型和整体性能度量。为此,我们提出了基于神经时间点过程(NTPP)框架的足球事件数据的基于转换器的神经标记时空点过程(NMSTPP)模型。在实验中,我们的模型优于基线模型的预测性能。此外,我们提出了一个更全面的足球控球分析的整体控球利用率得分(HPUS)指标。为了验证,我们检查了足球队的最终排名,平均进球得分,并在一个赛季的平均xG的关系。据观察,平均HPUS显示出显着的相关性,无论不使用目标和细节的拍摄信息。此外,我们展示了HPUS的例子,分析财产,比赛,比赛之间。
2023-02-18 cs.AI cs.LG
A Controlled Study of Attention-Only Transformers
研究针对前馈网络占Transformer多数非嵌入参数却缺相关必要性测试的情况,预训练仅注意力机制的解码器Transformer并与标准Transformer对照,发现删除前馈层成本高,重分配预算可缩小差距,还定位了剩余差距原因,预注册测试证实相关解释。
2026-07-22 cs.AI cs.CL cs.LG
ConvNets Match Vision Transformers at Scale
Google DeepMind(谷歌DeepMind)
针对ConvNets在大规模数据上无法与Vision Transformers竞争的观点,本文通过在JFT-4B数据集上预训练NFNet模型家族发现其遵循对数-对数缩放定律,在同等计算预算下匹配了ViT性能,并在ImageNet微调后达到90.4%的Top-1准确率。
2023-10-25 cs.CV cs.LG cs.NE
Gaussian Match-and-Copy: A Minimalist Benchmark for Studying Transformer Induction
Institute of Mathematics, EPFL, Switzerland(数学研究所,瑞士联邦理工学院)
本文提出高斯匹配与复制基准,用于研究Transformer的匹配与复制机制,通过隔离长距离检索信号,分析模型在检索能力上的差异。
2026-02-07 cs.AI cs.LG stat.ML
Revisiting the Shape Convention of Transformer Language Models
National Taiwan University(国立台湾大学)
本文重新审视变换器语言模型的MLP形状约定,提出更深层但更轻的hourglass FFN作为传统FFN的竞争替代品,并通过实验证明其在不同模型规模下的优越性能。
2026-09-10 cs.AI cs.CL cs.LG
Player-Team Heterogeneous Interaction Graph Transformer for Soccer Outcome Prediction
The University of Sydney(悉尼大学);Stats Perform Limited(Stats Perform有限公司)
提出HIGFormer模型,通过多级异构交互图框架同时捕捉球员动态与团队交互,结合Transformer联合分析预测足球比赛结果,准确率显著优于现有方法。
2025-07-14 cs.AI cs.LG
Modeling Matches as Language: A Generative Transformer Approach for Counterfactual Player Valuation in Football
Department of Artificial Intelligence, University of Seoul, Seoul, Republic of Korea(首尔大学人工智能系);Institute for Sports and Preventive Medicine, Saarland University, Saarbrücken, Germany(萨尔兰州预防医学研究所);Chair for Sports Analytics, Saarland University(萨尔兰州体育分析教授职位)
本文提出ScoutGPT,通过将足球比赛事件视为序列标记,利用生成式Transformer模型模拟反事实球员估值,提升对球员转会效果的预测能力。
2026-08-05 cs.AI cs.LG
Synthesizer Sound Matching Using Audio Spectrogram Transformers
Native Instruments
本文提出一种基于 Audio Spectrogram Transformer 的合成器声音匹配模型,通过在大型 Massive 合成器数据集上训练,能准确重建16个参数,在保真度上优于多层感知机和卷积神经网络基线,并具备良好的域外声音模拟能力。
2024-07-23 cs.LG cs.SD eess.AS
Small Enough to Know Everything: The Fully-Enumerable Transformer as an Instrument for the Science of Delayed Generalization
本研究将完全可枚举任务上的小型Transformer作为科学仪器,通过预注册的守恒研究验证三条任务侧定律在12K至50M参数规模下的普适性,发现两条守恒、一条系统性变形,证明该范式可揭示延迟泛化的可测量规律。
2026-09-21 cs.LG
Transformer Reconstructed with Dynamic Value Attention
College of Artificial Intelligence(人工智能学院);China University of Petroleum (Beijing)(中国石油大学(北京))
本文提出动态值注意力(DVA)方法,通过动态分配值减少冗余头和前馈网络,提升Transformer的训练效率和学习能力。
2025-12-22 cs.LG
Don't Sweep your Learning Rate under the Rug: A Closer Look at Cross-modal Transfer of Pretrained Transformers
Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学);University College London(伦敦大学学院)
在文本语料库上对大规模Transformer模型进行自我监督预训练,然后进行微调,在许多自然语言处理任务上取得了最先进的水平。最近,Lu等人(2021,arXiv:2103.05247)声称,在一组转移任务中,冻结的预训练Transformers(FPT)匹配或优于从头开始的训练以及未冻结(微调)的预训练Transformers。在我们的工作中,我们发现这个结果实际上是没有调优学习率的结果。在仔细重新设计经验设置后,我们发现,当适当调整学习率时,预训练的Transformers在我们所有的任务中都优于或匹配从头开始的训练,但只有当整个模型被微调时。因此,虽然从预训练的语言模型转移到其他模态确实为未来的工作提供了令人兴奋的可能性,但正确调整超参数对于获得强大的发现非常重要。
2021-07-26 cs.AI cs.LG
Quantum Adaptive Self-Attention for Quantum Transformer Models
Department of Electrophysics, National Yang Ming Chiao Tung University(电子物理系,国立阳明交通大学)
本文提出量子自适应自注意力机制(QASA),通过在单个编码器层中用参数化量子电路替代价值投影,以最少的量子参数实现了优于其他模型的性能,验证了量子层位置比数量更重要。
2026-06-24 cs.LG quant-ph
TPDR: A Novel Two-Step Transformer-based Product and Class Description Match and Retrieval Method
Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of São João del Rei(圣若昂德尔雷伊联邦大学)
针对企业中介采购中的产品描述标准化匹配难题,提出基于Transformer的两步式检索方法TPDR,结合语义编码对比学习与句法特征重排序,在真实数据集上检索效果显著优于单一基线方法。
2023-10-05 cs.IR cs.LG cs.SE