Spatially Constrained Transformer with Efficient Global Relation Modelling for Spatio-Temporal Prediction
L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
提出ST-SampleNet架构,结合CNN与自注意力机制捕捉时空局部与全局关系,引入区域采样策略与空间约束位置嵌入,在降低计算成本的同时保持高预测性能。
2024-11-11 cs.LG
A Hierarchical Transformer for Unsupervised Parsing
BenevolentAI
自然语言的底层结构是分层的;单词组合成短语,短语又形成子句。这种层次结构的意识可以帮助机器学习模型执行许多语言任务。然而,大多数这样的模型只是顺序地处理文本,并且没有偏向于学习编码到其架构中的层次结构。在本文中,我们扩展了最近的Transformer模型(Vaswani等人,2017年)通过使其能够学习分层表示。为了实现这一点,我们采用了Shen等人介绍的排序机制,2018年,到了Transformer架构的自我关注模块。我们训练我们的新模型的语言建模,然后将其应用到无监督解析的任务。我们在WSJ 10数据集的免费子集上获得了合理的结果,F1分数约为50%。
2020-03-30 cs.CL cs.LG
Variational Quantum Transformer Architecture for Synthetic Language Generation
Institute of Informatics, LMU Munich(慕尼黑大学信息学院 (LMU Munich 信息学院))
本文提出一种NISQ兼容的变分量子Transformer架构用于合成语言生成,通过量子编码器和解码器块实现自回归建模,在语法生成任务上验证了可训练性,但性能不及经典基线,不声称量子优势。
2026-09-17 cs.CL cs.LG quant-ph
Reservoir Transformers
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
我们证明,Transformers获得令人印象深刻的性能,即使当一些层被随机初始化,从来没有更新。受机器学习中旧的和成熟的想法的启发,我们探索了各种非线性“水库”层,穿插着常规的Transformer层,并在各种机器翻译和(掩码)语言建模任务上显示了在收敛之前的挂钟计算时间以及整体性能的改进。
2021-06-01 cs.CL
Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions
Department of Physics(物理系);Ashoka University(阿什oka大学);Department of Computer Science(计算机科学系)
本文提出利用阻尼谐振子替代传统ODEs,通过正弦基扩展查询,实现不规则时间序列建模,理论证明其具备通用逼近性并提升效率。
2026-05-12 cs.LG
A Practical Survey on Faster and Lighter Transformers
Polytechnique Montréal(蒙特利尔理工学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
递归神经网络是处理序列的有效模型。然而,由于其固有的顺序性,它们无法学习长期依赖性。作为解决方案,Vaswani等人引入了Transformer,这是一种完全基于注意力机制的模型,能够将输入序列的任何两个位置联系起来,从而对任意长的依赖关系进行建模。Transformer改进了众多序列建模任务的最新技术水平。然而,其有效性是以相对于序列长度的二次计算和存储复杂度为代价的,这阻碍了其采用。幸运的是,深度学习社区一直对提高模型的效率感兴趣,导致了大量的解决方案,如参数共享,修剪,混合精度和知识蒸馏。最近,研究人员通过设计较低复杂度的替代方案,如Longformer、Reformer、Linformer和Performer,直接解决了Transformer的局限性。然而,由于广泛的解决方案,它已成为具有挑战性的研究人员和从业人员,以确定在实践中应用的方法,以满足所需的容量,计算和内存之间的权衡。本调查通过调查使Transformers更快、更轻的流行方法来解决这个问题,并对这些方法的优势、局限性和基本假设进行全面解释。
2023-03-27 cs.LG
Mixture of Chapters: Scaling Learnt Memory in Transformers
IIT Kharagpur(印度理工学院Kharagpur分校);Fractal AI
本文提出学习稀疏内存银行,通过交叉注意力机制使变换器层检索存储知识,通过章节路由扩展内存容量,实验证明模型在预训练和指令微调中优于基线,展示显式关联记忆的补充能力。
2026-03-22 cs.AI cs.CL cs.LG
MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-Head Transformer with Convolution-Augmented Joint Self-Attentions
Alibaba Group(阿里巴巴集团)
基于Transformer的模型在单声道语音分离中提供了显著的性能改进。然而,与最近提出的上限相比,仍然存在性能差距。目前双通道Transformer模型的主要局限性是对长距离元素相互作用和局部特征模式的建模效率低下。在这项工作中,我们实现了上限,提出了一个门控单头Transformer架构与卷积增强联合自关注,命名为\textit{MossFormer}(\textit{Mo}自然\textit{s}语音\textit{s}分离\textit{Former})。为了有效地解决双路径架构中跨块的间接元素交互,MossFormer采用了一种联合的局部和全局自注意架构,该架构同时对局部块执行全计算自注意和对全序列执行线性化低成本自注意。联合注意力使MossFormer能够直接模拟全序列元素相互作用。此外,我们采用了一个强大的注意门控机制与简化的单头自我关注。除了精心的长期建模,我们还增加了MossFormer与卷积的位置明智的局部模式建模。因此,MossFormer显著优于以前的模型,并在WSJ 0 -2/3 mix和WHAM上实现了最先进的结果!/哇!基准。我们的模型在WSJ 0 - 3 mix上实现了21.2 dB的SI-SDRi上限,在WSJ 0 - 2 mix上仅低于23.1 dB的上限0.3 dB。
2023-02-23 cs.LG cs.SD eess.AS
Evolutionary Neural Architecture Search for Transformer in Knowledge Tracing
Anhui University(安徽大学);Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education(教育部智能计算与信号处理重点实验室);Guangdong University of Foreign Studies(广东外语外贸大学)
针对现有基于Transformer的知识追踪方法存在的手动选特征、单一全局建模难捕捉遗忘行为的问题,提出进化神经架构搜索方法,自动选特征并平衡局部/全局上下文建模,在两大教育数据集上验证了有效性。
2023-10-02 cs.AI cs.LG cs.NE
Brain network science modelling of sparse neural networks enables Transformers and LLMs to perform as fully connected
Center for Complex Network Intelligence (CCNI)(复杂网络智能研究中心);Dept. of Computer Science & Technology(计算机科学与技术系);School of Biomedical Engineering(生物医学工程学院);University of Padova(帕多瓦大学);Canva Research(Canva研究)
本文提出双分接收场模型,通过脑启发方法优化稀疏神经网络连接性,提升Transformer和LLMs性能。
2026-01-13 cs.LG
Hybrid Neural Models For Sequence Modelling: The Best Of Three Worlds
LIG(格勒诺布尔信息学实验室);Lattice CNRS(法国国家科学研究中心Lattice实验室);ALMAnaCH Inria(法国国家数字科学技术研究所ALMAnaCH)
我们提出了一个神经架构,它具有过去几年最成功的神经模型的主要特征:双向RNN,编码器-解码器和Transformer模型。对三个序列标记任务的评估产生的结果是接近国家的最先进的所有任务,并优于它的一些,显示这种混合架构的这种任务的相关性。
2019-09-16 cs.LG stat.ML
Diformer: Directional Transformer for Neural Machine Translation
Huawei Translation Services Center(华为翻译服务中心);The University of Melbourne(墨尔本大学)
自回归(AR)和非自回归(NAR)模型在性能和延迟方面各有优势,将它们结合在一个模型中可以发挥两者的优势。当前的组合框架更多地关注于将多个解码范例与统一的生成模型(例如,掩蔽语言模型)集成。然而,由于训练目标和推理之间的差距,泛化可能对性能有害。在本文中,我们的目标是通过在一个统一的框架下保持AR和NAR的原始目标来缩小差距。具体来说,我们提出了方向Transformer(变形器),通过联合建模AR和NAR到三个生成方向(从左到右,从右到左和直)与一个新引入的方向变量,它的工作原理是控制每个令牌的预测在该方向下具有特定的依赖关系。通过方向实现的统一成功地保留了AR和NAR中使用的原始依赖性假设,同时保留了泛化和性能。在4个WMT基准测试上的实验表明,对于AR和NAR解码,Dimer优于当前的联合建模工作,BLEU点超过1.5,并且与最先进的独立AR和NAR模型也具有竞争力。
2021-12-31 cs.AI cs.CL
Probabilistic Topic Modelling with Transformer Representations
Institute of Mathematics, Clausthal University of Technology(克劳斯塔尔工业大学数学研究所);BASF(巴斯夫公司);Georg-August-Universität Göttingen(哥廷根大学)
本研究提出Transformer表示神经主题模型TNTM,结合Transformer嵌入空间主题表示与概率建模优势,用VAE框架提升性能,在嵌入连贯性上比肩SOTA且主题多样性近乎完美。
2024-03-06 cs.CL cs.LG
Towards Efficient Few-shot Graph Neural Architecture Search via Partitioning Gradient Contribution
College of Software, Jilin University(吉林大学软件学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(教育部符号计算与知识工程重点实验室,吉林大学);School of Computer Science, Zhuhai College of Science and Technology(珠海科技学院计算机科学学院);College of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);Department of Mechanical Engineering, National University of Singapore(新加坡国立大学机械工程系)
针对少样本图神经架构搜索中的权重耦合问题,提出基于梯度贡献划分的GC方法及统一搜索框架UGAS,高效探索MPNN与GT组合,实现SOTA性能。
2025-06-20 cs.AI cs.LG
Learning Long Sequences in Spiking Neural Networks
The University of Manchester(曼彻斯特大学)
本文首次系统研究了状态空间模型(SSMs)与脉冲神经网络(SNNs)在长程序列建模中的结合,提出基于SSM的SNNs在多项任务上优于Transformer和现有SNNs,并引入特征混合层提升准确率,为在神经形态硬件上部署大型模型奠定基础。
2023-12-14 cs.LG cs.NE
Sparsity Moves Computation: How FFN Architecture Reshapes Attention in Small Transformers
University of Michigan(密歇根大学)
研究通过单层Transformer在数字加法、模运算和直方图计数中发现,稀疏MoE路由将计算从FFN转移到注意力,且GLU门控旋转任务相关傅里叶结构至分布式子空间。
2026-05-15 cs.AI cs.LG cs.NE
Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs
研究如何优化Transformer神经网络推理时间用于金融时间序列实时异常检测,探索不同架构在FPGA板上的高效实现,以最小化延迟进行时间序列异常检测。
2026-07-28 cs.AI cs.AR cs.DC
Gridded Transformer Neural Processes for Large Unstructured Spatio-Temporal Data
University of Cambridge(剑桥大学);University of Amsterdam(阿姆斯特丹大学);Alan Turing Institute(阿兰·图灵研究所);Microsoft Research AI for Science(微软研究院科学人工智能部门)
针对Transformer类方法难以处理非结构化时空数据、Transformer神经过程无法扩展至大规模数据的问题,提出带网格化伪令牌的Transformer神经过程,在多类大规模回归任务中性能优于强基线且计算效率具竞争力,可应用于气象建模。
2024-10-10 cs.LG stat.ML
An Introduction to Transformers
University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
本文提供了一种数学上精确、直观且简洁的 Transformer 架构描述,旨在弥补现有资料中对架构和设计直觉的不足。
2026-01-20 cs.AI cs.LG
Erwin: A Tree-based Hierarchical Transformer for Large-scale Physical Systems
University of Amsterdam(阿姆斯特丹大学);CuspAI
针对不规则网格大规模物理系统的可扩展性挑战,提出分层Transformer模型Erwin,结合球树划分与跨球交互机制实现线性时间注意力,在多领域准确性与效率上均优于基线。
2025-06-02 cs.AI cs.CV cs.LG
Mamba-360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
Microsoft(微软)
本综述全面回顾了状态空间模型(SSMs)作为长序列建模中Transformer替代方案的发展,将其分为门控、结构化和循环三种架构范式,并总结了SSMs在视觉、语言、医疗等多领域的应用及其在多个基准数据集上的性能表现。
2024-04-24 cs.AI cs.CV cs.LG
ADPTNet: Adaptive with Prescriptive Timescales Non-Linear SSM for Sequence Modelling
International Centre for Neuromorphic Systems(国际神经形态系统中心);The University of Manchester(曼彻斯特大学)
ADPTNet通过结合线性注意力与黎曼优化的局部拓扑共轭,实现数据自适应、长程依赖、GPU并行及非线性递归,提升序列建模性能并引入高效并行扩展。
2026-09-29 cs.AI cs.DC cs.LG
Efficiently Scaling Transformer Inference
Google(谷歌)
我们研究了Transformer模型的高效生成推理问题,在其最具挑战性的设置之一:大型深度模型,具有紧密的延迟目标和长序列长度。更好地理解大型基于transformer的模型的推理的工程权衡非常重要,因为这些模型的用例在整个应用领域中快速增长。我们开发了一个简单的推理效率分析模型,根据应用需求选择最佳的TPU v4切片优化多维分区技术。我们将这些与一套低级优化相结合,以在500 B+参数模型上实现延迟和模型FLOPS利用率(MFU)权衡的新Pareto前沿,该模型优于FasterTransformer基准测试套件。我们进一步表明,通过适当的分区,多查询注意力(即多个查询头共享单个键/值头)的内存需求较低,可以扩展到32倍更大的上下文长度。最后,我们在生成过程中实现了每个令牌29 ms的低批量延迟(使用int 8权重量化),在输入令牌的大批量处理过程中实现了76%的MFU,同时在PaLM 540 B参数模型上支持长2048令牌上下文长度。
2022-11-09 cs.CL cs.LG
Language Modelling for Source Code with Transformer-XL
University of Newcastle(纽卡斯尔大学)
已经发现,软件,如自然语言文本,表现出“自然性”,这可以通过统计语言模型来捕获。近年来,已经提出了神经语言模型,以通过深度学习来表示软件的自然性。在本文中,我们进行了实验评估的国家的最先进的神经语言模型的源代码,包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验,我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型(包括LSTM和GRU模型),并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars
University of Sydney(悉尼大学);San Francisco State University(旧金山州立大学);IIT Madras(印度理工学院马德拉斯分校)
通过有界深度上下文无关文法,证明深度Transformer的深度随文法深度线性增长,神经元数随派生树形状和产生式规则数量缩放,支持线性表示假说。
2026-07-20 cs.CL cs.LG
Modelling the semantics of text in complex document layouts using graph transformer networks
BlackRock Inc.(贝莱德集团)
从复杂文档中表示结构化文本通常需要不同的机器学习技术,例如用于段落的语言模型和用于表格提取的卷积神经网络(CNN),这禁止在不同内容类型的文本跨度之间绘制链接。在这篇文章中,我们提出了一个模型,近似的人类阅读模式的文件,并输出一个独特的语义表示为每个文本跨度,无论内容类型,他们被发现。我们的架构的结构化文本的图形表示的基础上,我们证明,我们不仅可以检索语义相似的信息跨文档,而且我们生成的嵌入空间捕获有用的语义信息,类似于语言模型,只对文本序列的工作。
2022-02-18 cs.AI cs.CL cs.LG
Transformer Based Geocoding
在本文中,我们制定的问题预测的地理位置从自由文本作为一个序列到序列的问题。使用这个公式,我们通过使用自由文本作为输入和地理位置作为输出来训练T5编码器-解码器Transformer模型来获得地理编码模型。地理编码模型是在地理标记的wikidump数据上训练的,具有用于地理位置表示的自适应单元格划分。所有的代码,包括基于REST的应用程序,数据集和模型检查点在这项工作中使用的是公开的。
2023-01-02 cs.AI cs.CL
Foresight -- Generative Pretrained Transformer (GPT) for Modelling of Patient Timelines using EHRs
Guy's and St Thomas' NHS Foundation Trust(盖伊和圣托马斯NHS基金会信托);University College London(伦敦大学学院)
背景资料:电子健康记录保存有关每个患者的健康状况和一般临床病史的详细纵向信息,其中大部分存储在非结构化文本中。现有的方法主要集中在结构化数据和单域结果的子集。我们探讨了如何使用深度生成Transformers从自由文本和结构化数据中对患者进行时间建模,以预测各种未来的疾病、物质、程序或发现。研究方法:我们提出了一种新的基于转换器的管道,它使用命名实体识别和链接工具将文档文本转换为结构化的编码概念,然后为未来的医疗事件提供概率预测,如疾病,物质,程序和发现。我们处理了来自三个不同医院数据集的整个自由文本部分,共有811336名患者,涵盖身体和精神健康。调查结果:在两个英国医院(国王学院医院,伦敦南部和Maudsley)和美国MIMIC-III数据集的测试中,在预测患者时间轴的下一个疾病时,达到了0.68,0.76和0.88的精度@10,而在预测下一个生物医学概念时,达到了0.80,0.81和0.91的精度@10。五位临床医生还在34个合成患者时间轴上验证了Focal,并实现了97%的预测候选疾病的相关性。作为一个生成模型,它可以根据需要预测后续的生物医学概念。释义:Focal是一种通用的生物医学概念建模模型,可用于现实世界的风险预测,虚拟试验和临床研究,以研究疾病的进展,模拟干预和反事实以及教育目的。
2023-01-24 cs.AI cs.CL cs.LG
Do Transformers Need Deep Long-Range Memory
DeepMind;UCL(伦敦大学学院)
深度注意力模型已经在许多领域推进了序列数据的建模。特别是对于语言建模,Transformer-XL --一个增强了过去激活的长距离记忆的Transformer--在各种经过充分研究的基准测试中被证明是最先进的。Transformer-XL在网络的每一层都集成了一个远程内存,这使得它的状态比RNN的前辈大数千倍。但尚不清楚这是否必要。我们进行了一组干预,以表明可以通过减少6倍的长距离记忆来获得相当的性能,并且可以通过限制网络较低层的注意力范围来获得更好的性能。
2020-07-07 cs.CL cs.LG stat.ML
ASTE Transformer Modelling Dependencies in Aspect-Sentiment Triplet Extraction
Poznan University of Technology(波兹南理工大学);Charles University(查理大学)
本文提出一种由三个Transformer启发层组成的ASTE方法,通过建模短语之间及分类器决策之间的依赖关系,在常用基准上取得更高F1性能,并验证了简单预训练技术的进一步提升效果。
2024-10-04 cs.AI cs.CL cs.LG
Transformer-based Joint Modelling for Automatic Essay Scoring and Off-Topic Detection
SHL Labs(SHL实验室)
针对自动作文评分系统难以识别跑题作答的问题,提出带主题正则化模块的无监督AOES模型,结合混合损失训练与马氏距离实现评分与跑题检测,性能优于基线与传统方法,且对人类级扰动鲁棒。
2024-03-24 cs.AI cs.CL cs.LG
SocialBERT -- Transformers for Online SocialNetwork Language Modelling
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
当代语言理解任务的普遍性使得开发利用数据源提供的所有知识的通用但高效的模型具有相关性。在这项工作中,我们提出了SocialBERT -第一个模型,使用知识的作者在网络中的位置在文本分析。我们研究了可能的模型学习社会网络信息,并成功地将其注入到基线BERT模型。评估表明,嵌入这些信息保持了良好的泛化能力,给定作者的概率模型质量提高了7.5%。所提出的模型已经在所选社交网络的大多数群体上进行了训练,并且仍然能够与以前未知的群体一起工作。所获得的模型,以及我们的实验代码,可供下载和应用任务中使用。
2021-11-13 cs.AI cs.CL cs.SI
CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with Multi-Head Self-Attention Weights based Counterfactual Detection
BITS Pilani(比尔拉科学技术学院)
在本文中,我们描述了一种方法,通过使用多头自注意权重检测文本中的反事实,在自然语言的因果推理建模。我们使用预训练的Transformer模型从文本中提取上下文嵌入和自我注意力权重。我们展示了卷积层的使用,从这些自我注意力权重中提取特定于任务的特征。此外,我们描述了一个微调的方法与一个共同的基础模型之间的知识共享的两个密切相关的子任务反事实检测。我们在实验中分析和比较了各种Transformer模型的性能。最后,我们进行了定性分析与多头自我注意力的权重来解释我们的模型的动力学。
2020-05-31 cs.CL
Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning
Faculty of Education, Charles University(查理大学教育学院);Institute of Computer Science of the Czech Academy of Sciences(捷克科学院计算机科学研究所)
本文提出了一种无响应项目难度建模方法,通过细调Transformer来处理阅读理解多项选择题的难度问题,采用组件级表示和多任务学习方法来提升模型性能。
2026-09-03 cs.AI cs.CL
Future Token Prediction -- Causal Language Modelling with Per-Token Semantic State Vector for Multi-Token Prediction
Iprova SA
本文提出 Future Token Prediction(FTP)预训练方法,通过编码器生成逐位置语义状态向量并由小型解码器交叉注意预测未来 N 个 token,提升嵌入平滑性、主题连贯性、文本分类与编程表现。
2024-10-23 cs.CL cs.LG
Submodular Context Partitioning and Compression for In-Context Learning
New York University(纽约大学);University of Washington Seattle(华盛顿大学西雅图分校);University of Maryland College Park(马里兰大学学院市分校)
针对上下文学习中的信息冗余与代表性不足问题,提出基于子模目标的块感知上下文选择框架Sub-CP,通过控制块多样性提升性能,实验验证其跨模型规模的持续改进。
2025-10-09 cs.CL
Lexico-semantic and affective modelling of Spanish poetry: A semi-supervised learning approach
Universidad Politécnica de Madrid(马德里理工大学);Telefónica(西班牙电信公司);IFEMA(马德里展览中心);Universidad Oberta De Catalunya(加泰罗尼亚开放大学)
在过去的几年中,通过使用Transformers,文本分类任务有了很大的改进。然而,大多数研究集中在散文文本,诗歌很少受到关注,特别是西班牙语。在本文中,我们提出了一个半监督学习的方法来推断21个心理类别引起的语料库的4572十四行诗,以及10个情感和词汇语义多类。用于训练评估的诗歌子集包括270首十四行诗。通过我们的方法,我们实现了76%的心理类别的AUC超过0.7,60%的多类别的AUC超过0.65。十四行诗的建模使用Transformers,通过句子嵌入,随着词汇语义和情感特征,通过使用外部词汇。因此,我们看到这种方法提供了高达0.12的AUC增加,而不是单独使用Transformers。
2021-09-13 cs.AI cs.CL
Modelling Adjectival Modification Effects on Semantic Plausibility
Institute for Natural Language Processing, University of Stuttgart(自然语言处理研究所,斯图加特大学)
本研究针对Adept基准,用句子转换器建模形容词修饰对事件语义合理性的影响,发现其性能不及RoBERTa,并通过错误分析揭示原因。
2026-09-17 cs.CL
Language modelling techniques for analysing the impact of human genetic variation
School of Computer Science and Mathematics, Kingston University London(伦敦金斯顿大学计算机科学与数学系)
本文综述近十年语言模型在人类遗传变异效应预测中的应用,梳理 Transformer 及其扩展与替代架构,并总结关键趋势和未来方向。
2025-03-07 cs.AI cs.CL q-bio.BM
Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models
University of Amsterdam, Amsterdam Brain and Cognition(阿姆斯特丹大学,阿姆斯特丹脑与认知中心);Vrije Universiteit Amsterdam, Department of Informatics(阿姆斯特丹自由大学,信息学院);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理学语言学研究所)
研究探讨了短暂记忆对语言学习和阅读时间预测的影响,发现短暂记忆提升语言学习但损害阅读时间预测,挑战了传统认知科学观点。
2026-08-14 cs.CL
Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics
University of California San Diego(加州大学圣迭戈分校)
本文证明当代循环模型(如RWKV和Mamba)在建模在线人类语言理解指标上能匹敌甚至超越同等规模的Transformer,表明Transformer并非唯一适用架构,为模型架构与人类语言理解关系的辩论开辟了新方向。
2024-08-26 cs.CL
Forecasting COVID-19 Caseloads Using Unsupervised Embedding Clusters of Social Media Posts
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的方法,将基于transformer的语言模型到传染病建模。通过跟踪美国特定州的COVID-19子reddit中Reddit帖子的高密度聚类来量化文本衍生特征。我们将这些聚类嵌入特征与从其他高质量数据集提取的特征进行基准测试。在阈值分类任务中,我们表明它们在预测上升趋势信号方面优于所有其他特征类型,这对于流行病学数据不可靠的地区的传染病建模是一个重要的结果。随后,在时间序列预测任务中,我们充分利用了案例的预测能力,并比较了在基于变换的时间序列模型中使用不同补充数据集作为协变量特征集的相对优势。
2022-05-20 cs.CL cs.SI