Trained Transformers Learn Linear Models In-Context
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
研究单层线性自注意力Transformer通过梯度流学习线性回归的上下文学习机制，证明其能找到全局最优且媲美最佳线性预测器，并揭示其对协变量分布偏移的脆弱性及大型非线性架构的鲁棒性。
2023-10-19 cs.AI cs.CL cs.LG
Polynomial Regression as a Task for Understanding In-context Learning Through Finetuning and Alignment
University of California, Berkeley（加州大学伯克利分校）
本文提出单变量多项式回归作为函数类，以弥补线性回归等简单函数类在结构上的不足，从而在具备上下文学习能力的模型中研究提示与对齐问题，并实现清晰的可视化与理解。
2024-07-27 cs.CL cs.LG
In-Context Learning with Representations: Contextual Generalization of Trained Transformers
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）；The Ohio State University（俄亥俄州立大学）
本文研究Transformer在非线性回归任务中的训练动态，证明一层多头Transformer能线性收敛至全局最小值并执行岭回归，首次可证明地展示其能从少量示例中学习上下文模板信息以泛化到未见示例和任务。
2024-09-25 cs.CL cs.IT cs.LG
TransformerLSR: Attentive Joint Model of Longitudinal Data, Survival, and Recurrent Events with Concurrent Latent Structure
Johns Hopkins University（约翰斯·霍普金斯大学）；School of Medicine, Johns Hopkins University（约翰斯·霍普金斯大学医学院）
本文提出TransformerLSR框架，将深度时间点过程与Transformer结合，首次同时联合建模纵向数据、复发事件和生存数据，并通过模拟和肾移植真实数据验证其有效性。
2024-04-04 cs.LG stat.AP stat.ME
Transformers Learn Robust In-Context Regression under Distributional Uncertainty
Faculty of Computer Science；Engineering, Ho Chi Minh University of Technology (HCMUT), Vietnam National University Ho Chi Minh City (VNU-HCM), Vietnam
研究探讨了Transformer在非高斯系数、重尾噪声和非i.i.d.提示下的稳健上下文回归能力，证明其在多种分布偏移下优于传统基线方法。
2026-03-19 cs.AI cs.LG
Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models
Algoverse AI Research（Algoverse AI研究院）
针对符号回归中Transformer模型在小数据集上性能下降的问题，提出应用k折交叉验证技术，在缩减至15,000个数据点的数据集上训练，验证损失相对改进53.31%，显著提升模型泛化与一致性。
2025-06-30 cs.CL cs.LG
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University（三重大学教育学部）
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解，通过层归一化近似获得解，以区别于基于梯度下降算法的近似解，并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
SymbolicGPT: A Generative Transformer Model for Symbolic Regression
University of Waterloo（滑铁卢大学）
符号回归是识别最适合所提供的输入和输出值的数据集的数学表达式的任务。由于数学表达式空间的丰富性，符号回归通常是一个具有挑战性的问题。虽然基于遗传进化算法的传统方法已经使用了几十年，但基于深度学习的方法相对较新，是一个活跃的研究领域。在这项工作中，我们提出了SymbolicGPT，一种新的基于transformer的语言模型的符号回归。该模型利用了GPT等概率语言模型的优点，包括性能和灵活性方面的优势。通过全面的实验，我们表明，我们的模型表现强劲的竞争模型的准确性，运行时间和数据效率。
2021-06-27 cs.CL cs.LG cs.SC
Deriving Transformer Architectures as Implicit Multinomial Regression
Sandia National Laboratories（桑迪亚国家实验室）
本文从数学上建立了注意力机制与多项式回归的联系，证明Transformer中表示演化等价于优化分类最优特征的轨迹。
2025-10-27 cs.AI cs.LG cs.NA
Transformers can optimally learn regression mixture models
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究证明Transformer能学习回归混合模型的最优预测器，通过构造生成过程并实验验证其低误差、样本高效及鲁棒性，且理论上证明最优过程可由Transformer实现。
2023-11-14 cs.LG stat.ML
Transformer-based Planning for Symbolic Regression
Virginia Tech（弗吉尼亚理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出TPSR，将蒙特卡洛树搜索引入Transformer解码过程，以融合拟合精度和复杂度等不可微分反馈，从而在符号回归任务中超越现有方法，提升拟合-复杂度权衡、外推能力和抗噪性。
2023-10-27 cs.AI cs.LG
Transformers Don't In-Context Learn Least Squares Regression
本文通过合成线性回归和分布外泛化实验发现，为ICL训练的transformers在提示分布偏移后无法泛化，其行为与实现OLS等算法不一致，并通过残差流谱分析揭示了预训练语料库对ICL行为的塑造作用。
2025-07-13 cs.AI cs.LG
Concurrent ischemic lesion age estimation and segmentation of CT brain using a Transformer-based network
Imperial College London（帝国理工学院）
提出一种基于Transformer的多任务网络，利用门控位置自注意力和分位数损失，在CT图像上同时分割脑缺血病变并估计其年龄，在776张CT图像上AUC达0.933，优于传统方法。
2023-06-21 cs.CV cs.LG eess.IV
Towards Theoretical Understanding of Transformer Test-Time Computing: Investigation on In-Context Linear Regression
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
本文通过引入随机性与采样，在上下文线性回归框架下模拟语言模型解码，为测试时计算技术提供理论分析，旨在弥合实际推理与理论Transformer研究之间的差距。
2025-08-19 cs.AI cs.LG
Beyond Least Squares: Robust Regression Transformer (R2T)
Vistendo Inc.（Vistendo公司）
针对最小二乘在非对称噪声下失效的问题，提出混合神经符号架构 R2T，用 Transformer 编码与压缩网络预测符号参数，在合成可穿戴数据上回归 MSE 降至 6e-6 至 3.5e-5，较传统方法提升 10-300 倍。
2025-08-04 cs.AI cs.LG stat.ML
Cubit: Token Mixer with Kernel Ridge Regression
本文提出Cubit，一种基于核岭回归的新型架构，通过将令牌混合机制从Nadaraya-Watson回归转换为核岭回归，从而提供更稳固的数学基础，并在长序列建模能力上表现出优势。
2026-08-27 cs.CL cs.LG
Efficient and Minimax Optimal In-context Nonparametric Regression with Transformers
Statistical Laboratory, University of Cambridge, Cambridge, UK（剑桥大学统计实验室，剑桥，英国）
本文研究了基于上下文学习的非参数回归，针对α-Holder光滑回归函数，证明了使用预训练的变换器可以达到最优收敛率，且参数和预训练序列数量显著少于现有文献。
2026-05-19 cs.LG math.ST stat.ML
Negative binomial regression and inference using a pre-trained transformer
Tahoe Therapeutics（塔霍制药公司）
针对大规模比较中负二项回归参数估计的计算难题，提出用预训练Transformer从计数数据估计参数，虽优于最大似然且快20倍，但矩估计更快更准，成为最优方案。
2025-08-06 cs.LG stat.ML
Transformers Handle Endogeneity in In-Context Linear Regression
UC Davis（加州大学戴维斯分校）
本文研究 transformer 如何利用工具变量处理上下文内线性回归的内生性，揭示其模拟双层优化并指数收敛至 2SLS 的机制，提出预训练方案并通过理论与实验证明其更稳健可靠。
2025-05-11 cs.AI cs.LG econ.EM
Dynamics of Transient Structure in In-Context Linear Regression Transformers
Gradient Institute（格雷迪安特研究所）；University of Oxford（牛津大学）；University of Melbourne（墨尔本大学）
本文研究了 Transformer 在上下文线性回归任务中的瞬态岭现象，发现模型会从岭回归的通用解转变为特化解，并基于贝叶斯内部模型选择理论，通过损失与复杂性的动态权衡解释了该瞬态结构。
2025-01-31 cs.LG
Explaining the Explainer: Understanding the Inner Workings of Transformer-based Symbolic Regression Models
University of Amsterdam（阿姆斯特丹大学）
本文提出PATCHES算法用于发现符号回归模型中的电路，通过因果评估验证了其有效性，并展示了机理可解释性在SR中的应用潜力。
2026-02-03 cs.AI cs.LG
Transformers Efficiently Perform In-Context Logistic Regression via Normalized Gradient Descent
School of Computing & Data Science, The University of Hong Kong（香港大学计算机与数据科学学院）
本文研究了softmax注意力机制的Transformer在线性分类数据上的上下文学习能力，通过构建多层Transformer实现上下文逻辑回归，证明其可通过训练单层自注意力层并循环应用获得，提供了训练收敛性和分布外泛化性的理论保障。
2026-05-07 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University（密歇根州立大学）
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML
Measure-to-measure Regression with Transformers
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；MIT（麻省理工学院）；The Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）
针对概率测度之间的映射学习问题，提出利用Transformer的测度依赖和平均场结构，实现静态和动态两种非线性测度到测度回归方法，并在合成实验、粒子系统和癌症治疗反应预测中验证其泛化能力。
2026-05-27 cs.LG
GATOR: Graph-Aware Transformer with Motion-Disentangled Regression for Human Mesh Recovery from a 2D Pose
Peking University, Shenzhen Graduate School（北京大学深圳研究生院）
从二维姿态恢复三维人体网格在各种应用中起着重要的作用。然而，现有的方法难以同时捕捉骨架到网格演化过程中的多种关系，包括关节-关节、关节-顶点、顶点-顶点关系，从而导致结果不合理。为了解决这个问题，我们提出了一种新的解决方案，称为GATOR，它包含一个图形感知Transformer（GAT）的编码器和一个运动分解回归（MDR）的解码器来探索这些多重关系。具体来说，GAT将GCN和图形感知的自我注意力并行地结合起来，以捕获物理和隐藏的关节-关节关系。此外，MDR模型的关节顶点和顶点顶点的相互作用，探索关节和顶点的关系。基于顶点偏移场的聚类特性，MDR通过合成预测的基本运动来回归顶点。大量的实验表明，GATOR在两个具有挑战性的基准测试中达到了最先进的性能。
2023-03-10 cs.AI cs.CV cs.LG
How Transformers Utilize Multi-Head Attention in In-Context Learning? A Case Study on Sparse Linear Regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）；School of ZZZ（ZZZ学院）
本文以稀疏线性回归为案例，研究训练后 Transformer 在上下文学习中多头注意力的使用模式，发现第一层需多头预处理、后续层仅需单头优化，并提出“先预处理后优化”机制，其性能优于梯度下降和岭回归。
2024-08-08 cs.LG
SymFormer: End-to-end symbolic regression using transformer-based architecture
Delft University of Technology（代尔夫特理工大学）
现实世界中的许多问题都可以用数学公式自然地描述。从一组观察到的输入和输出中找到公式的任务称为符号回归。近年来，神经网络已被应用于符号回归，其中基于变换的神经网络是最有前途的。在对Transformer进行大量公式（以天为单位）的训练之后，实际的推断，即，为新的、看不见的数据找到公式是非常快的（以秒的量级）。这比最先进的进化方法快得多。Transformers的主要缺点是它们生成的公式没有数值常数，必须单独优化，因此产生次优结果。我们提出了一种基于变换的方法称为SymFormer，它通过同时输出各个符号和相应的常数来预测公式。这导致在拟合可用数据方面的更好性能。此外，SymFormer提供的常数可作为后续通过梯度下降进行调整的良好起点，以进一步提高性能。我们在一组基准测试中表明，SymFormer在推理速度更快的同时，性能优于两种最先进的方法。
2022-10-20 cs.CV cs.LG cs.NE
A Transformer Model for Symbolic Regression towards Scientific Discovery
OMRON SINIC X Corporation（欧姆龙 SINIC X 公司）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Amazon Alexa（亚马逊 Alexa）；Tohoku University（东北大学）
本文提出一种面向科学发现的符号回归Transformer模型，通过设计三种灵活性递增的编码器架构防止过拟合，在SRSD数据集上以归一化树编辑距离取得最先进结果且不增加计算成本。
2023-12-13 cs.LG
Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
Department of Mathematics, University of California, Santa Barbara, CA（加州大学圣芭芭拉分校数学系）
本文研究了上下文核岭回归，证明标准softmax注意力transformer可通过预条件Richardson迭代近似高斯核回归预测器，展示了transformer架构中的功能分解。
2026-09-28 cs.AI cs.LG cs.NA
ODEFormer: Symbolic Regression of Dynamical Systems with Transformers
EPFL（洛桑联邦理工学院）；Helmholtz AI, Helmholtz Center Munich（亥姆霍兹慕尼黑中心亥姆霍兹人工智能研究所）；TU München（慕尼黑工业大学）
本研究提出首个可从单条解轨迹推断多维符号ODE系统的Transformer模型ODEFormer，在两个数据集上表现优于现有方法，鲁棒性与推理速度更优，并公开相关资源。
2023-10-09 cs.LG
Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets
本文证明标准变换器在非参数回归中达到最小最大最优速率，通过引入大小元组和维度向量对变换器结构进行细粒度表征，并推导了变换器的Lipschitz常数和记忆容量上界。
2026-07-29 cs.IT cs.LG math.IT
Generalization Analysis of Transformers in Distribution Regression
School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学学院）
提出基于分布回归的Transformer学习框架，通过注意力算子实现分布到函数表示的无损压缩，并证明其在学习复杂结构泛函上优于CNN和全连接网络，最后给出泛化界并解释大模型技术原理。
2026-06-28 cs.LG stat.ML
Transformer Semantic Genetic Programming for d-dimensional Symbolic Regression Problems
Johannes Gutenberg University（莱茵河畔明斯特大学）
本文提出基于Transformer的语义遗传编程(TSGP)，利用预训练的Transformer模型生成语义相似的子程序，通过学习结构多样性解决符号回归问题，实验表明其在多个数据集上优于传统方法，产生更紧凑的解。
2026-04-30 cs.LG cs.NE
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay（印度理工学院孟买分校）
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似，从而质疑其作为通用函数逼近器的能力，并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
CRHT: A Continuous Regression Hybrid Transformer for Vessel Trajectory Prediction with Online Cluster Sampling
针对船舶轨迹预测的地理偏差与真实性问题，提出CRHT框架，结合在线K-means聚类采样与混合架构，在短期预测中表现最优，平衡了精度与机动跟踪能力。
2026-08-12 cs.LG
How Well Can Transformers Emulate In-context Newton's Method?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Yale University（耶鲁大学）；Princeton University（普林斯顿大学）
该研究验证了带 ReLU 层的线性注意力 Transformer 可在逻辑回归任务中近似二阶优化算法，且仅两层的纯线性注意力 Transformer 就能实现单步牛顿矩阵求逆，证明其具备实现梯度下降外复杂算法的能力。
2024-03-05 cs.AI cs.LG math.OC
Basis Transformers for Multi-Task Tabular Regression
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
针对含文本、变长列和无元数据未见数据的表格回归问题，提出尊重表格不变性的 Basis Transformers，在 OpenML-CTR23 上以更少参数显著提升性能。
2025-06-07 cs.LG
Boolformer: Symbolic Regression of Logic Functions with Transformers
EPFL（洛桑联邦理工学院）；Apple（苹果公司）
Boolformer是一个基于Transformer的端到端布尔函数符号回归模型，在真值表完整、不完整或含噪声时均能有效预测紧凑公式，并在二分类和基因调控网络建模任务中表现出可解释性与显著的速度优势。
2025-07-16 cs.LG cs.LO
Coarse-to-Fine Multi-Scene Pose Regression with Transformers
Bar Ilan University（巴伊兰大学）
针对多场景相机绝对位姿回归任务，提出基于Transformer的由粗到精方法，通过自注意力编码器聚合特征、解码器结合场景编码预测位姿，并引入分类-回归混合架构提升精度，在室内外基准上超越现有多场景及单场景最优方法。
2023-08-22 cs.CV cs.LG
Provable In-Context Learning of Nonlinear Regression with Transformers
Department of ECE（电子工程系）；The Ohio State University（俄亥俄州立大学）；Engineering Systems and Design Pillar（工程系统与设计支柱）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究Transformer在非线性回归任务中的上下文学习机制，分析注意力分阶段动力学，指出Lipschitz常数L是收敛关键因素，分情形推导收敛时间界并证明其对未见函数的ICL能力。
2025-10-01 cs.LG
CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
基于变换的文本到图像模型的发展受到其生成速度慢和高分辨率图像复杂性的阻碍。在这项工作中，我们提出了一个解决方案的基础上，分层Transformers和本地并行自回归生成。我们使用简单灵活的自监督任务跨模态通用语言模型（CogLM）预训练6 B参数Transformer，并对其进行微调以实现快速超分辨率。新的文本到图像系统CogView 2与并发的最先进的DALL-E-2相比显示出非常有竞争力的生成，并且自然地支持交互式文本引导的图像编辑。
2022-05-27 cs.CV cs.LG
End-to-end symbolic regression with transformers
Meta AI；Sorbonne Université（索邦大学）；Ecole Normale Supérieure（巴黎高等师范学院）
符号回归是一项困难的任务，它通过观察一个函数的值来预测它的数学表达式，通常包括两个步骤：预测表达式的“骨架”直到选择数值常数，然后通过优化非凸损失函数来拟合常数。占主导地位的方法是遗传编程，它通过迭代这个子例程大量的时间演变的候选人。神经网络最近被要求在一次尝试中预测正确的骨架，但仍然没有那么强大。在本文中，我们挑战这个两步的过程，任务Transformer直接预测完整的数学表达式，包括常数。随后可以通过将它们馈送到非凸优化器作为知情的初始化来细化预测的常数。我们提出消融表明，这种端到端的方法产生更好的结果，有时甚至没有细化步骤。我们评估我们的模型从SRBench基准测试的问题，并表明我们的模型的性能接近国家的最先进的遗传编程与几个数量级更快的推理。
2022-04-22 cs.LG
A Comparison of Baseline Models and a Transformer Network for SOC Prediction in Lithium-Ion Batteries
University of Leeds（利兹大学）
本文比较了多种数据驱动方法在锂离子电池SOC预测中的表现，发现决策树在BMW i3自然驾驶循环数据上优于包括带自注意力和位置编码的Transformer在内的所有对比模型。
2024-10-22 cs.AI cs.LG cs.SY
Approximation Bounds for Transformer Networks with Application to Regression
School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；Department of Mathematics, Hong Kong University of Science and Technology（香港科技大学数学系）；Research Center for Intelligent Operations Research, The Hong Kong Polytechnic University（香港理工大学智能运筹研究中心）
本文探究Transformer网络对Hölder和Sobolev函数的逼近能力并应用于相依观测的非参数回归，建立了新的上界，推导了$β$-混合数据下的收敛率，提出基于Kolmogorov-Arnold定理的证明策略，为自注意力机制可解释性提供新见解。
2025-04-16 cs.LG stat.ML
MOSAIC-SR: Transformer-Guided Symbolic Regression for Scientific Equation Recovery
University of Waterloo（滑铁卢大学）
MOSAIC-SR利用预训练Transformer生成初始草图，引导符号回归搜索，通过尺度感知常数优化和局部符号修复，在多个基准上实现最高符号解率与高预测精度。
2026-09-21 cs.LG
Transformer Neural Processes - Kernel Regression
针对现代神经过程注意力机制存在的$O(n^2)$复杂度瓶颈，研究提出TNP-KR模型，通过核回归块、核注意力偏置及两种新注意力机制降低复杂度，在多基准测试中表现优异，其中SA版本达到当前最优水平。
2026-04-17 cs.AI cs.LG stat.ML
Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning
Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
本文提出FormulaGPT，将基于强化学习的符号回归搜索历史蒸馏进GPT，使其在上下文中生成并更新强化学习策略，从而兼顾精度、鲁棒性、通用性与推理效率。
2024-04-09 cs.AI cs.LG
RowNet: A Memory Transformer for Tabular Regression
Department of Applied Mathematics and Informatics（应用数学与信息学系）；Kyrgyz-Turkish Manas University（吉尔吉斯-土耳其马纳斯大学）
针对房地产估值中表格回归问题，提出RowNet，一种基于检索的神经网络架构，通过记忆库中的成对相似性特征、目标一致性增强和混合专家模块实现价格预测。
2026-06-03 cs.AI cs.LG math.ST
A Transformer-based Framework for Multivariate Time Series Representation Learning
Brown University（布朗大学）；IBM Research（IBM研究院）
在这项工作中，我们首次提出了一个基于transformer的框架，用于多变量时间序列的无监督表示学习。预训练模型可以用于下游任务，如回归和分类，预测和缺失值插补。通过在多个多元时间序列回归和分类的基准数据集上评估我们的模型，我们表明我们的建模方法不仅代表了迄今为止对多元时间序列进行无监督学习的最成功的方法，而且它还超过了当前最先进的监督方法的性能;即使在训练样本的数量非常有限的情况下，它也能这样做，同时提供计算效率。最后，我们证明了我们的Transformer模型的无监督预训练比完全监督学习提供了实质性的性能优势，即使没有利用额外的未标记数据，即，通过无监督目标重用相同的数据样本。
2020-12-08 cs.AI cs.LG
Analysing the Behaviour of Tree-Based Neural Networks in Regression Tasks
Chalmers University of Technology（查尔姆斯理工大学）；University of Trento（特伦托大学）
针对源代码执行时间预测回归任务，论文比较基于树的CNN、Code2Vec、Transformer和GNN，并提出融合代码token与AST交叉注意力的双Transformer，性能优于现有方法。
2024-06-17 cs.AI cs.LG cs.SE
T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders
Electrical and Computer Engineering, University of Washington（华盛顿大学电气与计算机工程系）；Applied Mathematics, University of Washington（华盛顿大学应用数学系）；Computer Science & Engineering, University of Washington（华盛顿大学计算机科学与工程系）
T-SHRED通过结合Transformer和符号回归，提升模型正则化和可解释性，适用于不同尺度的混沌系统预测。
2025-12-11 cs.LG
Multilingual Hope Speech Detection: A Comparative Study of Logistic Regression, mBERT, and XLM-RoBERTa with Active Learning
Ekiti State University（埃基蒂州立大学）
本研究提出结合主动学习与多语言变换器（mBERT、XLM-RoBERTa）的希望言语检测框架，在四种语言上验证其优于传统基线，并实现数据高效训练。
2025-09-24 cs.CL cs.LG
Superiority of Multi-Head Attention in In-Context Linear Regression
Michigan State University（密歇根州立大学）
该研究通过理论分析对比Transformer单头与多头注意力在上下文线性回归任务中的性能，证明嵌入维度足够大时多头注意力更优，且损失均为O(1/D)但多头乘积常数更小，验证了多头注意力设计的有效性。
2024-01-30 cs.AI cs.LG stat.ML
GBT: Two-stage transformer framework for non-stationary time series forecasting
Beihang University（北京航空航天大学）
针对 TSFT 解码器输入初始化不当导致的非平稳序列过拟合问题，提出两阶段 GBT 框架及误差分数修正模块，以更低复杂度取得优于多种 SOTA 模型的效果。
2023-07-17 cs.LG
