Estimation in a simple linear regression model with measurement error
本文讨论了简单线性回归模型中斜率参数的估计问题，其中自变量具有函数测量误差。众所周知，自变量的测量误差会导致普通最小二乘估计量的偏倚。在有限样本情形下，给出了一种减小偏差的一般方法，并给出了一些精确的减小偏差的估计量。此外，它表明，某些截断程序改善了普通最小二乘和偏差减少估计的均方误差。
2018-04-09 math.ST stat.TH
Correcting the estimator for the mean vectors in a multivariate errors-in-variables regression model
当多元回归中的因变量和自变量都存在测量误差时，多元变量误差回归模型适用。在这种情况下，长期以来一直认为，传统的最小二乘法估计模型参数是有偏差的和不一致的。广义最小二乘、普通最小二乘和最大似然估计（在高斯误差假设下）在Gleser（1981）的开创性论文中导出。然而，均值向量的普通最小二乘和最大似然估计量推导错误。在这篇简短的论文中，我们修改了这个错误，提出了正确的估计的均值向量。
2015-10-13 math.ST stat.TH
Neural Sum-of-Squares: Certifying the Nonnegativity of Polynomials with Transformers
本文提出首个学习增强算法，用Transformer预测近乎最小的单项式基以加速平方和（SOS）非负性证明，在200多个基准上实现超100倍加速，并能求解竞争方法失败的实例。
2025-10-15 cs.AI cs.LG
A multilevel approach to accelerate the training of Transformers
ENS de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Université Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））；LIP（里昂计算机科学实验室）
本文基于常微分方程解释提出一种改变 ODE Transformers 离散化的多层方法，以加速 Transformer 架构的训练，并通过与标准训练程序对比实验验证了其有效性。
2025-04-24 cs.AI cs.LG math.OC
Two-stage least squares with a randomly right censored outcome
本文发展了一个简单的两阶段最小二乘（2SLS）方法，用于估计线性模型中某些内生回归变量对随机右删失结果的因果效应。该提案用加权最小二乘回归取代了标准2SLS的通常普通最小二乘回归。权重对应于截尾的逆概率。证明了估计量的相合性和渐近正态性。该估计器具有良好的有限样本性能的模拟。
2021-10-11 econ.EM math.ST stat.TH
Risk bounds when learning infinitely many response functions by ordinary linear regression
École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Télécom Paris（巴黎电信学院）；CREST（国家科学研究中心）；ENSAI（法国国家统计与信息分析学院）；UCLouvain（鲁汶大学）
考虑基于相同输入变量同时学习大量响应函数的问题。训练数据由从公共分布中抽取的输入变量的单个独立随机样本以及相关响应组成。输入变量被映射到一个高维线性空间，称为特征空间，响应函数被建模为映射特征的线性泛函，系数通过普通最小二乘法校准。我们提供收敛保证的最坏情况下的超额预测风险，通过控制的过度风险的收敛速度一致的响应函数。允许特征图的维度随着样本量而趋于无穷大。响应函数的集合虽然可能是无限的，但应该具有有限的Vapnik-Chervonenkis维数。当在合理的计算时间内建立多个代理模型时，可以应用导出的边界。
2021-11-27 cs.LG math.ST stat.ML
The Fourier Spectral Transformer Networks For Efficient and Generalizable Nonlinear PDEs Prediction
Deep Space Exploration Lab（深空探测实验室）
本文提出傅里叶谱变换网络，融合谱方法与注意力机制，将偏微分方程转为谱常微分方程建模，在纳维-斯托克斯和伯格斯方程上实现高精度长期预测，优于传统方法，且泛化良好。
2025-07-08 cs.AI cs.LG
Transformers Handle Endogeneity in In-Context Linear Regression
UC Davis（加州大学戴维斯分校）
本文研究 transformer 如何利用工具变量处理上下文内线性回归的内生性，揭示其模拟双层优化并指数收敛至 2SLS 的机制，提出预训练方案并通过理论与实验证明其更稳健可靠。
2025-05-11 cs.AI cs.LG econ.EM
Weighted least squares estimators for the Parzen tail index
重尾分布尾指数的估计及其应用在许多研究领域中是必不可少的。提出了Parzen尾指数的一类加权最小二乘估计。我们的方法是基于\cite{Holan2010}开发的方法。我们研究了WLS估计的相合性和渐近正态性。通过模拟研究，我们与Hill，Pickands，DEdH（Dekkers，Einmahl和de Haan）以及以均方误差为准则的普通最小二乘（OLS）估计进行了比较。结果表明，在约束模型中，WLS估计的某些成员与Pickands，DEdH和OLS估计是竞争性的。
2020-02-28 math.ST stat.TH
Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning
Korea University（高丽大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Texas A&M University-Commerce（德州农工大学 Commerce 分校）；Qualcomm AI Research（高通人工智能研究部）；Stanford（斯坦福大学）；KAIST（韩国科学技术院）；Qualcomm Vietnam Company Limited（高通越南有限公司）
本文提出神经ODE Transformer模型，通过非自治神经常微分方程参数化Transformer权重为连续层索引的函数，经谱分析和李雅普诺夫指数提升可解释性，性能相当或更优且支持灵活微调。
2025-04-16 cs.AI cs.LG
Simultaneous Mean-Variance Regression
我们提出了同时均值-方差回归的线性估计和近似的条件均值函数。在未知形式的异方差的存在下，我们的方法通过使用与平均回归参数共同确定的权重来解释在条件变量的支持下回归结果的不同分散度。同时性生成保证改善普通最小二乘法预测误差的结果预测，以及自动有效的相应参数标准误差。根据形状误指定的条件均值和方差函数，我们建立的存在性和唯一性的近似和表征其形式的解释和鲁棒性。特别是，我们表明，相应的均值-方差回归位置尺度模型弱主导的普通最小二乘法的位置模型下的Kullback-Leibler措施的分歧，严格改善的异方差的存在。同时均值-方差回归损失函数是全局凸的，相应的估计量易于实现。我们建立了它的一致性和渐近正态性下的误设定，提供强大的推理方法，并提出了数值模拟，表现出很大的改进普通和加权最小二乘在有限样本的估计和推断。我们进一步说明了我们的方法与两个实证应用，以估计1500年和今天的经济繁荣之间的关系，并在美国的汽油需求。
2019-01-02 econ.EM math.ST stat.ME
Tricks and Plug-ins for Gradient Boosting with Transformers
Northwestern University（西北大学）；Allstate（Allstate公司）
本文提出BoostTransformer框架，通过子网格token选择和重要性加权采样将提升原理引入transformer，实现更高效训练和更优性能。
2025-11-01 cs.LG stat.ML
State and Parameter Estimation of Partially Observed Linear Ordinary Differential Equations with Deterministic Optimal Control
常微分方程是复杂系统建模的一个简单但强大的框架。时间序列的参数估计可以通过非线性最小二乘法（或其他经典方法）进行，但这可能会给出令人不满意的结果，因为即使微分方程是线性的，反问题也可能是不适定的。根据最近的方法，使用近似解的ODE模型，我们提出了一种新的方法，转换参数估计到一个最优控制问题：我们的目标是确定一个控制和参数，尽可能接近的数据。然后，我们推导出一个标准，使数据和模型之间的差异的平衡，我们最小化它通过使用函数空间中的优化：我们的方法是所谓的确定性卡尔曼滤波，但不同于通常的统计卡尔曼滤波。e给出了参数和状态估计量的根$n$相合性和渐近正态性。在玩具模型和真实案例中的实验表明，即使在错误指定的情况下，我们的方法通常比非线性最小二乘和广义平滑更准确，更可靠。
2014-10-28 stat.ME
A rigorous introduction to linear models
本书从多个视角严格介绍线性模型及其理论，涵盖最小二乘、分布理论、最大似然估计、最小方差无偏性与贝叶斯方法，揭示其在机器学习中的基础地位。
2025-05-09 cs.LG stat.ML
Pattern Attention Transformer with Doughnut Kernel
Undergraduate Student of Information Technology, Beijing University of Tehcnology, Beijing, China
本文提出模式注意力Transformer（PAT），用正八边形甜甜圈核替代方形块，以感知区和更新区取代直线边界，在ImageNet 1K上以更轻架构实现比Swin Transformer更高的吞吐量和准确率。
2023-09-17 cs.CV cs.LG
Least squares estimators based on the Adams method for stochastic differential equations with small Lévy noise
研究了由小Lévy噪声驱动的具有未知参数的随机微分方程，提出了一种新的基于离散样本的最小二乘估计.为了从偏微分方程近似过程的增量，我们将不使用通常的欧拉法，而是使用亚当斯方法，即，一种众所周知的数值逼近，它可以近似出现在微分方程极限的常微分方程的解。我们证明了所提出的估计的一致性以及在一个合适的观测方案的渐近分布。我们还表明，我们的估计可以更好地基于欧拉法在有限样本性能通常的LSE。
2022-01-18 math.ST stat.TH
Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems
Jadavpur University（贾达普大学）；IIIT-Delhi（德里印度信息技术学院）；IIT-Bombay（孟买印度理工学院）
Transformer及其变体已被证明是许多不同领域中的有效序列学习器。尽管它们取得了惊人的成功，但一个关键问题是必须训练大量的参数（从$10^7$到$10^{11}$）以及点积注意力的二次复杂性。在这项工作中，我们调查的问题，近似的两个中心组成部分的Transformer -多头自关注和逐点前馈变换，减少参数空间和计算复杂性。我们建立在分析深度神经网络作为常微分方程的数值求解器的最新发展。利用Transformer阶段和多个相互作用的粒子的动力系统的演化之间的类比，我们制定了一个时间演化方案，transEvolve，绕过昂贵的点产品注意多个堆叠层。我们进行详尽的实验与TransEvolve著名的编码器解码器以及编码器的任务。我们观察到，近似的程度（或相反，参数减少的程度）对性能有不同的影响，这取决于任务。在编码器-解码器机制中，TransEvolve提供的性能可与原始Transformer媲美，在仅编码器任务中，它始终优于Transformer以及几个后续变体。
2021-10-27 cs.LG
Query-Key Normalization for Transformers
Cyndx Technologies（Cyndx Technologies（Cyndx科技公司））
低资源语言翻译是一项具有挑战性但具有社会价值的NLP任务。在最近的工作适应Transformer的规范化到这种设置的基础上，我们提出了QKNorm，一种规范化技术，修改了注意力机制，使softmax函数不太容易任意饱和，而不牺牲表现力。具体来说，我们在将它们相乘之前沿着每个查询和键矩阵的头部维度应用$\ell_2$归一化，然后通过可学习的参数而不是除以嵌入维度的平方根来扩大规模。对于来自TED Talks语料库和IWITAL '15的5个低资源翻译对，我们显示了平均0.928 BLEU的改进。
2020-10-08 cs.AI cs.CL cs.LG
Linear shrinkage for predicting responses in large-scale multivariate linear regression
我们提出了一种新的预测方法的多变量线性回归问题的特征数量小于样本量，但结果的数量是非常大的。许多流行的程序，如惩罚回归程序，需要参数调整，这是计算上无法在这样的大规模问题。我们采取了不同的方法，从同步估计问题的想法，执行普通的最小二乘参数估计线性收缩的动机。我们的方法是非常计算效率和调谐自由。我们表明，它可以渐近优于普通最小二乘，而无需对真实回归系数进行任何结构假设，并说明其在模拟和单细胞RNA-seq数据分析中的良好性能。
2021-04-18 stat.ME
Maximum likelihood estimation in the additive hazards model
加性风险模型以加性方式指定协变量对风险的影响，与流行的Cox模型相反，它是乘法的。作为非参数模型，它提供了一种非常灵活的建模时变协变量效应的方法。它通常由普通最小二乘估计。本文考虑协变量有界的情形，在协变量定义域中所有协变量值的风险均为非负的约束下，导出了极大似然估计。我们描述了一个有效的算法来找到极大似然估计。该方法与普通的最小二乘法在模拟研究中进行了对比，并在一个现实的数据集上说明了该方法。
2022-01-20 stat.ME
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft（微软公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
提出潜在循环Transformer（LRT），通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆，在不增加暂停token或额外深度循环的情况下，以约2倍基线计算实现并行训练，在匹配有效计算下提升语言建模损失和上下文学习能力，仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）；University of Waterloo（滑铁卢大学）
我们使用神经常微分方程制定的Transformer，这是深度自适应的意义上说，一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说，我们考虑的简单问题，确定奇偶校验的二进制序列，标准的Transformer具有已知的限制，只能通过使用足够大的层数或注意头克服。然而，我们发现，深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质，并提供解释为什么会这样。接下来，我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化，但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer，可能会导致提高精度和效率的序列建模任务，如神经机器翻译。
2020-10-22 cs.CL cs.LG
A Deep Learning Approach to Dst Index Prediction
New Jersey Institute of Technology（新泽西理工学院）
扰动风暴时间指数（Dst）是空间天气研究中的一个重要指标。它已被用来描述地磁暴的大小和强度。负的Dst值意味着地球的磁场减弱，这在风暴期间发生。在本文中，我们提出了一种新的深度学习方法，称为Dst Transformer，根据NASA空间科学数据协调档案提供的太阳风参数提前1-6小时对Dst指数进行短期预测。Dst Transformer将多头注意力层与贝叶斯推理相结合，这能够在进行Dst预测时量化任意不确定性和认知不确定性。实验结果表明，本文提出的Dst Transformer在均方根误差和R平方方面优于相关的机器学习方法.此外，Dst Transformer可以同时产生数据和模型不确定性量化结果，这是现有方法无法做到的。据我们所知，这是贝叶斯深度学习首次用于Dst指数预测。
2022-05-05 cs.LG
Parametric Estimation of Ordinary Differential Equations with Orthogonality Conditions
在实际应用中，常使用微分方程对动态确定性系统进行建模。当需要用统计参数估计来校正理论模型时，经典的统计估计方法往往面临复杂的、潜在不适定的优化问题。因此，需要替代经典参数估计量的估计量来获得可靠的估计。我们提出了一种梯度匹配的方法估计参数常微分方程观测噪声。从一个真正的解决方案的常微分方程的非参数代理，我们建立了一个参数估计的基础上变分表征的解决方案。作为广义矩估计，我们的估计必须满足一组正交条件，这些条件在最小二乘意义下求解。尽管使用非参数估计，我们证明了根$n$的一致性和渐近正态的正交条件估计。由于渐近方差的封闭形式表达式，我们可以导出置信集。最后，在几个（模拟和真实的）实验和ODE模型，以显示其多功能性和相关性与经典的梯度匹配和非线性最小二乘估计的OC估计与经典的估计进行了比较。特别是，我们在一个真实的流感感染数据集上表明，该方法给出了可靠的估计。此外，我们表明，我们的方法可以直接处理更详细的模型，如延迟微分方程（DDE）。
2014-10-28 stat.ME
A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$
Independent Researcher（独立研究员）；University of Amsterdam（阿姆斯特丹大学）
提出一个统一框架，使视觉Transformer对O(2)的任意离散子群等变，推广了现有翻转和D4等变架构，并通过理论保证和六重对称性实验验证了等变性可提升识别精度。
2026-06-29 cs.CV cs.LG
Predicting Ordinary Differential Equations with Transformers
Helmholtz AI（亥姆霍兹人工智能）；Helmholtz Center Munich（亥姆霍兹慕尼黑中心）；Apple（苹果公司）；DeepMind（深度思维）；OpenAI（开放人工智能）；Technical University of Munich（慕尼黑工业大学）
本研究提出基于transformer的序列到序列模型，可从含噪不规则采样的单条解轨迹中恢复符号形式标量常微分方程，性能优于或持平现有方法，且经预训练后仅需少数前向传播即可推断新解的控制规律。
2023-07-24 cs.LG
Two-step estimation in linear regressions with adaptive learning
弱的一致性和渐近正态性的普通最小二乘法估计的线性回归与自适应学习时，导出的关键，所谓的，“增益”参数估计在第一步由非线性最小二乘法从辅助模型。两步估计量的奇异极限分布是正态分布，并且通常受第一步抽样不确定性的影响。然而，这种“生成回归量”的问题在某些参数组合中消失了。
2022-11-02 econ.EM stat.AP
Tensor-Based Foundations of Ordinary Least Squares and Neural Network Regression Models
本文利用张量分析重新推导了普通最小二乘与神经网络回归模型的理论基础，并提出了三个算法，包括简化的反向传播算法，展示了新数学方法的优势。
2025-09-11 cs.LG
Virtual Temperature Sensors in Power Transformers Using Neural Ordinary Differential Equations
University of Oslo（奥斯陆大学）；SINTEF AS（辛特夫研究院）；Norwegian University of Life Sciences（挪威生命科学大学）
本文提出结合物理知识的神经常微分方程框架，利用15台不同变压器的时间序列数据，实现电力变压器热行为的鲁棒预测，解决了现有方法的局限性。
2026-08-14 cs.LG
The Implicit Regularization of Ordinary Least Squares Ensembles
Rice University（莱斯大学）
在一组独立预测器上求平均的包围方法，每个独立预测器都限于训练数据的示例和特征的子采样，这在机器学习中占有重要地位，例如一直流行的随机森林，但子采样效应的性质，特别是特征的性质，还没有得到很好的理解。我们研究的情况下，合奏的线性预测，其中每个单独的预测是适合使用普通最小二乘法的数据矩阵的随机子矩阵。我们发现，在标准高斯假设下，当为每个预测器选择的特征数量被最佳调整时，大集合的渐近风险等于渐近岭回归风险，这是已知的线性预测器中的最佳设置。除了引出这种由子采样产生的隐式正则化之外，我们还将这种集成与训练深度（神经）网络中使用的dropout技术联系起来，这是另一种已被证明具有脊状正则化效果的策略。
2020-03-24 cs.LG stat.ML
DDOT: A Derivative-directed Dual-decoder Ordinary Differential Equation Transformer for Dynamic System Modeling
National Yang Ming Chiao Tung University
提出 DDOT 模型，通过导数引导双解码器结构和 DIV-diff 度量，提升多维 ODE 符号重建的准确性与稳定性，在 ODEBench 上超越现有方法。
2025-06-23 cs.LG
Beyond Least Squares: Robust Regression Transformer (R2T)
Vistendo Inc.（Vistendo公司）
针对最小二乘在非对称噪声下失效的问题，提出混合神经符号架构 R2T，用 Transformer 编码与压缩网络预测符号参数，在合成可穿戴数据上回归 MSE 降至 6e-6 至 3.5e-5，较传统方法提升 10-300 倍。
2025-08-04 cs.AI cs.LG stat.ML
Provably Auditing Ordinary Least Squares in Low Dimensions
MIT（麻省理工学院）
测量从普通最小二乘线性回归得出的结论的稳定性是至关重要的，但大多数度量要么只测量局部稳定性（即针对数据中的无穷小变化），要么只能在统计假设下解释。最近的工作提出了一个简单的，全局的，有限样本的稳定性度量：需要删除的样本的最小数量，以便重新运行分析推翻结论，特别是意味着估计回归量的特定系数的符号发生变化。然而，除了平凡指数时间算法之外，计算该度量的唯一方法是在合理的、可验证的假设下缺乏可证明的保证的贪婪启发式;启发式提供了一个松散的上限的稳定性，也不能证明它的下限。我们表明，在低维制度的协变量的数量是一个常数，但样本的数量是大的，存在用于可证明地估计该度量（的分数版本）的有效算法。将我们的算法应用于Boston Housing数据集，我们展示了回归分析，在回归分析中，我们可以估计比贪婪启发式更好的$3$的稳定性，并且分析我们可以证明即使是大多数样本的稳定性。
2022-06-05 cs.DS cs.LG econ.EM
Transformers Don't In-Context Learn Least Squares Regression
本文通过合成线性回归和分布外泛化实验发现，为ICL训练的transformers在提示分布偏移后无法泛化，其行为与实现OLS等算法不一致，并通过残差流谱分析揭示了预训练语料库对ICL行为的塑造作用。
2025-07-13 cs.AI cs.LG
Benign overfitting beyond prediction: The ordinary least squares interpolator
Department of Data Sciences & Operations, University of Southern California（数据科学与运营系，南加州大学）；Department of Statistics, University of California, Davis（统计学系，加州大学戴维斯分校）；Department of Statistics, University of California, Berkeley（统计学系，加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文研究过参数化线性模型中最小ℓ2范数OLS插值器的参数估计与推断性质，推导了留k法、遗漏变量偏误公式和Frisch-Waugh-Lovell定理的过参数化版本，并扩展了高斯-马尔可夫定理。
2026-06-19 cs.LG math.ST stat.ME
Differentially Private Ordinary Least Squares
University of Alberta（阿尔伯塔大学）；Harvard University（哈佛大学）
线性回归是机器学习中最流行的技术之一，然而，使用线性回归来实现其\emph{explanatory}功能而不是标签预测也很常见。普通最小二乘法（OLS）通常用于统计，以在存在其他（潜在相关）特征的情况下建立属性（例如性别）和标签（例如收入）之间的相关性。OLS假设一个随机生成数据的特定模型，并导出\emph{$t$-values} -表示每个实际值成为真实相关性的可能性。使用$t$ -值，OLS可以释放一个\emph{confidence interval}，它是实数上的一个区间，可能包含真实的相关性，当这个区间不与原点相交时，我们可以计算\emph{reject the null hypothesis}，因为真实的相关性很可能是非零的。我们的工作旨在实现类似的保证下的数据差分私人估计。首先，我们证明了对于分布良好的数据，高斯约翰逊-林登施特劳斯变换（JLT）给出了一个非常好的近似$t$ -值，其次，当JLT近似岭回归（线性回归与$l_2$ -正则化）我们推导出，在某些条件下，置信区间使用投影数据，最后，我们推导出，在不同的条件下，“Analyze Gauss”算法的置信区间（Dwork等人，STOC 2014）。
2017-08-21 cs.CR cs.DS cs.LG
Federated Spectral Graph Transformers Meet Neural Ordinary Differential Equations for Non-IID Graphs
Indian Institute of Information Technology Kottayam (IIITK)（印度信息技术学院科塔亚姆分校（IIITK））；International Institute of Information Technology Hyderabad (IIITH)（印度信息技术学院海得拉巴分校（IIITH））
针对联邦GNN学习未被充分探索的问题，提出结合谱图Transformer与神经常微分方程的方法，处理非IID图，在同构/异构图上性能优异，推动联邦GNN发展。
2025-04-16 cs.LG
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University（三重大学教育学部）
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解，通过层归一化近似获得解，以区别于基于梯度下降算法的近似解，并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
No penalty no tears: Least squares in high-dimensional linear models
普通最小二乘法（OLS）是拟合线性模型的默认方法，但不适用于维数大于样本量的问题。对于这些问题，我们主张使用一个广义版本的OLS动机的岭回归，并提出了两个新的三步算法，涉及最小二乘拟合和硬阈值。该算法在方法上简单，直观地理解，计算上容易有效地实现，并在理论上吸引力的选择模型一致。数值模拟和数据分析比较我们的方法与惩罚为基础的方法说明了所提出的算法的巨大潜力。
2016-06-16 cs.LG math.ST stat.ME
Discovering Partially Known Ordinary Differential Equations: a Case Study on the Chemical Kinetics of Cellulose Degradation
KTH Royal Institute of Technology（皇家理工学院）；Hitachi Energy Research（日立能源研究院）；Brown University（布朗大学）
本研究针对电力变压器纤维素绝缘老化数据稀缺问题，利用PINNs和符号回归发现并恢复Ekenstam与Emsley常微分方程系统中的未知参数与函数形式。
2025-04-04 cs.LG
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis（加州大学戴维斯分校）；Weizmann Institute of Science（魏茨曼科学研究院）
该研究针对随机线性分类任务下训练的线性Transformer，通过分析梯度下降隐式正则化明确其泛化的条件，并证实其存在上下文内良性过拟合现象，即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Long-term Time Series Forecasting based on Decomposition and Neural Ordinary Differential Equations
Yonsei University（延世大学）
针对线性LTSF模型过于简单的问题，提出LTSF-DNODE，结合线性常微分方程与时间序列分解，在多个真实数据集上超越基线，并探讨了NODE框架中正则化的影响。
2023-11-10 cs.LG
Approximating Matrix Functions with Deep Neural Networks and Transformers
Department of Mathematics and Statistics（数学与统计学系）
本文研究了用深度神经网络和变换器近似矩阵函数，证明了ReLU网络的精度界限，并展示了变换器在近似矩阵函数中的有效性。
2026-02-08 cs.LG cs.NA cs.NE
Hyperloop Transformers
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种改进语言模型参数效率的超环变压器架构，通过循环Transformer和超连接技术，在较少参数下优于基线模型。
2026-07-03 cs.CL cs.LG
Theoretical and Practical Progress in Hyperspectral Pixel Unmixing with Large Spectral Libraries from a Sparse Perspective
University of Virginia（弗吉尼亚大学）
本文针对大光谱库下高光谱解混的OLS矩阵不可逆问题，系统评估了6类回归解混方法的多维度性能，构建了回归方法的贝叶斯分类体系，证实符合高光谱图像现象学先验的方法性能更优。
2024-08-14 cs.LG eess.IV
Studying number theory with deep learning: a case study with the Möbius and squarefree indicator functions
该研究训练小型 transformer 学习 Möbius 函数及无平方因子指示函数，并借助附加模型和特征评分解释其非平凡预测能力。
2025-07-25 cs.LG math.NT
Towards Learning High-Precision Least Squares Algorithms with Sequence Models
Stanford University（斯坦福大学）；University at Buffalo（布法罗大学）
针对最小二乘问题，本文提出多项式序列架构与高精度训练方案，使模型可学习近机器精度的梯度下降迭代，并显著降低 MSE 与分布外泛化差距。
2025-03-15 cs.LG cs.NA math.NA
Understanding In-Context Learning of Linear Models in Transformers Through an Adversarial Lens
University of Cambridge（剑桥大学）；Google, Paradigms of Intelligence Team（谷歌，Paradigms of Intelligence团队）；Google DeepMind（谷歌DeepMind）；Mila & Université de Montréal（Mila与蒙特利尔大学）；UC Davis（加州大学戴维斯分校）
本研究通过对抗攻击视角，发现Transformer对劫持攻击脆弱但可经对抗训练增强，并揭示不同种子训练的Transformer及与传统算法间攻击迁移性差，表明其可能实现不同的情景学习算法。
2025-08-05 cs.CR cs.LG
