Auto-Regressive Approximations to Non-stationary Time Series, with Inference and Applications
本文证明一般非平稳非线性时间序列可由缓慢发散阶的白噪声驱动AR过程全局逼近,并提出系数推断的高维L²检验、乘子自助法和自适应稳定性检验,进而建立局部平稳序列的全局最优短期预测理论。
2023-04-24 math.ST stat.ME stat.TH
Regularized tapered sample covariance matrix
协方差阵锥在信号处理及相关领域有着悠久的历史。应用的示例包括自回归模型(促进带状结构)或波束成形(加宽与波束成形器相关联的频谱零宽度)。在本文中,重点是高维设置,其中维度$p$高,而数据纵横比$n/p$低。我们提出了一种称为Tabasco(锥形或BAnded收缩协方差矩阵)的估计量,它将锥形样本协方差阵缩小到一个缩放的单位矩阵。我们推导出最佳和估计的(数据自适应)正则化参数,这些参数旨在最小化建议的收缩估计量和真实的协方差阵之间的均方误差(MSE)。这些参数的一般假设下得出的数据是从一个未指定的椭圆对称分布有限的四阶矩(实值和复值的情况下解决)。仿真研究表明,建议Tabasco优于所有竞争的锥形协方差阵估计在不同的设置。空时自适应处理(STAP)的应用程序也说明了所提出的估计在一个实际的信号处理设置的好处。
2021-09-03 stat.ME
Regularized Estimation in High-Dimensional Vector Auto-Regressive Models using Spatio-Temporal Information
向量自回归(VAR)模型是多变量时间序列建模的常用模型,对于高维数据有许多惩罚方法。然而,就时空数据而言,大多数方法没有考虑数据的时空结构,这可能导致不可靠的网络检测和不准确的预测。提出了一种数据驱动的时空VAR模型加权l1正则化方法。通过大量的仿真实验,将该方法与现有的4种高维VAR模型方法进行了比较,证明了该方法在参数估计、网络检测和样本外预测等方面的改进。我们还将我们的方法应用于交通数据集上,以评估其在实际应用中的性能。此外,我们还研究了弱稀疏情形下VAR模型的l1正则化估计的理论性质,其中精确稀疏可视为一种特殊情况。据我们所知,这个方向还没有被认为是在文学。对于一般的平稳VAR过程,在弱稀疏情形下,得到了l1正则化估计误差的非渐近上界,给出了估计一致性条件,并对一种特殊的VAR(1)情形作了进一步的简化.
2020-12-18 stat.ME
Modeling of Volatility with Non-linear Time Series Model
本文利用非线性时间序列模型来描述金融时间序列数据的波动性。为了描述波动性,将两个非线性时间序列组合成具有非对称条件异方差误差项的门限自回归模型(TAR),并对其参数估计进行了研究。
2014-07-03 math.PR math.ST q-fin.ST
A Short Information-Theoretic Analysis of Linear Auto-Regressive Learning
University of Pennsylvania(宾夕法尼亚大学)
本文用信息论方法证明线性自回归模型中高斯最大似然估计的一致性,并在有限假设类下获得近乎最优的非渐近参数恢复速率。
2024-09-10 cs.LG cs.SY eess.SY
Variational Auto-Regressive Gaussian Processes for Continual Learning
New York University(纽约大学);Facebook Inc.(脸书公司);University of Sydney(悉尼大学)
通过在线观察数据的后验序列构造,贝叶斯定理为持续学习提供了一个自然的框架。我们开发了变分自回归高斯过程(VAR-GPs),这是一种原则性的后验更新机制,用于解决连续学习中的顺序任务。通过依赖于稀疏诱导点近似的可扩展后验,我们提出了一种新的自回归变分分布,揭示了两个富有成效的连接到现有的结果在贝叶斯推断,期望传播和正交诱导点。平均预测熵估计表明VAR-GP可以防止灾难性遗忘,这在经验上得到了现代持续学习基准对竞争基线的强劲表现的支持。一项彻底的消融研究证明了我们的建模选择的有效性。
2021-06-12 cs.LG stat.ML
Two-Layer Linear Auto-Regressive Models Estimate Latent States
Cornell(康奈尔大学);Washington(华盛顿大学);Imperial College London(伦敦帝国理工学院);Amazon(亚马逊)
本文证明两层线性自回归模型通过经验风险最小化训练时,能近似卡尔曼滤波,恢复潜在状态估计,并提供有限样本保证。
2026-08-11 cs.AI cs.LG cs.SY
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah(犹他大学)
贝叶斯优化(BO)是一种强大的方法,用于优化黑盒,昂贵的评估功能。为了在成本和精度之间实现灵活的权衡,许多应用允许在不同的精度下对函数进行评估。为了降低优化成本,同时最大限度地提高效益-成本比,本文提出了基于深度自回归网络的批量多保真度贝叶斯优化(BMBO-DARN)。我们使用一组贝叶斯神经网络来构建一个完全自回归模型,该模型具有足够的表达能力,可以捕获所有属性之间强大而复杂的关系,从而提高代理学习和优化性能。此外,为了提高查询的质量和多样性,我们开发了一个简单而有效的批量查询方法,没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索(MES)的原则,惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算,并对每个概率输入对进行交替优化,这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning
Peking University(北京大学);Rice University(Rice大学);hi-lab, Xiaohongshu Inc(小红书实验室,小红书公司)
本文提出MARVAL框架,通过压缩扩散链为单步自回归生成,提升推理效率并使强化学习实用化,实现了生成模型的快速采样和偏好对齐。
2026-03-17 cs.AI cs.LG
Cactus: Accelerating Auto-Regressive Decoding with Constrained Acceptance Speculative Sampling
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(阿尔伯塔大学计算机科学系与阿尔伯塔机器智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
本文提出Cactus方法,通过受约束优化框架,在保证与验证器分布可控差异的同时提升接受率,有效解决传统推测采样在分布匹配上的限制问题。
2026-04-05 cs.AI cs.LG math.OC
Generalization of Auto-Regressive Hidden Markov Models to Non-Linear Dynamics and Unit Quaternion Observation Space
University of Verona(维罗纳大学)
本文提出ARHMM的两种推广:用非线性基函数线性组合描述笛卡尔空间自回归动力学,以及在单位四元数空间中建立线性动力学以处理姿态,从而提升对复杂观测动态的建模能力。
2023-06-08 cs.LG cs.RO
Neural Approximation of an Auto-Regressive Process through Confidence Guided Sampling
Clova AI Research, NAVER Corp.(NAVER公司Clova AI研究中心)
我们提出了一个通用的基于置信度的近似,可以插入和简化的自回归生成过程中证明收敛。我们首先假设未来样本的先验可以在独立同分布(i.i.d.)使用高效的预测器。给定过去样本和未来先验信息,母AR模型可以对先验信息进行后处理,而伴随的置信预测器决定当前样本是否需要重新建模。多亏了身份证。假设,后处理可以并行地更新每个样本,这显著地加速了母模型。我们在不同数据域(包括序列和图像)上的实验表明,该方法可以成功地捕获数据的复杂结构,并以较低的计算代价生成有意义的未来样本,同时保持数据的序列关系。
2019-10-15 cs.CV cs.LG stat.ML
Discrete Auto-regressive Variational Attention Models for Text Modeling
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong(香港中文大学)
变分自编码器(VAE)已广泛应用于文本建模。然而,在实践中,他们受到两个挑战的困扰:信息代表性不足和后验崩溃。前者的出现是因为只有LSTM编码器的最后一个隐藏状态被转换到潜在空间中,这通常不足以总结数据。后者是VAE训练过程中的一个长期存在的问题,因为优化被困在灾难性的局部最优。在本文中,我们提出了离散自回归变分注意力模型(DAVAM),以解决这一挑战。具体来说,我们引入了一个自回归变分注意方法,以丰富的潜在空间,有效地捕捉语义依赖的输入。我们进一步设计了离散的潜在空间的变分注意力和数学证明,我们的模型是免费的后验崩溃。语言建模任务的大量实验表明DAVAM对几个VAE同行的优越性。
2021-06-16 cs.CL cs.LG
LauraTSE: Target Speaker Extraction using Auto-Regressive Decoder-Only Language Models
Duke Kunshan University(杜克昆山大学)
本文提出LauraTSE,基于LauraGPT的自回归解码器专用语言模型,通过粗粒度生成与编码器细化两阶段实现目标说话人提取,实验验证了其有效性。
2025-08-16 cs.AI cs.LG
VAR-3D: View-aware Auto-Regressive Model for Text-to-3D Generation via a 3D Tokenizer
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学);Harbin Institute of Technology(哈尔滨工业大学)
VAR-3D通过视图感知的3D标记器和渲染监督训练策略,提升文本到3D生成的质量和对齐性能。
2026-02-14 cs.CV cs.LG
Lossless Vocabulary Reduction for Auto-Regressive Language Models
NTT Computer and Data Science Laboratories, NTT Corporation(NTT计算机与数据科学实验室,NTT集团);NTT Human Informatics Laboratories, NTT Corporation(NTT人类信息学实验室,NTT集团)
本文提出了一种无损词汇缩减框架,使不同分词方式的语言模型能通过最大公共词汇高效合作,提升模型集成效率。
2026-02-18 cs.AI cs.CL cs.LG
A Generalized Formalism of Auto-Regressive Decoding for Speech Processing
Knowledge Technology, Department of Informatics, University of Hamburg, Germany(德国汉堡大学信息学系知识技术实验室)
针对语音处理中自回归解码策略缺乏统一框架的问题,提出广义理论形式化,明确分类标准并简化基准设计,支持聚焦搜索策略的消融研究。
2026-06-23 cs.LG cs.SD eess.AS
A new approach for combined model class selection and parameters learning for auto-regressive neural models
本文提出了一种新方法,用于自回归神经模型中模型类别选择与参数学习的联合优化,提升了模型的准确性和鲁棒性。
2026-01-24 cs.LG cs.SY eess.SY
Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation
Stanford University(斯坦福大学);OpenAI;Apple ML Research(苹果机器学习研究部门)
研究探索将预训练语言模型适配于自回归文本到图像生成,发现其帮助有限,原因在于图像token与文本token语义差异大且图文数据集文本过于简单导致模型能力退化。
2024-09-25 cs.AI cs.CL cs.CV
Physics-informed Temporal Alignment for Auto-regressive PDE Foundation Models
University of Science and Technology of China(中国科学技术大学)
针对自回归PDE基础模型因捷径问题导致误差累积及分布外泛化差的挑战,提出受逆问题启发的自监督框架PITA,通过在自监督信号中引入物理信息约束以对齐不同时间步的物理动态,显著提升了模型在时间相关PDE数据上的准确性与鲁棒性。
2025-05-31 cs.LG
Benchmarking Long Roll-outs of Auto-regressive Neural Operators for the Compressible Navier-Stokes Equations with Conserved Quantity Correction
Graduate Researcher, Computer Science and Engineering(计算机科学与工程研究生);Postdoctoral Researcher, Mechanical and Aerospace Engineering(机械与航空航天工程博士后);Glenn Chair Professor, Mechanical and Aerospace Engineering(机械与航空航天工程 Glenn 教授);Professor, Computer Science and Engineering(计算机科学与工程教授)
本文提出守恒量校正技术,提升自回归神经算子模型在长预测中的稳定性,并分析了现有神经算子架构的局限性。
2026-01-30 cs.LG
Enhancing Auto-regressive Chain-of-Thought through Loop-Aligned Reasoning
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对自回归思维链生成长且正确轨迹的挑战,该研究提出RELAY方法,将思维链推理步骤与循环Transformer的迭代对齐并施加中间监督,提升其泛化性以生成超长推理链,进而微调自回归模型并显著提升其性能。
2025-02-12 cs.AI cs.CL cs.LG
TabularARGN: A Flexible and Efficient Auto-Regressive Framework for Generating High-Fidelity Synthetic Data
MOSTLY AI
本文提出TabularARGN自回归生成框架,通过训练所有条件概率支持公平性生成、缺失填补和任意列条件生成,在保证高合成质量的同时显著降低训练与推理时间。
2025-02-06 cs.LG
XSpecMesh: Quality-Preserving Auto-Regressive Mesh Generation Acceleration via Multi-Head Speculative Decoding
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University(教育部多媒体可信感知与高效计算重点实验室,厦门大学);Shandong Inspur Database Technology Co.,Ltd(山东浪潮数据库技术有限公司)
针对自动回归网格生成推理延迟高的问题,提出XSpecMesh方法,采用多头投机解码并行预测词元,结合验证重采样与蒸馏策略,实现1.7倍加速且不损失生成质量。
2025-08-06 cs.CV cs.GR cs.LG
Painter: Teaching Auto-regressive Language Models to Draw Sketches
Qualcomm AI Research(高通人工智能研究院)
本文提出 Painter,通过微调预训练 LLM 使其自回归生成画笔笔触,实现文本到草图生成、对象移除及草图对象检测分类。
2023-08-16 cs.CV cs.LG
Auto-Regressive Next-Token Predictors are Universal Learners
Harvard University(哈佛大学);Kempner Institute for the Study of Natural and Artificial Intelligence(坎普纳自然与人工智能研究所)
本文提出研究自回归下一词元预测器的理论框架,证明在CoT数据上训练的简单线性预测器即可近似图灵机计算的任意函数,并引入长度复杂度,揭示了LLM的强大能力主要源于自回归训练方案而非特定架构。
2024-07-29 cs.CL cs.LG
CAFLOW: Conditional Autoregressive Flows
University of Cambridge(剑桥大学)
我们介绍CAFLOW,一个新的多样化的图像到图像的翻译模型,同时利用自回归建模的力量和建模效率的条件规范化流。我们使用多尺度归一化流程将条件图像转换为一系列潜在编码,并对条件图像重复该过程。我们通过使用高效的多尺度归一化流对自回归分布进行建模来对潜在编码的条件分布进行建模,其中每个调节因素在其各自的分辨率尺度上影响图像合成。我们提出的框架在一系列图像到图像的翻译任务上表现良好。它优于以前的设计条件流,因为它的表达自回归结构。
2021-06-04 cs.AI cs.CV cs.LG
Modeling the Dynamics of PDE Systems with Physics-Constrained Deep Auto-Regressive Networks
University of Notre Dame(圣母大学)
近年来,深度学习已被证明是大量物理系统的替代建模和不确定性量化的可行方法。然而,在其传统形式中,这些模型可能需要大量的训练数据。这对于获得数据可能极其昂贵的各种工程和科学应用特别重要。为了克服这个缺点,物理约束的深度学习提供了一种很有前途的方法,因为它只利用控制方程。在这项工作中,我们提出了一种新的自回归密集编码器-解码器卷积神经网络,用于在没有训练数据的情况下求解和建模非线性动态系统,其计算成本可能低于标准数值求解器。该模型包括一个贝叶斯框架,允许在每个时间步预测的感兴趣的量的不确定性量化。我们严格测试这个模型上的几个非线性瞬态偏微分方程系统,包括湍流的Kuramoto-Sivashinsky方程,多激波的形成和相互作用与一维Burgers方程和二维波动动力学耦合Burgers方程。对于每一个系统,预测结果和不确定性,并讨论了从传统的数值分析方法得到的结果进行比较。
2019-12-03 cs.LG physics.comp-ph stat.ML
Rethinking Molecular Design: Integrating Latent Variable and Auto-Regressive Models for Goal Directed Generation
ETH, Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);ETH AI Center(苏黎世联邦理工学院AI中心)
本文针对目标导向分子生成,提出融合 VAE 与自回归模型优势的新型正则化混合模型,以提升分子序列有效性、条件生成与风格迁移,并反思经典模型的隐含假设。
2024-09-06 cs.LG q-bio.BM
Generating diverse and natural text-to-speech samples using a quantized fine-grained VAE and auto-regressive prosody prior
Google Brain(谷歌大脑)
最近的神经文本转语音(TTS)模型与细粒度的潜在功能,使合成语音的韵律精确控制。这样的模型通常结合细粒度变分自动编码器(VAE)结构,提取每个输入令牌处的潜在特征(例如,音素)。然而,使用标准VAE先验生成样本通常会导致不自然和不连续的语音,令牌之间具有戏剧性的韵律变化。本文提出了一种离散潜在空间中的序列先验,可以生成更自然的声音样本。这是通过使用矢量量化(VQ)对潜在特征进行离散化,并针对结果单独训练自回归(AR)先验模型来实现的。我们评估的方法,使用听力测试,客观指标的自动语音识别(ASR)的性能,和韵律属性的测量。实验结果表明,该模型显著提高了随机样本生成的自然度。此外,初步的实验表明,从所提出的模型中随机采样可以作为数据增强,以提高ASR的性能。
2020-02-06 cs.LG cs.SD eess.AS
Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network
Tsinghua University(清华大学)
本文提出基于价值的强化学习算法ARSQ,通过由粗到细的自回归方式建模Q值,有效利用次优演示与在线数据进行连续控制,在D4RL和RLBench上显著超越基线。
2025-05-29 cs.LG cs.RO
CART: Compositional Auto-Regressive Transformer for Image Generation
针对图像自回归生成因空间依赖性面临的挑战,提出组合式自回归Transformer(CART),通过分层语义分解迭代添加图像细节,在三种分解策略上验证其灵活性,优于传统方法,提升可控性与可解释性。
2025-11-12 cs.CV cs.LG
Controlled LLM Decoding via Discrete Auto-regressive Biasing
Purdue University(普渡大学)
本文提出离散自回归偏置受控解码算法,通过在离散文本域中利用梯度并引入联合分布与离散MCMC采样,解决了基于能量的解码在流畅性与约束满足之间的平衡问题,在情感控制、去毒化和关键词生成上以更低成本取得更优效果。
2025-02-06 cs.CL cs.LG stat.ML
Non-Stationary Bandits with Auto-Regressive Temporal Dependency
Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运营研究中心);Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院);IBM Research(IBM研究院)
针对传统多臂老虎机忽略现实场景时间动态的问题,提出融合交替与重启机制的自回归奖励非平稳MAB框架,实现接近下界的遗憾上界,并通过旅游需求预测案例验证了有效性与适用性。
2023-12-12 cs.DS cs.LG
Auto-Regressive U-Net for Full-Field Prediction of Shrinkage-Induced Damage in Concrete
Czech Technical University in Prague(布拉格捷克技术大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出自回归U-Net和CNN结合的方法,用于预测混凝土收缩损伤及力学性能,提升计算效率并优化混凝土配比。
2026-03-06 cs.LG
Auto-Regressive Masked Diffusion Models
School of Computer Science University of Waterloo, ON, Canada(计算机科学学院,滑铁卢大学,加拿大);Google Research(谷歌研究)
本文提出自回归掩码扩散模型,通过结合自回归模型的训练效率与扩散模型的并行生成能力,实现高效且灵活的语言建模,提升性能并减少训练步骤。
2026-01-23 cs.LG
PRRS Outbreak Prediction via Deep Switching Auto-Regressive Factorization Modeling
University of California, Davis(加州大学戴维斯分校);Northeastern University(东北大学)
我们提出了一个流行病学分析框架,在畜牧业的爆发预测,重点研究在养猪业中最昂贵的病毒性传染病-PRRS病毒。使用这个框架,我们可以预测PRRS疫情在所有农场的养猪生产系统通过捕获感染传播的时空动态的基础上,农场内的猪级病毒传播动力学,和农场间的猪运输网络。我们模拟了PRRS感染流行病的基础上的运输网络和SEIR流行病模型,使用从养猪业提供的实际数据中提取的统计数据。我们开发了一个分层因子分解的深度生成模型,该模型通过时间相关权重和空间相关低维因子之间的乘积来近似高维数据,以执行每个农场的时间序列预测。预测结果表明,该模型具有较好的预测能力,平均误差为2.5%.
2021-10-07 cs.LG
Large-Scale Auto-Regressive Modeling Of Street Networks
KAUST(阿卜杜拉国王科技大学)
我们提出了一种新的生成方法,用于创建城市规模的道路布局。虽然最近的方法的输出是有限的覆盖区域和多样性的大小,我们的框架产生大的可遍历的高质量的顶点和边缘组成的图,代表完整的街道网络覆盖400平方公里或更多。虽然我们的框架可以处理一般的2D嵌入式图形,但由于训练数据的广泛可用性,我们专注于街道网络。我们的生成框架由一个Transformer解码器组成,该解码器以滑动窗口的方式用于预测一个索引字段,每个索引对局部邻域的表示进行编码。每个索引的语义由上下文向量的字典确定。然后将索引字段输入到解码器以计算街道图。使用OpenStreetMap的数据,我们对整个城市甚至美国等大国的系统进行训练,并最终将其与最先进的系统进行比较。
2022-09-01 cs.LG
SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation
University of Cambridge(剑桥大学)
SQLformer是一种新型Transformer架构,通过自回归生成SQL查询的抽象语法树并融入结构归纳偏置,在六个文本到SQL基准上取得最先进性能。
2024-05-27 cs.CL cs.LG
CarPlanner: Consistent Auto-regressive Trajectory Planning for Large-scale Reinforcement Learning in Autonomous Driving
Zhejiang University(浙江大学);Cainiao Network(菜鸟网络)
针对自动驾驶强化学习轨迹规划训练效率低、难适配大规模真实场景的问题,提出带一致性机制、生成-选择框架的CarPlanner,首次在nuPlan数据集上超越IL及规则类SOTA方法。
2025-03-24 cs.CV cs.LG cs.RO
A Simple Baseline for Predicting Events with Auto-Regressive Tabular Transformers
University of Maryland(马里兰大学);Capital One(第一资本金融公司);Columbia University(哥伦比亚大学)
针对现有事件预测方法成本高、依赖特定场景等问题,提出基于标准自回归LLM风格Transformer的简单灵活基线,在主流数据集上性能更优,可用于多类表格数据任务。
2024-10-31 cs.CE cs.LG stat.ML
X-Prompt: Towards Universal In-Context Image Generation in Auto-Regressive Vision Language Foundation Models
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);CPII under InnoHK(创新香港科技促进会);MThreads AI
本文提出纯自回归视觉语言模型X-Prompt,通过高效压缩上下文示例特征和统一文本图像预测训练,在统一框架内实现通用图像生成,并能泛化到未见任务。
2025-08-27 cs.AI cs.CV cs.LG
Polygonizer: An auto-regressive building delineator
Technical University of Denmark(丹麦技术大学);Otovo AS(Otovo公司)
提出一种Image-to-Sequence自回归模型Polygonizer,直接从遥感图像推断建筑形状并输出矢量格式,避免了传统语义分割的复杂后处理,在使用真实边界框时实现了最低的最大切线角度误差。
2023-04-08 cs.CV cs.LG
Capturing Conditional Dependence via Auto-regressive Diffusion Models
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
研究普通扩散模型难以捕捉条件依赖结构的问题,提出自回归扩散模型,在理论最弱假设下证明其采样误差更小,并实证其在存在条件依赖时优于DDPM。
2025-04-30 cs.LG stat.ML
Multimodal Auto-regressive Transformer Surrogate for Modeling Variable Operations and Quantifying Uncertainty in Geological Carbon Storage
Stanford University(斯坦福大学)
本研究提出多模态自回归Transformer代理模型,用于地质碳封存中可变操作建模与不确定性量化,经4000次GEOS流模拟训练后,可精准预测相关参数并降低关键元参数的不确定性。
2026-08-05 cs.AI cs.LG
DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training
Tsinghua University(清华大学);Caltech(加州理工学院);RealAI
本文提出DPOT,一种基于Fourier attention的自回归去噪PDE预训练Transformer,在10余个数据集、超100k轨迹上以0.5B参数实现SOTA,并显著提升3D等下游任务性能。
2024-05-07 cs.LG cs.NA math.NA
Brain dynamics via Cumulative Auto-Regressive Self-Attention
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS)(神经影像与数据科学转化研究三机构中心(TReNDS));Georgia State University(佐治亚州立大学);Georgia Tech(佐治亚理工学院);Emory(埃默里大学)
多变量动态过程通常可以通过代表每个单独时间序列的组件之间的加权连接图来直观地描述。即使是一个简单的表示为皮尔逊相关矩阵的图形可以提供信息和预测,在脑成像文献中证明。然而,有一个共识期望,强大的图神经网络(GNN)应该在类似的设置中表现得更好。在这项工作中,我们提出了一个比深度GNN浅得多的模型,但在脑成像应用中的预测准确性方面优于它们。我们的模型学习个体时间序列的自回归结构,并通过自注意力机制以端到端的方式估计学习到的表示之间的有向连接图。作为患者和对照之间的分类器的模型的监督训练导致生成有向连接图并突出显示对每个受试者具有预测性的时间序列的分量的模型。我们展示了我们的结果对功能神经影像数据集分类精神分裂症患者和对照。
2022-02-14 cs.LG
Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization
本文采用自回归下一个词元预测范式,通过形式化预训练与上下文学习框架,提出依赖数据、主题和优化的PAC-贝叶斯泛化界,证明上下文学习源于序列和主题的泛化,并用实验验证。
2025-02-24 cs.CL cs.LG stat.ML
Bayesian Models for Joint Selection of Features and Auto-Regressive Lags: Theory and Applications in Environmental and Financial Forecasting
Department of Statistics University of Connecticut(统计学系 美国康涅狄格大学);Department of Statistics North Carolina State University(统计学系 北卡罗来纳州立大学)
本文提出一种基于spike-and-slab先验的分层贝叶斯框架,用于线性回归中协变量与滞后误差项的联合选择,并设计两阶段MCMC算法解决高维计算问题,在理论和实际应用中均展现出更高的选择准确性与预测性能。
2025-08-15 cs.LG math.ST stat.ME
Diffusion-nested Auto-Regressive Synthesis of Heterogeneous Tabular Data
Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学布罗德研究所);University of Illinois Chicago(芝加哥伊利诺伊大学)
针对自回归模型难以处理异质表格数据及列排列不变性的问题,提出扩散嵌套自回归模型TabDAR,通过扩散模型参数化连续特征分布、带双向注意力的掩码Transformer支持任意列生成顺序,在10个数据集上多项指标显著优于现有最优方法。
2024-10-28 cs.LG
BAD: Bidirectional Auto-regressive Diffusion for Text-to-Motion Generation
Amirkabir University of Technology (AUT)(阿米尔卡比尔理工大学);Iran University of Science and Technology (IUST)(伊朗科技大学);Concordia University(康考迪亚大学)
针对自回归模型难捕捉双向模式、掩码模型易削弱序列依赖的问题,提出融合二者优势的双向自回归扩散模型BAD,通过排列破坏技术兼顾序列与双向关系,在文本生成动作任务上表现更优,提供新的序列预训练策略。
2024-09-17 cs.CL cs.CV cs.LG
GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models
Stanford University(斯坦福大学);University of Southern California(南加州大学)
建模和生成图是研究生物学、工程学和社会科学中网络的基础。然而,由于图的非唯一、高维性质以及给定图中边之间存在的复杂、非局部依赖性,对图上的复杂分布进行建模然后从这些分布中有效地采样是具有挑战性的。在这里,我们提出了GraphRNN,这是一种深度自回归模型,可以解决上述挑战,并以最小的结构假设来近似任何图的分布。GraphRNN通过在一组有代表性的图上进行训练来学习生成图,并将图生成过程分解为一系列节点和边的形成,条件是到目前为止生成的图结构。为了定量评估GraphRNN的性能,我们引入了一套基准数据集,基线和基于最大平均离散度的新评估指标,这些指标可以测量各组图之间的距离。我们的实验表明,GraphRNN显著优于所有基线,学习生成与目标集的结构特征相匹配的各种图,同时还可以扩展到比以前的深度模型大50倍的图。
2018-06-23 cs.AI cs.LG cs.SI
Finer Behavioral Foundation Models via Auto-Regressive Features and Advantage Weighting
针对前向-后向表示(FB)框架训练行为基础模型(BFMs)的线性编码限制和离线训练问题,引入自回归特征提升表达能力,并适配离线RL技术,在D4RL基准上性能与单任务离线智能体相当。
2024-12-05 cs.LG
Non-Stationary Latent Auto-Regressive Bandits
针对无预算的非平稳多臂赌博机问题,提出LARL算法,通过隐式预测潜在自回归状态形成奖励预测,近似稳态卡尔曼滤波,实现次线性遗憾并优于基线。
2025-02-28 cs.AI cs.LG