An Improved Training Procedure for Neural Autoregressive Data Completion
Stanford University（斯坦福大学）；Brown University（布朗大学）
神经自回归模型是显式密度估计器，可实现生成建模的最新似然。根据链式法则，将D维数据分布分解为一维条件分布的自回归积。数据完成是一个比数据生成更复杂的任务：模型必须推断任何部分观察到的输入向量的缺失变量。以前的工作介绍了一个顺序不可知的训练过程，数据完成自回归模型。在任何部分观测的输入向量中的缺失变量可以通过选择观测维度先于未观测维度的顺序并按此顺序计算自回归积来有效地估算。在本文中，我们提供的证据表明，顺序不可知（OA）的训练过程是次优的数据完成。我们提出了一个替代的过程（OA++），达到更好的性能在更少的计算。它可以处理所有的数据完成查询，同时训练比OA过程更少的一维条件分布。此外，这些一维条件分布的训练与其在推理时的预期使用成比例，从而减少过拟合。最后，我们的OA++过程可以利用先验知识的分布推理完成查询，而不是OA。我们支持这些说法与用于评估自回归生成模型的标准数据集的定量实验。
2017-11-23 cs.LG stat.ML
Gradient Smoothing: Coupling Layer-wise Updates for Improved Optimization
Vector Institute（向量研究所）
提出深度梯度增强框架，通过窗口平滑算子沿深度方向变换优化器更新，在不改变模型架构或训练目标下提升多种架构和任务的优化与泛化性能。
2026-07-01 cs.AI cs.LG
Improved Speech Representations with Multi-Target Autoregressive Predictive Coding
Massachusetts Institute of Technology（麻省理工学院）
基于预测编码的训练目标最近被证明在从未标记的语音中学习有意义的表示方面非常有效。一个示例是自回归预测编码（Chung等人，2019），它训练自回归RNN在给定上下文（如最近过去的帧）的情况下生成一个看不见的未来帧。这些方法的基本假设是，可以准确预测未来帧的隐藏状态是许多下游任务的有用表示。在本文中，我们扩展了这一假设，旨在通过训练模型来丰富隐藏状态中编码的信息，以做出更准确的未来预测。我们提出了一个辅助目标，作为一个正则化，以提高泛化的未来帧预测任务。语音分类、语音识别和语音翻译的实验结果不仅支持了这一假设，而且证明了该方法在学习包含更丰富语音内容的表征方面的有效性。
2020-04-11 cs.CL cs.LG cs.SD
PixelSNAIL: An Improved Autoregressive Generative Model
Embodied Intelligence（具身智能）；UC Berkeley（加州大学伯克利分校）
自回归生成模型在涉及高维数据（如图像或音频）的密度估计任务中始终实现最佳结果。他们将密度估计作为序列建模任务，其中递归神经网络（RNN）以所有先前元素为条件，对下一个元素的条件分布进行建模。在这种范式中，瓶颈是RNN可以对长距离依赖关系建模的程度，而最成功的方法依赖于因果卷积，这比传统的RNN更好地访问序列的早期部分。从最近的Meta强化学习工作中获得灵感，其中处理长程依赖关系也是必不可少的，我们引入了一种新的生成模型架构，将因果卷积与自注意力相结合。在本文中，我们描述了所得到的模型，并在CIFAR-10（每暗2.85位）和$32 \times 32$ ImageNet（每暗3.80位）上给出了最先进的对数似然结果。我们的实现可以在https://github.com/neocxi/pixelsnail-public上获得
2017-12-28 cs.LG stat.ML
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
本研究建立分层自回归生成模型与有损视频压缩的关联，将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向，在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Improved Visual Localization via Graph Smoothing
IMT Atlantique（大西洋国立高等矿业电信学院）；Lab-STICC（STICC实验室）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；University of Adelaide（阿德莱德大学）
基于视觉的定位是在给定单个图像的情况下推断相机的姿态的问题。该问题的一个解决方案是学习深度神经网络，以在对具有已知姿态的图像的数据集进行学习之后推断查询图像的姿态。另一种更常用的方法依赖于图像检索，其中将查询图像与图像数据库进行比较，并在检索到的图像的帮助下推断其姿态。后一种方法假设从相同的地方拍摄的图像由相同的地标组成，因此具有相似的特征表示。这些表示可以使用完全监督来学习，以便对捕获条件（如一天中的时间和天气）的不同变化具有鲁棒性。在这项工作中，我们引入了一个框架，以提高这些基于检索的定位方法的性能，考虑到额外的信息，包括GPS坐标和时间邻域的图像提供的采集过程中除了描述符相似性的参考或查询数据库中的图像对传统上用于本地化。我们的方法构建了一个图形的基础上，这些额外的信息，并使用它的鲁棒检索平滑的参考和/或查询图像的特征表示。我们表明，所提出的方法是能够显着提高定位精度的两个大规模的数据集上的基线。
2019-11-07 cs.CV cs.LG stat.ML
Improved Model-based Reinforcement Learning with Smooth Kernels
School of Statistics, KLATASDS-MOE（统计学学院，KLATASDS-MOE）；East China Normal University（华东师范大学）
本文提出了一种基于核平滑的模型驱动强化学习方法，利用mdp的平滑性，通过伯恩斯坦式探索奖励改进了有限时间 horizon 下的 regret 绑定。
2026-05-08 cs.LG stat.ML
Temporal Window Smoothing of Exogenous Variables for Improved Time Series Prediction
Artificial Intelligence Department, RobotBulls Labs（人工智能部门，RobotBulls实验室）；Department of Electrical and Computer Engineering, North South University（电气与计算机工程系，北南大学）
针对时间序列预测中外生输入冗余与长期依赖捕捉不足的问题，提出白化及全局上下文感知的外生输入处理方法，在不增加回看窗口下提升预测性能，在四个基准上超越11个基线模型。
2025-07-04 cs.LG
Insta-RS: Instance-wise Randomized Smoothing for Improved Robustness and Accuracy
随机平滑（RS）是一种有效的和可扩展的技术，用于构建神经网络分类器，可证明是强大的对抗性扰动。大多数RS工作集中在训练一个良好的基础模型，以提高平滑模型的认证鲁棒性。然而，现有的RS技术对每个数据点都是相同的，即，用于形成平滑模型的高斯噪声的方差是预设的，并且对于所有训练和测试数据都是通用的。这种预设的通用高斯噪声方差是次优的，因为不同的数据点具有不同的裕度，并且基础模型的局部属性在输入示例中有所不同。在本文中，我们研究了自定义处理示例的影响，并提出了实例随机平滑（Insta-RS）-一种多开始搜索算法，将自定义高斯方差分配给测试示例。我们还设计了Insta-RS训练-一种新的两阶段训练算法，自适应地调整和定制每个训练样本的噪声水平，用于训练基础模型，从而提高实例高斯平滑模型的认证鲁棒性。通过在CIFAR-10和ImageNet上进行的大量实验，我们表明，与现有的最先进的可证明鲁棒的分类器相比，我们的方法显着提高了平均认证半径（ACR）和干净数据的准确性。
2021-09-17 cs.LG
Denoising Autoregressive Representation Learning
Google DeepMind（谷歌DeepMind）；xAI
本文提出DARL，一种采用仅解码器Transformer自回归预测图像块的去噪自回归表示学习方法，通过结合MSE与扩散目标，在微调下性能接近最先进掩码预测模型，为视觉感知与生成统一模型迈出重要一步。
2024-06-04 cs.CV cs.LG
Improved Stock Price Movement Classification Using News Articles Based on Embeddings and Label Smoothing
股票价格运动预测是金融学中一个具有挑战性的基本问题。虽然在现代行为金融学中，相关股票的股价往往会在新闻发布后通过投资者的反应和过度反应而发生变化，但如何通过定量模型来捕捉价格变动与新闻报道之间的关系是一个活跃的研究领域，现有模型已经取得了不同程度的成功。在本文中，我们建议通过结合深度学习的正则化和优化技术，使用新闻文章来改进股票价格走势分类。更具体地说，我们通过嵌入和双向递归神经网络来捕获新闻文章和股票之间的依赖关系，就像最近的模型一样。我们进一步结合了权重衰减，批量归一化，dropout和标签平滑，以提高训练模型的泛化能力。为了处理批量归一化验证精度的高波动，我们提出了双阶段训练来可靠地实现改进。我们在常用数据集上的实验结果显示出显着的改进，在测试集上实现了80.7%的平均准确率，比现有模型的绝对改进超过10.0%。我们的消融研究表明，批量归一化和标签平滑是最有效的，平均分别导致6.0%和3.4%的绝对改善。
2023-01-25 cs.AI cs.CL cs.LG
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London（伦敦国王学院）
深度神经网络很容易被欺骗，通过对抗性扰动（人类无法感知的人工噪声）破坏输入来做出错误的预测。到目前为止，对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练，以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现，在训练过程中，通过牺牲相当大比例的训练样本来更容易受到对抗攻击，从而导致数据中对抗脆弱性的不均匀分布，从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在，更重要的是，与对抗训练中的过度拟合有关。基于这一观察，我们提出了一种新的对抗训练方法：实例自适应平滑增强对抗训练（ISEAT）。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观，以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明，我们的方法优于现有的防御方法。值得注意的是，我们的方法，结合最新的数据增强和半监督学习技术，实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据，和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Improved Prediction and Network Estimation Using the Monotone Single Index Multi-variate Autoregressive Model
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
由多变量点过程或时间序列数据进行网络估计是一个非常重要的问题。以前的工作集中在参数方法，需要一个已知的参数模型，这使得估计程序不太强大的模型误指定，非线性和异质性。在本文中，我们开发了一个半参数方法的基础上单调单指标多变量自回归模型（SIMAM），解决了这些挑战。我们提供了理论保证相关的数据和交替投影梯度下降算法。值得注意的是，我们没有明确地假设过程中的混合条件（尽管我们确实需要类似于限制强凸性的条件），我们实现了$O(T^{-\frac{1}{3}} \sqrt{s\log(TM)})$形式的速率（在独立设计情况下最优），其中$s$是网络的最大入度的阈值，表示稀疏水平，$M$是参与者的数量，$T$是时间点的数量。此外，我们在模拟数据和两个真实数据示例上都展示了卓越的性能，其中我们的SIMAM方法在预测和网络估计方面都优于最先进的参数方法。
2021-06-29 cs.LG stat.ME stat.ML
Optimizing the Union of Intersections LASSO ($UoI_{LASSO}$) and Vector Autoregressive ($UoI_{VAR}$) Algorithms for Improved Statistical Estimation at Scale
Arizona State University（亚利桑那州立大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Oregon State University（俄勒冈州立大学）
分析规模和复杂性不断增加的科学数据需要既可解释又可预测的统计机器学习方法。交叉点联合（UoI）是最近开发的框架，是分离模型选择和模型估计的两步方法。基于UoI的线性回归算法$UoI_{LASSO}$同时实现了低误报和低漏报特征选择以及低偏差和低方差估计。总之，这些品质使结果具有预测性和可解释性。在本文中，我们优化了$UoI_{LASSO}$算法的单节点执行NERSC的Cori骑士登陆，至强融核的超级计算机。然后，我们扩展$UoI_{LASSO}$，以在一系列数据集大小上的68- 278，528个核上执行，这表明了实现的弱和强扩展性。我们还实现了一个变体的$UoI_{LASSO}$，$UoI_{VAR}$向量自回归模型，分析高维时间序列数据。通过对$UoI_{VAR}$进行单节点优化和多节点缩放实验，验证了该算法对弱缩放和强缩放的有效性。我们的实现能够使用我们所知道的最大VAR模型（1000个节点）进行估计，并将其应用于大型神经生理学数据（192个节点）。
2018-08-21 cs.LG stat.ML
Improving Sequential Latent Variable Models with Autoregressive Flows
California Institute of Technology（加州理工学院）；Simon Fraser University（西蒙弗雷泽大学）；University of California Irvine（加州大学欧文分校）
提出了一种基于自回归归一化流的序列建模方法。每个自回归变换，跨时间作用，作为一个移动的参考框架，消除时间相关性，并简化更高层次的动态建模。这种技术提供了一种简单的，通用的方法来改善序列建模，与现有的和经典的技术连接。我们证明了所提出的方法都与独立的基于流的模型，并作为一个组件内的顺序潜变量模型。结果在三个基准视频数据集上，其中基于自回归流的动态提高了基线模型的对数似然性能。最后，我们说明了去相关和改进的泛化性能，使用基于流的动态。
2022-03-08 cs.LG
Robust Classification by Coupling Data Mollification with Label Smoothing
Department of Computer Science（计算机科学系）；Mathematical and Algorithmic Sciences Lab（数学与算法科学实验室）；Huawei Paris Research Center（华为巴黎研发中心）；Department of Physics and Technology（物理与技术系）；UiT The Arctic University of Norway（北极大学挪威分校）；Statistics Program（统计学项目）；KAUST（卡塔尔大学）
受扩散模型启发，本文提出将图像加噪与模糊形式的数据平滑化同标签平滑相耦合，使预测置信度与图像退化对齐，在多个数据集上提升了模型的鲁棒性与不确定性量化能力。
2025-05-01 cs.CV cs.LG stat.ML
Autoregressive Quantile Flows for Predictive Uncertainty Estimation
Cornell Tech and Cornell University（康奈尔科技校区和康奈尔大学）
机器学习的许多应用涉及表示高维数据上的概率分布。我们提出了自回归分位数流，这是一种灵活的归一化流模型，使用基于适当评分规则的新目标进行训练。我们的目标不需要在训练过程中计算计算昂贵的雅可比行列式，并支持新类型的神经架构，如神经自回归流，很容易从中采样。我们在分位数流回归中利用这些模型，这是一种将预测条件分布与流参数化的方法，从而改进了对时间序列预测和目标检测等任务的概率预测。我们的新型目标函数和神经流参数化也对流行的生成和密度估计任务进行了改进，并且代表了超越流的最大似然学习的一步。
2023-02-15 cs.LG
Traffic Flow Combination Forecasting Method Based on Improved LSTM and ARIMA
Hainan University（海南大学）；University of Chinese Academy of Science（中国科学院大学）
交通流预测是智能交通系统建设的研究热点。现有的交通流预测方法存在稳定性差、数据要求高或适应性差等问题。本文在丢包模块中定义了交通数据时间奇异率，提出了一种基于改进的长短期记忆神经网络和时间序列自回归积分滑动平均模型（SDLSTM-ARIMA）的组合预测方法。该方法将交通数据的时间奇异性与丢弃模块中的概率值进行比较，并将其以不等时间间隔进行组合，实现对交通流数据的准确预测。然后，设计了一个能够适应Java、Python等语言和接口的自适应交通流嵌入式系统。实验结果表明，基于SDLSTM-ARIMA模型的方法比仅使用自回归积分滑动平均或自回归的方法具有更高的精度。我们集成计算机视觉、机器学习和云的嵌入式交通预测系统具有高准确性、高可靠性和低成本等优势。因此，它具有广泛的应用前景。
2019-06-25 cs.LG stat.ML
Normalizing Flows with Multi-Scale Autoregressive Priors
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；TU Darmstadt（达姆施塔特工业大学）
基于流的生成模型是一类重要的精确推理模型，它允许有效的推理和采样，用于图像合成。由于对流层的设计的效率约束，例如其中大约一半的像素不经历进一步变换的分离耦合流层，与依赖于条件逐像素生成的自回归模型相比，它们对于建模长范围数据依赖性具有有限的表现力。在这项工作中，我们通过多尺度自回归先验（mAR）在其潜在空间中引入通道依赖关系来提高基于流的模型的表示能力。我们的mAR先验模型与分裂耦合流层（mAR-SCF）可以更好地捕捉复杂的多模态数据的依赖性。由此产生的模型在MNIST、CIFAR-10和ImageNet上实现了最先进的密度估计结果。此外，我们表明，mAR-SCF允许改进的图像生成质量，与最先进的基于流的模型相比，FID和Inception分数有所提高。
2020-04-08 cs.CV cs.LG stat.ML
Data-Dependent Randomized Smoothing
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
随机平滑是一种最近的技术，在训练可证明鲁棒的深度神经网络方面实现了最先进的性能。虽然平滑分布族通常与用于认证的范数的选择有关，但这些分布的参数总是设置为独立于网络认证的输入数据的全局超参数。在这项工作中，我们重新高斯随机平滑，并表明，高斯分布的方差可以在每个输入进行优化，以最大限度地提高认证半径的建设顺利分类。由于数据依赖分类器不直接享有健全的认证与现有的方法，我们提出了一个内存增强的数据依赖平滑分类器，是可认证的建设。这种新方法是通用的，无参数，易于实现。事实上，我们表明，我们的数据依赖框架可以无缝地纳入3种随机平滑方法，从而提高一致的认证准确性。当这个框架用于这些方法的训练例程中，然后进行数据相关认证时，我们在CIFAR10和ImageNet上获得了9%和6%的认证精度，半径为0.5。
2022-07-05 cs.LG
Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior
The University of Tokyo（东京大学）；New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
虽然神经机器翻译模型达到了高翻译质量，但自回归性质使得推理难以并行化，并导致高翻译延迟。受最近基于精化的方法的启发，我们提出了LaNMT，一个具有连续潜变量和确定性推理过程的潜变量非自回归模型。与现有的方法相比，我们使用一个确定性的推理算法来找到目标序列，最大限度地降低了对数概率。在推理过程中，翻译的长度会自动调整。我们的实验表明，通过运行推理算法，可以大大提高下限，从而显着提高翻译质量。我们提出的模型缩小了ASPEC Ja-En数据集上非自回归和自回归方法之间的性能差距，解码速度提高了8.6倍。在WMT'14 En-De数据集上，我们的模型将自回归基线的差距缩小到2.0个BLEU点，加速12.5倍。通过并行解码多个初始隐变量并使用教师模型重新评分，该模型进一步将WMT'14 En-De任务的差距缩小到1.0 BLEU点，加速比为6.8倍。
2019-11-21 cs.CL cs.LG
HALO: Enhancing Time Series Generation via Hyperspherical Latents and Masked AutoregRessive Modeling
East China Normal University（华东师范大学）
HALO提出超球面VAE约束连续潜变量并采用掩码自回归模型，解决时间序列生成中信息丢失与误差累积问题，实现最先进性能并大幅提升推理效率。
2026-09-30 cs.LG
Logarithmic Smoothing for Pessimistic Off-Policy Evaluation, Selection and Learning
Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE（法国国家统计与经济研究所CREST中心）；ESSEC Business School（埃塞克商学院）
针对离线上下文赌博机的策略评估、选择与学习问题，提出对数平滑估计量LS，通过构建更紧的经验集中界实现悲观主义原则，实验验证了其通用性与优异性能。
2024-10-30 cs.LG stat.ML
Geometry Adaptive Counterfactual Distribution Learning with Diffusion-Guided Smoothing
Department of Statistics, Korea University（韩国大学统计系）
针对高维反事实分布学习，提出两种基于扩散引导的几何自适应平滑估计器，通过有效维度降低误差，并在CelebA实验验证。
2026-07-21 cs.LG stat.ME stat.ML
Supervised Anomaly Detection based on Deep Autoregressive Density Estimators
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Secure Platform Laboratories（NTT安全平台实验室）
我们提出了一种基于神经密度估计的监督异常检测方法，其中的负对数似然用于异常得分。密度估计已被广泛用于无监督异常检测。通过深度学习的最新进展，密度估计性能已经大大提高。然而，神经密度估计器不能利用异常标签信息，这将是有价值的，以提高异常检测性能。该方法通过训练神经密度估计器有效地利用了异常标签信息，使得正常实例的似然最大化，异常实例的似然低于正常实例的似然。我们采用自回归模型的神经密度估计，这使我们能够准确地计算的可能性。通过对16个数据集的实验，证明了该方法在少量标记异常实例的情况下提高了异常检测性能，并取得了比现有的无监督和有监督异常检测方法更好的性能。
2019-04-12 cs.LG stat.ML
Wasserstein Smoothing: Certified Robustness against Wasserstein Adversarial Attacks
University of Maryland, College Park（马里兰大学帕克分校）
在过去的几年中，针对图像分类问题，提出了几种基于不同威胁模型的对抗攻击方法。大多数现有的防御考虑的是样本扰动具有有界Lp范数的可加威胁模型。然而，在非加性威胁模型下，这些防御可能容易受到对抗攻击的攻击。基于非加性威胁模型的攻击方法的一个例子是Wong等人（2019）提出的Wasserstein对抗攻击，其中图像与其对抗示例之间的距离由其归一化像素强度之间的Wasserstein度量（“推土机距离”）确定。到目前为止，还没有针对此类攻击的可证明的防御。在这项工作中，我们提出了第一个防御认证的鲁棒性对Wasserstein对抗攻击使用随机平滑。我们通过考虑图像之间的可能流的空间，并表示这个空间，使得图像之间的Wasserstein距离的上限是由L_1距离在这个流空间中，开发这个证书。然后，我们可以将现有的随机平滑证书应用于L_1度量。在MNIST和CIFAR-10数据集中，我们发现我们提出的防御也是实际有效的，与未受保护的模型相比，在Wasserstein对抗攻击下显着提高了准确性。
2019-10-23 cs.LG stat.ML
Training and Inference on Any-Order Autoregressive Models the Right Way
Stanford University（斯坦福大学）
任意变量子集上的条件推理是概率推理的核心问题，在掩码语言建模和图像修补等领域有着重要的应用。近年来，与BERT和XLNet等流行模型密切相关的任意阶自回归模型（AO-ARM）家族在广泛的领域中的任意条件任务中表现出突破性的性能。但是，尽管他们的成功，在本文中，我们确定了显着的改进，以前的配方AO-ARM。首先，我们证明了AO-ARM在其概率模型中存在冗余，即，它们以多种不同的方式定义相同的分布。我们通过在一组较小的单变量条件上进行训练来减轻这种冗余，这些条件仍然支持有效的任意条件推理。其次，我们增加了在推理过程中更频繁评估的单变量条件的训练损失。我们的方法提高了性能，但不影响易处理性，在文本（Text 8），图像（CIFAR 10，ImageNet 32）和连续表格数据域的任意条件建模中提供了最先进的可能性。
2022-10-24 cs.AI cs.LG
