Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室)
本文针对连续时间参数的神经常微分方程及相应深度残差网络,基于Lipschitz论证推导泛化界,并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Discrete Residual Flow for Probabilistic Pedestrian Behavior Prediction
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校)
自动驾驶车辆围绕静态和动态对象进行规划,应用行为预测模型来估计对象在环境中的未来位置。然而,未来的行为本质上是不确定的,产生确定性输出的运动模型仅限于短时间尺度。特别困难的是对人类行为的预测。在这项工作中,我们提出了离散残差流网络(DRF-Net),一个用于人体运动预测的卷积神经网络,它捕获了长距离运动预测中固有的不确定性。特别是,我们的学习网络通过预测和更新空间位置上的离散化分布,有效地捕获了未来人体运动的多模态后验。我们将我们的模型与几个强大的竞争对手进行比较,并表明我们的模型优于所有基线。
2019-10-17 cs.CV cs.LG cs.RO
Training Structured Mechanical Models by Minimizing Discrete Euler-Lagrange Residual
Stanford University(斯坦福大学);Microsoft(微软)
用于决策和控制的基于模型的范例在机器人技术中变得无处不在。它们依赖于从数据中有效学习系统模型的能力。结构化机械模型(SMM)是机械系统的数据高效黑箱参数化,通常通过最小化预测和观察到的加速度或下一状态之间的误差来拟合数据。在这项工作中,我们提出了一种方法,通过最小化离散欧拉-拉格朗日残差拟合SMM数据。为了研究我们的方法,我们将模型拟合到来自无阻尼和阻尼双曲线的关节角度时间序列,研究学习模型拟合有和没有观测噪声的数据的质量。实验表明,我们的方法学习的模型,更好的准确性,那些传统的计划拟合SMM。我们确定了我们的方法是更合适的方法的用例。用于再现实验的源代码可在https://github.com/sisl/delsmm获得。
2021-05-05 cs.LG cs.RO
A discrete physics-informed training for projection-based reduced order models with neural networks
Universitat Polit\` e cnica de Catalunya, Department of Civil;Centre Internacional de M\` e todes Num\` e rics en Enginyeria (CIMNE), Barcelona, Spain
本文提出一种基于FEM离散残差的物理信息训练框架,扩展PROM-ANN以提升非线性投影降阶模型的精度,实验表明改进架构在快照重建上显著优于POD。
2025-10-24 cs.LG
On Compatible Generalization Bounds of Deep Residual Networks From a Dynamical System Perspective
School of Mathematical Sciences, Nankai University(南开大学数学科学学院)
本文从动力系统视角研究深度残差网络的泛化行为,通过结合Rademacher复杂性、流映射和收敛行为,推导出离散和连续时间ResNets的泛化误差界,揭示了深度均匀和渐近的泛化特性。
2026-11-11 cs.LG
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center(理化学研究所人工智能项目中心);Shiga University(滋贺大学)
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据,Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程,并表明当数据数量足够大时,他们的模型是可识别的。然而,连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法,或者将所有连续数据离散化,然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时,可能会丢失重要信息。在本文中,我们定义了一个新的混合因果模型,它包括连续和离散变量。该模型假设:(1)连续变量的值是其父变量加上非高斯噪声的线性函数,以及(2)每个离散变量是逻辑变量,其分布参数取决于其父变量的值。此外,我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构,而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
RQ-Reg: A Residual-Quantization-Based Framework for Continuous Value Prediction in Recommender Systems
Kuaishou Technology(快手科技)
本文提出基于残差量化的序列学习框架,通过递归预测有序量化代码来提升连续值预测的准确性,实验表明其在推荐系统中的表现优于现有方法。
2026-09-25 cs.IR cs.LG
DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);West Lafayette Jr./Sr. High School(韦斯特拉法叶高中)
提出DRIFT框架,通过结合基础预测器和基于流匹配的生成式精化模块,将预训练视觉-语言模型适配到连续解码任务,在视觉定位和机器人控制等任务上优于回归和生成方法。
2026-10-28 cs.AI cs.CV cs.LG
A priori Estimates for Deep Residual Network in Continuous-time Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有深度强化学习性能分析不适用于连续时间控制问题、无法直接估计Bellman最优损失泛化误差且需有界性假设的问题,提出基于损失函数两次变换与最大算子分解的方法,得到无维数灾难的先验泛化误差。
2024-03-07 cs.AI cs.LG
Hierarchical Residual Learning Based Vector Quantized Variational Autoencoder for Image Reconstruction and Generation
Monash University(莫纳什大学);KTH Royal Institute of Technology(KTH皇家理工学院)
我们提出了一种多层变分自编码器方法,我们称之为HR-VQVAE,它学习数据的分层离散表示。通过利用一种新的目标函数,在HR-VQVAE中的每一层通过矢量量化编码器从先前的层学习残差的离散表示。此外,每一层的表示都与前一层的表示分层链接。我们评估我们的方法的图像重建和生成的任务。实验结果表明,HR-VQVAE学习的离散表示使解码器能够重建高质量的图像,失真比基线方法,即VQVAE和VQVAE-2。HR-VQVAE还可以生成高质量和多样化的图像,这些图像的性能优于最先进的生成模型,从而进一步验证了学习表示的效率。HR-VQVAE的分层性质i)减少了解码搜索时间,使得该方法特别适用于高负载任务,以及ii)允许增加码本大小而不会引起码本崩溃问题。
2022-08-09 cs.CV cs.LG
Efficient Learning of Discrete-Continuous Computation Graphs
NEC Laboratories Europe(NEC欧洲实验室);University of Mannheim(曼海姆大学)
针对包含多个顺序离散组件的复杂离散-连续计算图难以优化的问题,提出增加Gumbel噪声尺度参数和dropout残差连接两种策略,成功训练出标准softmax技巧无法训练的模型,并在多个基准数据集上展现出优于连续模型的泛化能力。
2023-07-26 cs.LG
Continuous Versatile Jumping Using Learned Action Residuals
University of Washington(华盛顿大学);Google(谷歌)
本文提出融合最优控制与强化学习的分层框架,通过学习动作残差增强手动加速度控制器,使四足机器人能够直接从仿真部署到实机并完成连续多功能跳跃。
2023-04-17 cs.AI cs.LG cs.RO
Learning Residual Kinematic Corrections for Continuous Neural Decoding via Reinforcement Learning
University of Bath(巴斯大学);University of Ulster(阿尔斯特大学);Bath Institute for the Augmented Human(巴斯增强人类研究所)
研究针对基于EEG的BCI连续3D运动想象解码难题,提出CNN-LSTM-RL两阶段框架,用强化学习对解码器输出校正残余运动学误差,实验表明该框架有效提升解码性能,推动相关领域发展。
2026-07-14 cs.AI cs.LG
Theory-based residual neural networks: A synergy of discrete choice models and deep neural networks
Cambridge, MA 02139(剑桥,马萨诸塞州 02139)
在出行行为分析中,研究者往往将数据驱动模型和理论驱动模型视为两种截然不同甚至相互冲突的方法。然而,这两种方法是高度互补的,因为数据驱动的方法更具预测性,但可解释性和鲁棒性较差,而理论驱动的方法更具可解释性和鲁棒性,但预测性较差。利用它们的互补性,本研究设计了一个基于理论的残差神经网络(TB-ResNet)框架,该框架基于共享效用解释协同离散选择模型(DCM)和深度神经网络(DNN)。TB-ResNet框架很简单,因为它使用($δ$,1- $δ$)加权来利用DCM的简单性和DNN的丰富性,并防止DCM的欠拟合和DNN的过拟合。该框架也是灵活的:基于多项logit模型(MNL-ResNets),前景理论(PT-ResNets)和双曲线贴现(HD-ResNets)设计了三个TB-ResNets实例,并在三个数据集上进行了测试。与纯DCM相比,TB-ResNets提供了更高的预测准确性,并揭示了更丰富的行为机制,这是由于TB-ResNets中的DNN组件增强了效用函数。与纯DNN相比,TB-ResNets可以适度改善预测,并显着提高解释和鲁棒性,因为TB-ResNets中的DCM组件稳定了效用函数和输入梯度。总的来说,这项研究表明,通过在TB-ResNet框架下结合它们的实用程序规范来协同DCM和DNN是可行和可取的。尽管仍存在一些局限性,但这个TB-ResNet框架是在DCM和DNN之间…
2020-10-22 cs.LG econ.EM
Discrete-Continuous Smoothing and Mapping
Massachusetts Institute of Technology (MIT)(麻省理工学院)
我们描述了一个一般的方法,最大后验概率(MAP)的推理在一类离散连续的因素图中经常遇到的机器人应用。虽然有公开可用的工具,提供灵活和易于使用的接口,用于指定和解决推理问题制定的离散或连续的图形模型,目前,没有类似的通用工具存在,使相同的功能,为混合离散连续的问题。我们的目标是解决这个问题。特别是,我们提供了一个库,DC-SAM,扩展现有的工具定义的因素图的设置的离散连续模型的推理问题。我们的工作的一个关键贡献是一个新的求解器,有效地恢复近似解离散连续推理问题。我们的方法的关键见解是,虽然连续和离散状态空间的联合推理通常很难,但许多常见的离散-连续问题可以自然地分为“离散部分”和“连续部分”,可以单独轻松解决。利用这种结构,我们以交替的方式优化离散和连续变量。因此,我们提出的工作可以直接表示和近似推理的离散连续图形模型。我们还提供了一种方法来近似离散和连续变量估计的不确定性。我们证明了我们的方法的多功能性,通过其应用到不同的机器人感知应用程序,包括强大的姿态图优化,基于对象的映射和定位。
2022-11-17 cs.AI cs.LG cs.RO
HybridCodec: Modeling Discrete and Continuous Representations for Efficient Speech Language Models
Mila, Quebec AI Institute(Mila-魁北克人工智能研究所);Concordia University(康考迪亚大学);Sapienza University of Rome(罗马大学);Inria, Université Grenoble Alpes CNRS, LJK(法国国家信息与自动化研究所,格勒诺布尔阿尔卑斯大学国家科学研究中心,让·库尔曼实验室)
提出HybridCodec,结合时间压缩离散令牌与降维连续残差,通过混合离散-连续焦点调制编解码器和混合Transformer,在离散域自回归推理并辅以非自回归预测和连续残差上采样,相比纯离散方法显著提升说话人特征保留并减少自回归步数。
2026-06-29 cs.AI cs.LG
Decomposable Submodular Function Minimization: Discrete and Continuous
Boston University(波士顿大学);Northeastern University(东北大学);London School of Economics(伦敦政治经济学院)
本文研究了可分解次模函数极小化的离散方法和连续方法之间的联系。我们提供了改进的运行时间估计的最先进的连续算法的问题,使用组合参数。我们还提供了一个系统的实验比较的两种类型的方法,基于0级和1级算法之间的明确区分。
2017-03-06 cs.DS cs.LG
Specialized Deep Residual Policy Safe Reinforcement Learning-Based Controller for Complex and Continuous State-Action Spaces
Software Competence Center Hagenberg, Data Science, Austria(哈根伯格软件中心数据科学部(奥地利));Technological University Dublin, Computer Science, Dublin, Ireland(都柏林理工大学计算机科学系(爱尔兰都柏林));ADAPT Research Centre, Dublin, Ireland(ADAPT研究中心(爱尔兰都柏林))
针对复杂连续状态-动作空间的安全控制挑战,提出一种专用深度残差策略安全强化学习方法,结合学习循环与输入-输出隐马尔可夫模型优化策略,实现强化学习智能体与传统控制器的同步协作,并在Tennessee Eastman过程控制中验证了有效性。
2023-10-15 cs.AI cs.LG cs.SY
Scaling Collider Event Generation with Residual-Quantized Tokens
Weizmann Institute of Science(魏茨曼科学研究所)
本研究提出基于残差量化令牌的粒子级生成模型,用于快速生成碰撞器全事件,并验证其扩展性与物理保真度。
2026-10-02 cs.LG hep-ex hep-ph
Stability of Deep Neural Networks via discrete rough paths
Weierstrass Institute(魏尔斯特拉斯研究所);TU Berlin(柏林工业大学)
使用粗糙路径技术,我们提供了一个先验估计深度残差神经网络的输出方面的输入数据和(训练)的网络权重。由于训练的网络权重通常非常粗糙,当被视为层的函数时,我们建议根据总$p$ -任何$p\in[1,3]$的训练权重的变化来推导稳定性界限。与神经ODE文献中的$C^1$理论不同,我们的估计即使在像布朗运动那样的权重的极限情况下也是有界的,如[arXiv:2105.12245]中所建议的。在数学上,我们将残差神经网络解释为(粗糙)差分方程的解,并根据离散时间签名和粗糙路径理论的最新结果对其进行分析。
2022-01-19 cs.LG cs.NA math.CA