Multi-velocity neural networks for gesture recognition in videos
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种新的动作识别深度神经网络,除了分类之外,它还自适应地学习最佳动作速度。虽然深度神经网络在图像理解任务方面已经成熟,但我们仍在探索网络拓扑和功能,以处理更丰富的视频剪辑环境。在这里,我们解决了动作识别中的多速度问题,并在已知和新收集的数据集上提供了手势识别的最新结果。我们进一步为我们的半监督网络提供了训练步骤,适合从只有一小部分标记示例的大型未标记数据集中学习。
2016-03-22 cs.CV cs.LG
Semi-supervised 3D Video Information Retrieval with Deep Neural Network and Bi-directional Dynamic-time Warping Algorithm
Northwestern University(西北大学)
本文提出一种半监督深度学习算法,结合卷积循环网络与双向动态时间规整,实现基于视觉内容的二维和三维视频检索,并在多个公开数据集上优于现有最先进模型。
2023-09-03 cs.CV cs.LG
Fully Differentiable Lagrangian Convolutional Neural Network for Physics-Informed Precipitation Nowcasting
Kempelen Institute of Intelligent Technologies(智能技术研究所);Faculty of Information Technology, Brno University of Technology(信息科技学院,布拉格技术大学)
本文提出LUPIN模型,通过可微半拉格朗日外推与双U-Net结构,将物理信息融入降水临近预报,实现端到端GPU加速训练,并在极端事件中取得优于基准模型的效果。
2025-07-01 cs.AI cs.CV cs.LG
Scalable Neural Video Representations with Learnable Positional Features
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
使用基于坐标的神经表示(CNRs)对复杂信号的简洁表示已经取得了很大进展,最近的几项努力集中在扩展它们以处理视频。这里,主要的挑战是如何(a)缓解训练CNR中的计算效率低下,以(b)实现高质量的视频编码,同时(c)保持参数效率。为了同时满足所有要求(a),(b)和(c),我们提出了具有可学习位置特征(NVP)的神经视频表示,这是一种通过引入“可学习位置特征”有效地将视频摊销为潜在代码的新型CNR。具体来说,我们首先提出了一个CNR架构的基础上设计的2D潜在的关键帧来学习跨每个时空轴的共同的视频内容,这大大提高了所有这三个要求。然后,我们建议利用现有的强大的图像和视频编解码器作为计算/存储器高效的压缩过程的潜在代码。我们证明了NVP在流行的UVG基准上的优越性;与现有技术相比,NVP不仅训练速度快2倍(不到5分钟),而且即使使用少$>$ 8倍的参数,其编码质量也超过了34.07 $\rightarrow$ 34.57(用PSNR度量测量)。我们还展示了NVP的有趣特性,例如,视频修补、视频帧插值等。
2022-10-13 cs.CV cs.LG
FFNeRV: Flow-Guided Frame-Wise Neural Representations for Videos
Sungkyunkwan University(成均馆大学)
FFNeRV通过将光流信息融入逐帧神经表示并采用一维时间网格的全卷积架构,在视频压缩与帧插值上超越同类神经场方法,结合模型压缩技术后性能媲美最先进视频压缩算法。
2023-08-07 cs.CV cs.LG
TOD-CNN: An Effective Convolutional Neural Network for Tiny Object Detection in Sperm Videos
Northeastern University(东北大学);China Medical University(中国医科大学);Shengjing Hospital(盛京医院);Jinghua Hospital(京华医院);Stevens Institute of Technology(史蒂文斯理工学院);University of Luebeck(吕贝克大学)
显微视频中微小物体的检测是一个难题,特别是在大规模实验中。对于显微视频中的微小物体(如精子),目前的检测方法面临着物体定位模糊、不规则和精确的挑战。相比之下,我们提出了一个用于微小目标检测的卷积神经网络(TOD-CNN),其底层数据集为高质量精子显微镜视频(111个视频,$>$ 278,000个注释对象),并且设计了一个图形用户界面(GUI)来有效地使用和测试所提出的模型。TOD-CNN具有高度准确性,在显微视频中实时精子检测的任务中实现了$85.60\%$ AP $_{50}$。为了证明精子检测技术在精子质量分析中的重要性,我们进行了相关的精子质量评价指标,并将其与医生的诊断结果进行了比较。
2022-04-18 cs.CV cs.LG
Lagrangian neural ODEs: Measuring the existence of a Lagrangian with Helmholtz metrics
Interdisciplinary Center for Scientific Computing(交叉科学计算中心);Heidelberg University(海德堡大学);Astronomisches Rechen-Institut der Universität Heidelberg(海德堡大学天文计算研究所)
针对神经ODE解未必满足欧拉-拉格朗日方程的问题,提出亥姆霍兹度量量化ODE与物理解的相似度,结合二阶神经ODE形成拉格朗日神经ODE,可直接学习欧拉-拉格朗日方程且无额外推理成本,仅用位置数据能区分相关系统并改进解。
2025-11-10 cs.LG math.DS physics.comp-ph
Lagrangian and Hamiltonian Neural Networks With a Dissipative System
本研究将拉格朗日与哈密顿神经网络应用于含显式时间依赖的耗散系统,验证其能预测阻尼振荡器行为并学习潜在力学量,揭示时间依赖下的重要性质。
2026-09-29 cs.LG physics.class-ph
Generalized Lagrangian Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出广义拉格朗日神经网络(GLNNs),通过基于广义拉格朗日方程建模,将LNNs扩展至非保守系统,在提升预测精度的同时保证拉格朗日表示,经一维和二维实验验证了其优越性。
2024-01-09 cs.LG cs.NA math.DS
VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution
USTC(中国科学技术大学);UC San Diego(加州大学圣地亚哥分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校);U of Oregon(俄勒冈大学);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
视频通常将流式和连续视觉数据记录为离散的连续帧。由于高保真视频的存储成本昂贵,因此大多数视频都以相对较低的分辨率和帧速率存储。空时视频超分辨率(STVSR)的最新工作是将时间插值和空间超分辨率结合在一个统一的框架中。然而,它们中的大多数仅支持固定的上采样尺度,这限制了它们的灵活性和应用。在这项工作中,而不是以下的离散表示,我们提出了视频隐式神经表示(VideoINR),我们展示了它的应用STVSR。学习的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明,VideoINR在常见的上采样尺度上与最先进的STVSR方法实现了竞争性能,并且在连续和训练分布尺度上显著优于先前的工作。我们的项目页面位于http://zeyuan-chen.com/VideoINR/。
2022-06-09 cs.CV cs.LG eess.IV
Zonotope Domains for Lagrangian Neural Network Verification
UT Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学)
神经网络验证的目的是为给定输入范围的神经网络的输出提供可证明的边界。在这个领域中,值得注意的先前工作要么使用抽象域生成边界,这保留了网络中中间神经元之间的一些依赖关系;要么将验证框定为优化问题,并使用拉格朗日方法解决松弛问题。后一种技术的一个关键缺点是每个神经元都是独立处理的,从而忽略了重要的神经元相互作用。我们提供了一种方法,合并这两个线程,并使用zonotopes内的拉格朗日分解。至关重要的是,我们可以将验证深度神经网络的问题分解为许多2层神经网络的验证。虽然这些问题都是可证明的困难,我们提供了有效的放松方法,是服从有效的双上升程序。我们的技术产生的界限,提高了线性规划和拉格朗日为基础的验证技术在时间和约束的紧密性。
2022-10-14 cs.LG stat.ML
Graph Neural Network for Video Relocalization
在本文中,我们专注于视频重定位任务,它使用查询视频片段作为输入检索语义相关的视频片段在另一个未修剪的长视频。我们发现在视频重定位数据集中,存在帧间特征相似度与视频间特征相似度不存在一致关系的现象,影响了帧间特征融合。针对这一现象,本文将视频特征看作一个图,将查询视频特征和建议视频特征沿时间维连接起来,每个时间步看作一个节点,特征矩阵的每一行看作每个节点的特征。然后,利用图神经网络的强大功能,我们提出了一个多图特征融合模块来融合该图的关系特征。在ActivityNet v1.2数据集和Thumos14数据集上评估我们的方法后,我们发现我们提出的方法优于现有的方法。
2022-01-26 cs.CV cs.LG eess.IV
NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种方法,学习三维几何和物理参数的动态场景,只有一个单目RGB视频输入。为了将底层场景几何结构的学习与动态运动解耦,我们将场景表示为一个时不变的符号距离函数(SDF),该函数用作参考帧,以及一个时间条件变形场。我们通过设计神经场及其相应的六面体网格之间的双向转换,进一步将这种神经几何表示与可微物理模拟器连接起来,使我们能够通过最小化循环一致性损失来估计源视频的物理参数。我们的方法还允许用户通过修改恢复的六面体网格,并将操作传播回神经场表示来交互式地编辑来自源视频的3D对象。实验表明,我们的方法实现了优越的网格和视频重建的动态场景相比,竞争的神经场的方法,我们提供了大量的例子,证明了它的能力,从消费级相机捕获的视频中提取有用的3D表示。
2022-10-22 cs.CV cs.GR cs.LG
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research(高通人工智能研究院)
在视频压缩中,通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余:1)一阶:像素空间中的冗余,即,跨相邻帧的像素值的相似性,这是使用运动和残差补偿有效地捕获的,2)二阶:由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余,我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测,学习从以前解码的数据外推。这些预测器是轻量级的,可以与大多数神经视频编解码器一起使用,以提高其率失真性能。此外,虽然RGB是神经视频编码文献中的主要色彩空间,但我们介绍了神经视频编解码器的一般修改,以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明,使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
AccDecoder: Accelerated Decoding for Neural-enhanced Video Analytics
University of Göttingen(哥廷根大学);Nanjing University(南京大学)
视频流的质量是基于神经网络的视频分析的关键。然而,由于质量差的摄像机或过度压缩/修剪的视频流协议,现有的监控系统不可避免地收集低质量视频,由于上行带宽限制。为了解决这个问题,现有的研究使用质量增强剂(例如,神经超分辨率)以提高视频的质量(例如,分辨率),并最终确保推理的准确性。然而,直接应用质量增强器在实践中不起作用,因为它会引入不可接受的延迟。在本文中,我们介绍了AccDecoder,一种用于实时和神经增强视频分析的新型加速解码器。AccDecoder可以通过深度强化学习(DRL)自适应地选择几个帧,通过神经超分辨率来增强质量,然后对参考它们的视频帧进行放大,从而提高6-21%的准确率。AccDecoder通过使用DRL过滤重要帧以进行基于DNN的推理,并通过提取帧和块之间的参考关系将结果重用于其他帧,从而提供高效的推理能力,这导致延迟比基线减少20-80%。
2023-01-24 cs.CV cs.LG cs.MM
VGNMN: Video-grounded Neural Module Network to Video-Grounded Language Tasks
Salesforce Research Asia(Salesforce亚洲研究院);Singapore Management University(新加坡管理大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR))
神经模块网络(NMN)在基于图像的任务中取得了成功,例如合成图像上的视觉问答(VQA)。然而,非常有限的工作NMN已被研究在视频接地的对话任务。这些任务扩展了传统视觉任务的复杂性,增加了视觉时间变化和语言交叉依赖性。受最近NMN方法在图像接地任务的启发,我们引入视频接地神经模块网络(VGNMN)来模拟视频接地语言任务中的信息检索过程作为神经模块的管道。VGNMN首先分解对话中的所有语言组件,以显式地解析任何实体引用并从问题中检测相应的基于动作的输入。检测到的实体和动作被用作参数来实例化神经模块网络并从视频中提取视觉线索。我们的实验表明,VGNMN可以实现具有挑战性的视频接地对话基准以及视频QA基准有前途的性能。
2022-06-12 cs.AI cs.CL cs.CV
Newtonian and Lagrangian Neural Networks: A Comparison Towards Efficient Inverse Dynamics Identification
Laboratory of Machine Tools(机械工程加工实验室);Institute for Data Science in Mechanical Engineering, RWTH Aachen University, Germany(机械工程数据科学研究所,亚琛工业大学,德国)
本研究比较牛顿与拉格朗日神经网络在工业机器人逆动力学辨识中的表现,发现估计电机扭矩时牛顿网络更有效,因拉格朗日网络未显式建模耗散扭矩。
2025-06-22 cs.LG cs.RO
Kunster -- AR Art Video Maker -- Real time video neural style transfer on mobile devices
Netguru S.A.(Netguru股份公司)
神经风格迁移是深度学习研究的一个著名分支,有许多有趣的工作和两个主要缺点。该领域的大多数作品很难被非专业用户使用,并且需要大量的硬件资源。在这项工作中,我们提出了一个解决这两个问题。我们已经将神经风格转移应用于实时视频(每秒超过25帧),该视频能够在移动设备上运行。我们还研究了实现时间相干性的工作,并提出了微调已经训练好的模型以实现稳定视频的想法。此外,我们还分析了常见的深度神经网络架构对移动设备性能的影响,包括层数和过滤器。在实验部分,我们提出了我们的工作与iOS设备的结果,并讨论了目前的Android设备中存在的问题,以及未来的可能性。最后,我们给出了风格化的定性结果和在iPhone 11 Pro和iPhone 6s上测试的性能的定量结果。所提出的工作被纳入Kunster - AR艺术视频制作应用程序可在苹果的应用程序商店。
2020-05-07 cs.CV cs.LG eess.IV
Recurrent Neural Networks for video object detection
Technical University of Munich(慕尼黑工业大学)
图像中的目标检测有很多科学工作要做。对于许多应用,例如自动驾驶,必须进行分类的实际数据是视频。本文比较了不同的方法,特别是那些使用循环神经网络来检测视频中的对象。我们基于特征的方法,不同的帧的特征图饲料到经常性的单位,框级方法,饲料与类概率的边界框到经常性的单位和方法,使用流网络之间的区别。这项研究表明,比较方法的共同成果,如包括时间上下文到目标检测的好处,并为视频目标检测网络的国家的结论和指导方针。
2020-10-29 cs.CV cs.LG eess.IV
Learning Neural Feedback Linearization for Data-driven Systems via Augmented Lagrangian
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
本文提出一种数据驱动框架,通过将相对阶条件融入学习过程,用神经李导数替代传统组件实现反馈线性化,并建立闭环稳定性条件,在直流电机上验证了有效性。
2026-09-23 cs.LG
Progressive Fourier Neural Representation for Sequential Video Compilation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
提出渐进式傅里叶神经表示(PFNR),通过傅里叶空间稀疏编码和权重冻结迁移,实现多视频顺序编码中的持续累积与无损解码,在UVG8/17和DAVIS50基准上超越持续学习基线。
2024-02-07 cs.AI cs.CV cs.LG
Video Description using Bidirectional Recurrent Neural Networks
Computer Vision Center(计算机视觉中心);PRHLT Research Center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);Universitat de Barcelona(巴塞罗那大学)
虽然传统上用于机器翻译领域,但编码器-解码器框架最近已被应用于视频和图像描述的生成。这些模型中卷积和循环神经网络的组合已被证明优于先前的技术水平,获得更准确的视频描述。在这项工作中,我们建议进一步推动这个模型,通过引入两个贡献到编码阶段。首先,通过结合来自卷积神经网络的对象和位置信息来产生更丰富的图像表示,其次,引入双向循环神经网络来捕获输入帧中的前向和后向时间关系。
2016-12-12 cs.CL cs.CV cs.LG
Lagrangian Density Space-Time Deep Neural Network Topology
作为一种基于网络的函数逼近器,我们提出了一种"拉格朗日密度时空深度神经网络"(LDDNN)拓扑。它有资格进行无监督的训练和学习,以预测潜在的物理科学控制现象的动态。原型网络尊重自然的基本守恒定律,通过简洁描述的拉格朗日和哈密顿密度的系统由一个给定的数据集的广义非线性偏微分方程。其目标是通过神经网络参数化拉格朗日密度,并直接通过数据从中学习,而不是手工制作物理系统的拉格朗日密度的精确时间依赖性"作用解"。通过这种新颖的方法,可以通过基于底层物理微分算子构建定制的网络互连拓扑、激活和损失/成本函数,来理解和打开自然物理动力学的"黑盒深度机器学习表示"的信息推理方面。本文将讨论神经网络在拉格朗日和哈密顿域中的统计物理解释。
2022-06-30 cond-mat.stat-mech cs.LG math.ST
Unsupervised Learning from Video with Deep Neural Embeddings
Stanford University(斯坦福大学);MIT(麻省理工学院)
由于视频丰富的动态结构及其在日常生活中的普遍存在,视频数据可以作为一种强大的无监督学习信号,用于在深度神经网络中训练视觉表示,这是一个很自然的想法。然而,实例化这个想法,特别是在大规模上,仍然是人工智能的一个重大挑战。在这里,我们提出了视频实例嵌入(VIE)框架,该框架将最近用于学习深度非线性嵌入的强大无监督损失函数扩展到大规模视频数据集上的多流时间处理架构。我们表明,VIE-trained网络在视频数据流的无监督学习方面大大提高了最新技术水平,无论是Kinetics数据集中的动作识别,还是ImageNet数据集中的对象识别。我们表明,静态和动态处理途径的混合模型是最佳的两个转移任务,并提供分析表明如何不同的途径。从上下文来看,我们的研究结果表明,深度神经嵌入是一种很有前途的方法,可以在各种领域进行无监督视觉学习。
2020-03-10 cs.AI cs.CV cs.LG
Label-Conditioned Next-Frame Video Generation with Neural Flows
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
最近的最先进的视频生成系统采用生成对抗网络(GANs)或变分自编码器(VAE)来产生新颖的视频。然而,VAE模型在面对输入的次优条件时通常会产生模糊的输出,并且已知GANs对于大的输出大小是不稳定的。此外,这些模型的输出视频难以评估,部分原因是GAN损失函数不是收敛的准确度量。在这项工作中,我们建议使用一种名为Glow的最先进的神经流生成器来生成基于文本标签的视频,一次一帧。神经流模型比标准GANs更稳定,因为它们只优化单个交叉熵损失函数,这是单调的,避免了GAN极大极小目标的循环收敛问题。此外,我们还展示了如何在外部环境中调节Glow,同时仍然保留每个“流”层的可逆性质。最后,我们通过计算交叉熵来评估所提出的Glow模型,以通过消融研究比较所提出的模型的多个版本。我们展示生成的视频并讨论未来的改进。
2019-10-16 cs.CV cs.LG stat.ML
History-informed Lagrangian Neural Networks
College of Intelligent Systems Science and Engineering(智能系统科学与工程学院);Harbin Engineering University(哈尔滨工程大学)
该研究针对拉格朗日神经网络需完整状态输入、参数适应性差的问题,提出HiLNN,通过循环编码器提取历史上下文调制系统参数,经RK4推演优化,在多类系统上实现更优长时程预测精度与能量保持。
2026-08-14 cs.LG
Privacy-Preserving Video Classification with Convolutional Neural Networks
University of Washington(华盛顿大学);Monash University(莫纳什大学);Ghent University(根特大学)
许多视频分类应用程序需要访问个人数据,从而对用户的隐私构成侵入性安全风险。我们提出了一个隐私保护的实现单帧方法为基础的视频分类与卷积神经网络,允许一方从视频中推断标签,而不需要视频所有者披露他们的视频以未加密的方式向其他实体。同样,我们的方法消除了分类器所有者以明文形式向外部实体透露其模型参数的要求。为此,我们结合现有的安全多方计算(MPC)协议的私人图像分类与我们的新MPC协议不经意的单帧选择和跨帧的安全标签聚合。其结果是端到端的隐私保护视频分类管道。我们评估我们提出的解决方案在私人人类情感识别的应用程序。我们在各种安全设置中的结果,跨越计算方的诚实和不诚实的大多数配置,以及被动和主动的对手,表明视频可以以最先进的准确性进行分类,并且不会泄露敏感的用户信息。
2021-02-06 cs.CR cs.CV cs.LG
Learning Articulated Rigid Body Dynamics with Lagrangian Graph Neural Network
Indian Institute of Technology Delhi(印度理工学院德里分校)
拉格朗日和汉密尔顿神经网络(分别为LNN和HNN)编码了强归纳偏差,使它们能够显著优于其他物理系统模型。然而,迄今为止,这些模型大多局限于简单的系统,如陀螺仪和弹簧或单个刚体,如陀螺仪或刚性转子。在这里,我们提出了一个拉格朗日图神经网络(LGNN),可以学习动态的铰接刚体利用其拓扑结构。我们展示了LGNN的性能,通过学习绳,链和桁架的动力学与作为刚体建模的酒吧。LGNN还表现出泛化能力--在具有几个段的链上训练的LGNN表现出泛化能力,可以模拟具有大量链接和任意链接长度的链。我们还表明,LGNN可以模拟看不见的混合系统,包括杆和链,他们还没有受过训练。具体来说,我们表明,LGNN可以用来模拟复杂的现实世界的结构,如张拉整体结构的稳定性的动力学。最后,我们讨论了质量矩阵的非对角性质及其在复杂系统中的推广能力。
2022-11-11 cs.LG
Latent-Lagrangian Neural Networks for Reduced Order Modeling of Non-autonomous Nonlinear Dynamical Systems
Université Paris-Saclay(巴黎萨克雷大学);CEA List(法国原子能委员会信息技术与系统实验室)
本文提出潜变量拉格朗日神经网络框架,通过学习潜坐标与能量函数,结合力监督,实现受迫非线性动力系统的降阶建模,并验证了其泛化能力。
2026-10-06 cs.CE cs.LG
AssembleNet: Searching for Multi-Stream Neural Connectivity in Video Architectures
Google Research(谷歌研究院)
学习表示视频在算法和计算上都是一项非常具有挑战性的任务。标准视频CNN架构已经通过直接扩展为图像理解而设计的架构以包括时间维度、使用诸如3D卷积的模块或通过使用双流设计来捕获视频中的外观和运动来设计。我们将视频CNN解释为相互连接的多流卷积块的集合,并提出了自动寻找具有更好连接性和时空交互的神经架构的方法,用于视频理解。这是通过进化由连接权重学习指导的过度连接架构的群体来完成的。将抽象不同输入类型的表示(即,RGB和光流),从而允许不同类型或来源的信息彼此交互。我们的方法被称为AssemblleNet,在公共视频数据集上的性能优于以前的方法,在某些情况下,性能会有很大的提高。我们获得了58.6%的mAP上的字谜和34.27%的准确率时刻的时间。
2020-05-27 cs.CV cs.LG cs.NE
Lagrangian dual framework for conservative neural network solutions of kinetic equations
Pohang University of Science and Technology(浦项科技大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们提出了一种新的保守的制定解决动力学方程,通过神经网络。更准确地说,我们制定的学习问题作为一个约束最优化问题的约束,代表物理守恒定律。通过拉格朗日对偶性,将约束条件向剩余损失函数方向放宽。通过施加物理守恒性质的解决方案的学习问题的约束,我们证明了更准确的近似的解决方案的误差和守恒定律,动力学福克-普朗克方程和齐次玻尔兹曼方程。
2021-06-23 cs.LG cs.NA math.NA
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi(印度德里理工学院)
物理世界的现实模型依赖于可微对称性,而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明,一个系统的基本对称性可以很容易地通过一个神经网络时,提供了一个适当的归纳偏置学习。然而,这些模型仍然存在一些问题,例如无法推广到任意系统大小,可解释性差,最重要的是,无法学习平移和旋转对称性,这分别导致线性和角动量守恒定律。在这里,我们提出了一个动量守恒拉格朗日神经网络(MCLNN),学习系统的拉格朗日,同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统,和重力系统,展示了能量和动量守恒。我们还表明,开发的模型可以推广到任何任意大小的系统。最后,我们讨论了MCLNN的可解释性,它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
Efficient Adaptation of Neural Network Filter for Video Compression
Nokia Technologies(诺基亚技术)
我们提出了一种有效的微调方法,神经网络滤波器,适用于后处理伪影去除步骤中的视频编码管道。在编码器侧执行微调,以使神经网络适应正在编码的特定内容。为了最大化PSNR增益并最小化比特率开销,我们建议仅微调卷积层的偏差。所提出的方法实现收敛速度比传统的微调方法,使其适合于实际应用。权重更新可以被包括在由现有视频编解码器生成的视频比特流中。我们表明,我们的方法实现了高达9.7%的平均BD速率增益相比,国家的最先进的通用视频编码(VVC)标准编解码器的7个测试序列。
2020-08-13 cs.CV cs.LG cs.MM
A Lagrangian Dual-based Theory-guided Deep Neural Network
PengCheng Laboratory(鹏城实验室);Southern University of Science and Technology(南方科技大学);Peking University(北京大学)
理论引导神经网络(Theory-guided Neural Network,TgNN)是一种通过引入科学知识或物理信息来提高神经网络结构有效性和效率的方法。尽管取得了巨大的成功,但理论引导的(深度)神经网络在训练过程中保持训练数据和领域知识之间的权衡时具有一定的局限性。本文提出了一种基于拉格朗日对偶的TgNN(TgNN-LD)来提高TgNN的有效性。我们将原来的损失函数转换成一个约束形式的项目较少,其中偏微分方程(PDE),工程控制(EC),专家知识(EK)被视为约束,每个约束一个拉格朗日变量。这些拉格朗日变量被纳入观测数据和相应的约束条件之间实现公平的权衡,以提高预测精度,并节省时间和计算资源调整的ad-hoc程序。为了研究所提出的方法的性能,原来的TgNN模型与一组优化的权重值调整ad-hoc程序进行了比较,地下水流问题,与他们的L2误差,R平方(R2),和计算时间进行了分析。实验结果证明了拉格朗日对偶TgNN的优越性。
2020-08-24 cs.LG math.OC stat.ML
Lagrangian Neural Style Transfer for Fluids
ETH Zurich(苏黎世联邦理工学院)
艺术地控制流体模拟的形状、运动和外观是视觉效果制作中的主要挑战。在本文中,我们提出了一种神经风格的转移方法,从图像到三维流体制定的拉格朗日观点。与基于网格的技术相比,使用粒子进行样式传递具有独特的优点。属性存储在粒子上,因此通过粒子运动进行简单的传输。这本质上确保了优化的风格化结构的时间一致性,并显著提高了所得质量。同时,网格方法的风格化速度场的昂贵的递归对齐是不必要的,将计算时间减少到不到一个小时,并使神经流风格化在生产环境中实用。此外,拉格朗日表示改进了艺术控制,因为它允许多流体风格化和来自图像的一致颜色转移,并且该方法的通用性同样能够实现烟雾和液体的风格化。
2020-05-02 cs.GR cs.LG
Training neural networks under physical constraints using a stochastic augmented Lagrangian approach
Argonne National Laboratory(阿贡国家实验室);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室)
我们研究了XGC中5维动力学聚变模拟中的编码器-解码器神经网络的物理约束训练,以逼近Fokker-Planck-Landau碰撞算子。为了训练这个网络,我们提出了一个随机增广拉格朗日方法,利用pyTorch的本地随机梯度下降法来解决内部无约束最小化子问题,配对的启发式更新的惩罚因子和拉格朗日乘子在外部增广拉格朗日循环。我们对单个离子种类的情况下,与自碰撞和碰撞对电子的训练结果表明,所提出的随机增广拉格朗日方法可以实现更高的模型预测精度比训练与固定惩罚方法为我们的应用问题,具有足够高的精度在动力学模拟的实际应用。
2020-09-15 cs.LG math.OC physics.comp-ph
Lagrangian neural networks for nonholonomic mechanics
Departamento de Matemática, Universidad Nacional del Sur(国家南方大学数学系);Centro de Matemática de La Plata, Universidad Nacional de La Plata(拉普拉塔国立大学拉普拉塔数学中心)
本文将Lagrangian Neural Networks扩展到非完整约束力学系统,通过在学习中显式纳入约束,提升轨迹精度、约束满足度与能量保持性能。
2025-07-27 cond-mat.dis-nn cs.ET cs.LG
Integrating Lagrangian Neural Networks into the Dyna Framework for Reinforcement Learning
本文提出将拉格朗日神经网络整合到Dyna框架中,以提升基于模型的强化学习中动力学建模的准确性与效率。
2026-03-09 cs.LG cs.SY eess.SY
Learning the Dynamics of Particle-based Systems with Lagrangian Graph Neural Networks
Indian Institute of Technology Delhi(印度理工学院德里分校)
物理系统通常被表示为粒子的组合,粒子的个体动力学支配系统动力学。然而,传统的方法需要几个抽象的量,如能量或力的知识来推断这些粒子的动力学。在这里,我们提出了一个框架,即拉格朗日图神经网络(LGnn),它提供了一个强大的归纳偏差,直接从轨迹学习基于粒子的系统的拉格朗日。我们在具有约束和阻力的具有挑战性的系统上测试了我们的方法- LGnn优于基线,如前馈拉格朗日神经网络(Lnn),性能有所改善。我们还显示了系统的zero-shot泛化能力,通过模拟比训练的系统大两个数量级的系统,以及模型看不到的混合系统,这是一个独特的功能。与Lnn相比,LGnn的图形架构显著简化了学习,在数据量减少约20倍的情况下,性能提高约25倍。最后,我们展示了LGnn的可解释性,它直接提供了模型学习的阻力和约束力的物理见解。因此,LGnn可以为纯粹从可观测量理解物理系统的动力学提供一个刺激。
2022-09-03 cond-mat.dis-nn cs.LG
Dissipative Lagrangian Neural Networks for the Interpretable Modelling of Passive Mechanical Systems
University of Cambridge(剑桥大学)
本文提出dLNN,通过新型耗散力参数化实现机械系统动力学的可解释建模,在双摆、工业机器人任务中性能优于现有拉格朗日架构,还能提取符号模型降低计算开销。
2026-10-14 cs.CE cs.LG
Learning Relativistic Geodesics and Chaotic Dynamics via Stabilized Lagrangian Neural Networks
Department of Physics, Bogazici University, Istanbul, Turkey(物理系,博兹达奇大学,伊斯坦布尔,土耳其);Department of Computer Engineering, Bogazici University, Istanbul, Turkey(计算机工程系,博兹达奇大学,伊斯坦布尔,土耳其)
通过改进的稳定拉格朗日神经网络,实现了对非相对论和广义相对论测地运动的拉格朗日量学习,并在复杂系统中展示了更高的稳定性和性能。
2026-01-18 cs.LG
A Lagrangian Approach to Information Propagation in Graph Neural Networks
University of Siena(锡耶纳大学);University of Florence(佛罗伦萨大学)
在许多现实世界的应用程序中,数据的特征是复杂的结构,可以自然地编码为图。在过去的几年里,深度学习技术的流行重新引起了人们对能够处理复杂模式的神经模型的兴趣。特别地,受图神经网络(GNN)模型的启发,已经提出了不同的架构来扩展原始GNN方案。GNN利用一组状态变量,每个变量分配给一个图节点,以及相邻节点之间的状态扩散机制,来实现迭代过程以计算(可学习的)状态转移函数的不动点。在本文中,我们提出了一种新的方法的状态计算和学习算法的GNNs,基于约束优化任务解决拉格朗日框架。状态收敛过程由约束满足机制隐式地表示,并且不需要针对学习过程的每个时期的单独的迭代阶段。实际上,计算结构是基于在由权重、神经输出(节点状态)和拉格朗日乘子组成的伴随空间中搜索拉格朗日的鞍点。所提出的方法进行了比较实验与其他流行的模型处理图形。
2020-04-17 cs.LG stat.ML
EEG-based video identification using graph signal modeling and graph convolutional neural network
Yonsei University(延世大学)
本文提出了一种新的基于图信号的脑电深度学习方法及其在基于脑电的视频识别中的应用。我们提出了新的方法来有效地将EEG数据表示为图上的信号,并使用图卷积神经网络来学习它们。视频识别的实验结果表明,与现有的方法相比,所提出的方法的有效性,而观看视频时获得的脑电响应。文中还讨论了脑电信号图形化表示的有效方法。
2018-09-12 cs.LG eess.SP
Neural Dubber: Dubbing for Videos According to Scripts
ByteDance(字节跳动);Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学)
配音是一种将演员的对话重新录制下来的后期制作过程,广泛应用于电影制作和录像制作中。它通常由专业配音演员手动执行,他们以适当的韵律朗读台词,并与预先录制的视频同步。在这项工作中,我们提出了神经配音,第一个神经网络模型来解决一个新的自动视频配音(AVD)任务:从文本中合成与给定视频同步的人类语音。Neural Dubber是一种多模态文本到语音(TTS)模型,它利用视频中的嘴唇运动来控制生成语音的韵律。此外,一个基于图像的扬声器嵌入(ISE)模块开发的多扬声器设置,这使得神经Dubber生成语音与合理的音色根据扬声器的脸。在化学讲座单说话人数据集和LRS2多说话人数据集上的实验表明,Neural Dubber在语音质量方面可以生成与最先进的TTS模型相当的语音音频。最重要的是,定性和定量的评估表明,神经Dubber可以控制合成语音的韵律视频,并产生高保真语音与视频时间同步。我们的项目页面位于https://tsinghua-mars-lab.github.io/NeuralDubber/。
2022-03-15 cs.CL cs.CV cs.LG
Learning and Forecasting Multiscale Spatiotemporal Epidemic Dynamics with Lagrangian-Eulerian Graph Neural ODEs
提出LE-EpiGNODE模型,用拉格朗日-欧拉分解的机制引导神经算子替代通用消息传递,在14种合成机制、3种COVID-19场景等评估中,长程预测误差较最佳基线降低17.7%-40.0%,实现可靠长程流行病预测。
2026-10-16 cs.LG
Performing Video Frame Prediction of Microbial Growth with a Recurrent Neural Network
UT-Battelle, LLC(UT-巴特尔有限责任公司)
本文提出用循环神经网络对铜绿假单胞菌突变体微生物生长视频进行帧预测,通过图像、种群曲线和菌落指标验证了预测准确性,并探讨了其在微生物学自主实验中的应用前景。
2022-05-12 cs.LG
C3: High-performance and low-complexity neural compression from a single image or video
Google DeepMind(谷歌DeepMind)
提出 C3 单样本神经压缩方法,通过为每张图像或视频单独过拟合小模型并改进 COOL-CHIC,在 CLIC2020 和 UVG 上以极低解码 MACs 匹配 VTM 与 VCT 的 RD 性能。
2023-12-05 cs.CV cs.LG eess.IV
An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity
The Hong Kong Polytechnic University(香港理工大学)
带有一组稀疏正则化项的Leaky ReLU网络近年来得到了广泛的应用。然而,训练这样的网络会产生一个非光滑非凸最优化问题,并且缺乏确定性地计算稳定点的方法。本文首先通过引入辅助变量和附加约束,解决了原最优化问题中的多层复合项。我们证明了新模型有一个非空有界的解集,并且它的可行解集满足Mangasarian-Fromovitz约束规格。此外,我们展示了新模型和原问题之间的关系。值得注意的是,我们提出了一个不精确的增广拉格朗日算法求解新的模型,并显示该算法的收敛到KKT点。数值实验表明,我们的算法是更有效的训练稀疏漏ReLU神经网络比一些著名的算法。
2022-05-11 cs.LG math.OC
Neural Optimal Transport with Lagrangian Costs
FAIR, Meta(Meta FAIR)
研究拉格朗日代价下的概率测度最优传输问题,提出一种无需 ODE 求解器即可高效计算测地线并输出拉格朗日最优传输映射的神经计算方法。
2024-06-01 cs.LG stat.ML
Learning to Solve the AC Optimal Power Flow via a Lagrangian Approach
Department of Electrical and Computer Engineering University of Washington(华盛顿大学电气与计算机工程系)
利用深度神经网络预测交流最优潮流(ACOPF)问题的解一直是一个活跃的研究方向。然而,由于ACOPF是非凸的,它是很难构建一个良好的数据集,包含大多数全局最优解。为了克服训练数据可能包含次优解的挑战,我们提出了一种基于拉格朗日的方法。首先,我们使用神经网络来学习ACOPF问题的对偶变量。然后,我们使用第二个神经网络来预测从预测的对偶变量的部分拉格朗日的解决方案。由于部分拉格朗日函数具有更好的优化效果,因此我们使用神经网络的预测解作为ACOPF问题的热启动。使用标准和修改的IEEE 22总线,39总线和118总线网络,我们表明,我们的方法是能够获得全局最优的成本,即使训练数据主要是由次优的解决方案。
2021-10-04 cs.LG cs.SY eess.SY
Hierarchical Autoregressive Modeling for Neural Video Compression
UC Irvine(加州大学欧文分校);California Institute of Technology(加州理工学院)
本研究建立分层自回归生成模型与有损视频压缩的关联,将现有神经压缩方法归为广义随机时序自回归变换实例并提出改进方向,在大规模视频上实现了优于现有最优神经及传统方法的率失真性能。
2023-12-19 cs.LG eess.IV
Lagrangian Neural Networks
Princeton University(普林斯顿大学);Oregon State University(俄勒冈州立大学);Google Research(谷歌研究院);DeepMind;Flatiron Institute(熨斗研究所);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
世界的精确模型是建立在其基本对称性的概念之上的。在物理学中,这些对称性对应于守恒定律,例如能量和动量。然而,尽管神经网络模型在物理科学中的应用越来越多,但它们很难学习这些对称性。在本文中,我们提出了拉格朗日神经网络(LNNs),它可以参数化任意拉格朗日使用神经网络。与学习哈密顿量的模型相比,LNN不需要正则坐标,因此在正则动量未知或难以计算的情况下表现良好。与以前的方法不同,我们的方法不限制学习能量的函数形式,并将为各种任务生成节能模型。我们测试我们的方法在一个双摆和相对论粒子,展示能量守恒的基线方法引起耗散和建模的相对论没有正则坐标的哈密顿方法失败。最后,我们展示了如何使用拉格朗日图网络将该模型应用于图和连续系统,并在一维波动方程上进行了演示。
2020-07-30 cs.LG math.DS physics.comp-ph
Extending Lagrangian and Hamiltonian Neural Networks with Differentiable Contact Models
Siemens Technology(西门子技术)
适当的归纳偏差的结合在从数据中学习动态方面起着关键作用。越来越多的工作一直在探索如何通过将拉格朗日或哈密顿动力学编码到神经网络架构中来加强学习动力学中的能量守恒。这些现有的方法是基于微分方程,不允许状态的不连续性,从而限制了人们可以学习的系统的类别。然而,实际上,大多数物理系统(例如足式机器人和机器人操纵器)都涉及接触和碰撞,这会导致状态的不连续性。在本文中,我们介绍了一个可微接触模型,它可以捕捉接触力学:无摩擦/摩擦,以及弹性/非弹性。该模型还可以适应不等式约束,例如对关节角度的限制。建议的接触模型扩展了拉格朗日和哈密顿神经网络的范围,允许同时学习的接触和系统属性。我们证明了这个框架上的一系列具有挑战性的2D和3D物理系统具有不同的恢复和摩擦系数。学习的动态可以用作下游基于梯度的优化任务(例如规划和控制)的可微物理模拟器。
2021-11-12 cs.AI cs.LG cs.RO
Lagrangian Decomposition for Neural Network Verification
University of Oxford(牛津大学);DeepMind(深度思考)
神经网络验证的一个基本组成部分是计算其输出值的界限。以前的方法要么使用现成的求解器,丢弃问题结构,要么进一步放松问题,使边界不必要地宽松。我们提出了一种新的方法的基础上拉格朗日分解。我们的配方承认一个有效的超梯度上升算法,以及改进的邻近算法。这两种算法都提供了三个优点:(i)它们产生的边界可证明至少与依赖于拉格朗日松弛的先前对偶算法一样紧;(ii)它们基于类似于神经网络层的前向/后向传递的操作,因此易于并行化,适合GPU实现,并且能够利用问题的卷积结构;以及(iii)它们允许随时停止,同时仍然提供有效的边界。从经验上讲,我们表明,我们获得的界限可比现成的求解器在一小部分的运行时间,并获得更严格的界限在同一时间以前的对偶算法。这导致了在采用形式化验证的边界时的总体速度提高。我们的算法代码可以在https://github.com/oval-group/decomposition-plnn-bounds上找到。
2020-06-17 cs.LG stat.ML