Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval
NetEase Yidun AI Lab(网易易盾人工智能实验室);Zhejiang University(浙江大学)
提出一种具有可微分辨率压缩与对齐机制的高效视频表示网络,通过早期压缩非显著帧特征并引入分辨率对齐Transformer层降低计算成本,在近重复视频检索和动态视频分类任务中实现了效率与性能的最佳权衡。
2023-09-15 cs.CV
Your Image is My Video: Reshaping the Receptive Field via Image-To-Video Differentiable AutoAugmentation and Fusion
Free University of Bozen-Bolzano(博岑-博尔扎诺自由大学);Computer Vision Center(计算机视觉中心);Universitat de Barcelona(巴塞罗那大学)
提出可微增强搜索方法(DAS),通过图像到视频的自动数据增强重塑空间感受野,在多个数据集和轻量级视频骨干网络上提升了图像分类与语义分割的准确率。
2024-03-22 cs.CV cs.LG
Self-Supervised Contrastive Learning for Videos using Differentiable Local Alignment
Universität des Saarlandes(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
提出基于可微局部对齐的自监督视频表示学习方法,利用Transformer编码器与新颖的LAC损失捕获局部时间依赖并增强判别性,在动作识别任务上优于现有最先进方法。
2025-03-03 cs.CV
Video-Text Representation Learning via Differentiable Weak Temporal Alignment
Korea University(高丽大学);Kakao Brain;Hanyang University(汉阳大学)
通过监督方法学习视频和文本的通用联合表示需要大量手动注释的视频数据集。作为一种实用的替代方案,最近推出了一个大规模但未经策划和叙述的视频数据集HowTo 100 M。但是,由于其模糊性和非顺序对齐性,以自监督的方式学习视频和文本的联合嵌入仍然具有挑战性。在本文中,我们提出了一种新的多模态自监督框架视频文本时间弱对齐为基础的对比学习(VT-THERM),以捕捉显着的信息,从噪声和弱相关的数据使用动态时间规整(DTW)的变体。我们观察到,标准DTW固有地不能处理弱相关的数据,只考虑全局最优的对齐路径。为了解决这些问题,我们开发了一个可微DTW,它也反映了弱时间对齐的局部信息。此外,我们提出的模型应用对比学习计划学习弱相关数据的特征表示。我们广泛的实验表明,VT-Tcloud在多模态表示学习方面取得了显着的改进,并优于各种具有挑战性的下游任务。代码可在https://github.com/mlvlab/VT-TWINS上获得。
2022-03-31 cs.CV
Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition
University of Maryland College Park(马里兰大学学院公园分校)
针对无人机视频中人类活动识别问题,提出一种结合频域表示与数据驱动神经网络的方法,通过可微分静态-动态频率掩码先验学习解纠缠特征,并设计成本函数采样关键帧,在两个数据集上取得显著性能提升。
2022-10-05 cs.CV
Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning
Northeastern University(东北大学);Snap Inc.(Snap公司)
本文提出Diffusion-DRF框架,通过多维问题和密集VQA解释查询生成丰富反馈,实现稳定奖励微调,无需偏好数据集。
2026-11-04 cs.CV
Universal Perturbation Attack on Differentiable No-Reference Image- and Video-Quality Metrics
通用对抗扰动攻击被广泛用于分析采用卷积神经网络的图像分类器。如今,一些攻击可以欺骗图像和视频质量指标。因此,对这些指标的可持续性分析非常重要。事实上,如果攻击可以混淆度量,攻击者可以很容易地增加质量分数。当图像和视频算法的开发人员可以通过独立处理来提高他们的分数时,算法比较就不再公平了。受分类器普遍对抗扰动思想的启发,提出了一种通过普遍扰动攻击可微无参考质量度量的新方法。我们将此方法应用于七个无参考图像和视频质量指标(PaQ-2-PiQ,线性度,VSFA,MDTVVSFA,KonCept 512,Nima和SPAQ)。对于每一个,我们训练了一个通用的扰动,增加了各自的分数。我们还提出了一种方法来评估指标的稳定性,并确定的指标是最脆弱的,最能抵抗我们的攻击。成功的普遍扰动的存在似乎降低了度量提供可靠分数的能力。因此,我们建议我们提出的方法作为一个额外的验证指标的可靠性,以补充传统的主观测试和基准。
2022-11-01 cs.CV cs.MM
DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation
University of Toronto(多伦多大学);Vector Institute(向量研究所);Uber ATG Toronto(优步先进技术集团多伦多分部);NVIDIA(英伟达);Canadian Institute for Advanced Research(加拿大高级研究所)
在本文中,我们提出了可微掩模匹配网络(DMM-Net)解决视频对象分割问题的初始对象掩模。依赖于Mask R-CNN主干,我们提取每帧的掩码建议,并将对象模板和建议之间的匹配在一个时间步长上公式化为线性分配问题,其中成本矩阵由CNN预测。我们提出了一个微分匹配层展开投影梯度下降算法,其中投影利用Dykstra的算法。我们证明,在温和的条件下,匹配是保证收敛到最佳。在实践中,它在推理过程中的表现与匈牙利算法相似。同时,我们可以通过它反向传播来学习成本矩阵。匹配后,利用细化头来提高匹配掩模的质量。我们的DMM-Net在最大的视频对象分割数据集YouTube-VOS上取得了有竞争力的结果。在DAVIS 2017上,DMM-Net在第一帧上没有在线学习的情况下实现了最佳性能。在没有任何微调的情况下,DMM-Net在SegTrack v2数据集上执行最先进的方法。最后,我们的匹配层实现起来非常简单;我们在补充材料中附加了PyTorch代码($<50$行)。我们的代码发布在https://github.com/ZENGXH/DMM_Net。
2019-09-27 cs.CV
SAFT: Shape and Appearance of Fabrics from Template via Differentiable Physical Simulations from Monocular Video
University of Bonn(波恩大学)
本文提出SAFT系统,利用单目视频和可微物理模拟重建织物三维形状与外观,通过两个正则化项解决深度模糊,将重建误差降低2.64倍,并恢复清晰细节。
2025-09-10 cs.CV
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania(卡塔尼亚大学)
本文提出可微任务图学习框架,通过边权重最大似然优化实现梯度学习,提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
Differentiable Proxy Learning for Adaptive Quantization Control in H.264 Video Coding
School of Engineering Science, Simon Fraser University(工程科学学院,西蒙·弗雷泽大学)
研究针对H.264视频编码中优化量化参数难的问题,提出可微代理学习方法,基于可变速率学习压缩模型,通过软索引机制使代理可微,经训练近似H.264率失真行为,所构建框架在相关任务中显著改善率任务权衡。
2026-07-14 cs.CV eess.IV
ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos
University of Catania(卡塔尼亚大学);University of Bath(巴斯大学)
ViterbiPlanNet通过可微Viterbi层整合过程性知识,实现高效的教学视频规划,提升样本效率和鲁棒性。
2026-03-04 cs.CV
Differentiable Dynamics for Articulated 3d Human Motion Reconstruction
Google Research(谷歌研究院);Lund University(隆德大学)
我们介绍了DiffPhy,一个可微的基于物理的模型,用于从视频中重建三维人体运动。到目前为止,基于物理的推理在人体运动分析中的应用受到了限制,既受到了构建适当的人体运动物理模型的复杂性的限制,也受到了在循环中使用物理进行稳定和有效推理的巨大挑战。我们共同解决这样的建模和推理的挑战,提出了一种方法,结合了物理上合理的身体表示与解剖关节限制,可微的物理模拟器和优化技术,确保良好的性能和鲁棒性次优局部最优。与最近的几种方法相比,我们的方法很容易支持全身接触,包括与场景中的对象进行交互。最重要的是,我们的模型与图像进行端到端连接,从而通过基于图像的损失函数支持直接基于梯度的物理优化。我们验证了该模型,证明它可以准确地重建物理上合理的三维人体运动从单目视频,无论是在公共基准与可用的三维地面实况,并从互联网上的视频。
2022-05-24 cs.CV
Meta Learning with Differentiable Closed-form Solver for Fast Video Object Segmentation
The University of Adelaide(阿德莱德大学);Northwestern Polytechnical University(西北工业大学)
本文研究了视频对象分割问题。我们特别关注的是在所有帧中分割目标对象的所有像素的任务,给定第一帧中的注释掩码。即使当这样的注释可用时,这仍然是一个具有挑战性的问题,因为对象的外观和形状随着时间的推移而变化。在本文中,我们解决这个任务,制定它作为一个元学习的问题,其中基本学习者掌握的语义场景理解的一般类型的对象,和Meta学习者快速适应目标对象的外观与几个例子。我们提出的元学习方法使用了一种封闭形式的优化器,即所谓的“岭回归”,它已被证明有利于快速和更好的训练收敛。此外,我们提出了一种机制,名为“块分裂”,以进一步加快训练过程,以及减少学习参数的数量。与最先进的方法相比,我们提出的框架在处理速度上实现了显着的提升,同时与广泛使用的数据集上的最佳性能方法相比,具有非常有竞争力的性能。
2019-09-28 cs.CV
Finding Physical Adversarial Examples for Autonomous Driving with Fast and Differentiable Image Compositing
Washington University in St. Louis(圣路易斯华盛顿大学)
有相当多的证据表明,深度神经网络容易受到直接施加到其数字输入的对抗性扰动的影响。然而,这是否会转化为真实系统中的漏洞仍然是一个悬而未决的问题。例如,对自动驾驶汽车的攻击实际上需要修改驾驶环境,然后影响汽车控制器的视频输入,从而间接导致错误的驾驶决策。这种攻击需要考虑系统动态和跟踪视点变化。我们提出了一种可扩展的方法来寻找对抗性修改的模拟自动驾驶环境使用可微近似的映射从环境修改(矩形的道路上)到相应的视频输入到控制器神经网络。给定矩形的参数,我们提出的可微映射将它们组合到原始环境的预先录制的视频流上,考虑几何和颜色变化。此外,我们提出了一种多轨迹采样方法,使我们的攻击是强大的汽车的自我纠正行为。当与基于神经网络的控制器相结合时,我们的方法允许通过端到端基于梯度的优化来设计对抗性修改。使用Carla自动驾驶模拟器,我们证明了我们的方法在模拟实验中识别自动驾驶汽车漏洞方面比基于贝叶斯优化的最先进方法具有更大的可扩展性和更有效的效果。
2021-06-11 cs.AI cs.CV cs.LG
gradSim: Differentiable simulation for system identification and visuomotor control
Montreal Robotics and Embodied AI Lab(蒙特利尔机器人与具身人工智能实验室);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);NVIDIA(英伟达);McGill(麦吉尔大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Copenhagen(哥本哈根大学)
我们考虑的问题,估计一个对象的物理特性,如质量,摩擦力和弹性直接从视频序列。这种系统辨识问题由于在图像形成期间的信息损失而从根本上是不适定的。目前的解决方案需要精确的3D标签,这是劳动密集型的收集,并且不可行的许多系统,如可变形的固体或布创建。我们提出gradSim,一个框架,克服了依赖于3D监督,利用微分多物理场仿真和微分渲染共同模拟场景动态和图像形成的演变。这种新颖的组合使得能够从视频序列中的像素反向传播到生成它们的底层物理属性。此外,我们的统一计算图-从动态到渲染过程-能够在具有挑战性的视觉控制任务中进行学习,而不依赖于基于状态的(3D)监督,同时获得与依赖于精确3D标签的技术竞争或更好的性能。
2021-04-06 cs.AI cs.CV cs.LG
Learning Video Dynamics with Predictive Differentiable Rendering
Dartmouth College(达特茅斯学院);DAMO Academy, Alibaba Group(阿里巴巴达摩院);University of California, San Diego(加州大学圣地亚哥分校);Westlake University(西湖大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
提出预测可微渲染(PDR)框架,通过2D高斯表示的轻量适配器PredGS和CUDA加速渲染器predgsplat,结合L1和SSIM损失优化,在离散像素与连续表示间架桥,显著提升视频预测的细节保真度和准确性。
2026-07-01 cs.AI cs.CV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum(米德尔医疗中心人工智能中心);University of Twente(特文特大学)
本文提出利用可微摄像机投影,通过3D损失端到端训练2D CNN,直接优化多视角手术室视频中的3D人体姿态估计,在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
VideoMat: Extracting PBR Materials from Video Diffusion Models
NVIDIA Sweden(NVIDIA瑞典分公司);NVIDIA , University of Toronto , Vector Institute Canada(NVIDIA、多伦多大学、向量研究所加拿大);NVIDIA;University of Toronto(多伦多大学);Vector Institute(向量研究所)
该研究提出VideoMat方法,结合微调视频扩散模型、视频本征分解与可微路径追踪,仅需文本提示或单图即可为3D模型提取适配通用创作工具的高质量PBR材质。
2025-06-16 cs.CV cs.GR
Towards Robust Data Hiding Against (JPEG) Compression: A Pseudo-Differentiable Deep Learning Approach
数据隐藏是用于保护认证和所有权的一种广泛使用的方法。大多数多媒体内容(如图像和视频)都以压缩形式传输或保存。这种有损压缩,如JPEG,可以破坏隐藏的数据,这就提出了鲁棒的数据隐藏的需要。要实现能够抵抗这些压缩的数据隐藏的目标仍然是一个公开的挑战。最近,深度学习在数据隐藏方面取得了巨大成功,而JPEG的不可微性使得训练深度管道以提高对有损压缩的鲁棒性具有挑战性。现有的SOTA方法用执行类似操作的可微模块代替不可微部分。存在多种限制:(a)大量的工程工作;(b)需要压缩攻击的白盒知识;(c)仅适用于像JPEG这样的简单压缩。在这项工作中,我们提出了一个简单而有效的方法来解决所有上述限制一次。除了JPEG,我们的方法已被证明可以提高对各种图像和视频有损压缩算法的鲁棒性。
2020-12-30 cs.CR cs.CV cs.LG
RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
这项工作考虑识别参数表征物理系统的动态运动直接从视频的渲染配置是不可访问的。现有的解决方案需要大量的训练数据或缺乏对未知渲染配置的通用性。我们提出了一种新的方法,婚姻域随机化和微分渲染梯度来解决这个问题。我们的核心思想是训练一个渲染不变状态预测(RISP)网络,该网络将图像差异转换为独立于渲染配置的状态差异,例如,照明、阴影或材质反射。为了训练这个预测器,我们制定了一个新的损失渲染方差使用梯度微分渲染。此外,我们提出了一种有效的二阶方法来计算这种损失的梯度,使其能够无缝集成到现代深度学习框架中。我们评估我们的方法在刚体和变形体仿真环境中使用四个任务:状态估计,系统辨识,模仿学习,和可视化控制。我们进一步证明了我们的方法在现实世界中的例子的有效性:推断的状态和动作序列的四旋翼从视频的运动序列。与现有的方法相比,我们的方法实现了显着降低重建错误,并在未知的渲染配置之间具有更好的泛化能力。
2022-05-11 cs.AI cs.CV cs.GR
Self-Aligned Forcing: Streaming Video Diffusion with Differentiable Noisy History
Monash University(莫纳什大学);Vivix AI;Lancaster University(兰卡斯特大学)
提出自对齐强制(SAF)训练方案,通过将历史噪声水平与去噪块对齐,实现可微历史,加速训练并提升长时程视频生成质量。
2026-09-30 cs.CV
BendTwin: Robust Dense-to-Sparse Physical Reconstruction with Bending-Aware Differentiable Spring-Mass Models
University of Cambridge(剑桥大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Northwestern Polytechnical University(西北工业大学);The Hong Kong Polytechnic University(香港理工大学)
BendTwin是一种弯曲感知可微分弹簧-质量框架,通过引入弯曲约束提升力学稳定性,在可变形物体重建与预测任务中优于仅用轴向弹簧的PhysTwin,可用于从稀疏视角RGB-D视频构建力学保真数字孪生。
2026-08-07 cs.CV
Vector sketch animation generation with differentiable motion trajectories
Zhejiang University of Technology(浙江工业大学);Hangzhou Dianzi University(杭州电子科技大学);Zhejiang Gongshang University(浙江工商大学)
本文提出一种端到端的向量草图动画生成方法,通过可微运动轨迹解决闪烁问题,提升语义一致性和时间连续性,实现在DAVIS和LVOS数据集上的优越性能。
2026-03-18 cs.AI cs.CV cs.GR
Self-Supervised Learning of Depth and Ego-motion with Differentiable Bundle Adjustment
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
学习仅从RGB输入预测场景深度和相机运动是一项具有挑战性的任务。大多数现有的基于学习的方法以监督的方式处理该任务,这需要获取昂贵的地面实况数据。最近的方法探索了在自监督学习框架中估计场景深度和相机姿态的可能性。尽管令人鼓舞的结果显示,当前的方法要么学习从单眼视频的深度和姿势,通常这样做,而不强制执行场景结构和相机运动之间的多视图几何约束,或需要立体序列作为输入,其中地面实况帧间运动参数需要是已知的。在本文中,我们建议通过最小化特征度量误差来结合可微束调整(BA)层来联合优化场景深度和相机运动,然后形成具有视图合成的光度一致性损失作为最终的监督信号。所提出的方法只需要未标记的单目视频作为输入,在KITTI和Cityscapes数据集上进行的大量实验表明,我们的方法在使用单目视频作为输入的自监督方法中取得了最先进的结果,甚至比从校准的立体序列(即姿势监督)中学习的方法更有优势。
2019-09-28 cs.CV
Temporal Specification Guidance for Text-to-Video Generation
University of Pennsylvania(宾夕法尼亚大学);Toyota Motor North America (R&D)(丰田北美研发公司)
提出TSG框架,将时间逻辑规范转化为视频生成的引导目标,在220个提示的基准上使5种模型的规范满足准确率较CFG提升9.5-20个百分点,为视频生成控制提供灵活接口。
2026-10-16 cs.AI cs.CV
Differentiable Soft-Masked Attention
RWTH Aachen University(亚琛工业大学);Carnegie Mellon University(卡内基梅隆大学)
Transformers在计算机视觉中已经变得普遍,这是由于它们在对复杂操作进行建模时的性能和灵活性。特别重要的是“交叉注意”操作,它允许通过关注任意大小的输入特征集来学习矢量表示(例如图像中的对象)。最近,提出了“掩蔽注意力”,其中给定的对象表示只关注那些对象的分割掩模有效的图像像素特征。这种注意力的专门化证明对各种图像和视频分割任务是有益的。在本文中,我们提出了另一种专门的注意力,使出席“软面具”(那些连续的掩码概率,而不是二进制值),也是通过这些掩码概率可区分的,从而允许用于注意的掩码在网络内学习,而不需要直接损失监督。这对于几个应用程序可能是有用的。具体来说,我们将我们的“可区分的软掩蔽注意力”用于弱监督视频对象分割(VOS)的任务,其中我们为VOS开发了一个基于变换器的网络,它只需要一个带注释的图像帧进行训练,但也可以从只有一个带注释的帧的视频上的周期一致性训练中受益。虽然在未标记的帧中没有丢失掩码,但由于我们新颖的注意力公式,网络仍然能够分割这些帧中的对象。代码:https://github.com/Ali2500/HODOR/blob/main/hodor/modelling/encoder/soft_masked_attention.py
2022-08-05 cs.CV
Identifying Mechanical Models through Differentiable Simulations
Rutgers, the State University of New Jersey(罗格斯大学新泽西州立大学)
本文提出了一种新的方法来操纵未知的对象,通过一系列的非线性动作,从其初始配置的一个给定的目标配置的平面上的对象的位移。所提出的方法利用可微物理模型的最新进展来识别操纵对象的未知力学特性,例如惯性矩阵、摩擦系数和作用在对象上的外力。为此,最近提出的可微物理引擎的二维物体在这项工作中采用,并扩展到处理在三维空间中的力。所提出的模型识别技术分析计算预测的物体姿态和它们的实际观察姿态之间的距离的梯度,并利用该梯度来搜索减小现实差距的机械特性的值。使用真实机器人采集数据的真实物体的实验表明,该方法可以在飞行中识别异构物体的机械特性。
2020-05-11 cs.CV cs.RO cs.SY
Creating and Reenacting Controllable 3D Humans with Differentiable Rendering
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Université Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学)
本文提出了一种新的端到端神经渲染体系结构来传输外观和再现人类演员。我们的方法利用精心设计的图卷积网络(GCN)来建模人体流形结构,结合可微分渲染,以合成来自最初记录的不同背景下的人的新视频。与最近的外观转移方法,我们的方法可以重建一个完全可控的三维纹理映射模型的人,同时考虑到流形结构的身体形状和纹理外观的视图合成。具体来说,我们的方法模型网格变形与三阶段的GCN训练在一个自我监督的方式上渲染的人体轮廓。它还在纹理域中使用卷积网络推断纹理外观,该卷积网络在对抗机制中进行训练,以从不同姿势的演员的渲染图像中重建人体纹理。在不同视频上的实验表明,我们的方法成功地推断出特定的身体变形,避免产生纹理伪影,同时在结构相似性(SSIM),学习感知图像块相似性(LPIPS),均方误差(MSE)和Fréchet视频距离(FVD)方面实现最佳的外观值。通过利用可微分渲染和三维参数化模型,我们的方法是完全可控的,这允许从姿态和渲染参数控制人体合成。源代码可在https://www.verlab.dcc.ufmg.br/retargeting-motion/wacv2022上获得。
2021-10-22 cs.CV
ContactGaussian-WM: Learning Physics-Grounded World Model from Videos
ContactGaussian-WM通过从稀疏视频中学习物理定律,提升机器人规划与模拟中的复杂动态场景建模能力。
2026-02-11 cs.AI cs.CV cs.RO
Efficient Video Transformers with Spatial-Temporal Token Selection
Fudan University(复旦大学);University of Maryland(马里兰大学);BirenTech Research(壁仞科技研究院)
视频Transformers在主要的视频识别基准测试中取得了令人印象深刻的结果,但计算成本很高。在本文中,我们提出了STTS,令牌选择框架,动态地选择一些信息令牌在时间和空间维度的条件下输入视频样本。具体来说,我们将令牌选择制定为排名问题,通过轻量级评分器网络估计每个令牌的重要性,只有那些得分最高的令牌将用于下游评估。在时间维度上,我们保留了与动作类别最相关的帧,而在空间维度上,我们识别了特征图中最具区分力的区域,而不会影响大多数视频Transformers中以分层方式使用的空间上下文。由于令牌选择的决策是不可微的,我们采用基于扰动最大值的可微Top-K算子进行端到端训练。我们主要在Kinetics-400上进行广泛的实验,并使用最近推出的视频Transformer主干MViT。我们的框架实现了类似的结果,同时需要减少20%的计算量。我们还证明了我们的方法是通用的不同的Transformer架构和视频数据集。代码可在https://github.com/wangjk666/STTS上获得。
2022-07-16 cs.CV
Physics-as-Inverse-Graphics: Unsupervised Physical Parameter Estimation from Video
University of Edinburgh(爱丁堡大学)
我们提出了一个模型,能够执行无监督的物理参数估计的系统从视频中,其中的微分方程控制的场景动态是已知的,但标记的状态或对象是不可用的。现有的物理场景理解方法要么需要对象状态监督,要么不与可微物理学集成以学习可解释的系统参数和状态。我们通过一个物理作为逆图形的方法来解决这个问题,该方法将视觉作为逆图形和可微物理引擎结合在一起,使对象和显式状态和速度表示能够被发现。该框架允许我们执行长期外推视频预测,以及基于视觉的模型预测控制。我们的方法在具有相互作用对象的系统(如球弹簧或三体引力系统)的长期未来帧预测中显着优于相关的无监督方法,因为它能够将动态构建到模型中作为归纳偏差。我们进一步展示了这种紧密的视觉-物理集成的价值,通过展示钟摆系统的视觉驱动基于模型的控制的数据高效学习。我们还表明,控制器的可解释性提供了独特的能力,目标驱动的控制和物理推理零数据适应。
2020-04-21 cs.AI cs.CV cs.LG
Cinematic Behavior Transfer via NeRF-based Differentiable Filming
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Stanford University(斯坦福大学);The Chinese University of Hong Kong(香港中文大学)
本文提出逆向拍摄行为估计技术,利用NeRF可微分渲染优化摄像机轨迹与SMPL轨迹,并构建电影级迁移流程,将多种镜头类型迁移至2D视频或3D虚拟环境,在用户研究中取得更高评分。
2023-11-29 cs.CV cs.GR cs.HC
DiffWind: Physics-Informed Differentiable Modeling of Wind-Driven Object Dynamics
State Key Laboratory of CAD & CG(CAD与计算机图形学国家重点实验室);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Ant Group(蚂蚁集团);Shenzhen University(深圳大学)
本文提出DiffWind,一种基于物理的可微框架,统一了风-物体相互作用建模、基于视频的重建和正向模拟。通过将风表示为基于网格的物理场,物体表示为从3D高斯点散布派生的粒子系统,并利用材料点方法(MPM)建模其相互作用,从而实现了对风驱物体动力学的重建。此外,本文还引入了WD-Objects数据集,通过大量实验证明了该方法在重建精度和模拟保真度方面显著优于现有动态场景建模方法。
2026-05-18 cs.CV
FaceCoresetNet: Differentiable Coresets for Face Set Recognition
Bar-Ilan University(巴伊兰大学);Samsung Semiconductor Israel R&D Center (SIRC)(三星半导体以色列研发中心)
针对集合人脸识别中需平衡质量与多样性的问题,提出FaceCoresetNet,将其建模为可微核心集选择问题,结合可微FPS与注意力架构,在IJB-B、IJB-C数据集上取得人脸验证SOTA。
2023-12-13 cs.CV
AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos
Tsinghua University(清华大学);ETH Zurich(苏黎世联邦理工学院);Beijing Jiaotong University(北京交通大学)
该研究提出AlphaTablets这一通用3D平面表示方法,将3D平面表示为带alpha通道的矩形,结合2D和3D表示优势,通过可微分光栅化和自下而上流水线实现单目视频3D平面重建,在ScanNet数据集上取得SOTA性能。
2024-11-29 cs.CV cs.LG
Unsupervised Learning of Shape and Pose with Differentiable Point Clouds
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Intel Labs(英特尔实验室)
我们解决的问题,学习准确的3D形状和相机姿势从一组未标记的类别特定的图像。我们训练一个卷积网络,通过最小化重投影误差来预测单个图像的形状和姿态:给定对象的几个视图,预测形状到预测相机姿态的投影应该匹配提供的视图。为了处理姿态模糊,我们引入了一个合奏的姿态预测,然后我们提取到一个单一的“学生”模型。为了让高效的学习高保真的形状,我们表示的点云的形状,并设计一个配方,允许这些微分投影。我们的实验表明,姿态预测器的蒸馏合奏学习准确地估计姿态,而点云表示允许预测详细的形状模型。补充视频可以在https://www.youtube.com/watch?上找到v= LuIGovKeo 60
2018-10-22 cs.CV cs.LG
Learning Vortex Dynamics for Fluid Inference and Prediction
Dartmouth College(达特茅斯学院);Stanford University(斯坦福大学)
我们提出了一种新的可微涡粒子(DVP)的方法来推断和预测流体动力学从一个单一的视频。躺在它的核心是一个粒子为基础的潜在空间封装隐藏的,拉格朗日涡演变的基础上可观察到的,欧拉流动现象。我们的可微涡旋粒子与可学习的涡旋-速度动力学映射相结合,以有效地捕捉物理约束的低维空间中的复杂流动特征。这种表示有助于学习针对输入视频定制的流体模拟器,该流体模拟器可以提供稳健的长期未来预测。我们的方法的价值是双重的:首先,我们学习的模拟器能够推断隐藏的物理量(例如,速度场);其次,它还支持未来预测,构建输入视频的续集以及其未来的动态演化。我们将我们的方法与合成和真实世界视频上的一系列现有方法进行比较,证明了重建质量,视觉可扩展性和物理完整性的提高。
2023-03-16 cs.CV cs.GR cs.LG
Free$^2$Guide: Training-Free Text-to-Video Alignment using Image LVLM
Graduate School of AI, KAIST(人工智能研究生院,韩国科学技术院)
本文提出免训练、无梯度的 Free$^2$Guide 框架,借助路径积分控制、图像 LVLM 奖励、帧拼接与多模型集成,在低额外开销下显著提升 T2V 生成的文本对齐和视频质量。
2025-10-19 cs.AI cs.CV cs.LG
Softmax Splatting for Video Frame Interpolation
Portland State University(波特兰州立大学)
向后翘曲形式的可微分图像采样已经在像深度估计和光流预测的任务中得到广泛采用。相比之下,如何执行前向扭曲的关注较少,部分原因是额外的挑战,例如解决以可区分的方式将多个像素映射到同一目标位置的冲突。我们提出了softmax splatting来解决这种范式转变,并展示了其在帧插值应用中的有效性。具体来说,给定两个输入帧,我们使用softmax splatting基于光流估计向前扭曲帧及其特征金字塔表示。这样做,softmax splatting可以无缝地处理多个源像素映射到同一目标位置的情况。然后,我们使用一个合成网络来预测扭曲表示的插值结果。我们的softmax splatting不仅允许我们在任意时间内插帧,还可以微调特征金字塔和光流。我们表明,我们的合成方法,授权softmax飞溅,实现了新的国家的最先进的视频帧内插的结果。
2020-03-11 cs.CV
Learning Object Manipulation Skills via Approximate State Estimation from Real Videos
Inria(法国国家信息与自动化研究所);CIIRC, Czech Technical University in Prague(捷克理工大学捷克信息学、机器人学与控制论研究所)
人类善于通过观看一些教学视频来学习新任务。另一方面,学习新动作的机器人要么需要通过反复试验付出大量努力,要么需要使用具有挑战性的专家演示。在本文中,我们探索了一种方法,便于直接从视频中学习对象操作技能。利用2D视觉识别和可区分渲染的最新进展,我们开发了一种基于优化的方法来估计手和操纵对象的粗略3D状态表示,而不需要任何监督。我们使用这些轨迹作为智能体的密集奖励,智能体通过强化学习学习模仿它们。我们从Something-Something数据集中评估我们的方法对简单的单对象和双对象动作的影响。我们的方法允许代理从单个视频中学习动作,同时观看多个演示使策略更加强大。我们表明,在模拟环境中学习的政策可以很容易地转移到一个真正的机器人。
2020-11-13 cs.CV cs.LG cs.RO
COVER: Codec-Robust Video Watermarking with Generative Video Priors
National University of Singapore(新加坡国立大学);University of New South Wales(新南威尔士大学)
COVER提出首个以编解码器压缩为设计目标的视频水印方法,通过生成式视频先验的潜在空间嵌入与可微编解码器替代库训练,在12种设置下平均比特准确率达93.72%,显著超越现有方法。
2026-09-23 cs.CV
End-to-end Learning of Action Detection from Frame Glimpses in Videos
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙菲莎大学)
在这项工作中,我们介绍了一个完全端到端的方法,用于视频中的动作检测,学习直接预测动作的时间范围。我们的直觉是,检测动作的过程自然是一个观察和细化的过程:观察视频中的时刻,并细化关于动作何时发生的假设。基于这一见解,我们将我们的模型制定为一个基于递归神经网络的代理,随着时间的推移与视频进行交互。代理观察视频帧,并决定下一步看哪里以及何时发出预测。由于反向传播在这种不可微的设置中是不够的,我们使用REINFORCE来学习代理的决策策略。我们的模型在THUMOS'14和ActivityNet数据集上实现了最先进的结果,同时只观察了一小部分(2%或更少)的视频帧。
2017-03-13 cs.CV cs.LG
Predicting Physical Object Properties from Video
University of Bonn(波恩大学)
我们提出了一种新的方法来估计从视频对象的物理特性。我们的方法包括一个物理引擎和一个校正估计器。从初始观察状态开始,对象行为在时间上向前模拟。基于模拟和观察到的行为,校正估计器然后确定每个对象的精细物理参数。该方法可以迭代以提高精度。我们的方法是通用的,因为它允许使用任意的-不一定是可微的-物理引擎和校正估计。对于后者,我们评估了无梯度超参数优化和深度卷积神经网络。我们展示了更快,更强大的收敛性的学习方法在几个模拟的二维场景集中在bin的情况。
2022-06-02 cs.CV cs.RO
Scheduled Differentiable Architecture Search for Visual Recognition
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
卷积神经网络(CNN)已被视为一类有能力的模型,用于视觉识别问题。然而,开发通用和强大的网络架构并不容易,这需要人类专家的大量努力。本文提出了一种新的体系结构自动搜索思想,对具有梯度下降高效搜索能力的可区分体系结构搜索(DAS)进行了改进。具体来说,我们提出了用于图像和视频识别的预定可区分架构搜索(SDAS),它很好地将训练期间的操作选择与时间表集成在一起。从技术上讲,架构或单元表示为有向图。我们的SDAS以渐进和预定的方式逐渐修复图中边缘上的操作,而不是一旦在现有DAS中完成训练就对所有边缘的操作进行一步决策,这可能会使架构变得脆弱。此外,我们扩大了SDAS的搜索空间,特别是视频识别,通过设计几个独特的操作来编码时空动态,并展示了影响SDAS的架构搜索的影响。在CIFAR10、Kinetics10、UCF101和HMDB51数据集上进行了大量的体系结构学习实验,并与DAS方法进行了比较。更值得注意的是,SDAS的搜索速度比DAS快2倍左右。当将CIFAR10和Kinetics10上的学习细胞分别转移到大规模ImageNet和Kinetics400数据集时,构建的网络也优于几种最先进的手工结构。
2019-09-23 cs.CV
MonoPhysics: Estimating Geometry, Appearance, and Physical Parameters from Monocular Videos
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Meta
提出MonoPhysics框架,通过可微分MPM模拟和3D高斯泼溅,从单目视频联合优化可变形物体的几何、外观和物理参数,解决尺度模糊和几何不准确问题。
2026-10-02 cs.CV
D3TW: Discriminative Differentiable Dynamic Time Warping for Weakly Supervised Action Alignment and Segmentation
Stanford University(斯坦福大学)
我们解决了视频中的弱监督动作对齐和分割问题,在训练过程中只有动作发生的顺序可用。我们提出了判别微分动态时间弯曲(D3TW),第一个判别模型使用弱序监督。弱监督判别建模的关键技术挑战是,有序监督的损失函数通常使用动态规划来制定,因此是不可微的。我们解决这个挑战,连续放松的最小运营商在动态规划和扩展的对齐损失是可微的。所提出的D3TW创新性地解决了具有判别式建模和端到端训练的序列对齐问题,这大大提高了弱监督动作对齐和分割任务的性能。我们表明,我们的模型能够绕过在以前的工作中通常遇到的退化序列问题,并在两个具有挑战性的数据集中的三个评估指标上优于当前最先进的模型。
2019-04-11 cs.CV
Video Action Recognition Via Neural Architecture Searching
University of Oulu(奥卢大学);Xi'an Jiaotong University(西安交通大学)
深度神经网络在视频分析和理解方面取得了巨大成功。然而,设计一个高性能的神经架构需要大量的努力和专业知识。在本文中,我们首次尝试让算法自动设计神经网络的视频动作识别任务。具体地说,时空网络是在一个可微的空间建模的有向无环图,从而可以执行基于梯度的策略来搜索最佳的架构。尽管如此,它是计算昂贵的,因为计算负担,以评估每个架构的候选人仍然是沉重的。为了缓解这个问题,我们,对于视频输入,引入一个时间段的方法,以减少计算成本,而不会丢失全局视频信息。对于该体系结构,我们通过引入伪3D算子在一个有效的搜索空间中进行探索。实验表明,在具有挑战性的UCF101数据集上,我们的架构在从头开始训练协议下的性能优于流行的神经架构,令人惊讶的是,其参数只有手动设计的1%左右。
2019-07-10 cs.CV cs.LG
Video Killed the HD-Map: Predicting Multi-Agent Behavior Directly From Aerial Images
Inverted AI;University of British Columbia(不列颠哥伦比亚大学);Mila(米拉人工智能研究所)
本文提出一种基于航拍图像的地图表示AIM,以极低标注成本替代高精地图,并将其集成到可微驾驶仿真器中,在多智能体轨迹预测任务上取得与栅格化高精地图相当的性能,尤其对行人预测表现突出。
2023-09-20 cs.CV cs.RO
One-Shot Real-to-Sim via End-to-End Differentiable Simulation and Rendering
Department of Mechanical Engineering and Materials Science, Yale University(机械工程与材料科学系,耶鲁大学)
本文提出基于可微点几何、网格外观场和可微物理仿真器的刚体表示,仅凭一个机器人动作序列的稀疏视觉与触觉观测即可端到端识别可仿真、可渲染的世界模型。
2025-05-11 cs.CV cs.GR cs.RO
Approximate Differentiable Rendering with Algebraic Surfaces
Carnegie Mellon University(卡内基梅隆大学)
微分渲染器提供了对象的3D表示和该对象的图像之间的直接数学联系。在这项工作中,我们开发了一个近似微分渲染器的紧凑,可解释的表示,我们称之为模糊元球。我们的近似渲染器专注于通过深度图和轮廓渲染形状。它牺牲了保真度以换取实用性,产生了可用于解决视觉任务的快速运行时间和高质量梯度信息。与基于网格的可微分渲染器相比,我们的方法向前传递的速度快5倍,向后传递的速度快30倍。由我们的方法生成的深度图和轮廓图像是平滑的,并且到处都是定义的。在我们的评估可微渲染姿态估计,我们表明,我们的方法是唯一一个可比的经典技术。在从轮廓的形状,我们的方法表现良好,只使用梯度下降和每像素的损失,没有任何代理损失或正则化。这些重建即使在具有分割伪影的自然视频序列上也工作良好。项目页面:https://leonidk.github.io/fuzzy-metaballs
2022-07-21 cs.AI cs.CV cs.GR
Human Pose Manipulation and Novel View Synthesis using Differentiable Rendering
University of Surrey(萨里大学);AWS Tübingen(亚马逊云科技图宾根分部)
我们提出了一种新的方法来合成新的观点的人在新的姿势。我们新颖的可微分渲染器可以从任何角度合成高度逼真的图像。我们的渲染器不是在基于网格的结构上操作,而是使用直接表示人类底层骨骼结构的漫射高斯基元。渲染这些基元得到高维潜像的结果,然后通过解码器网络将其转换为RGB图像。该公式产生了一个完全可区分的框架,可以进行端到端的培训。我们证明了我们的方法在Human3.6M和Panoptic Studio数据集上进行图像重建的有效性。我们展示了我们的方法如何可用于个人之间的运动传输;从单个相机捕获的个人的新颖视图合成;从任何虚拟视点合成个人;以及以新颖的姿势重新渲染人。代码和视频结果可在https://github.com/GuillaumeRochette/HumanViewSynthesis上获得。
2022-02-20 cs.CV
Video Latent Flow Matching: Optimal Polynomial Projections for Video Interpolation and Extrapolation
Wyoming Seminary(怀俄明神学院);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Sun Yat-sen University(中山大学)
本文提出 Video Latent Flow Matching (VLFM),利用预训练图像生成模型和 HiPPO 最优多项式投影建模潜在块流,实现任意帧率的视频插值与外推生成,并具备理论逼近误差和时间尺度鲁棒性优势。
2025-02-04 cs.AI cs.CV cs.LG
Physarum Powered Differentiable Linear Programming Layers and Applications
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
考虑一个学习算法,它涉及到对优化例程的内部调用,例如广义特征值问题、锥规划问题或甚至排序。以有效且数值稳定的方式将这种方法集成为可训练深度神经网络(DNN)中的一个或多个层并不简单-例如,直到最近,才出现了特征分解和可微排序的策略。我们提出了一个有效的和可微的求解一般线性规划问题,可以在DNN作为一个层内的即插即用的方式使用。我们的开发灵感来自于黏菌(physarum)动态和最速下降等优化方案之间的一个迷人但未广泛使用的联系。我们描述了我们的发展,并显示了我们的求解器在视频分割任务和元学习少样本学习的使用。我们回顾了现有的结果,并提供了一个技术分析,描述其适用于我们的用例。我们的求解器在第一个任务上使用定制的投影梯度下降方法进行迭代,在第二个任务上优于可微CVXPY-SCS求解器。实验表明,我们的求解器收敛速度快,而不需要一个可行的初始点。我们的建议是很容易实现的,可以很容易地作为层,每当学习过程需要一个快速的近似解决方案的LP,在一个更大的网络。
2021-05-10 cs.CV cs.LG stat.ML