Superman: Unifying Skeleton and Vision for Human Motion Perception and Generation
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(通用人工智能国家重点实验室,北京大学深圳研究生院);Sony R&D Center(索尼研发中心);Nanyang Technological University(南洋理工大学)
针对人体运动分析范式碎片化问题,提出Superman统一框架,通过视觉引导运动分词器创建跨模态运动词汇,训练单一MLLM架构处理多任务,实验表明该方法在运动任务中性能领先或具竞争力,为运动分析提供高效可扩展路径。
2026-07-08 cs.CV
Generative Perception of Shape and Material from Differential Motion
Harvard University(哈佛大学);Kyoto University(京都大学)
受人类借助微动消解视觉歧义的行为启发,本文提出条件去噪扩散模型,从差分运动短视频中生成解耦的形状与材质映射,可捕捉静态观测歧义、在运动时输出更准确估计,为具身系统视觉推理优化提供思路。
2025-11-17 cs.CV
PP-Motion: Physical-Perceptual Fidelity Evaluation for Human Motion Generation
Tsinghua University(清华大学);University at Buffalo(布法罗大学);BNRist, Tsinghua University(清华大学BNRist研究所);Key Laboratory of Pervasive Computing, Ministry of Education(教育部 pervasive 计算重点实验室);Eastern Institute of Technology, Ningbo(宁波东部技术研究所);University of Rochester(罗切斯特大学)
PP-Motion是一种新的数据驱动度量,通过物理和感知保真度评估提升人类运动生成的准确性与真实性。
2026-02-19 cs.CV cs.MM
Aligning Knowledge Graph with Visual Perception for Object-goal Navigation
ZhejiangLab(浙江实验室);Dalhousie University(达尔豪斯大学)
针对目标导航中知识图谱与视觉图像不对齐的问题,提出AKGVP方法,通过连续建模分层场景架构并结合视觉-语言预训练实现多模态特征对齐,赋予导航器卓越的零样本导航能力。
2024-04-26 cs.CV cs.RO
Aligning and Prompting Everything All at Once for Universal Visual Perception
Tencent Youtu Lab(腾讯优图实验室);East China Normal University(华东师范大学);Xiamen University(厦门大学)
本文提出通用视觉感知模型APE,通过将定位重构为开放词汇检测、将语义与全景分割统一为代理实例学习,一次性对齐和提示图像中的一切,在160多个数据集上以单一权重达到领先性能。
2023-12-04 cs.CV
Language Is Not All You Need: Aligning Perception with Language Models
Microsoft(微软)
语言、多模态感知、动作和世界建模的大融合是迈向通用人工智能的关键一步。在这项工作中,我们介绍了Kokorp-1,一个多模态大语言模型(MLLM),它可以感知一般模态,在上下文中学习(即,Few-Shot),并遵循说明(即,zero-shot)。具体来说,我们训练Kokorp-1从头开始在网络规模的多模态语料库,包括任意交错的文本和图像,图像标题对,和文本数据。我们评估了各种设置,包括zero-shot,Few-Shot和多模式的思维链提示,在没有任何梯度更新或微调的情况下,在广泛的任务。实验结果表明,Kokorp-1在(i)语言理解,生成,甚至OCR免费NLP(直接与文档图像馈送),(ii)感知语言任务,包括多模态对话,图像描述,视觉问答,以及(iii)视觉任务,如图像识别与描述(通过文本指令指定分类)方面取得了令人印象深刻的性能。我们还表明,MLLM可以受益于跨模态传输,即,将知识从语言转移到多模态,再从多模态转移到语言。此外,我们介绍了一个数据集的乌鸦智商测试,诊断非言语推理能力的MLLM。
2023-03-01 cs.CL cs.CV
SapiensID 2.0: Aligning Human Recognition Foundation Models with Human Perception
该研究针对现有人类识别模型与人类感知脱节的问题,提出兼具语义与时间感知的SapiensID 2.0框架,通过多项技术实现最优识别性能。
2026-08-12 cs.CV
From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images
Oxford University(牛津大学);HKUST(香港科技大学);University College London(伦敦大学学院);New York University(纽约大学)
本文提出CogIP-Bench基准,通过后训练提升MLLMs对图像认知属性的对齐能力,并展示其在图像生成中的应用。
2025-11-27 cs.CV cs.LG cs.MM
Aligning Motion-Blurred Images Using Contrastive Learning on Overcomplete Pixels
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究提出一种基于对比学习的过完备像素级特征学习方法,可实现运动模糊等不变性,能用于真实场景下运动模糊视频的帧对齐,且过完备像素可编码物体身份与相对坐标。
2024-11-01 cs.CV
Monocular Depth Perception Enhancement Based on Joint Shading/Contrast Model and Motion Parallax (JSM)
Faurecia Irystec Inc.(Faurecia Irystec公司)
本文提出了一种新的JSM框架,用于增强单目深度感知,显著提高了深度体积感知和深度范围感知,该框架不仅适用于传统2D显示设备,也可用于3D显示设备,因为它能补充双目深度线索。
2026-05-17 cs.CV cs.GR
Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry
Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室)
如果不合理地考虑骨架和形状几何级别上的源-目标差异,就无法实现良好的运动重定向。在这项工作中,我们提出了一种新的残差重定向网络(R2 ET)结构,它依赖于两个神经修改模块,以调整源运动,以逐步适应目标骨架和形状。特别地,引入了一个感知模块来保持源运动语义。设计了一个形状感知模块来感知目标字符的几何形状,以减少相互渗透和接触缺失。在我们探索的基于距离的损失的驱动下,显式地对运动语义和几何形状进行建模,这两个模块可以学习源运动上的残余运动修改,以在单个推理中生成合理的重定向运动,而无需后处理。为了平衡这两个修改,我们进一步提出了一个平衡门进行线性插值之间。在公共数据集Mixamo上进行的大量实验表明,我们的R2 ET实现了最先进的性能,并在运动语义的保留以及相互渗透和接触缺失的衰减之间提供了良好的平衡。代码可在https://github.com/Kebii/R2ET上获得。
2023-03-15 cs.CV cs.GR
LaViT: Aligning Latent Visual Thoughts for Multi-modal Reasoning
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学);Utrecht University(乌特勒支大学);University of Electronic Science and Technology of China(电子科技大学)
LaViT通过对齐潜在视觉思维提升多模态推理能力,实现视觉感知增强和模型性能突破。
2026-08-12 cs.AI cs.CV
RadarMP: Motion Perception for 4D mmWave Radar in Autonomous Driving
针对4D毫米波雷达因点云稀疏噪声导致运动感知不精确的问题,提出RadarMP方法,通过统一架构联合建模目标检测与运动估计,利用自监督损失函数提升感知性能,增强自动驾驶系统在恶劣条件下的感知能力。
2025-11-15 cs.CV
Aligning Actions and Walking to LLM-Generated Textual Descriptions
National University of Science and Technology Politehnica Bucharest(布加勒斯特理工国立大学)
本研究利用大型语言模型为运动序列生成文本描述,以对齐动作识别和行走检索任务,展示了LLMs在多模态对齐与数据增强中的潜力。
2024-04-18 cs.CV
Natural Human Motion Recovery by Aligning High-Order Temporal Dynamics from Monocular Videos
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出HTD-Refine框架,利用PVA-Net估计的高阶时间动态(速度和加速度)优化全局轨迹,恢复自然人体运动。
2026-05-26 cs.CV
Decoupling Static and Hierarchical Motion Perception for Referring Video Segmentation
Nanyang Technological University(南洋理工大学);Institute of Big Data, Fudan University(复旦大学大数据研究院)
针对指代表达视频分割中静态与运动线索混淆的问题,本文提出表达解耦、分层运动感知和对比学习方法,在五个数据集上达到最先进性能。
2024-04-04 cs.CV
Skinned Motion Retargeting with Dense Geometric Interaction Perception
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学)
针对蒙皮动作重定向中几何交互缺失引发的穿透、抖动等问题,提出含语义一致传感器与密集网格交互场的MeshRet框架,在多数据集上实现SOTA性能。
2025-01-16 cs.CV cs.GR
On the role of Lip Articulation in Visual Speech Perception
Apple(苹果公司)
从音频生成逼真的嘴唇运动来模拟语音产生对于驱动自然角色动画至关重要。先前的研究表明,用于优化和评估从语音生成嘴唇运动的模型的传统指标不是动画质量的主观意见的良好指标。设计符合主观意见的指标首先需要了解什么会影响人们对质量的感知。在这项工作中,我们专注于清晰度,并运行了一系列的实验,研究如何清晰度强度影响人类的嘴唇运动伴随着讲话的感知。具体来说,我们研究如何增加下关节(阻尼)和过度关节(夸张)嘴唇运动影响人类的感知质量。我们研究的影响时,只考虑嘴唇的运动,观众与说话的脸所代表的地标,并在具体的字符,观众呈现照片般逼真的视频的上下文中,对人类的感知的清晰度强度。我们的研究结果表明,观众更喜欢过关节的嘴唇运动一贯比下关节的嘴唇运动,这种偏好概括在不同的扬声器和实施例。
2022-11-10 cs.CV cs.GR cs.SD
VibeAvatar: Aligning Phonetic Kinematics and Human Aesthetics for High-Fidelity Talking Avatar Synthesis
Peking University(北京大学)
VibeAvatar通过解耦语音运动学适配器与美学运动策略,在轻量流模型中实现高保真、高效且美观的说话头像合成。
2026-09-17 cs.CV
Adversarially Robust Video Perception by Seeing Motion
Columbia University(哥伦比亚大学)
尽管性能优异,但最先进的计算机视觉模型在遇到对抗性示例时往往会失败。视频感知模型在攻击下往往更脆弱,因为对手在高维数据中有更多的地方可以操纵。在本文中,我们发现视频模型脆弱的一个原因是它们在对抗性扰动下无法感知正确的运动。受大量证据表明运动是人类视觉系统的关键因素的启发,我们提出通过恢复感知到的运动信息来纠正模型所看到的内容。由于运动信息是视频数据的内在结构,因此可以在推理时恢复运动信号,而无需任何人工注释,这允许模型适应不可预见的最坏情况输入。在UCF-101和HMDB-51数据集上的可视化和经验实验表明,在深度视觉模型中恢复运动信息可以提高对抗鲁棒性。即使在适应性攻击的对手知道我们的防御,我们的算法仍然是有效的。我们的工作提供了新的见解强大的视频感知算法,通过使用数据的内在结构。我们的网页是https://motion4robust.cs.columbia.edu。
2022-12-13 cs.CV
Robustness Certification of Visual Perception Models via Camera Motion Smoothing
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
大量的文献表明,基于学习的视觉感知模型是敏感的对抗性噪声,但很少有工作考虑机器人感知模型的鲁棒性下广泛存在的摄像机运动扰动。为此,我们研究的鲁棒性的视觉感知模型下的摄像机运动扰动调查的影响,摄像机运动对机器人的感知。具体而言,我们提出了一种运动平滑技术,任意图像分类模型,其鲁棒性下的相机运动扰动可以被证明。提出的基于摄像机运动平滑的鲁棒性认证框架为视觉感知模块提供了严格且可扩展的鲁棒性保证,使其适用于广泛的机器人应用。据我们所知,这是第一个为深度感知模块提供针对相机运动的鲁棒性认证的工作,这提高了机器人感知的可信度。一个现实的室内机器人数据集与密集的点云地图,为整个房间,MetaRoom,介绍了具有挑战性的可认证的鲁棒感知任务。我们进行了广泛的实验,以验证认证方法,通过运动平滑对相机运动扰动。在-0.1m ~0.1m范围内,该框架保证了81.7%的认证精度。我们还验证了我们的方法的有效性,在现实世界的机器人进行硬件实验的机器人手臂与眼睛在手中的相机。该代码可在https://github.com/HanjiangHu/camera-motion-smoothing上获得。
2022-11-13 cs.CV cs.LG cs.RO
AD-Aligning: Emulating Human-like Generalization for Cognitive Domain Adaptation in Deep Learning
Johns Hopkins University(约翰斯·霍普金斯大学);University of Houston(休斯顿大学);Northeastern University(东北大学)
本文提出AD-Aligning方法,结合对抗训练与源-目标域对齐,并利用Coral损失预训练,在多种域偏移场景下超越Deep Coral和ADDA,实现类人认知域适应。
2024-05-21 cs.CV eess.IV
MotionNet: Joint Perception and Motion Prediction for Autonomous Driving Based on Bird's Eye View Maps
Rutgers University(罗格斯大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
可靠地感知环境状态的能力,特别是物体的存在及其运动行为,对于自动驾驶至关重要。在这项工作中,我们提出了一个高效的深度模型,称为MotionNet,用于从3D点云联合执行感知和运动预测。MotionNet将一系列LiDAR扫描作为输入,并输出鸟瞰图(BEV)地图,该地图对每个网格单元中的对象类别和运动信息进行编码。MotionNet的主干是一种新颖的时空金字塔网络,它以分层的方式提取深层的空间和时间特征。为了增强预测在空间和时间上的平滑性,MotionNet的训练进一步正则化,具有新的空间和时间一致性损失。大量的实验表明,所提出的方法总体上优于最先进的,包括最新的场景流和3D对象检测为基础的方法。这表明了所提出的方法作为基于边界框的系统的备份的潜在价值,并为自动驾驶中的运动规划器提供补充信息。代码可在https://github.com/pxiangwu/MotionNet上获得。
2020-03-15 cs.CV
FMReward: Aligning and Evaluating Audio-Driven 3D Facial Animation with Human Preferences
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University(上海交通大学图像通信与网络工程研究所);USC-SJTU Institute of Cultural and Creative Industry, Shanghai Jiao Tong University(上海交通大学 USC-文化创意产业学院);Institut Universitaire de France (IUF)(法国大学研究院);University of Nantes(南特大学)
本文构建首个音频驱动三维面部动画人类偏好数据集FMPair,提出FMReward奖励模型与FMFL微调算法,可更好对齐人类偏好,提升该类动画的感知质量。
2026-08-18 cs.CV
Mamba-based Spatio-Frequency Motion Perception for Video Camouflaged Object Detection
College of Computer Science, Sichuan University(四川大学计算机学院)
Vcamba通过整合频域和空间特征,利用Mamba模型实现高效准确的视频伪装物检测,提升运动感知能力。
2026-02-08 cs.CV
OWL: A Novel Approach to Machine Perception During Motion
Electrical Engineering and Computer Science Department(电气工程与计算机科学系);Florida Atlantic University(佛罗里达亚特兰大大学)
OWL通过直接测量原始视觉运动图像序列,提供了一种基于时间的分析方法,用于实时重建运动中的3D场景并增强感知能力。
2026-03-05 cs.CV
It's a Matter of Time: Three Lessons on Long-Term Motion for Perception
University of Edinburgh(爱丁堡大学)
本文通过长期运动信息的三大启示,探讨其在感知任务中的优势与应用。
2026-02-16 cs.CV
Towards Computational Models and Applications of Insect Visual Systems for Motion Perception: A Review
School of Mechanical and Electrical Engineering, Guangzhou University(广州大学机电工程学院);Machine Life and Intelligence Research Centre, Guangzhou University(广州大学机器生命与智能研究中心);Computational Intelligence Lab, School of Computer Science, University of Lincoln(林肯大学计算机科学学院计算智能实验室);Lincoln Centre for Autonomous Systems, University of Lincoln(林肯大学林肯自治系统中心)
运动感知是决定昆虫生活的各个方面的关键能力,包括躲避捕食者,觅食等。在昆虫的视觉通路中已经发现了大量的运动探测器。这些运动检测器的计算建模不仅为人工智能提供了有效的解决方案,而且有利于理解复杂的生物视觉系统。这些生物机制经过数百万年的进化发展,将形成坚实的模块,为未来的智能机器构建动态视觉系统。本文综述了近年来在昆虫视觉系统生物学研究中提出的运动感知计算模型。这些运动感知模型或神经网络包括蝗虫的小叶巨运动检测器(LGMD)的隐显敏感神经元模型、果蝇、蜜蜂和蝗虫的方向选择神经元(DSN)的平移敏感神经系统以及蜻蜓和悬停蝇的小目标运动检测器(STMD)。我们还回顾了这些模型在机器人和车辆中的应用。通过这些建模研究,我们总结的方法,产生不同的方向和大小的选择性运动感知。最后,我们讨论了这些仿生运动感知模型的多系统集成和硬件实现。
2019-04-03 cs.CV q-bio.NC
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University(复旦大学)
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而,一些模型可能会关注背景,这对于学习视频表示并不重要。为了缓解这个问题,我们提出了一个新的视图称为远程残差帧,以获得更多的运动特定的信息。在此基础上,我们提出了运动对比感知网络(MCPNet),它包括两个分支,即运动信息感知(MIP)和对比实例感知(CIP),通过关注视频中的变化区域来学习通用视频表示。具体而言,MIP分支旨在学习细粒度的运动特征,CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明,我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
Unsupervised Learning of a Hierarchical Spiking Neural Network for Optical Flow Estimation: From Events to Global Motion Perception
Delft University of Technology(代尔夫特理工大学)
脉冲神经网络和基于事件的视觉传感器的组合具有高效和高带宽光流估计的潜力。本文提出了第一个层次尖峰架构中,运动(方向和速度)的选择性出现在一个无监督的方式从原始刺激与基于事件的相机。一种新的自适应神经元模型和稳定的尖峰时间依赖的可塑性制定的核心,这个神经网络管理其基于尖峰的处理和学习,分别。收敛后的神经结构表现出生物视觉运动系统的主要特性,即特征提取以及局部和全局运动感知。卷积层与输入突触的特点是单一和多个传输延迟的功能和局部运动感知,分别采用,而全球运动选择性出现在一个最终的全连接层。使用合成和真实事件序列验证了所提出的解决方案。随着本文,我们提供了cuSNN库,一个框架,使GPU加速模拟大规模脉冲神经网络。源代码和示例可在https://github.com/tudelft/cuSNN上获得。
2019-03-28 cs.CV
Personality Perception in Human Videos Altered by Motion Transfer Networks
Bilkent University(比尔肯大学)
本研究通过用户研究标注五因素人格样本,用薄板样条运动模型修改视频并设置五组实验,发现运动影响外倾性感知、外貌影响宜人性与神经质感知,明确了动作与外貌对视频人格感知的不同作用。
2024-01-26 cs.CV
EHGCN: Hierarchical Euclidean-Hyperbolic Fusion via Motion-Aware GCN for Hybrid Event Stream Perception
提出首个联合欧氏与双曲空间建模的双空间事件感知方法EHGCN,通过多尺度体素事件筛选、MRF优化的运动感知超边生成及双空间GCN融合,在事件检测等任务中展现有效性。
2026-07-31 cs.CV
Enhancing Perception Capabilities of Multimodal LLMs with Training-Free Fusion
ZIP Lab, Zhejiang University(浙江大学 ZIP 实验室);South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(大数据与智能机器人教育部重点实验室)
针对现有增强多模态大语言模型视觉感知需高成本训练的问题,提出无需训练的VisionFuse框架,通过融合同家族现成MLLMs的视觉编码器token并合并语言模型参数,显著降低部署开销,在多模态基准上实现超4%的性能提升。
2024-12-04 cs.AI cs.CV
Efficient Bayer-Domain Video Computer Vision with Fast Motion Estimation and Learned Perception Residual
SIGS, Tsinghua University(清华大学信号与系统系);New York University(纽约大学)
针对视频视觉系统计算负担重的问题,本文提出前后端联合优化的拜耳域高效框架,通过移除传统ISP、并行运动估计、轻量残差网络优化,实现显著加速且性能损失极小。
2025-11-14 cs.CV
Trajectory-guided Motion Perception for Facial Expression Quality Assessment in Neurological Disorders
School of Computer Science(计算机科学学院);Translational Health Sciences(转化医学科学系);University of Bristol(布里斯托尔大学)
针对神经疾病中面部表情质量评估难以捕捉细微肌肉运动的问题,提出轨迹引导运动感知Transformer(TraMP-Former)框架,融合面部关键点轨迹特征与RGB帧视觉语义线索回归质量分数,在PFED5等神经疾病基准数据集上取得SOTA性能。
2025-04-16 cs.CV
DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学);SenseTime Research(商汤科技研究院)
本文提出 DEMOS 框架,利用局部 Spherical-BEV 感知和时变运动混合,根据动态 3D 场景即时预测并更新潜在运动,在 PROX、GTA-IM 与 Semantic3D 上显著优于已有方法。
2024-03-04 cs.CV
Rethinking the Spatio-Temporal Alignment of End-to-End 3D Perception
HAT通过自适应解码多假设生成最优时空对齐提案,提升自动驾驶中3D感知精度和鲁棒性。
2025-12-29 cs.CV
Biologically Inspired Dynamic Textures for Probing Motion Perception
CNRS(法国国家科学研究中心);UNIC(神经信息与复杂性实验室);Ceremade(Ceremade研究中心);Univ. Paris-Dauphine(巴黎第九大学);Institut de Neurosciences de la Timone(蒂莫内神经科学研究所);UMR 7289 CNRS/Aix-Marseille Université(法国国家科学研究中心/艾克斯-马赛大学 UMR 7289 联合研究单位)
感知通常被描述为基于生成模型的最佳推理的预测过程。我们在这里研究专门用于探测运动感知的生成模型的原则性构建。在这种情况下,我们首先提供了一个公理化的,生物驱动的模型推导。该模型合成随机动态纹理,这些纹理由翘曲图案的随机聚集获得的平稳高斯分布定义。重要的是,我们证明了这个模型可以等价地描述为一个随机偏微分方程。利用图像中运动的这种特征,它使我们能够将运动能量模型重新构建到有原则的贝叶斯推理框架中。最后,我们应用这些纹理,以精神病学探测人类的速度感知。在这个框架中,虽然可能性是从生成模型,先验估计从观察到的结果,并占知觉偏差的原则性的方式。
2015-11-09 cs.CV math.ST stat.TH
Breaking the Passive Learning Trap: An Active Perception Strategy for Human Motion Prediction
针对现有3D人体运动预测方法陷入被动学习陷阱的问题,本文提出模型无关的主动感知策略APS,通过商空间表征与辅助恢复式学习强化显式时空建模,在三个主流基准上大幅刷新最优性能。
2025-11-18 cs.CV
Intrinsically Motivated Learning of Visual Motion Perception and Smooth Pursuit
Hong Kong University of Science and Technology(香港科技大学);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
我们扩展的框架,有效的编码,这已被用来模拟孤立的感官处理的发展,建模的感知/动作周期的发展。我们的扩展结合了稀疏编码和强化学习,使感官处理和行为共同发展,以优化共享的内在动机信号:在资源限制下感官输入的神经编码的保真度。应用这个框架的模型系统组成的一个活跃的眼睛在随时间变化的环境中的行为,我们发现,这种通用的原则导致同时发展的平滑的追求行为和模型神经元的属性是相似的初级视觉皮层神经元选择不同方向的视觉运动。我们认为,这一一般原则可能形成一个统一的和综合的解释,许多感知/动作回路的基础。
2014-02-25 cs.CV q-bio.NC
HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction
Shanghai Jiao Tong University(上海交通大学);Zhongguancun Academy(中关村学院);China University of Mining and Technology(中国矿业大学)
针对自我中心头部运动预测未充分探索的问题,提出手驱动主动感知框架HAP,利用手部运动推断目标意图并建模动态遮挡,在公共数据集和Bottle数据集上取得更低预测误差。
2026-09-17 cs.CV cs.RO
MotiMem: Motion-Aware Approximate Memory for Energy-Efficient Neural Perception in Autonomous Vehicles
为自动驾驶车辆设计了一种硬件软件协同的MotiMem接口,通过轻量级2D运动传播动态识别感兴趣区域,并结合混合稀疏性感知编码方案,有效降低内存接口动态能耗,同时保持高检测精度。
2026-03-28 cs.CV
Linking vision and motion for self-supervised object-centric perception
UC Berkeley(加州大学伯克利分校);Wayve(Wayve公司)
本文提出仅以 RGB 视频和车辆位姿为输入的自监督对象中心感知模型,可融合多相机时序视角并跟踪车辆与行人。
2023-07-14 cs.CV
Instantaneous Perception of Moving Objects in 3D
Rutgers University(罗格斯大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);NEC Labs America(美国NEC实验室)
针对稀疏激光雷达点云中细微运动因“游泳效应”难以准确估计的问题,本文提出利用局部占用补全增强形状线索,并以端到端方式同时完成运动目标检测与瞬时运动估计,在细微运动场景下显著优于标准三维运动估计方法。
2024-05-05 cs.CV
4DP-QA: Scalable QA for 4D Perception in Vision Language Models
NVIDIA(英伟达);Yale University(耶鲁大学);KAIST AI(韩国科学技术院人工智能学院)
针对视觉语言模型难以理解动态场景的问题,提出一种关注运动场景理解的问答生成流水线,通过真运动追踪解耦物体与相机运动,生成大规模数据集4DP-QA和基准4DP-QA-Bench,训练现有模型在外部基准上取得性能提升。
2026-06-11 cs.CV
MultiViPerFrOG: A Globally Optimized Multi-Viewpoint Perception Framework for Camera Motion and Tissue Deformation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
本文提出多视点全局优化框架 MultiViPerFrOG,通过融合低级感知模块输出与运动学及场景先验,联合估计多相机运动与绝对场景流,以鲁棒地解决可变形场景中的三维重建问题。
2024-08-08 cs.CV
Flow Snapshot Neurons in Action: Deep Neural Networks Generalize to Biological Motion Perception
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Show Lab, National University of Singapore(新加坡国立大学Show实验室)
针对现有AI模型生物运动感知泛化性差的问题,提出基于补丁级光流与竞争绑定机制的Motion Perceiver模型,在多类点光测试集上准确率超现有模型最高29%,且行为模式与人类契合。
2024-10-30 cs.CV
RADNet: A Deep Neural Network Model for Robust Perception in Moving Autonomous Systems
Georgia Institute of Technology(佐治亚理工学院)
交互式自主应用要求感知引擎对无约束视频中的伪影具有鲁棒性。在本文中,我们研究的作用,相机运动的任务上的动作检测。我们开发了一种新的排名方法来排名视频的基础上的程度的全球相机运动。对于高排名的摄像头视频,我们表明,动作检测的准确性下降。我们提出了一个动作检测流水线,是鲁棒的相机运动效果,并验证它的经验。具体来说,我们跨帧进行演员特征对齐,并将全局场景特征与局部演员特定特征相结合。我们使用一种新的时空采样网络(STSN)公式进行特征对齐,但使用金字塔结构进行多尺度偏移预测和细化。我们还提出了一种新的输入相关的加权平均策略融合局部和全局特征。我们展示了我们的网络在具有高相机运动的移动相机视频数据集(MOVE数据集)上的适用性,其中帧mAP增加了4.1%,视频mAP增加了17%。
2022-04-30 cs.CV
Motion Inspired Unsupervised Perception and Prediction in Autonomous Driving
Waymo LLC(Waymo有限责任公司)
现代自动驾驶系统中基于学习的感知和预测模块通常依赖于昂贵的人工注释,并且被设计为仅感知少数预定义的对象类别。这种闭集范式不足以满足安全关键的自动驾驶任务,其中自动驾驶车辆需要在高度动态的世界中处理任意多种类型的交通参与者及其运动行为。为了解决这个困难,本文开创了一个新颖而具有挑战性的方向,即,训练感知和预测模型,以理解开放集移动对象,无需人工监督。我们提出的框架使用自学习流来触发自动Meta标记管道,以实现自动监督。Waymo Open Dataset上的3D检测实验表明,我们的方法明显优于经典的无监督方法,甚至与有监督场景流的方法相比具有竞争力。我们进一步表明,我们的方法在开集3D检测和轨迹预测方面产生了非常有希望的结果,证实了它在缩小完全监督系统的安全差距方面的潜力。
2022-10-14 cs.CV cs.LG cs.RO
Aligning Object Detector Bounding Boxes with Human Preference
Delft University of Technology(代尔夫特理工大学);TNO(荷兰应用科学研究组织);Haga Teaching Hospital(哈格教学医院);University of Zurich(苏黎世大学)
本研究通过用户实验发现人类偏好放大的检测框,提出非对称回归损失使检测器对齐人类偏好,提升感知质量。
2024-08-20 cs.CV
Motion Perception in Reinforcement Learning with Dynamic Objects
University of Freiburg(弗莱堡大学);Intel Labs(英特尔实验室)
在动态环境中,学习控制器应该在选择要采取的动作时考虑运动。然而,在现有的强化学习作品中,运动很少被显式处理;而是假设控制器隐式地从帧的时间堆栈中学习必要的运动表示。在本文中,我们表明,连续控制任务的学习运动的显式表示提高了质量的学习控制器在动态场景。我们证明了这一点上常见的基准任务(步行者,游泳者,料斗),目标达到和接球任务与模拟机器人手臂,并在一个动态的单球杂耍任务。此外,我们发现,当配备了适当的网络架构,代理可以,在某些任务,学习运动功能也与纯强化学习,没有额外的监督。此外,我们发现,使用当前帧和前一帧之间的图像差异作为额外的输入导致比帧的时间堆栈更好的结果。
2019-02-01 cs.AI cs.CV cs.LG
Safe Output Feedback Motion Planning from Images via Learned Perception Modules and Contraction Theory
University of Michigan(密歇根大学)
针对一类不确定控制仿射非线性系统提出了一种运动规划算法,该算法在使用高维传感器测量(例如,RGB-D图像)和反馈控制环路中的学习感知模块。首先,给定状态和观测的数据集,我们训练感知系统,该感知系统试图从观测中反转状态的子集,并估计感知误差的上界,该上界在数据附近的可信域中以高概率有效。其次,我们利用收缩理论设计了一个稳定的状态反馈控制器和一个收敛的动态状态观测器,该观测器使用学习的感知系统来更新其状态估计。我们推导出的轨迹跟踪误差时,这个控制器受到错误的动态和不正确的状态估计。最后,我们将此边界集成到基于采样的运动规划器中,引导它返回可以使用传感器数据在运行时安全跟踪的轨迹。我们在4D汽车,6D平面四旋翼和17 D操纵任务的RGB(-D)传感器测量的模拟中演示了我们的方法,证明我们的方法安全可靠地将系统引导到目标,而不考虑可信域或状态估计误差的基线可能是不安全的。
2022-08-23 cs.AI cs.CV cs.LG
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University(清华大学)
最近的进展自动生成的图像字幕表明,它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中,我们提出了一个图像字幕系统,利用图像和句子之间的并行结构。在我们的模型中,生成下一个单词的过程,给定先前生成的单词,与视觉感知体验一致,其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动,编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息,从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试,并与几个流行数据集上发表的结果进行了对比。我们表明,使用基于区域的注意力或特定场景的背景下,改善系统没有这些组件。此外,结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
Towards Motion Forecasting with Real-World Perception Inputs: Are End-to-End Approaches Competitive?
Sorbonne Université(索邦大学);EPFL(洛桑联邦理工学院)
针对传统运动预测方法忽略上游感知误差、与端到端方法无法对比的问题,本文提出统一评估流水线,首次对比两类方法,发现感知输入带来的性能差距难以通过微调缩小,并给出改进建议与开源评估库。
2024-03-05 cs.CV cs.RO