VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong Baptist University(香港浸会大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出 VMRNN 单元,将 Vision Mamba 与 LSTM 结合用于时空预测,在多种任务上以较小模型规模取得有竞争力的结果。
2024-06-29 cs.CV
Tracking the Spatiotemporal Evolution of Landslide Scars Using a Vision Foundation Model: A Novel and Universal Framework
China University of Geosciences (Beijing)(中国地质大学(北京))
本研究提出一种基于视觉基础模型的新颖通用框架,通过将离散遥感图像重建为连续视频序列,实现对大规模滑坡疤痕时空演化的连续追踪,有效捕捉失稳前兆与失稳后演化过程。
2025-10-11 cs.CV
Unsupervised Video Analysis Based on a Spatiotemporal Saliency Detector
Arizona State University(亚利桑那州立大学)
视觉显着性,它预测的领域,最吸引视觉注意力的区域,吸引了大量的研究人员的兴趣。它已经被用于几个视觉任务,例如,图像分类、目标检测、前景分割。近年来,基于频谱分析的视觉显著性方法由于其简单和良好的性能而引起了人们的极大兴趣,其中图像的相位信息被用来构建显著性图。在本文中,我们提出了一种新的方法来检测时空视觉显著性的相位谱的基础上的视频,这是易于实现和计算效率。利用该算法,我们还研究了时空显著性如何应用于两个重要的视觉任务,异常检测和时空兴趣点检测。所提出的算法进行了评估,几个常用的数据集比较,从文献中的最先进的方法。实验结果表明,该方法能够有效地检测时空视觉显著性,并应用于上述视觉任务
2015-03-24 cs.CV
A Stochastic Geo-spatiotemporal Bipartite Network to Optimize GCOOS Sensor Placement Strategies
University of New Orleans(新奥尔良大学);Naval Research Laboratory(海军研究实验室);Gulf States Center for Environmental Informatics(墨西哥湾环境信息中心)
本文提出覆盖度与覆盖鲁棒性两种度量,在墨西哥湾构建地理时空二分网络,结合蒙特卡洛模拟优化GCOOS传感器布设,以提升HYCOM海洋预测模型的预报效果。
2024-09-27 cs.CV cs.MA
ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments
Robotics and Control Laboratory, the School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University(机器人与控制实验室、先进制造与机器人学院、湍流与复杂系统国家重点实验室,北京大学);Defense Innovation Institute, Academy of Military Sciences(国防创新研究院,军事科学院);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心);Harbin Institute of Technology(哈尔滨工业大学)
ST-Booster通过多粒度感知和指令感知推理提升连续环境中视觉-语言导航的性能。
2025-12-02 cs.CV cs.RO
VLM4D: Towards Spatiotemporal Awareness in Vision Language Models
UCLA(美国大学洛杉矶分校);Microsoft(微软公司);UCSC(加州大学圣塔克拉拉分校);USC(美国大学洛杉矶分校)
本文提出VLM4D基准,评估视觉语言模型的时空推理能力,发现其与人类差距显著,并探索4D特征场重建与时空微调以提升动态理解。
2025-08-06 cs.AI cs.CV
Training Robust Spiking Neural Networks on Neuromorphic Data with Spatiotemporal Fragments
Huazhong University of Science and Technology(华中科技大学)
神经形态视觉传感器(事件摄像机)本质上适用于脉冲神经网络(SNN),并为这种仿生模型提供新的神经形态视觉数据。由于时空特性,需要新的数据增强来处理这些相机的非常规视觉信号。在本文中,我们提出了一种新的事件时空片段(ESTF)增强方法。它通过漂移或反转时空事件流的片段来模拟亮度变化的干扰,从而保持神经形态数据的连续性,从而产生更鲁棒的脉冲神经网络。广泛的实验进行流行的神经形态数据集。事实证明,ESTF提供了实质性的改进,比纯几何变换和其他事件数据增强方法。值得注意的是,具有ESTF的SNN在CIFAR 10-DVS数据集上达到了83.9%的最新准确率。
2023-03-14 cs.CV cs.LG eess.IV
Spatiotemporal Feature Learning for Event-Based Vision
与传统的基于帧的传感器不同,基于事件的视觉传感器以高时间分辨率通过尖峰输出信息。通过仅对像素强度的变化进行编码,它们展示了一种低功耗、低延迟的视觉信息感知方法。为了将这些信息用于更高的感官任务,如对象识别和跟踪,一个重要的简化步骤是特征的提取和学习。一个理想的特征描述符必须对涉及(i)局部变换和(ii)局部事件模式的再现的变化具有鲁棒性。为此,我们提出了一种新的时空特征表示学习算法的基础上慢特征分析(SFA)。使用SFA,学习平滑变化的线性投影,这对局部视觉变换是鲁棒的。为了确定特征是否可以学习对各种视觉变换保持不变,使用特征点跟踪任务进行评估。在两个数据集上的大量实验表明,时空特征学习器对特征点的平移、缩放和旋转变换具有适应性。更重要的是,我们发现,所获得的特征表示能够利用这种基于事件的相机在生成更好的特征轨迹的高时间分辨率。
2019-03-16 cs.CV
Super-resolution of spatiotemporal event-stream image captured by the asynchronous temporal contrast vision sensor
Tsinghua University(清华大学);Beijing Innovation Center for Future Chip(北京未来芯片创新中心)
超分辨率(SR)是克服相机的物理限制从低分辨率(LR)视觉输入生成高分辨率(HR)视觉输出的有用技术。然而,SR还没有被应用到提高时空事件流图像的分辨率由无帧动态视觉传感器(DVS)捕获。事件流图像的SR从根本上不同于现有的基于帧的方案,因为基本上DVS图像的每个像素值是一个事件序列。在这项工作中,提出了一个两阶段的计划来解决时空事件流图像的SR问题。我们使用一个非齐次泊松点过程来模拟事件序列,并通过模拟一个非齐次泊松过程,根据指定的事件数和率函数的每个像素的事件进行采样。首先,使用基于稀疏信号表示的方法确定HR DVS图像的每个像素的事件数,以从LR DVS记录的事件数图获得HR事件数图。使用相应LR相邻像素上的时空滤波器来计算每个HR像素的点过程的时间线上的速率函数。然后,利用基于细化的事件采样算法生成每个新像素的事件序列;提出了两个指标来评估事件流SR的结果。通过从一系列DVS记录中获取HR事件流图像,证明了所提出的方法。结果表明,放大的HR事件流具有比LR DVS图像更高的感知空间纹理细节。此外,放大的HR事件流的时间属性与原始输入的时间属性非常匹配。这项工作使基于事件的视觉的许多潜在应用成为可能。
2018-03-16 cs.CV
LongFly: Long-Horizon UAV Vision-and-Language Navigation with Spatiotemporal Context Integration
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);Chongqing Innovation Center, Beijing Institute of Technology(北京理工大学重庆创新中心);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Department of Automation, Tsinghua University(清华大学自动化系);School of Software, Dalian University of Technology(大连理工大学软件学院);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
LongFly通过整合时空上下文提升无人机长航程视觉与语言导航的准确性和稳定性。
2025-12-26 cs.AI cs.CV
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
Room-Across-Room: Multilingual Vision-and-Language Navigation with Dense Spatiotemporal Grounding
Google Research(谷歌研究院);Brown University(布朗大学)
我们介绍了一个新的视觉和语言导航(VLN)数据集--房间跨房间(RXR)。RxR是多语言(英语,印地语和泰卢固语),并且比其他VLN数据集更大(更多路径和指令)。它强调了语言在VLN中的作用,通过解决路径中的已知偏差并引出更多对可见实体的引用。此外,指令中的每个字与指令创建者和验证者的虚拟姿势时间对齐。我们建立基线分数单语和多语言设置和多任务学习时,包括房间到房间的注释。我们还提供了一个模型的结果,该模型通过只关注在人类演示中参加的全景部分来从同步姿势轨迹中学习。RxR的大小、范围和细节极大地扩展了在模拟的、照片般逼真的环境中对具身语言代理的研究前沿。
2020-10-15 cs.AI cs.CL cs.CV
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中,我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,使用精确-召回曲线下的面积(AUPRC)度量,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示,这些张量表示可以与其他图像源相结合,旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
Spatiotemporal Fusion in Remote Sensing
The Ohio State University(俄亥俄州立大学)
遥感图像和技术是研究地球表面的有力工具。数据质量是增强遥感应用的关键,在大多数情况下,由于不同的采集(例如,大气和季节)、传感器和平台(例如,卫星角度和传感器特性)条件。随着卫星的不断发展,现在每天可以获得TB级的遥感图像。因此,信息和数据融合在遥感界可能特别重要。该融合集成了来自异步获取的各种源的数据,用于信息抽取、分析和质量改进。在这一章中,我们的目标是讨论时空融合的理论,通过调查以前的工作,除了描述的基本概念和它的一些应用,总结我们以前和正在进行的工作。
2021-07-06 cs.CV
Context-aware Sparse Spatiotemporal Learning for Event-based Vision
Faculty of Aerospace Engineering, Delft University of Technology(代尔夫特理工大学航空航天工程学院);Department of Advanced Computing Sciences, Maastricht University(马斯特里赫特大学先进计算科学系)
本文提出上下文感知稀疏时空学习框架CSSL,通过上下文感知阈值动态调节神经元激活,在事件相机目标检测和光流任务中实现高稀疏性与领先性能。
2025-08-27 cs.CV cs.NE
Enhance Vision-based Tactile Sensors via Dynamic Illumination and Image Fusion
TU Dresden(德累斯顿工业大学);Meta AI
本研究提出结合动态照明图案与图像融合技术,通过捕获并融合多组不同照明下的测量值,显著提升了基于视觉的触觉传感器的图像对比度、清晰度等感知质量,且可通过软件更新改进现有传感器。
2025-03-27 cs.AI cs.CV cs.LG
Linear Mechanisms for Spatiotemporal Reasoning in Vision Language Models
California Institute of Technology(加利福尼亚理工学院)
本文提出了一种线性机制用于视觉语言模型中的时空推理,通过分析空间ID和时间ID的结合,揭示了模型内部的因果推理过程,以提升模型的可解释性和设计能力。
2026-01-18 cs.CV
Spatiotemporal Learning of Dynamic Gestures from 3D Point Cloud Data
Tohoku University(东北大学)
在本文中,我们展示了一个端到端的时空姿态学习方法的3D点云数据使用一个新的手势数据集的点云从3D传感器。从手势样本数据中学习了九类手势。我们将点云数据映射到密集的占用网格中,然后将占用网格的时间步长用作3D卷积神经网络的输入,该网络学习数据中的时空特征,而无需显式建模手势动态。我们还介绍了一种三维感兴趣区域抖动的点云数据增强的方法。当将增强数据添加到原始训练数据中时,这导致了高达10%的分类准确度增加。开发的模型能够以84.44%的准确率对数据集中的手势进行分类。我们建议,点云数据将是一个更可行的数据类型的场景理解和运动识别,三维传感器变得无处不在,在未来几年。
2018-04-24 cs.CV
Modulo Video Recovery via Selective Spatiotemporal Vision Transformer
针对传统图像传感器动态范围有限及模运算相机信号重建难题,提出首个模运算视频重建深度学习框架SSViT,通过令牌选择策略聚焦关键区域,从8位折叠视频生成高质量重建结果并达到最先进性能。
2025-11-09 cs.AI cs.CV eess.IV
3DGS-Calib: 3D Gaussian Splatting for Multimodal SpatioTemporal Calibration
Huawei Paris Research Center(华为巴黎研究中心);Noah’s Ark(诺亚方舟);ICB UMR CNRS 6303, Université de Bourgogne(勃艮第大学ICB UMR CNRS 6303研究所);Huawei London Research Center(华为伦敦研究中心);ImViA UR 7535, Université de Bourgogne(勃艮第大学ImViA UR 7535研究所);MIS UR 4290, Université de Picardie Jules Verne(儒勒·凡尔纳皮卡第大学MIS UR 4290研究所)
针对隐式神经表征类无目标多模态时空标定方法训练慢的问题,提出基于3D Gaussian Splatting的3DGS-Calib方法,在KITTI-360数据集上验证了其精度、鲁棒性及速度优势。
2024-09-18 cs.CV cs.RO
SPARK: Multi-Vision Sensor Perception and Reasoning Benchmark for Large-scale Vision-Language Models
KAIST(韩国科学技术院)
本文提出多视觉传感器感知与推理基准SPARK,包含6,248个测试样本,用于评估十个领先LVLMs在物理传感器知识上的感知与推理能力,发现多数模型在多视觉传感器推理方面存在缺陷。
2024-10-11 cs.CV
A spatiotemporal style transfer algorithm for dynamic visual stimulus generation
University of Tübingen(图宾根大学);German Center for Mental Health (DZPG)(德国心理健康中心)
针对视觉研究中动态视觉刺激生成方法稀缺的问题,提出基于双流深度网络的时空风格迁移算法,可生成匹配自然视频层激活的同功刺激,为视觉科学研究提供通用工具。
2024-03-07 cs.AI cs.CV cs.LG
Spatiotemporal Data Fusion for Precipitation Nowcasting
Yandex(Yandex(雅虎))
利用神经网络和地基雷达进行降水临近预报已成为现代天气预报服务的关键组成部分之一,但它仅限于地基雷达覆盖的区域。真正的全球降水临近预报需要雷达和卫星观测的融合。提出了一种基于计算机视觉的数据融合流水线,包括一种新的软掩模修复算法。
2018-12-28 cs.CV
Spatiotemporal Decoupling for Efficient Vision-Based Occupancy Forecasting
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);National University of Defense Technology(国防科技大学)
本文提出时空解耦的视觉占用预测范式,通过二维BEV加高度值的空间解耦和基于预测流的时间解耦,构建EfficientOCF网络,并引入C-IoU指标,在保证精度的同时将推理时间降至82.33毫秒。
2024-11-21 cs.CV
ViViD++: Vision for Visibility Dataset
KAIST(韩国科学技术院);Inha University(仁荷大学);Korea Institute of Machinery and Materials(韩国机械与材料研究院);SNU(首尔大学)
在本文中,我们提出了一个数据集捕捉不同的视觉数据格式,目标是不同的亮度条件。虽然RGB摄像头提供丰富和直观的信息,但照明条件的变化可能会导致基于视觉传感器的机器人应用的灾难性故障。克服照明问题的方法包括开发更鲁棒的算法或其他类型的视觉传感器,例如热摄像机和事件摄像机。尽管替代传感器具有潜力,但仍然很少有替代视觉传感器的数据集。因此,我们提供了一个数据集记录从替代视觉传感器,通过手持或安装在汽车上,重复在同一空间,但在不同的条件。我们的目标是从共同对齐的替代视觉传感器获取可见信息。我们的传感器系统通过测量红外耗散量、结构化反射的深度和亮度的瞬时时间变化来更独立地收集数据,而不依赖于可见光强度。我们提供这些测量以及惯性传感器和地面实况,用于在恶劣的照明条件下开发强大的视觉SLAM。完整的数据集可在:https://visibilitydataset.github.io/
2022-04-14 cs.CV cs.RO
Remote Sensing SpatioTemporal Vision-Language Models: A Comprehensive Survey
Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University(航空航天智能科学与技术系,航天学院,北航);Key Laboratory of Spacecraft Design Optimization and Dynamic Simulation Technologies, Ministry of Education, China(航天器设计优化与动态仿真技术重点实验室,教育部,中国);College of Computer Science, Inner Mongolia University(计算机科学学院,内蒙古大学);Shen Yuan Honors College of Beihang University(盛元荣誉学院,北航)
本综述首次全面回顾了遥感时空视觉语言模型(RS-STVLMs),系统剖析其从任务专用到通用基础模型的演进、关键技术、数据集及评估指标,并规划了未来研究方向。
2025-09-15 cs.CV
EchoCoTr: Estimation of the Left Ventricular Ejection Fraction from Spatiotemporal Echocardiography
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
学习时空特征是有效视频理解的一项重要任务,尤其是在超声心动图等医学图像中。卷积神经网络(CNN)和最近的视觉Transformer(ViTs)是最常用的方法,但每种方法都有局限性。CNN擅长捕捉局部上下文,但无法跨视频帧学习全局信息。另一方面,视觉Transformer可以包含全局细节和长序列,但计算成本高,并且通常需要更多的数据来进行训练。在本文中,我们提出了一种方法,可以解决我们在训练医学视频数据(如超声心动图扫描)时通常面临的限制。我们提出的算法(EchoCoTr)利用视觉Transformer和CNN的优势来解决在超声视频上估计左心室射血分数(LVEF)的问题。我们演示了所提出的方法如何在EchoNet-Dynamic数据集上优于迄今为止最先进的工作,MAE为3.95,$R^2$为0.82。与所有已发表的研究相比,这些结果显示出明显的改善。此外,我们展示了广泛的消融和几种算法的比较,包括ViT和BERT。该代码可在https://github.com/BioMedIA-MBZUAI/EchoCoTr上获得。
2022-09-09 cs.CV
On the Issues of TrueDepth Sensor Data for Computer Vision Tasks Across Different iPad Generations
Carl Zeiss AG(卡尔蔡司股份公司);Onexip GmbH(Onexip有限责任公司)
2017年,苹果在iPhone X发布时推出了TrueDepth传感器。虽然它的主要用例是生物特征面部识别,但将准确的深度数据用于其他计算机视觉任务,如分割,人像图像生成和度量3D重建,似乎是很自然的,并导致各种应用的发展。在这份报告中,我们调查了TrueDepth数据的可靠性-通过两种不同的API访问-在各种设备上,包括不同的iPhone和iPad代,并揭示了两个不同的和重要的问题,所有测试的iPad。
2022-03-08 cs.CV cs.RO
DS2TA: Denoising Spiking Transformer with Attenuated Spatiotemporal Attention
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出 DS2TA,一种专为视觉应用设计的去噪脉冲 Transformer,通过引入衰减时空注意力机制和基于哈希映射的非线性去噪器,在不增加权重的情况下提升参数效率与鲁棒性,在多个静态与动态数据集上达到最先进性能。
2024-09-20 cs.AI cs.CV cs.LG
Enabling energy efficient machine learning on a Ultra-Low-Power vision sensor for IoT
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
物联网(IoT)和智慧城市范例包括无处不在的技术,用于提取上下文信息,以便向用户和公民返回有用的服务。在这种情况下,计算机视觉应用通常扮演重要角色,需要从特定设备获取图像。对高端相机的需求通常会对这一过程造成不利影响,因为它们非常耗电,并且需要大量的计算资源来处理。因此,实现硬件内运动检测等高级功能的新型低功耗视觉传感器的可用性对于物联网领域的计算机视觉至关重要。不幸的是,为了高度节能,这些传感器可能会恶化感知性能(例如,分辨率、帧速率、颜色)。因此,通常提供特定于域的管道,以充分利用这些相机的潜力。本文介绍了一个实时检测,分类和跟踪流水线的开发,分析和嵌入式实现,能够充分利用背景过滤智能视觉传感器(SVS)的潜力。推断所获得的功耗(需要8ms)为7.5 mW。
2021-02-02 cs.CV cs.LG
MOISST: Multimodal Optimization of Implicit Scene for SpatioTemporal calibration
Noah’s Ark, Huawei Paris Research Center(华为巴黎研究中心诺亚方舟实验室);Université de Bourgogne(勃艮第大学);Université de Picardie Jules Verne(皮卡第儒勒·凡尔纳大学)
针对自动驾驶多模态传感器需精确时空标定的问题,提出基于NeRF优化的MOISST方法,联合优化标定参数与场景表示,可在非受控城市场景实现鲁棒标定,扩展性更优。
2023-07-21 cs.CV
Robot to Human Object Handover using Vision and Joint Torque Sensor Modalities
Simon Fraser University(西蒙弗雷泽大学);University of Regina(里贾纳大学)
我们提出了一个机器人到人的对象切换算法,并实现了一个7自由度的手臂配备了3指机械手。该系统执行一个完全自主和鲁棒的对象切换到人类接收器实时。我们的算法依赖于两种互补的传感器模式:手臂上的关节扭矩传感器和用于传感器反馈的手持RGB-D相机。我们的方法是完全隐含的,即,在机器人和人类接收器之间没有明确的通信。通过上述传感器模态获得的信息被用作其相关深度神经网络的输入。当扭矩传感器网络检测到人类接收者的“意图”时,例如:拉,拿,或撞,视觉传感器网络检测接收者的手指是否缠绕在物体上。然后融合网络的输出,基于此决定是否释放对象。尽管在传感器反馈同步,对象和人手检测的实质性挑战,我们的系统实现了强大的机器人到人的交接,在我们初步的真实实验中,使用人类接收器的98%的准确性。
2022-10-27 cs.CV cs.RO
FeelAnyForce: Estimating Contact Force Feedback from Tactile Sensation for Vision-Based Tactile Sensors
University of Maryland College-Park(马里兰大学学院公园分校);Perception and Robotics Group(感知与机器人学组)
本文提出FeelAnyForce方法,利用超过20万次压痕数据训练多头Transformer,从视觉触觉图像估计最高15N的三维接触力,在未见物体上达到4%平均绝对误差,并可泛化到不同触觉传感器。
2024-10-02 cs.CV cs.RO
Multiband NFC for High-Throughput Wireless Computer Vision Sensor Network
视觉传感器是计算机视觉的核心。在许多计算机视觉应用中,例如AR/VR,需要具有高吞吐量的非接触式近场通信(NFC)来将信息传输到算法。在这项工作中,我们提出了一种新的NFC系统,利用多个频段,以实现高吞吐量。
2017-05-28 cs.CV cs.NI
Multi-view Sensor Fusion by Integrating Model-based Estimation and Graph Learning for Collaborative Object Localization
Colorado School of Mines(科罗拉多矿业学院);Toyota Motor North America(丰田北美汽车公司)
协同目标定位的目的是协同地估计从多个视图或视角观察到的目标的位置,这是多智能体系统(如联网车辆)的关键能力。为了实现协同定位,已经开发了几种基于模型的状态估计和基于学习的定位方法。鉴于其令人鼓舞的性能,基于模型的状态估计通常缺乏对多个对象之间的复杂关系进行建模的能力,而基于学习的方法通常不能融合来自任意数量的视图的观测,并且不能很好地对不确定性进行建模。在本文中,我们介绍了一种新的时空图滤波器的方法,集成了图学习和基于模型的估计进行多视图传感器融合的协作对象定位。我们的方法模型复杂的对象关系,使用一个新的时空图表示和融合多视图观察贝叶斯的方式,以提高不确定性下的位置估计。我们评估我们的方法在连接自动驾驶和多个行人定位的应用。实验结果表明,我们的方法优于以往的技术,并实现了最先进的性能协作定位。
2021-03-07 cs.CV cs.RO
Building a Multi-modal Spatiotemporal Expert for Zero-shot Action Recognition with CLIP
Northwestern Polytechnical University(西北工业大学)
针对CLIP直接微调用于零样本动作识别(ZSAR)时捕捉时空动态的不足,提出基于CLIP的时空动态双元组(STDD)框架,通过视觉侧时空交叉注意力和语义侧动作语义知识图谱增强,在多个基准上超越现有最优方法。
2025-02-09 cs.CV
GelBelt: A Vision-based Tactile Sensor for Continuous Sensing of Large Surfaces
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
针对传统视觉式触觉传感器传感面积小、易损坏、不适用于大表面连续传感的问题,提出采用弹性带与双滚轮的新型GelBelt传感器,可实现最高45mm/s的高精度大规模表面快速扫描,在形状重建与表面融合中表现良好。
2025-01-09 cs.CV cs.RO
Tacchi 2.0: A Low Computational Cost and Comprehensive Dynamic Contact Simulator for Vision-based Tactile Sensors
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);School of Engineering and Technology, China University of Geosciences (Beijing)(中国地质大学(北京)工程技术学院);School of International, Beijing University of Posts and Telecommunications(北京邮电大学国际学院);School of Mechanical Engineering, Anhui University of Technology(安徽工业大学机械工程学院);Zhili College, Tsinghua University(清华大学志道书院)
本文提出Tacchi 2.0,通过将针孔相机模型集成到基于物质点法的低计算成本视觉触觉模拟器中,实现了按压、滑动和旋转等状态下触觉图像与标记运动图像的可靠模拟。
2025-03-12 cs.CV cs.RO
4D-VLA: Spatiotemporal Vision-Language-Action Pretraining with Cross-Scene Calibration
School of Data Science, Fudan University(复旦大学数据科学学院);Huawei Noah’s Ark Lab(华为诺亚实验室)
针对机器人预训练中输入不完整导致的坐标系与状态混乱问题,提出整合4D信息的4D-VLA方法,通过RGB-D序列对齐坐标系、记忆库采样优化帧选择,在模拟与真实场景中性能优于OpenVLA,并引入MV-Bench评估空间泛化能力。
2025-11-18 cs.CV
Applying Spatiotemporal Attention to Identify Distracted and Drowsy Driving with Vision Transformers
Jericho High School(杰里科高中)
与2020年相比,2021年的车祸数量增加了20%,这是由于注意力分散和困倦增加。昏昏欲睡和分心驾驶是45%的车祸的原因。作为减少困倦和分心驾驶的手段,使用计算机视觉的检测方法可以被设计成低成本、准确和微创的。这项工作研究了使用视觉Transformer来超越3D-CNN的最先进精度。两个独立的Transformers被训练困倦和分心。昏昏欲睡的视频Transformer模型在国立清华大学昏昏欲睡驾驶数据集(NTHU-DDD)上使用视频Swin Transformer模型在两个类上训练10个时期-昏昏欲睡和非昏昏欲睡模拟超过10.5小时。分心的视频Transformer在驾驶员监控数据集(DMD)上用视频Swin Transformer训练50个时期,超过9个分心相关类。睡意模型的准确率达到44%,并且在测试集上损失值很高,表明过拟合和模型性能较差。过拟合表明有限的训练数据和应用的模型架构缺乏可量化的参数来学习。分心模型在DMD上的表现优于最先进的模型,达到97.5%,这表明有了足够的数据和强大的架构,Transformers适合用于不合适的驾驶检测。未来的研究应该使用更新和更强大的模型,如TokenLearner,以实现更高的准确性和效率,合并现有的数据集,以扩展到检测酒后驾驶和道路愤怒,以创建一个全面的解决方案,以防止交通事故,并部署一个功能原型,以彻底改变汽车安全行业。
2022-07-22 cs.AI cs.CV
Advances in Compliance Detection: Novel Models Using Vision-Based Tactile Sensors
L3S Research Center , Leibniz Universität Hannover(L3S研究所以及汉诺威莱布尼茨大学);Department of Biomedical Engineering and the School of Brain Sciences, Ben-Gurion University of the Negev(生物医学工程系和脑科学学院,本·古里安大学)
本文提出基于LRCN和Transformer的两种模型,利用GelSight视觉触觉传感器的RGB图像和其他信息准确预测合规性指标,改进了传统方法的精度和适用性。
2025-06-17 cs.CV cs.RO
A Multimodal Vision Sensor for Autonomous Driving
Zhejiang University(浙江大学)
本文介绍了一种多模态视觉传感器,它集成了三种类型的相机,包括立体相机,偏振相机和全景相机。每个传感器都提供特定维度的信息:立体相机测量每个像素的深度,偏振获得偏振度,全景相机捕获360度景观。数据融合和先进的环境感知可以建立在传感器的组合上。这款视觉传感器专为自动驾驶而设计,配备了强大的语义分割网络。此外,我们演示了如何交叉模态增强可以通过注册的彩色图像和偏振图像。最后给出了一个实例。为了证明多模态视觉传感器与不同设备的兼容性,进行了简要的运行时性能分析。
2019-08-15 cs.CV eess.IV
TiMo: Spatiotemporal Foundation Model for Satellite Image Time Series
Wuhan University(武汉大学);Zhongguancun Academy(中关村学院);National University of Defense Technology(国防科学技术大学)
本文提出面向卫星图像时间序列的分层 ViT 基础模型 TiMo,通过时空陀螺仪注意力、MillionST 数据集与掩码图像建模预训练提升多尺度时空表征,并在多项遥感任务上达到最优。
2025-05-13 cs.CV
A Thin Format Vision-Based Tactile Sensor with A Micro Lens Array (MLA)
Hong Kong University of Science and Technology(香港科技大学)
基于视觉的触觉传感器由于具有高空间分辨率和与机器学习算法的兼容性而在机器人领域得到了广泛的研究。然而,目前采用的传感器的成像系统体积庞大,限制了其进一步的应用。在这里,我们提出了一种基于微透镜阵列(MLA)的视觉系统,以实现具有高触觉感知性能的传感器封装的低厚度格式。多个微加工微透镜单元覆盖整个弹性触摸层,提供拼接的清晰触觉图像,实现高空间分辨率,厚度仅为5 mm。热回流和软光刻方法确保微透镜的均匀球形轮廓和光滑表面。光学和机械特性都证明了该传感器的稳定成像和出色的触觉感知,能够实现精确的3D触觉信息,例如超紧凑薄结构的位移映射和力分布。
2022-04-19 cs.CV cs.RO eess.IV
Beyond still images: Temporal features and input variance resilience
本研究受自然视觉启发,提出使用视频训练并融入时间特征的脑启发视觉模型,相比静态图像模型,对输入变化具有更强的鲁棒性。
2024-02-14 cs.AI cs.CV
Deep Learning-based Event Data Coding: A Joint Spatiotemporal and Polarity Solution
本文提出了一种基于深度学习的联合事件数据编码方法,通过单点云表示和自适应体素二值化策略,提升压缩性能并优化计算机视觉任务表现。
2026-03-16 cs.CV eess.IV
Event Vision Sensor: A Review
School of Microelectronics, Fudan University(复旦大学微电子学院)
本文综述事件视觉传感器技术,介绍其从神经形态工程到前沿技术的发展,分析BSI等技术对性能的提升及与现有系统的兼容性,探讨红外成像应用机遇与挑战,为相关研究提供参考。
2025-02-10 cs.CV physics.ins-det
Set-Point Regulation of Linear Continuous-Time Systems using Neuromorphic Vision Sensors
Massachusetts Institute of Technology(麻省理工学院)
本文提出基于神经形态视觉传感器的H∞控制器,用于调节线性时不变系统的设定点,并在不稳定系统上验证了方法的有效性。
2016-09-18 cs.CV cs.RO cs.SY
Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition
Sun Yat-Sen University(中山大学);DMAI Co., Ltd(DMAI有限公司)
现有的基于视觉的动作识别容易受到遮挡和外观变化的影响,而可穿戴传感器可以通过一维时间序列信号捕获人体运动来缓解这些挑战。对于同一个动作,从视觉传感器和可穿戴传感器学习的知识可能是相关和互补的。然而,可穿戴传感器和视觉传感器获取的动作数据在数据维度、数据分布和固有信息量上存在着很大的模态差异。在本文中,我们提出了一种新的框架,名为语义感知的自适应知识蒸馏网络(SAKDN),以提高行动识别视觉传感器模态(视频)自适应地转移和提取的知识,从多个可穿戴传感器。SAKDN使用多个可穿戴传感器作为教师模式,并使用RGB视频作为学生模式。为了保持局部时间关系并便于使用视觉深度学习模型,我们通过设计一个基于Gramian角场的虚拟图像生成模型,将可穿戴传感器的一维时间序列信号转换为二维图像。然后,我们建立了一个新的保持相似性的自适应多模态融合模块,自适应地融合来自不同教师网络的中间表示知识。最后,为了充分利用多个训练有素的教师网络的知识并将其转移到学生网络,我们提出了一种新的图形引导的语义判别映射损失,它利用图形引导的消融分析来产生良好的视觉解释,突出显示跨模态的重要区域,同时保留原始数据的相互关系。在Berkeley-MHAD、UTD-MHAD和MMAct数据集上的实验结果很好地证明了我们提出的SAKDN的有效性。
2021-05-27 cs.CV
Uni4D-LLM: A Unified SpatioTemporal-Aware VLM for 4D Understanding and Generation
School of Computing, National University of Singapore(计算学院,新加坡国立大学)
本文提出Uni4D-LLM,通过共享时空视觉表示和统一Transformer架构,在单一VLM中联合实现4D场景理解与生成,并在多个基准上达到竞争力或领先性能。
2025-09-28 cs.CV
Sensor fusion using EMG and vision for hand gesture classification in mobile applications
Institute of Neuroinformatics, University of Zurich and ETH Zurich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所)
使用可穿戴解决方案识别人类手势作为辅助生活、老年人医疗保健和神经康复的支持技术非常重要。本文提出了一种移动肌电图(EMG)分析框架,作为物理治疗过程中的辅助组件或作为神经假体校准的反馈。我们实现了一个框架,允许多传感器,EMG和视觉信息的集成,执行传感器融合,提高手势识别任务的准确性。特别是,我们使用了一个基于事件的摄像头,适合在移动电话的有限计算资源上运行。我们介绍了一个新的公开可用的数据集的传感器融合的手势识别记录从10个科目,并用它来训练的识别模型离线。我们比较了使用融合方法与单个传感器的手势识别的在线结果,EMG和视觉的准确度分别提高了13%和11%,达到85%。
2019-10-19 cs.CV cs.LG eess.IV
Illumination-Based Color Reconstruction for the Dynamic Vision Sensor
这项工作展示了一种新颖的,最先进的方法,通过动态视觉传感器(DVS)重建彩色图像。DVS是一种图像传感器,仅指示亮度的二进制变化,而没有关于捕获的波长(颜色)或强度水平的信息。提出了一种利用DVS和主动彩色光源重建全空间分辨率彩色图像的新方法。我们分析了DVS的响应,并提出了两种重建算法:基于线性和基于卷积神经网络。此外,我们证明了我们的算法的鲁棒性,如照明和距离的环境条件的变化。最后,与以往的作品相比,我们展示了我们是如何达到最先进的结果。
2022-11-12 cs.CV eess.IV
Simultaneous Optical Flow and Segmentation (SOFAS) using Dynamic Vision Sensor
Monash University(莫纳什大学);Australian Centre of Excellence for Robotic Vision(澳大利亚机器人视觉卓越中心)
本文提出了一种估计动态视觉传感器(DVS)产生的事件的光流的算法(SOFAS)。在传统相机以固定速率产生帧的情况下,DVS响应于具有高时间分辨率的强度变化而产生异步事件。我们的算法使用的事实,即事件产生的场景中的边缘,不仅估计的光流,但也同时分割成以相同的速度移动的对象的图像。这样就可以避免影响其他实现(如Lucas-Kanade)的光圈问题。最后,我们表明,SOFAS产生更准确的结果比传统的光流算法。
2018-05-31 cs.CV
GelFlow: Self-supervised Learning of Optical Flow for Vision-Based Tactile Sensor Displacement Measurement
Huazhong University of Science and Technology(华中科技大学)
本文提出了一种基于深度学习的自监督光流方法GelFlow,通过由粗到细策略及Helmholtz速度分解与弹性变形约束,解决了凝胶大变形下标记位移测量精度不足的问题,实现了最高位移测量精度。
2023-09-13 cs.CV