PRENet: A Plane-Fit Redundancy Encoding Point Cloud Sequence Network for Real-Time 3D Action Recognition
Huazhong University of Science and Technology(华中科技大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
针对现有3D点云动作识别网络冗余计算多、延迟高的问题,提出PRENet网络,通过平面拟合嵌入与时空一致性编码模块降低时空冗余,在准确率持平的情况下速度提升近四倍,可实现实时3D动作识别。
2024-05-11 cs.CV
Revisiting Direct Encoding: Learnable Temporal Dynamics for Static Image Spiking Neural Networks
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);Henan Key Laboratory of Big Data Analysis and Processing, Henan University(河南大学大数据分析与处理重点实验室)
本文提出了一种可学习的时间编码方法,通过自适应相位移从静态图像中诱导时间动态,解决直接编码与速率编码之间的性能差距问题。
2025-12-01 cs.CV cs.NE
MGTANet: Encoding Sequential LiDAR Points Using Long Short-Term Motion-Guided Temporal Attention for 3D Object Detection
Hanyang University(汉阳大学)
大多数扫描LiDAR传感器实时生成一系列点云。虽然传统的3D对象检测器使用在固定时间间隔内获取的一组无序LiDAR点,但最近的研究表明,可以通过利用LiDAR点集序列中存在的时空上下文来实现实质性的性能改善。本文提出了一种新型的3D目标检测架构,可以对多次连续扫描获得的激光雷达点云序列进行编码。点云序列的编码过程在两个不同的时间尺度上执行。我们首先设计了一个短期运动感知体素编码,捕捉点云的短期时间变化驱动的物体在每个体素的运动。我们还提出了长期的运动引导鸟瞰图(BEV)的功能增强,自适应对齐和聚合的BEV特征图获得的短期体素编码,通过利用动态运动上下文推断的序列的特征图。在公共nuScenes基准上进行的实验表明,与基线方法相比,所提出的3D对象检测器在性能上有显着改进,并且它为某些3D目标检测类别设置了最先进的性能。代码可在https://github.com/HYjhkoh/MGTANet.git上获得
2022-12-21 cs.CV
Back to the Future: Cycle Encoding Prediction for Self-supervised Contrastive Video Representation Learning
University of Bristol(布里斯托大学)
在本文中,我们表明,学习视频特征空间的时间周期是最大限度地可预测的好处动作分类。特别是,我们提出了一种新的学习方法,称为循环编码预测(CEP),能够有效地表示高层次的时空结构的未标记的视频内容。CEP建立了一个潜在的空间,其中封闭的前向-后向以及后向-前向时间循环的概念近似保留。作为一个自我监督信号,CEP利用视频流的双向时间相干性,并应用损失函数,鼓励时间周期闭合以及对比特征分离。在架构上,基础网络结构对所有视频片段使用单个特征编码器,添加两个预测模块,学习时间向前和向后转换。我们将我们的框架应用于动作识别任务的网络借口训练。我们报告了标准数据集UCF 101和HMDB 51的显着改进的结果。详细的消融研究支持申报组件的有效性。我们在本文中完整地发布了CEP组件的源代码。
2021-10-24 cs.CV
Adaptive Temporal Encoding Network for Video Instance-level Human Parsing
Sun Yat-sen University(中山大学);Carnegie Mellon University(卡内基梅隆大学);SenseTime Research(商汤科技研究院)
除了现有的静态图像中的单人和多人人类解析任务之外,本文首次尝试研究更真实的视频实例级人类解析,该解析同时分割出每个人实例并将每个实例解析成更细粒度的部分(例如,头、腿、衣服)。我们介绍了一种新的自适应时间编码网络(ATEN),交替执行关键帧之间的时间编码和两个关键帧之间的其他连续帧的流引导特征传播。具体而言,ATEN首先整合Parsing-RCNN,针对每一关键帧产生实例层级解析结果,将全局人类解析与实例层级人类分割整合为一个统一的模型。为了在准确性和效率之间取得平衡,使用流引导的特征传播来直接解析连续帧,根据它们与关键帧的识别时间一致性。另一方面,ATEN利用卷积门控递归单元(convGRU)来利用一系列关键帧的时间变化,进一步用于促进帧级实例级解析。透过交替执行一致性帧间的直接特征传播与关键帧间的时域编码网络,ATEN在帧级准确度与时间效率之间取得良好平衡,这是视频对象分割研究中常见的关键问题。为了证明ATEN的优越性,我们在最流行的视频分割基准(DAVIS)和新收集的视频实例级解析(VIP)数据集上进行了大量的实验,VIP数据集是第一个视频实例级人工解析数据集,包含404个序列和超过20 k帧,具有实例级和像素级注释。
2018-08-10 cs.CV
Spatio-Temporal Encoding and Decoding-Based Method for Future Human Activity Skeleton Synthesis
Southeast University(东南大学);Nanjing University of Science and Technology(南京理工大学)
针对传统未来活动推断方法计算成本高的问题,提出时空编解码的人体活动骨架合成方法,通过序列预处理、编解码结构和含高阶运动学特征的损失函数优化,实现误差更小、参数量更少的未来骨架生成,助力早期活动预测。
2024-07-08 cs.CV
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
The University of Western Australia(西澳大学)
视频字幕的自动生成是计算机视觉中的一个基本挑战。最近的技术通常采用卷积神经网络(CNN)和递归神经网络(RNN)的组合用于视频描述。这些方法主要集中在通过RNN定制序列学习以更好地生成字幕,而现成的视觉特征则是从CNN中借来的。我们认为,仔细设计的视觉功能,这项任务是同样重要的,并提出了一个视觉功能编码技术,生成语义丰富的字幕使用门控递归单位(GRUs)。我们的方法通过分层地将短傅立叶变换应用于整个视频的CNN特征,在视觉特征中嵌入丰富的时间动态。它还从对象检测器中导出高级语义,以利用检测到的对象的空间动态来丰富表示。最终的表示被投影到一个紧凑的空间,并提供给一个语言模型。通过学习一个相对简单的语言模型,包括两个GRU层,我们建立了新的最先进的MSVD和MSR-VTT数据集的METEOR和ROUGE_L指标。
2019-04-29 cs.CV
Track Targets by Dense Spatio-Temporal Position Encoding
Carnegie Mellon University(卡内基梅隆大学);ByteDance(字节跳动)
在这项工作中,我们提出了一种新的范式来编码的目标的位置,在视频中使用Transformers的目标跟踪。所提出的范例,密集时空(DST)的位置编码,编码的时空位置信息在一个像素级的密集的方式。所提供的位置编码提供位置信息,以通过比较两个边界框中的对象来在外观匹配之外跨帧关联目标。与典型的Transformer位置编码相比,我们提出的编码应用于2D CNN特征而不是投影特征向量,以避免丢失位置信息。此外,所设计的DST编码可以表示单帧目标的位置和帧之间的轨迹的位置的演化均匀。结合DST编码,我们构建了一个基于变换器的多目标跟踪模型。该模型以视频片段为输入,并在片段中进行目标关联。它还可以通过将现有轨迹与来自新帧的对象相关联来执行在线推理。在视频多目标跟踪(MOT)和多目标跟踪与分割(MOTS)数据集上的实验证明了所提出的DST位置编码的有效性。
2022-10-17 cs.AI cs.CV
ViBE: Visual-to-M/EEG Brain Encoding via Spatio-Temporal VAE and Distribution-Aligned Projection
Jinan University(济南大学);The First Affiliated Hospital of Jinan University(济南大学第一附属医院);Western University(西方大学);Guangdong University of Technology(广东工业大学);Tsinghua University(清华大学)
本文提出ViBE框架,通过时空卷积变分自编码器和分布对齐投影,实现从视觉刺激生成高质量M/EEG信号,解决跨模态对齐问题。
2026-04-29 cs.CV
Event-based Action Recognition Using Timestamp Image Encoding Network
ANU(澳大利亚国立大学)
事件摄像机是一种异步、高频、低功耗的视觉传感器,适合于人体动作识别任务。对事件数据的时空信息进行适当的编码,并使用标准的计算机视觉工具从数据中进行学习是至关重要的。在这项工作中,我们提出了一个时间戳图像编码的2D网络,它采取编码的时空图像的事件数据作为输入和输出的动作标签。实验结果表明,该方法在真实世界的动作识别上可以达到与基于RGB的基准测试相同的性能水平,并且在手势识别上也达到了SOTA的结果。
2020-09-28 cs.CV
On Encoding Temporal Evolution for Real-time Action Prediction
Queensland University of Technology(昆士兰科技大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);University of Maryland(马里兰大学)
预测未来的行动是智能的关键组成部分,特别是当它应用于实时的【形】系统时,如机器人或自动驾驶汽车。虽然最近的工作已经解决了原始RGB像素值的预测,我们专注于预测未来视频帧中的运动演变。为此,我们构建动态图像(DI)通过总结未来帧序列的移动像素。我们训练一个卷积LSTM,以基于无监督学习过程预测下一个DI,然后识别与预测的DI相关的活动。我们在3个基准动作数据集上证明了我们的方法的有效性,表明尽管在具有复杂活动的视频上运行,我们的方法仍然能够高精度地预测下一个人类动作,并获得比最先进的方法更好的结果。
2018-02-08 cs.CV
Salient Temporal Encoding for Dynamic Scene Graph Generation
Carnegie Mellon University(卡内基梅隆大学)
针对动态场景图生成中时序连接冗余无意义的问题,提出仅在时序相关对象对间构建显式边的显著时序编码方法,提升了场景图检测及下游动作识别任务的性能。
2025-03-15 cs.CV cs.LG
Watch It Twice: Video Captioning with a Refocused Video Encoder
Nanyang Technological University(南洋理工大学)
随着视频数据的快速增长以及智能视频搜索和视障人士辅助等各种应用需求的不断增长,视频描述任务近年来在计算机视觉和自然语言处理领域受到了广泛关注。现有的视频描述方法更多地关注时间信息的编码,缺乏有效的方法去除不相关的时间信息,同时也忽略了空间细节。然而,目前的RNN编码模块在单一的时间顺序可能会受到不相关的时间信息的影响,特别是不相关的时间信息是在编码的开始。另外,忽略空间信息会导致词语之间的关系混乱和细节损失。因此,在本文中,我们提出了一种新的经常性的视频编码方法和一种新的视觉空间特征的视频描述任务。递归编码模块利用预测的关键帧对视频进行两次编码,以避免在视频的开始和结束处经常出现的不相关的时间信息。新的空间特征代表了视频不同区域的空间信息,丰富了字幕的细节。在两个基准数据集上的实验表明了该方法的优越性能。
2019-07-21 cs.CV
TENET: Transformer Encoding Network for Effective Temporal Flow on Motion Prediction
Megvii Inc.(旷视科技有限公司);The Hong Kong University of Science and Technology(香港科技大学);Beihang University(北京航空航天大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
本技术报告提出了一种有效的自动驾驶运动预测方法。我们开发了一种基于变换器的输入编码和轨迹预测方法。此外,我们提出了时间流头,以加强轨迹编码。最后,使用一种有效的K-means集成方法。使用我们的Transformer网络和集成方法,我们赢得了Argoverse 2运动预测挑战赛的第一名,最先进的brier-minFDE得分为1.90。
2022-06-30 cs.AI cs.CV
Temporal shape super-resolution by intra-frame motion encoding using high-fps structured light
Kagoshima University(鹿儿岛大学);Hiroshima City University(广岛市立大学);Kyushu University(九州大学)
运动场景深度成像的解决方案之一是将静止的图案投影到物体上,然后利用单幅图像进行重建。然而,如果对象的运动相对于图像传感器的曝光时间太快,则捕获图像上的图案模糊并且重构失败。在本文中,我们施加多个投影模式到每一个单一的捕获图像,以实现时间的深度图像序列的超分辨率。使用我们的方法,多个图案以比相机更高的fps投射到物体上。在这种情况下,观察到的图案根据对象的深度和运动而变化,因此我们可以从每个单个图像中提取场景的时间信息。解码过程是使用基于学习的方法实现的,其中不需要几何校准。实验证实了我们的方法的有效性,从一个单一的图像重建的顺序形状。还进行了定量评价和与最新技术的比较。
2017-10-02 cs.CV
Tree-NeRV: A Tree-Structured Neural Representation for Efficient Non-Uniform Video Encoding
The University of Tokyo(东京大学)
针对现有NeRV方法因时间轴均匀采样未充分利用时间冗余导致次优率失真性能的问题,提出Tree-NeRV,通过二叉搜索树组织特征实现非均匀采样并引入优化驱动采样策略,实验证明其压缩效率和重建质量优于现有方法。
2025-04-17 cs.CV
Cyclical Temporal Encoding and Hybrid Deep Ensembles for Multistep Energy Forecasting
Talan Research Center(塔兰研究中心)
本文提出了一种结合循环时间编码与混合深度集成的统一框架,用于提升多步能量预测的准确性。
2025-12-03 cs.CV cs.LG
A Real-time Action Representation with Temporal Encoding and Deep Compression
Beijing University of Posts and Telecommunications(北京邮电大学);South China University of Technology(华南理工大学);MIT-Watson AI Lab(麻省理工学院沃森人工智能实验室)
深度神经网络在基于视频的动作识别方面取得了显著的成功。然而,大多数现有的方法不能部署在实践中,由于高的计算成本。为了解决这个问题,我们提出了一种新的实时的【形】卷积结构,称为时间卷积3D网络(T-C3 D),用于动作表示。T-C3 D以分层多粒度方式学习视频动作表示,同时获得高处理速度。具体来说,我们提出了一个残差3D卷积神经网络(CNN)来捕获单个帧的外观和连续帧之间的运动的互补信息。基于此CNN,我们开发了一种新的时间编码方法来探索整个视频的时间动态。此外,我们将深度压缩技术与T-C3 D集成,通过减小模型的大小来进一步加速模型的部署。通过这些方法,可以避免在进行推理时的繁重计算,这使得该方法能够在保持有希望的性能的同时处理超过实时的【形】速度的视频。我们的方法在UCF 101动作识别基准测试中与最先进的实时的【形】方法相比,在准确率方面实现了5.4%的明显改进,在推理速度方面提高了2倍,存储模型小于5 MB。我们验证我们的方法,通过研究其动作表示性能在四个不同的基准在三个不同的任务。大量的实验表明,识别性能的国家的最先进的方法。源代码和预训练模型可在https://github.com/tc3d上公开获得。
2020-06-17 cs.CV
Temporal Bilinear Encoding Network of Audio-Visual Features at Low Sampling Rates
Insight Centre for Data Analytics(洞察数据分析中心);Dublin City University(都柏林城市大学)
当前基于深度学习的视频分类架构通常在大量数据上进行端到端训练,并且需要大量的计算资源。本文的目的是利用视听信息的视频分类与每秒1帧的采样率。我们提出了时间双线性编码网络(TBEN)的编码音频和视觉长距离的时间信息,使用双线性池,并证明双线性池是优于平均池的时间维度上的视频与低采样率。为了进一步提高分类器的鲁棒性,我们还在TBEN中嵌入了标签层次结构。在FGA240细粒度分类数据集上的实验结果表明,TBEN算法的分类命中率达到了最新水平(hit@1=47.95%)。我们还利用了将TBEN与视觉语义和运动特征等多个解耦模式相结合的可能性:以1 FPS采样的UCF 101实验达到了接近最先进的准确率(hit@1=91.03%),同时需要的计算资源比竞争方法少得多。
2020-12-18 cs.CV cs.LG
FATE: Pillar Encoding and Frequency-Aware Training for Event-Based Object Detection
School of Computing, State University of New York at Binghamton(纽约州立大学宾汉姆顿分校计算学院)
提出FATE框架,通过柱状编码保留事件流时间结构,并利用频率感知训练生成密集伪标签,实现高达200Hz的高时间分辨率目标检测,性能优于现有方法。
2026-06-17 cs.CV
PosMLP-Video: Spatial and Temporal Relative Position Encoding for Efficient Video Recognition
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学);Hefei University of Technology(合肥工业大学)
PosMLP-Video提出一种轻量级MLP视频识别骨干,通过时空分解的相对位置编码门控单元(PoTGU、PoSGU、PoSTGU)替代密集注意力算子,在Something-Something和Kinetics-400上以更少参数和FLOPs取得竞争性精度。
2024-07-03 cs.CV
Composable Augmentation Encoding for Video Representation Learning
Google Research(谷歌研究院);Brown University(布朗大学);MIT(麻省理工学院)
我们专注于自监督视频表示学习的对比方法。对比学习中的一个常见范例是通过对同一实例的不同数据视图进行采样来构建正对,不同的数据实例作为负对。这些方法隐含地假设一组代表性的不变性的视图选择机制(例如,采样帧的时间偏移),这可能会导致下游的任务,违反这些不变性(细粒度的视频动作识别,将受益于时间信息)的性能差。为了克服这一限制,我们提出了一个“增强意识”的对比学习框架,在这里我们明确地提供了一个序列的增强参数化(如用于创建数据视图的时移的值)作为可组合增强编码(CATE),我们的模型时,投影的视频表示对比学习。我们表明,通过我们的方法学习的表示编码有关指定的空间或时间增强的有价值的信息,并且在这样做的过程中,还在许多视频基准上实现了最先进的性能。
2021-08-20 cs.CV
Fine-Grained Pillar Feature Encoding Via Spatio-Temporal Virtual Grid for 3D Object Detection
Hanyang University(汉阳大学);Seoul National University(首尔大学)
针对柱体法难以捕捉LiDAR点细粒度时空分布的问题,提出FG-PFE,利用STV网格和注意力聚合增强编码,在nuScenes上显著提升检测性能且开销很小。
2024-03-11 cs.AI cs.CV
Learning Spatio-temporal Features with Partial Expression Sequences for on-the-Fly Prediction
KAIST(韩国科学技术院)
时空特征编码是对视频序列中的面部表情动态进行编码的关键。在测试时,大多数时空编码方法假设将时间分割的序列馈送到学习模型,这可能需要预测等待,直到完整序列可用于执行时间分割的辅助任务。这导致预测表达式的延迟。在互动环境中,如情感互动代理,这种延迟的预测是不能容忍的。因此,训练一个能够准确预测面部表情的模型是至关重要的。在本文中,我们提出了一种新的时空特征学习方法,这将允许预测与部分序列。因此,可以在运行中执行预测。所提出的方法利用估计的表达强度来生成密集标签,这些标签用于调节具有新目标函数的预测模型训练。结果,学习的时空特征可以鲁棒地预测具有部分(不完整)表达序列的表达,在运行中。实验结果表明,该方法实现了更高的识别率相比,国家的最先进的方法在两个数据集。更重要的是,实验结果验证了该方法对部分表情序列输入的预测帧的改进。
2017-11-29 cs.CV
Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition
Carnegie Mellon University(卡内基梅隆大学)
我们解决的问题,产生视频功能的动作识别。空间金字塔及其变体由于其在平衡空间位置编码和空间不变性方面的成功而成为非常流行的特征模型。虽然将空间金字塔扩展到时间域(时空金字塔)似乎很简单,但无约束视频的大时空多样性和由此产生的显着更高的维度表示使其不那么吸引人。本文介绍了时空扩展描述符,一个简单而有效的替代方法,包括时空位置的视频功能。代替仅对运动信息进行编码并将时空位置留在池化阶段表示,位置信息被用作编码步骤的一部分。与固定网格模型相比,该方法避免了过度承诺人工边界的危险,并且其维数相对较低,是一种更有效和高效的位置编码方法。在多个基准数据集上的实验结果表明,尽管该方法简单,但其效果与时空金字塔相当或更好。
2015-10-15 cs.CV
Deep-Temporal LSTM for Daily Living Action Recognition
INRIA(法国国家信息与自动化研究所);Toyota Motor Europe(丰田汽车欧洲公司)
在本文中,我们建议通过采用多对多模型进行视频分类来改进RNN的传统使用。我们分析了建模的空间布局和时间编码的日常生活动作识别的重要性。许多RGB方法仅关注从光流获得的短期时间信息。另一方面,基于骨架的方法表明,建模长期骨架进化提高了动作识别的准确性。在这项工作中,我们提出了一种深度时态LSTM架构,它扩展了标准LSTM,并允许更好地编码时态信息。此外,我们建议融合三维骨架几何形状与深层静态外观。我们在公开的CAD 60、MSRDailyActivity 3D和NTU-RGB+D上验证了我们的方法,与最先进的技术相比,实现了具有竞争力的性能。
2018-06-15 cs.CV
ChronoSC: Task-Oriented Semantic Communication via Temporal-to-Color Encoding
Smart Green Transformation Center (GREEN-X), VinUniversity, Vietnam(智能绿色转型中心(GREEN-X),Vin大学,越南);School of Computer Science(计算机科学学院)
ChronoSC通过时间到颜色编码实现视频问答任务的高效语义通信,采用轻量级无损投影方案,实现极端时间压缩,提升带宽效率并保持高准确率。
2026-05-11 cs.CV
PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs
针对视频大语言模型中时序不一致问题,提出PAS机制,通过相位聚合平滑技术减少帧间扰动,提升注意力稳定性,实验表明在不增加计算开销的情况下提升了视频理解性能。
2026-03-14 cs.AI cs.CV
A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal Encoding trained with STDP
University of Maryland(马里兰大学)
众所周知,大脑是一个高度复杂的异步动力学系统,高度定制以编码时间信息。然而,最近的深度学习方法没有利用这种时间编码。脉冲神经网络(SNN)可以使用生物学上真实的学习机制来训练,并且可以具有生物学上相关的神经元激活规则。这种类型的网络也基本上是围绕通过时间衰减的电压更新来接受时间信息而构建的,这是当前速率编码网络难以处理的一种输入。在这里,我们表明,一个大的,深层的SNN与动态的,混沌的活动模仿哺乳动物皮层与生物启发的学习规则,如STDP,是能够编码信息的时间数据。我们认为,网络权重中固有的随机性允许神经元形成对STDP自组织后输入的时间数据进行编码的组。我们的目标是表明,输入刺激的精确定时是在分层网络中形成同步神经组的关键。我们用网络熵作为信息传递的度量来分析网络。我们希望同时解决两个问题:为人工智能创建人工时间神经系统,以及解决大脑中的编码机制。
2020-09-01 cs.AI cs.CV cs.NE
TIE: Time Interval Encoding for Video Generation over Events
University of Science and Technology of China(中国科学技术大学);Matrix Team(Matrix团队);Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);University of Waterloo(滑铁卢大学);The Pennsylvania State University(宾夕法尼亚州立大学);Zhongguancun Academy(中关村学院);The University of Hong Kong(香港大学)
提出时间区间编码(TIE),将旋转位置嵌入推广为区间感知形式,解决扩散变换器(DiT)在重叠事件视频生成中时间区间无法表示的问题,显著提升时间可控性。
2026-05-25 cs.CV
Temporal Convolution Networks with Positional Encoding for Evoked Expression Estimation
Chonnam National University(全南国立大学)
本文针对视频诱发表情估计任务,提出使用预训练模型提取多模态时间戳特征,并以带位置编码的时间卷积网络建模时序关系,在EEV 2021挑战赛中获得第一名。
2021-06-16 cs.CV cs.HC
TransRAC: Encoding Multi-scale Temporal Correlation with Transformers for Repetitive Action Counting
ShanghaiTech University(上海科技大学);National University of Singapore(新加坡国立大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海能效与定制人工智能集成电路工程技术研究中心)
计算重复动作在人类活动中广泛存在,如体育锻炼。现有的方法集中于执行短视频中的重复动作计数,这对于在更真实的场景中处理较长的视频是困难的。在数据驱动的时代,这种泛化能力的下降主要归因于缺乏长视频数据集。为了补充这一优势,我们引入了一个新的大规模重复动作计数数据集,涵盖了各种视频长度,以及视频中出现动作中断或动作不一致的更现实的情况。此外,我们还提供了动作周期的细粒度注释,而不仅仅是计数注释和数值。这样的数据集包含1,451个视频,约有20,000个注释,这更具挑战性。对于面向更现实场景的重复动作计数,我们进一步提出了使用可以兼顾性能和效率的Transformers对多尺度时间相关性进行编码。此外,在细粒度注释的帮助下,我们提出了一种基于密度图回归的方法来预测动作周期,从而产生更好的性能与足够的可解释性。我们提出的方法在所有数据集上都优于最先进的方法,并且在没有微调的情况下在看不见的数据集上也实现了更好的性能。数据集和代码可用。
2022-04-03 cs.CV
Transcoded Video Restoration by Temporal Spatial Auxiliary Network
Xidian University(西安电子科技大学);Kuaishou Technology(快手科技);Hosei University(法政大学)
在大多数视频平台中,如Youtube和TikTok,播放的视频通常经过多种视频编码,如录制设备的硬件编码,视频编辑应用的软件编码,以及视频应用服务器的单/多视频转码。以往的压缩视频恢复工作通常假设压缩伪影是由一次编码引起的。因此,导出的解决方案在实践中通常不太有效。在本文中,我们提出了一种新的方法,时空辅助网络(TSAN),转码视频恢复。我们的方法考虑了视频编码和转码之间的独特性,我们将初始的浅层编码视频作为中间标签,以帮助网络进行自我监督的注意力训练。此外,我们还利用相邻多帧信息,提出了时间可变形对齐和金字塔空间融合的转码视频恢复方法。实验结果表明,该方法的性能优于以前的技术。该代码可在https://github.com/icecherylXuli/TSAN上获得。
2021-12-15 cs.CV eess.IV
Dual Encoding U-Net for Spatio-Temporal Domain Shift Frame Prediction
Alchera Data Technologies Ltd(Alchera数据技术有限公司)
在过去的18个月里,整个城市的流动行为格局发生了重大变化。随着COVID-19措施影响世界各地人口如何与流动性的不同方面互动,对此类行为进行准确可靠预测的能力也发生了巨大变化。这就提出了一个问题:“如何利用大量的新冠肺炎前流动性数据来预测当前/后新冠肺炎环境下的未来行为?“本文试图通过引入一种使用仅使用12个卷积层构建的轻量级双编码U-Net进行流量帧预测的方法来解决这个问题,该方法采用了一种新颖的方法来跳过卷积LSTM层之间的连接。这种方法与训练数据的直观处理相结合,可以对时间和时空域偏移进行建模(gitlab.com/alchera/alchera-traffic4cast-2021)。
2021-10-21 cs.AI cs.CV cs.LG
Top-down Attention Recurrent VLAD Encoding for Action Recognition in Videos
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
最近的视频动作识别方法利用深度架构将视频剪辑编码为固定长度的表示向量,然后用于分类。为了取得成功,网络必须能够抑制不相关的场景背景,并从视频中最具区别性的部分提取表示。我们的贡献建立在观察到的时空模式特征的动作在视频中是高度相关的对象和它们在视频中的位置。我们提出了自上而下的注意力动作VLAD(TA-VLAD),这是一种具有内置空间注意力的深度递归架构,可以执行时间聚合的VLAD编码,用于视频中的动作识别。我们采用自上而下的注意力方法,通过使用从深度CNN获得的类特定激活图,该深度CNN为图像分类进行预训练,在使用门控递归单元将其编码为固定长度的视频描述符之前对外观特征进行加权。我们的方法在HMDB 51和UCF 101基准测试中达到了最先进的识别精度。
2018-08-29 cs.CV
Augmenting Deep Learning Adaptation for Wearable Sensor Data through Combined Temporal-Frequency Image Encoding
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Massachusetts Chan Medical School(马萨诸塞大学陈医学院)
提出一种结合时域和频域信息的改进递归图图像表示方法,并采用 mixup 增强,利用预训练 ResNet 在可穿戴加速度计活动识别数据上取得优越性能。
2023-07-03 cs.AI cs.CV
Masked Motion Encoding for Self-Supervised Video Representation Learning
South China University of Technology(华南理工大学);Information Technology R&D Innovation Center of Peking University(北京大学信息技术研发创新中心);UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(教育部大数据与智能机器人重点实验室);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
如何从未标记的视频中学习有区别的视频表示是视频分析的挑战,但至关重要。最新的尝试试图通过预测掩蔽区域中的外观内容来学习表示模型。然而,简单地掩蔽和恢复外观内容可能不足以对时间线索进行建模,因为外观内容可以容易地从单个帧重构。为了克服这一局限性,我们提出了掩蔽运动编码(MME),这是一种新的预训练范式,可以重建外观和运动信息来探索时间线索。在MME中,我们专注于解决两个关键挑战,以提高表示性能:1)如何很好地表示跨多帧的可能的长期运动;以及2)如何从稀疏采样的视频中获得细粒度的时间线索。由于人类能够通过跟踪物体的位置变化和形状变化来识别动作,因此我们提出在掩蔽区域中重建一条代表这两种变化的运动轨迹。此外,给定稀疏的视频输入,我们强制该模型在空间和时间维度上重建密集的运动轨迹。通过使用我们的MME范式进行预训练,该模型能够预测长期和细粒度的运动细节。代码可在https://github.com/XinyuSun/MME上获得。
2023-03-23 cs.CV
MPPNet: Multi-Frame Feature Intertwining with Proxy Points for 3D Temporal Object Detection
MMLab CUHK(香港中文大学多媒体实验室);MPI-INF(马克斯·普朗克信息学研究所);HKBU(香港浸会大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
准确可靠的3D检测对于包括自动驾驶车辆和服务机器人在内的许多应用至关重要。在本文中,我们提出了一个灵活的和高性能的三维检测框架,命名为MPPNet,三维时间目标检测与点云序列。我们提出了一种新的三层框架与代理点的多帧特征编码和交互,以实现更好的检测。这三个层次分别进行逐帧特征编码、短片段特征融合和全序列特征聚合。为了能够以合理的计算资源处理长序列点云,提出了组内特征混合和组间特征关注以形成第二和第三特征编码层次,其被循环地应用于聚合多帧轨迹特征。代理点不仅充当每个帧的一致对象表示,而且还充当信使以促进帧之间的特征交互。在大型Waymo Open数据集上的实验表明,我们的方法在应用于短期(例如,4帧)和长(例如,16帧)点云序列。代码可在https://github.com/open-mmlab/OpenPCDet上获得。
2022-09-02 cs.CV
ORTexME: Occlusion-Robust Human Shape and Pose via Temporal Average Texture and Mesh Encoding
National University of Singapore(新加坡国立大学);CtrsVision
本文提出 ORTexME,通过平均纹理学习和人体网格引导 NeRF 不透明度场更新,利用时序信息正则化遮挡部位,在 3DPW 数据集上将 P-MPJPE 误差降低 1.8,显著优于现有渲染方法。
2023-09-21 cs.CV
E-WAVE: Event-based Continuous Optical Flow via Warping-Aligned Visual Encoding
Zhejiang University(浙江大学);The University of Hong Kong(香港大学)
E-WAVE提出无相关框架,利用全局注意力与贝塞尔曲线扭曲,实现事件流的高时间分辨率光流估计,降低轨迹误差25%。
2026-09-29 cs.CV
PcmNet: Position-Sensitive Context Modeling Network for Temporal Action Localization
College of Computer Science, Zhejiang University(浙江大学计算机学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
时间动作定位是一项重要且具有挑战性的任务,旨在定位真实世界未修剪视频中发生动作的时间区域并识别其类别。视频上下文是视频理解的重要线索,利用上下文信息是提高视频本地化性能的重要策略。然而,以前的国家的最先进的方法更多地集中在探索语义上下文,捕捉帧或建议之间的特征相似性,而忽略了位置上下文,这是至关重要的时间定位。在本文中,我们提出了一个时间位置敏感的上下文建模方法,将位置和语义信息更精确的动作定位。具体来说,我们首先增加与定向时间位置编码的特征表示,然后进行基于注意力的信息传播,在帧级和建议级。因此,所生成的特征表示被显著地赋予了对位置感知上下文信息进行编码的区分能力,从而有利于边界检测和建议评估。我们在两个具有挑战性的数据集THUMOS-14和ActivityNet-1.3上实现了最先进的性能,证明了我们方法的有效性和泛化能力。
2021-03-09 cs.CV
T2SGrid: Temporal-to-Spatial Gridification for Video Temporal Grounding
South China University of Technology(南方科技大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室);Bytedance Inc(字节跳动公司)
T2SGrid通过将视频时间理解转化为空间理解任务,利用网格化技术提升视频时间定位的性能。
2026-03-07 cs.CV
Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval
National University of Singapore(新加坡国立大学);Zhejiang Gongshang University(浙江工商大学);Hefei University of Technology(合肥工业大学)
互联网上用户生成的视频的快速增长加剧了对基于文本的视频检索系统的需求。传统的方法主要倾向于基于概念的检索范式,简单的查询,这通常是无效的复杂查询,携带更复杂的语义。近年来,基于嵌入的范式已经成为一种流行的方法。它旨在将查询和视频映射到一个共享的嵌入空间中,在这个空间中,语义相似的文本和视频彼此更接近。尽管它很简单,但它放弃了对文本查询的语法结构的利用,使得它对复杂查询的建模不是最佳的。为了方便视频检索与复杂的查询,我们提出了一个树增强的跨模态编码方法,通过共同学习查询的语言结构和视频的时间表示。具体来说,给定一个复杂的用户查询,我们首先递归组成一个潜在的语义树结构描述的文本查询。然后,我们设计了一个树增强的查询编码器,以获得结构感知的查询表示和时间关注的视频编码器来模拟视频的时间特性。最后,查询和视频都被映射到一个联合嵌入空间进行匹配和排名。在这种方法中,我们有一个更好的理解和建模的复杂查询,从而实现了更好的视频检索性能。在大规模视频检索基准数据集上的实验证明了该方法的有效性。
2020-07-06 cs.CV
AirObject: A Temporally Evolving Graph Embedding for Object Identification
Carnegie Mellon University(卡内基梅隆大学);IIT (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);Geek+ Corp(极智嘉公司)
物体编码和识别对于机器人自主探索、语义场景理解和重新定位等任务至关重要。先前的方法已经尝试跟踪对象或生成用于对象识别的描述符。然而,这样的系统限于从单个视点的“固定”部分对象表示。在机器人探索设置中,需要在机器人从多个视点观察对象时构建时间上“演进”的全局对象表示。此外,鉴于未知的新对象在现实世界中的广泛分布,对象识别过程必须是类不可知的。在这种情况下,我们提出了一种新的时间3D对象编码方法,称为AirObject,以获得全局关键点图为基础的嵌入对象。具体地,全局3D对象嵌入使用跨从基于图形注意力的编码方法获得的多个帧的结构信息的时间卷积网络来生成。我们证明了AirObject在视频对象识别方面达到了最先进的性能,并且对严重遮挡、感知混叠、视点偏移、变形和尺度变换具有鲁棒性,优于最先进的单帧和顺序描述符。据我们所知,AirObject是最早的时间对象编码方法之一。源代码可在https://github.com/Nik-V9/AirObject上获得。
2022-03-13 cs.CV cs.RO
Diffusion Video Autoencoders: Toward Temporally Consistent Face Video Editing via Disentangled Video Encoding
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);AITRICS
受到最近人脸图像编辑方法令人印象深刻的性能的启发,自然提出了一些研究来将这些方法扩展到人脸视频编辑任务。这里的主要挑战之一是编辑帧之间的时间一致性,这仍然是未解决的。为此,我们提出了一种新的人脸视频编辑框架的基础上扩散自动编码器,可以成功地提取分解的功能-第一次作为一个人脸视频编辑模型-从一个给定的视频的身份和运动。这种建模允许我们通过简单地将时间不变特征操纵到所需的方向来编辑视频,以实现一致性。我们模型的另一个独特优势是,由于我们的模型基于扩散模型,因此它可以同时满足重建和编辑功能,并且与现有的基于GAN的方法不同,它对野生人脸视频中的角点情况(例如,遮挡人脸)具有鲁棒性。
2023-03-27 cs.AI cs.CV cs.LG
Data-Driven Stochastic Motion Evaluation and Optimization with Image by Spatially-Aligned Temporal Encoding
Graduate School of Engineering, Toyota Technological Institute(丰田工业大学大学院工学研究科)
针对长时概率运动预测中跨域一致性评估难、优化易陷局部最优的问题,提出带空间对齐时间编码的EBM评估方法及自监督DMO优化器,经实验验证效果优于同类SOTA方法。
2023-02-10 cs.CV cs.LG cs.RO
ResidualViT for Efficient Temporally Dense Video Encoding
KAUST(科威特科学与技术王国(KAUST));CIIRC CTU(布拉格技术大学智能信息与计算研究中心(CIIRC CTU));Adobe Research(Adobe研究)
提出 ResidualViT 架构,利用可学习残差连接和 token 缩减模块,结合轻量级蒸馏策略,在保持精度的同时显著降低时间密集视频任务的计算成本并提升推理速度。
2025-09-16 cs.AI cs.CV cs.IR
An Adaptive Sampling and Edge Detection Approach for Encoding Static Images for Spiking Neural Networks
University of South Carolina(南卡罗来纳大学)
使用卷积神经网络的当前最先进的图像分类方法通常受到延迟和功耗两者的约束。这限制了可以采用这些方法的设备,特别是低功率边缘设备。脉冲神经网络(SNN)被认为是第三代人工神经网络,其目的是通过从生物神经元通信过程中汲取灵感来解决这些延迟和功率约束。然而,在将图像等数据输入SNN之前,必须首先将其编码为尖峰序列。在这里,我们提出了一种方法,用于编码静态图像到时间的尖峰列车使用边缘检测和自适应信号采样方法中使用的SNN。边缘检测过程包括首先对2D静态图像执行Canny边缘检测,然后使用图像-信号转换方法将边缘检测图像转换为两个X和Y信号。自适应信令方法包括对信号进行采样,使得信号保持足够的细节并且对信号中的突变敏感。时间编码机制,如基于阈值的表示(TBR)和步进(SF),然后能够用于将采样信号转换为尖峰序列。我们使用各种错误和指标的指标来优化和评估所提出的图像编码方法的效率和精度。使用边缘检测和自适应时间编码机制生成的尖峰序列的原始信号和重建信号之间的比较结果显示,与传统的SF和TBR编码相比,平均均方根误差(RMSE)分别降低了18倍和7倍,同时用于编码MNIST数据集。
2021-10-19 cs.CV cs.NE
Slot-ID: Identity-Preserving Video Generation from Reference Videos via Slot-Based Temporal Identity Encoding
State Key Lab of CAD&CG(计算机辅助设计与图形学国家重点实验室);University College London(伦敦大学学院);Zhejiang University(浙江大学)
Slot-ID通过基于槽的时序身份编码从参考视频生成身份保持的视频,提升大姿态变化下的身份保留和视觉真实性。
2026-09-22 cs.AI cs.CV
Encoding in the Dark Grand Challenge: An Overview
University of Bristol(布里斯托大学)
我们从视频提供商那里消费的很大一部分视频内容都是以低光美学为特色的类型。弱光序列具有时空变化的采集噪声和光闪烁等特殊特性,这使得编码过程具有挑战性。为了处理时空非相干噪声,使用更高的比特率来实现高的客观质量。此外,尚未针对此类内容设计、培训或测试质量评估指标和方法。这激发了我们在该领域的研究,并提出了一个关于编码低光视频序列的大挑战。在本文中,我们提出了一个建议的挑战,并测试国家的最先进的方法,将在参与者的交付评估阶段的基准方法的一部分。从这个探索,我们的结果表明,VVC已经实现了高性能相比,简单地去噪的视频源之前编码。此外,通过采用后处理图像增强方法,可以进一步提高视频流的质量。
2020-05-07 cs.CV eess.IV
Depth-Aware Action Recognition: Pose-Motion Encoding through Temporal Heatmaps
ETH Zurich(苏黎世联邦理工学院)
大多数最先进的动作识别方法仅依赖于对外观、运动或姿势进行编码的2D空间特征。然而,2D数据缺乏深度信息,这对于识别细粒度动作至关重要。在本文中,我们提出了一个深度感知的体积描述符,编码姿势和运动信息在一个统一的表示动作分类在野外。我们的框架是强大的动作识别固有的许多挑战,例如,在视点,场景,服装和身体形状的变化。我们的方法的关键组成部分是深度感知姿态运动表示(DA-PoTion),一个新的视频描述符,编码的三维运动的语义关键点的人体。给定一个视频,我们使用最先进的3D人体姿势回归器为每帧生成人体关节热图,并根据剪辑中的相对时间为每个热图提供唯一的颜色代码。然后,我们将所有人体关节的3D时间编码热图聚合起来,以获得一个固定大小的描述符(DA-PoTion),该描述符适用于使用浅层3D卷积神经网络(CNN)对动作进行分类。DA-PoTion单独定义了Penn Action Dataset上的新技术水平。此外,我们利用我们的姿势运动描述符与基于外观的方法的内在互补性,将其与充气3D ConvNet(I3 D)相结合,在JHMDB数据集上定义一个新的最先进的技术。
2020-11-26 cs.CV cs.LG
Mode Variational LSTM Robust to Unseen Modes of Variation: Application to Facial Expression Recognition
KAIST(韩国科学技术院)
时空特征编码对于视频序列中的动态特性编码是必不可少的。递归神经网络,特别是长短期记忆(LSTM)单元,作为编码序列中时空特征的有效工具已经很受欢迎。在这项工作中,我们调查的影响模式的变化对编码的时空特征使用LSTM。我们证明了LSTM保留了与序列中的模式变化相关的信息,这些信息与手头的任务(例如分类面部表情)无关。实际上,LSTM的遗忘机制对于模式变化并不足够鲁棒,并且保留了可能对编码的时空特征产生负面影响的信息。我们提出了模式变分LSTM来编码时空特征,这些特征对不可见的变化模式具有鲁棒性。模式变分LSTM通过添加额外的细胞状态来修改原始LSTM结构,该细胞状态专注于对输入序列中的模式变化进行编码。为了有效地调节什么特征应当存储在附加单元状态中,还引入了附加选通功能。使用面部表情识别任务验证了所提出的模式变分LSTM的有效性。在公开数据集上的对比实验验证了所提出的模式变分LSTM优于现有方法。此外,收集了具有不同变化模式的新的动态面部表情数据集,包括姿势和光照变化等各种模式,以全面评估所提出的模式变分LSTM。实验结果验证了所提出的模式变分LSTM编码的时空特征对不可见的变化模式具有鲁棒性。
2018-11-16 cs.CV cs.LG
Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders
Technical University of Munich(慕尼黑工业大学)
本文提出 sMAE 与 vsMAE,在二十面体网格上自监督重建掩码皮层信号以学习结构-功能表示,显著提升低数据皮层表型预测与迁移性能。
2024-06-11 cs.CV eess.IV
Endo-NeRF++: Uncertainty-Aware Neural Rendering with Multi-Resolution Hash Encoding for Dynamic Surgical Scene Reconstruction
Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心);ELLIS Unit Helsinki(欧洲学习与智能系统研究所赫尔辛基分部);University of Helsinki(赫尔辛基大学);Institute for Urban Studies (Urbaria)(城市研究所);Institute of Sustainability Science (HELSUS)(可持续发展科学研究所)
本研究提出Endo-NeRF++框架,采用多分辨率哈希编码等技术提升动态手术场景重建精度,其不确定性引导自适应采样在机器人手术视频实验中获多项指标提升。
2026-08-11 cs.CV eess.IV