Temporal Reversal Regularization for Spiking Neural Networks: Hybrid Spatio-Temporal Invariance for Generalization
University of Electronic Science and Technology of China（电子科技大学）
本文提出时间反转正则化（TRR），通过时间反转扰动和星形运算特征混合学习时空不变表示，缓解SNN过拟合并提升泛化性能，在静态/神经形态识别和三维点云分类任务中验证了有效性与鲁棒性。
2025-03-10 cs.AI cs.CV
Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction
University of Shanghai for Science and Technology（上海理工大学）；Capital One（第一资本）
针对长期交通预测中动态时空依赖难捕捉的问题，提出融合混合Transformer、切比雪夫图卷积与两项时空自监督学习任务的模型，经自适应数据增强提升鲁棒性，在PeMS04、PeMS08数据集上表现更优。
2024-01-29 cs.AI cs.LG
Adaptive Hybrid Spatial-Temporal Graph Neural Network for Cellular Traffic Prediction
China Mobile Research Institute（中国移动研究院）
蜂窝业务量预测是智能通信网中不可缺少的一部分。然而，由于频繁的用户移动性和复杂的网络调度机制，蜂窝业务往往继承复杂的时空模式，使得预测令人难以置信的挑战。虽然最近的先进算法，如基于图的预测方法已被提出，他们经常模型的空间依赖性的基础上静态或动态图，并忽略了共存的多种空间相关性引起的流量生成。同时，一些研究工作缺乏对蜂窝业务模式多样性的考虑，导致预测结果不理想。在本文中，我们提出了一种新的深度学习网络架构，自适应混合时空图神经网络（AHSTGNN），以解决蜂窝流量预测问题。首先，我们应用自适应混合图学习来学习蜂窝塔之间的复合空间相关性。其次，我们实现了一个时间卷积模块与多周期的时间数据输入，以捕捉非线性的时间依赖性。此外，我们引入了一个额外的时空自适应模块来克服蜂窝塔的异构性。我们在两个真实世界的蜂窝流量数据集上的实验表明，AHSTGNN的性能明显优于最先进的技术，说明了我们的时空蜂窝流量预测方法的优越可扩展性。
2023-02-28 cs.AI cs.LG cs.NI
Breaking Down Monocular Ambiguity: Exploiting Temporal Evolution for 3D Lane Detection
SKL-IOTSC, CIS, University of Macau（智能物联网系统研究中心（SKL-IOTSC）、计算机信息科学系（CIS）、澳门大学）
针对单帧输入固有歧义导致3D车道检测几何预测不准和完整性差的问题，提出GTA-Net，通过TGEM模块从连续帧恢复深度信息构建3D场景，并利用TIQG模块合成伪未来视角生成查询以增强车道完整性，取得了新的SoTA。
2025-11-05 cs.CV
LaneTCA: Enhancing Video Lane Detection with Temporal Context Aggregation
National Engineering Laboratory for Brain-Inspired Intelligence Technology and Application（类脑智能技术与应用国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
针对视频车道检测中连续帧时间上下文挖掘不足的问题，提出LaneTCA框架，基于transformer架构设计累积注意力与相邻注意力模块分别提取长短期时间上下文，并与当前帧特征融合预测车道线，在多个基准上取得SOTA表现。
2024-08-25 cs.CV
SparseLaneSTP: Leveraging Spatio-Temporal Priors with Sparse Transformers for 3D Lane Detection
Bosch Mobility Solutions, Robert Bosch GmbH（博世移动解决方案，罗伯特·博世有限公司）；Institute of Neuro- and Bioinformatics, University of Lübeck（神经与生物医学研究所，吕贝克大学）；Institute for Signal Processing and System Theory, University of Stuttgart（信号处理与系统理论研究所，斯图加特大学）
SparseLaneSTP通过整合车道结构的几何属性和时间信息，利用稀疏变换器和时空注意力机制，提升3D车道检测的精度和一致性。
2026-01-08 cs.CV
Ultra Fast Deep Lane Detection with Hybrid Anchor Driven Ordinal Classification
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海高等研究院）；Zhejiang–Singapore Innovation and AI Joint Research Lab（浙江-新加坡创新与人工智能联合实验室）
现代方法主要将车道检测视为逐像素分割的问题，其难以解决效率问题和具有挑战性的场景，如严重遮挡和极端光照条件。受人类感知的启发，严重遮挡和极端光照条件下的车道识别主要基于上下文和全局信息。出于这一观察，我们提出了一种新的，简单的，但有效的配方，针对超快的速度和具有挑战性的情况下的问题。具体来说，我们把车道检测的过程作为一个锚驱动的顺序分类问题，使用全球功能。首先，我们用一系列混合（行和列）锚点上的稀疏坐标表示车道。在锚点驱动表示的帮助下，我们将车道检测任务转化为一个有序分类问题，以获得车道的坐标。我们的方法可以显着降低锚驱动表示的计算成本。利用有序分类公式的大感受野特性，我们也可以处理具有挑战性的场景。在四个车道检测数据集上的大量实验表明，我们的方法在速度和准确性方面都可以达到最先进的性能。轻量级版本甚至可以达到每秒300帧以上（FPS）。我们的代码在https://github.com/cfzd/Ultra-Fast-Lane-Detection-v2。
2022-06-15 cs.CV
Jointly Learning Spatial, Angular, and Temporal Information for Enhanced Lane Detection
本文提出联合利用光场成像中的空间、角度与时间信息，结合二维光场表示、LSTM和改进CNN，在困难条件下显著提升车道检测性能，为自动驾驶感知提供新思路。
2024-05-05 cs.CV
Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation
MSRA（微软亚洲研究院）
最近，基于变换的图像分割方法相对于以前的解决方案取得了显著的成功。而对于视频领域，如何有效地建模时间上下文的对象实例的注意力跨帧仍然是一个悬而未决的问题。在本文中，我们提出了一个在线视频实例分割框架与一个新的实例感知的时间融合方法。我们首先利用表示，即，全局上下文中的潜在代码（实例代码）和CNN特征映射来表示实例级和像素级特征。基于这种表示，我们引入了一个裁剪自由的时间融合方法来模拟视频帧之间的时间一致性。具体而言，我们在实例代码中编码全局实例特定信息，并在实例代码和CNN特征图之间建立具有混合注意力的帧间上下文融合。实例代码之间的帧间一致性通过顺序约束进一步加强。通过利用学习的混合时间一致性，我们能够直接检索和维护跨帧的实例身份，消除了先前方法中复杂的逐帧实例匹配。在流行的VIS数据集上进行了广泛的实验，即Youtube-VIS-19/21。我们的模型在所有在线VIS方法中实现了最佳性能。值得注意的是，当使用ResNet-50主干时，我们的模型也使所有离线方法黯然失色。
2022-06-06 cs.CV
Lane Detection Model Based on Spatio-Temporal Network With Double Convolutional Gated Recurrent Units
Southwest Jiaotong University（西南交通大学）
车道检测是自动驾驶环境感知不可或缺的关键要素之一。已经提出了许多车道检测模型，解决了具有挑战性的条件下的车道检测，包括交叉口合并和分裂，曲线，边界，遮挡和场景类型的组合。然而，车道检测在未来一段时间内仍将是一个悬而未决的问题。能否很好地应对这些具有挑战性的场景极大地影响了车道检测在高级驾驶员辅助系统（ADAS）中的应用。本文提出了一种具有双卷积门控递归单元（ConvGRUs）的时空网络来解决具有挑战性场景中的车道检测问题。这两个ConvGRU具有相同的结构，但在我们的网络中具有不同的位置和功能。一种是用于提取最可能的低层次特征的车道线的信息。提取的特征在与一些块的输出连接后输入到端到端网络的下一层。另一种是以连续帧为输入，对时空驱动信息进行处理。在大规模TuSimple车道标记挑战数据集和无监督LLAMAS数据集上的实验表明，该模型能够有效地检测具有挑战性的驾驶场景中的车道。我们的模型可以优于最先进的车道检测模型。
2021-02-27 cs.CV
Temporally Consistent Referring Video Object Segmentation with Hybrid Memory
The University of Western Australia（西澳大学）；Griffith University（格里菲斯大学）；University of Central Florida（中佛罗里达大学）
提出一种端到端R-VOS范式，通过引入混合内存促进帧间协作以实现稳健的时空匹配与传播，并采用MCS指标评估，大幅提升了时间一致性，在Ref-YouTube-VOS和Ref-DAVIS17基准上取得顶尖性能。
2024-10-11 cs.CV
Dense Hybrid Proposal Modulation for Lane Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
针对现有车道线检测方法对候选框稀疏监督导致整体质量差的问题，提出密集混合候选框调制方法，通过全候选框约束、匹配算法、形状多样化及质量感知损失提升性能，在多基准上优于基线且不增参减速。
2023-04-28 cs.CV
Fine-Grained Traffic Inference from Road to Lane via Spatio-Temporal Graph Node Generation
Fudan University（复旦大学）；Zhuhai Fudan Innovation Research Institute（珠海复旦创新研究院）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Guangzhou University（广州大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出FRTI任务，将车道级交通推断建模为时空图节点生成问题，并设计两阶段RoadDiff框架，利用道路-车道关联与车道扩散从有限道路数据推断细粒度车道状态。
2025-07-25 cs.AI cs.CV
Temporal-Anchor3DLane: Enhanced 3D Lane Detection with Multi-Task Losses and LSTM Fusion
Department of Computer Science and Engineering（计算机科学与工程系）；National Institute of Technology Karnataka (NITK)（卡纳塔克国家理工学院）
Temporal-Anchor3DLane通过多任务损失和LSTM融合提升3D车道检测的鲁棒性
2025-12-05 cs.CV
A Spatio-Temporal Hybrid Quantum-Classical Graph Convolutional Neural Network Approach for Urban Taxi Destination Prediction
University of Electronic Science and Technology of China（电子科技大学）；Henan University（河南大学）；Henan Academy of Sciences（河南省科学院）
本文提出一种结合量子计算和经典深度学习的混合时空图卷积网络，用于提升城市出租车目的地预测的精度和稳定性。
2025-12-15 cs.AI quant-ph
CurveFormer++: 3D Lane Detection by Curve Propagation with Temporal Curve Queries and Attention
University of Science and Technology of China（中国科学技术大学）；NullMax；School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）
提出单阶段Transformer方法CurveFormer++，通过曲线传播、曲线交叉注意力及时序融合直接从透视图像特征检测3D车道，避免视图转换，并在两个真实数据集上取得优异性能。
2025-03-16 cs.CV
FASTopoWM: Fast-Slow Lane Segment Topology Reasoning with Latent World Models
FNii, CUHK-Shenzhen（CUHK-Shenzhen研究院）；SSE, CUHK-Shenzhen（CUHK-Shenzhen学院）；T Lab, Tencent（腾讯实验室）
针对现有车道拓扑推理方法时序信息利用不足等问题，提出FASTopoWM框架，通过快慢流设计及隐式世界模型增强时序传播，在OpenLane-V2基准上提升车道段检测与中心线感知性能。
2025-11-12 cs.CV
DiffusionLane: Diffusion Model for Lane Detection
本文提出DiffusionLane，一种将车道检测视为参数空间去噪扩散过程的新模型，通过混合解码器和辅助头提升性能，在多个基准上超越现有方法。
2025-10-25 cs.CV
SC-Lane: Slope-aware and Consistent Road Height Estimation Framework for 3D Lane Detection
Seoul National University（首尔国立大学）；Hyundai Motor Group（现代汽车集团）
本文提出SC-Lane框架，通过坡度感知自适应特征模块和高度一致性模块实现动态多坡度特征融合与连续帧时间连贯性，显著提升了3D车道线检测中的道路高度估计精度，在OpenLane基准上达到64.3%的F-score最优性能。
2025-08-14 cs.CV
Online Lane Graph Extraction from Onboard Video
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本研究提出基于车载视频在线提取车道图的方法，通过显式BEV投影和逐帧特征对齐实现早期时间聚合，在Nuscenes和Argoverse数据集上验证了其优越性。
2023-04-03 cs.CV
Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks
Wuhan University（武汉大学）；Sun Yat-Sen University（中山大学）
驾驶场景中的车道检测是自动驾驶汽车和高级驾驶辅助系统的重要模块。近年来，已经提出了许多复杂的车道线检测方法。然而，大多数的车道线检测方法都是从一幅图像中提取车道线，在处理阴影严重、标记退化严重、车辆遮挡严重等极端恶劣的情况时往往效果不佳。因此，在一个当前帧中不能准确检测到的车道可能通过合并先前帧的信息而被推断出。为此，我们通过使用连续驾驶场景的多帧来研究车道检测，并通过结合卷积神经网络（CNN）和递归神经网络（RNN）提出了一种混合深度架构。具体地说，每个帧的信息被一个CNN块抽象出来，多个连续帧的CNN特征，保持时间序列的属性，然后被送入RNN块进行特征学习和车道预测。在两个大规模数据集上的实验表明，该方法在车道线检测中，特别是在处理困难的情况下，优于竞争的方法。
2020-04-29 cs.CV
Learning a Model for Inferring a Spatial Road Lane Network Graph using Self-Supervision
Tier IV Inc.（Tier IV公司）；Institute of Innovation for Future Society, Nagoya University（名古屋大学未来社会创新研究所）；Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
相互连接的道路车道是城市道路导航的核心概念。目前，大多数自动驾驶车辆依赖于预先构建的车道地图，因为设计算法模型很困难。然而，这种地图的生成和维护成本高昂，阻碍了自动驾驶汽车技术的大规模采用。本文提出了第一个自监督学习方法来训练一个模型来推断一个空间接地车道级道路网络图的基础上，从车载传感器产生的道路场景的密集分段表示。一个正式的道路车道网络模型，并证明了任何结构化的道路场景可以表示为一个有向无环图的深度最多为3，同时保留交叉区域的概念，这是最压缩的表示。形式化模型是由一个混合神经和搜索为基础的模型，利用一种新的障碍函数损失制定的鲁棒学习部分标签。对所有常见的道路交叉口布局进行了实验。结果表明，该模型可以推广到新的道路布局，与以前的方法不同，展示了其作为一个实际的基于学习的车道级地图生成器的现实世界中的应用潜力。
2021-07-05 cs.CV cs.LG stat.ML
Stay in your Lane: Role Specific Queries with Overlap Suppression Loss for Dense Video Captioning
Konkuk University（韩国康 kuk 大学）；Sejong University（世宗大学）；KAIST（韩国科学技术院）
本文提出角色特定查询与重叠抑制损失，用于解决密集视频描述中的多任务干扰和时间冗余问题，通过分离定位与描述任务并增强语义一致性，提升描述精度。
2026-03-12 cs.CV
Pandar128 dataset for lane line detection
Department of Cybernetics（控制学系）；New Technologies for the Information Society（信息社会新技术）
本文发布最大的128线激光雷达车道线检测数据集Pandar128，并提出轻量级基线方法SimpleLidarLane及新的插值感知匹配F1评估指标，以标准化评测并提升车道线检测性能。
2025-11-10 cs.AI cs.CV
FastDraw: Addressing the Long Tail of Lane Detection by Adapting a Sequential Prediction Network
在为自动驾驶汽车开发数据驱动模型时，寻找推广到传感器输入长尾的预测模型是一个核心难点。在本文中，我们使用车道检测来研究建模和训练技术，从而在现实世界的试驾中获得更好的性能。在建模方面，我们引入了一种新的车道检测的全卷积模型，该模型学习解码车道结构，而不是将结构推理委托给后处理。与以前的工作相比，我们的卷积解码器能够表示每个图像的任意数量的通道，保留通道的递归表示而不将通道减少到多项式，并且迭代地绘制通道而不需要递归神经网络的计算和时间复杂性。因为我们的模型包括属于同一车道的相邻像素的联合分布的估计，所以我们的公式包括不确定性的自然和计算成本低的定义。在训练方面，我们展示了一种简单而有效的方法，可以使用无监督的风格转换来使模型适应新的环境。通过训练FastDraw对图像之间的低层次风格差异进行不变的车道结构预测，我们在测试时在天气和照明条件下实现了强大的性能，这些条件与公开可用的注释数据集有很大差异。我们在CVPR 2017 Tusimple车道标记挑战赛、困难的CULANE数据集和我们自己的一个小标记数据集上定量评估了我们的方法，并在90 FPS下运行时实现了具有竞争力的准确性。
2019-05-14 cs.CV
LATR: 3D Lane Detection from Monocular Images with Transformer
CUHK-Shenzhen（香港中文大学（深圳））；Tencent Map（腾讯地图）
针对单目3D车道线检测中视图转换错位的问题，提出LATR端到端模型，通过车道感知查询生成器和动态3D地面位置嵌入构建交叉注意力的查询与键值对，在多个基准数据集上实现性能大幅提升。
2023-08-20 cs.CV
Ego-Lane Analysis System (ELAS): Dataset and Algorithms
在过去的二十年里，视觉传感器成本的降低和嵌入式硬件的进步推动了车道相关研究的检测、估计和跟踪。随着对高级驾驶员辅助系统（ADAS）和自动驾驶汽车的需求，对这一主题的兴趣进一步增加。尽管独立地进行了广泛的研究，但是仍然需要针对与自我车道相关的多个问题提出组合解决方案的研究，所述多个问题诸如车道偏离警告（LDW）、车道变换检测、车道标记类型（LMT）分类、道路标记检测和分类以及相邻车道（即，直接左和右车道）存在。在本文中，我们提出了一个实时自我车道分析系统（ELAS）能够估计自我车道位置，分类LMT和道路标记，执行LDW和检测车道变换事件。所提出的基于视觉的系统工作在图像的时间序列上。车道标记特征提取的角度和反向透视映射（IPM）的图像相结合，以增加鲁棒性。最终估计的车道被建模为样条使用的方法的组合（霍夫线与卡尔曼滤波器和样条与粒子滤波器）。基于估计的车道，检测所有其他事件。为了验证ELAS并弥补文献中车道数据集的不足，一个新的数据集包含20多个不同的场景（超过15，000帧），并考虑了各种场景（城市道路，高速公路，交通，阴影等）。被创造出来。该数据集被手动注释并公开提供，以便能够评估研究界感兴趣的几个事件（即，车道估计、改变和居中;道路标记;交叉口; LMT;人行横道和相邻车道）。ELAS在所有真实世界事件中实现了高检测率，并被证明可以用于实时应用。
2018-06-15 cs.CV
WASABI: Whole-graph Assignment-based Stabilizer for lAne topology By Inter-frame tracking
研究针对自动驾驶中车道拓扑感知模型输出不稳定问题，提出WASABI实时后处理管道，通过联合跟踪车道段及其连通性，集成多种技术，在内部验证数据上提升了检测F1等指标，实现帧内和帧间车道拓扑稳定。
2026-07-23 cs.CV
Tackling Snow-Induced Challenges: Safe Autonomous Lane-Keeping with Robust Reinforcement Learning
Department of Electrical Engineering, Amirkabir University of Technology（电气工程系，阿米尔卡比尔技术大学）；Department of Mechanical Engineering, Amirkabir University of Technology（机械工程系，阿米尔卡比尔技术大学）
本文提出两种基于鲁棒强化学习的算法，用于提升自动驾驶车辆在雪地条件下的车道保持性能，通过结合时间记忆、对抗鲁棒性和注意力机制提高路径跟踪的准确性和稳定性。
2025-12-15 cs.AI cs.CV cs.LG
BLIP-FusePPO: A Vision-Language Deep Reinforcement Learning Framework for Lane Keeping in Autonomous Vehicles
Department of Electrical Engineering, Amirkabir University of Technology (Tehran Polytechnic)（电气工程系，阿米尔卡比尔技术大学（德黑兰理工大学））
提出BLIP-FusePPO框架，将视觉-语言模型语义特征直接融合进强化学习状态表示，结合混合奖励函数，提升自动驾驶车道保持的稳定性和适应性。
2025-10-25 cs.AI cs.CV cs.LG
Cyclical Temporal Encoding and Hybrid Deep Ensembles for Multistep Energy Forecasting
Talan Research Center（塔兰研究中心）
本文提出了一种结合循环时间编码与混合深度集成的统一框架，用于提升多步能量预测的准确性。
2025-12-03 cs.CV cs.LG
HybridGait: A Benchmark for Spatial-Temporal Cloth-Changing Gait Recognition with Hybrid Explorations
ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
针对现有步态识别基准缺乏跨时空外观持久变化的问题，提出了首个自然场景换衣步态识别基准CCGait，并设计了混合框架HybridGait，通过结合时间动态与3D人体网格投影信息，在CCGait和Gait3D基准上取得优于先前工作的性能。
2023-12-30 cs.CV
Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute, CUHK（香港中文大学T石机器人研究所）
实时手术时相识别是现代手术室中的一项基本任务。以前的作品解决这个任务依赖于安排在时空顺序的架构，但是，中间空间功能的支持性的好处没有被考虑。在本文中，我们介绍，第一次在手术工作流程分析，Transformer重新考虑被忽视的互补作用的空间和时间的功能，准确的手术阶段识别。我们的混合嵌入聚合Transformer融合了巧妙设计的空间和时间嵌入，允许基于时间嵌入序列的空间信息进行主动查询。更重要的是，我们的框架并行处理混合嵌入，以实现高推理速度。我们的方法在两个大型手术视频数据集上进行了彻底验证，即，Cholec80和M2CAI 16挑战数据集，并以91 fps的处理速度优于最先进的方法。
2021-07-12 cs.AI cs.CV
A Hybrid Attention Mechanism for Weakly-Supervised Temporal Action Localization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；JD Digits AI Lab（京东数字科技AI实验室）
由于训练视频中缺乏动作的真实时间位置，弱监督时间动作定位是一项具有挑战性的视觉任务。在训练过程中只有视频级别的监督，大多数现有方法依赖于多实例学习（MIL）框架来预测视频中每个动作类别的开始和结束帧。然而，现有的基于军事情报的方法有一个主要的局限性，即只捕捉最具歧视性的行动框架，忽略了活动的全部范围。此外，这些方法不能有效地建模背景活动，这在定位前景活动中起着重要作用。在本文中，我们提出了一种新的框架命名为HAM-Net的混合注意力机制，其中包括时间软，半软和硬注意力来解决这些问题。我们的时间软注意模块，在分类模块中的辅助背景类的指导下，通过为每个视频片段引入“动作性”分数来模拟背景活动。此外，我们的时间半软和硬注意力模块，为每个视频片段计算两个注意力分数，有助于专注于动作的歧视性较低的帧，以捕捉完整的动作边界。我们提出的方法在THUMOS 14数据集上的IoU阈值为0.5时至少比最近的最先进方法高出2.2%mAP，在ActivityNet1.2数据集上的IoU阈值为0.75时至少高出1.3%mAP。代码可以在https://github.com/asrafulashiq/hamnet上找到。
2021-03-24 cs.AI cs.CV
Hybrid Diffusion: Spectral-Temporal Graph Filtering for Manifold Ranking
CTU in Prague（捷克布拉格技术大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与系统研究所）
最先进的图像检索性能的实现与CNN功能和流形排名使用的k-NN相似性图，预先计算离线。现有的两种最成功的方法是时间滤波，其中流形排名相当于在线求解稀疏线性系统，和谱滤波，其中离线执行邻接矩阵的特征分解，然后流形排名相当于在线点积搜索。前者遭受昂贵的查询和后者从显着的空间开销。在这里，我们介绍了一种新的，理论上有根据的混合滤波方法，允许完全控制这两个极端之间的时空权衡。实验上，我们验证了我们的混合方法提供的结果与最先进的水平，与光谱滤波方法相比，内存需求更低，与时间滤波相比，速度更快。
2018-11-22 cs.CV
A Hybrid Approach to Temporal Pattern Matching
IBM Research Dublin, Ireland（爱尔兰都柏林IBM研究）；Dept. of Computer Science & Engineering University of Ioannina, Greece（希腊约阿尼纳大学计算机科学与工程系）
图模式匹配的主要目标是在大型数据图中找到输入图模式查询的所有外观。这种现象被称为匹配。在本文中，我们感兴趣的是在时间图中找到匹配的交互模式。为此，我们提出了一种混合的方法，实现有效的过滤潜在的匹配的基础上的结构和时间。我们的方法利用了一个图形表示，其中边按时间排序。我们提出了真实数据集的实验，说明我们的方法的效率。
2020-01-24 cs.CV cs.DS
Homography Guided Temporal Fusion for Road Line and Marking Segmentation
Data61, CSIRO（Data61（联邦科学与工业研究组织下属机构））；Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）
针对道路标线标记易遮挡的问题，提出单应性引导的时序融合模块，结合表面法向量估计实现轻量像素级融合，在多个数据集上以极低参数量超越现有SOTA模型，且具通用性。
2024-04-11 cs.CV
HySTER: A Hybrid Spatio-Temporal Event Reasoner
Imperial College London（帝国理工学院）
视频问答（VideoQA）的任务是回答关于视频的自然语言问题，并作为一个代理来评估模型在场景序列理解中的性能。目前为VideoQA设计的大多数方法都是端到端的深度学习架构，这些架构在复杂的时间和因果推理中苦苦挣扎，并且在推理步骤中提供有限的透明度。我们提出了HySTER：一个混合时空事件推理器，用于推理视频中的物理事件。我们的模型利用深度学习方法的优势，在答案集编程框架中利用符号人工智能的推理能力和可解释性从视频帧中提取信息。我们定义了一个方法的基础上一般的时间，因果关系和物理规则，可以跨任务转移。我们将我们的模型应用于CLEVRER数据集，并在问答准确性方面展示了最先进的结果。这项工作为将归纳逻辑程序设计纳入VideoQA领域奠定了基础。
2021-01-17 cs.AI cs.CL cs.CV
STH: Spatio-Temporal Hybrid Convolution for Efficient Action Recognition
Xi’an Jiaotong University（西安交通大学）；Tencent AI Lab（腾讯人工智能实验室）；Australian National University（澳大利亚国立大学）
有效的时空建模是动作识别的关键。现有的方法遭受模型性能和模型复杂性之间的权衡。在本文中，我们提出了一种新的时空混合卷积网络（表示为“STH”），同时编码空间和时间的视频信息与一个小的参数成本。与现有的用不同卷积层顺序或连续提取空间和时间信息的工作不同，我们将输入通道分成多个组，并在一个卷积层中交织空间和时间操作，深度融合了空间和时间线索。这样的设计使得能够进行有效的时空建模并且保持小的模型规模。STH-Conv是一个通用的构建块，可以通过替换传统的2D-Conv块（2D卷积）插入到现有的2D CNN架构中，如ResNet和MobileNet。STH网络在诸如Something-Something（V1和V2）、Jester和HMDB-51等基准数据集上实现了具有竞争力甚至更好的性能。此外，STH具有优于3D CNN的性能，同时保持比2D CNN更小的参数成本。
2020-03-18 cs.CV
Hybrid Architecture for Real-Time Video Anomaly Detection: Integrating Spatial and Temporal Analysis
Paris 8 University（巴黎第八大学）
本文受人类行为启发提出实时视频异常检测混合架构，整合基于VGG19+GRU的时间分析与YOLOv7的空间分析，支持并行或串行配置，通过实验比较配置并评估方法有效性。
2024-11-29 cs.CV
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation
University of Rochester（罗切斯特大学）
近年来，动作分割作为构建自动系统以理解未修剪视频的里程碑受到了相当大的关注。它通常被建模为序列标记问题，但包含与文本解析或语音处理相比的内在和充分的差异。在本文中，我们介绍了一种新的混合时间卷积和递归网络（TricorNet），它具有编码器-解码器架构：编码器由一个层次的时间卷积内核组成，可以捕获不同动作的局部运动变化;解码器是一个层次的递归神经网络，能够在编码阶段之后学习和记忆长期动作依赖关系。我们的模型很简单，但在视频序列标记方面非常有效。在三个公共行为分割数据集上的实验结果表明，该模型的性能优于现有技术。
2017-05-22 cs.CV
GeThR-Net: A Generalized Temporally Hybrid Recurrent Neural Network for Multimodal Information Fusion
Xerox Research Centre India（施乐印度研究中心）；Amazon Development Center India（亚马逊印度研发中心）
从真实世界事件生成的数据通常是时间性的，并且包含多模态信息，例如音频、视觉、深度、传感器等，这些信息需要被智能地组合以用于分类任务。在本文中，我们提出了一种新的广义深度神经网络架构，其中组合了来自多种模态的时间流。在所提出的网络中总共有M+1个（M是模态的数量）组件。第一个组成部分是一个新的时间混合循环神经网络（RNN），利用互补性质的多模态时间信息，允许网络学习模态特定的时间动态以及在多模态特征空间的动态。M个额外的组件被添加到网络中，从每个模态中提取有区别的但非时间的线索。最后，使用一组自动学习的权重线性组合来自所有这些组件的预测。我们在三个不同的数据集上进行了详尽的实验，涵盖了四种模式。对于UCF-101、CCV和Multimodal Gesture数据集，该网络分别比性能最好的时间多模态基线好3.5%、5.7%和2%。
2016-09-17 cs.CV
HyRSM++: Hybrid Relation Guided Temporal Set Matching for Few-shot Action Recognition
Alibaba Group（阿里巴巴集团）；Twitter（推特）；Huazhong University of Science and Technology（华中科技大学）
最近的尝试主要集中在情景元学习机制下单独学习每个视频的深度表示，然后执行时间对齐以匹配查询和支持视频。然而，他们仍然遭受两个缺点：（i）学习个别的功能，而不考虑整个任务可能会导致有限的表示能力，和（ii）现有的对齐策略是敏感的噪声和未对齐的实例。为了解决这两个问题，本文提出了一种新的混合关系引导的时间集匹配（HyRSM++）方法用于Few-Shot动作识别。HyRSM++的核心思想是整合任务中的所有视频，以学习区分性表示并涉及强大的匹配技术。具体来说，HyRSM++包括两个关键组件，一个混合关系模块和一个时间集匹配度量。给定来自特征提取器的基本表示，引入混合关系模块以充分利用情节任务中的视频内和跨视频的关联关系，从而可以学习特定于任务的嵌入。随后，在时间集合匹配度量中，我们从集合匹配的角度进行查询和支持视频之间的距离度量，并设计了一个双MHM，以提高对未对齐实例的弹性。此外，我们明确地利用视频中的时间相干性来正则化匹配过程。此外，我们扩展了建议HyRSM++处理更具挑战性的半监督Few-Shot动作识别和无监督Few-Shot动作识别任务。多个基准测试的实验结果表明，我们的方法实现了国家的最先进的性能在各种Few-Shot设置。源代码可在https://github.com/alibaba-mmai-research/HyRSMPlusPlus上获得。
2023-01-09 cs.CV
Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification
Fudan University（复旦大学）
根据内容语义对视频进行分类是具有广泛应用的重要问题。在本文中，我们提出了一种用于视频分类的混合深度学习框架，该框架能够对视频中的静态空间信息、短期运动以及长期时间线索进行建模。具体而言，空间和短期运动特征分别提取两个卷积神经网络（CNN）。然后，这两种基于CNN的特征被组合在一个正则化的特征融合网络中进行分类，该网络能够学习和利用特征关系来提高性能。此外，长短期记忆（LSTM）网络被应用于这两个特征之上，以进一步对较长期的时间线索进行建模。这项工作的主要贡献是混合学习框架，可以模拟视频数据的几个重要方面。我们还表明，（1）在正则化融合网络中结合空间和短期运动特征优于使用具有softmax层的CNN的直接分类和融合，以及（2）基于序列的LSTM与传统的分类策略高度互补，而不考虑时间帧顺序。广泛的实验进行了两个流行的和具有挑战性的基准，UCF-101人的行动和哥伦比亚消费者视频（CCV）。在这两个基准测试中，我们的框架实现了迄今为止最好的报告性能：UCF-101上的$91.3\%$和CCV上的$83.5\%$。
2015-04-07 cs.CV cs.MM
