Two-stream Encoder-Decoder Network for Localizing Image Forgeries
Indian Institute of Technology Guwahati（印度理工学院古瓦哈蒂分校）；Department of Electronics and Electrical Engineering（电子与电气工程系）；Department of Electronics and Electrical Engineering, Indian Institute of Technology Guwahati（电子与电气工程系，印度理工学院古瓦哈蒂分校）；Indian Institute of Technology Guwahati, Assam-781039, India（印度理工学院古瓦哈蒂分校，印度阿萨姆邦-781039）
本文提出了一种新的双流编码器-解码器网络，它利用高级别和低级别的图像特征精确定位伪造区域的操纵图像。这是由伪造创建过程通常将高级伪影（例如，不自然的对比度）和低级伪影（例如，噪声不一致性）引入伪造图像的事实激发的。在所提出的双流网络中，一个流通过在编码器网络的第一层中的一组高通滤波器提取噪声残差来学习编码器侧中的低级操纵相关特征。在第二流中，编码器从输入图像RGB值学习高级图像操作特征。两个编码器的粗特征图由其对应的解码器网络上采样以产生密集特征图。两个流的密集特征图被连接并馈送到具有S形激活的最终卷积层以产生逐像素预测。我们已经进行了实验分析，多个标准的取证数据集，以评估所提出的方法的性能。实验结果表明，相对于国家的最先进的所提出的方法的有效性。
2020-09-27 cs.CV
EVReflex: Dense Time-to-Impact Prediction for Event-based Obstacle Avoidance
University of Surrey（萨里大学）
避障的广泛范围导致了多种基于计算机视觉的方法。尽管它很受欢迎，但它并不是一个解决的问题。传统的使用相机和深度传感器的计算机视觉技术通常专注于静态场景，或者依赖于关于障碍物的先验。生物传感器的最新发展使事件相机成为动态场景的一个引人注目的选择。虽然这些传感器与基于帧的传感器相比具有许多优势，例如高动态范围和时间分辨率，但基于事件的感知在很大程度上仍然是2D的。这通常会导致依赖于逻辑学和特定于特定任务的解决方案。我们发现，融合的事件和深度克服了故障的情况下，每个单独的模态进行避障。我们提出的方法统一了事件摄像机和激光雷达流，以估计度量的影响时间，而无需事先了解场景的几何形状或障碍物。此外，我们还发布了一个广泛的基于事件的数据集，其中包含跨越700多个扫描场景的六个视觉流。
2021-09-01 cs.CV cs.RO
Densely Semantically Aligned Person Re-Identification
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个密集的语义对齐的人重新识别框架。它从根本上解决了身体错位的问题所造成的姿势/视点的变化，不完美的人检测，遮挡等，通过利用密集的语义的人的图像的估计，我们构建了一组密集的语义对齐的部分图像（DSAP图像），其中相同的空间位置具有相同的语义在不同的图像。我们设计了一个双流网络，包括一个主要的完整的图像流（MF-Stream）和一个密集的语义对齐的指导流（DSAG-Stream）。DSAG-Stream以DSAP图像作为输入，充当调节器以引导MF-Stream从原始图像学习密集语义对齐的特征。在推理中，DSAG-Stream被丢弃，而只需要MF-Stream，这使得推理系统的计算效率和鲁棒性。据我们所知，我们是第一个利用细粒度语义来解决re-ID的不对齐问题。我们的方法在CUHK 03数据集上实现了78.9%的rank-1准确率（新协议），在CUHK 01数据集上达到了90.4%，在Market 1501数据集上达到了95.7%，优于最先进的方法。
2019-04-10 cs.CV
Improved Dense Trajectory with Cross Streams
University of Tokyo（东京大学）
改进的密集轨迹（iDT）在动作识别中表现出了很好的性能，它们与双流方法的结合实现了最先进的性能。然而，iDT难以从具有相机抖动的视频中完全去除背景轨迹。在不太区分区域的轨迹应给予适度的权重，以创建更多的歧视性的局部描述符的动作识别。此外，双流方法分别学习外观和运动信息，当从外观网络的空间卷积层提取特征时，无法专注于重要区域中的运动，反之亦然。为了解决上述问题，我们提出了一个新的局部描述符，它将沿着iDT跨越两个网络获得的新卷积层合并在一起。这个新的描述符是通过将从一个网络学习到的判别权重应用到另一个网络的卷积层来计算的。我们的方法在顺序动作识别数据集上实现了最先进的性能，在UCF 101上达到92.3%，在HMDB 51上达到66.2%。
2016-04-29 cs.CV
Joint Event Detection and Description in Continuous Video Streams
Boston University（波士顿大学）；Baidu Research（百度研究院）；University of British Columbia（英属哥伦比亚大学）
密集视频字幕是一个细粒度的视频理解任务，涉及两个子问题：定位长视频流中的不同事件，并为本地化事件生成字幕。我们提出了联合事件检测和描述网络（JEDDi-Net），它解决了密集的视频描述任务的端到端的方式。我们的模型连续编码的输入视频流与三维卷积层，提出了可变长度的时间事件的基础上汇集的功能，并生成他们的字幕。建议特征通过来自共享视频特征编码的3D感兴趣段池在每个建议段内提取。为了明确建模的视觉事件和他们的字幕在一个单一的视频之间的时间关系，我们还提出了一个两级分层字幕模块，跟踪上下文。在大规模的ActivityNet Captions数据集上，JEDDi-Net展示了通过标准指标衡量的改进结果。我们还提出了第一个密集字幕结果的TACoS-MultiLevel数据集。
2018-12-25 cs.CV
Photorealistic Image Reconstruction from Hybrid Intensity and Event based Sensor
Indian Institute of Technology Madras（印度马德拉斯理工学院）
事件传感器以非常高的时间速率输出异步亮度变化流（称为“事件”）。以前的工作恢复丢失的强度信息从事件传感器数据严重依赖于事件流，这使得重建的图像非真实感，也容易受到噪声的事件流。我们建议重建逼真的强度图像从一个混合传感器组成的低帧速率传统的相机，它具有场景的纹理信息，随着事件传感器。为了完成我们的任务，我们通过估计空间密集的场景深度和时间密集的传感器自我运动，将低帧速率强度图像扭曲到事件数据的时间密集位置。从我们的算法获得的结果是更真实的照片相比，任何以前的国家的最先进的算法。我们还证明了我们的算法的鲁棒性突然相机运动和噪声的事件传感器数据。
2019-02-11 cs.CV
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们在这项工作中的目标是训练一个图像描述模型，生成更密集和信息量更大的字幕。我们介绍“关系字幕”，一种新的图像描述任务，其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架，是在多样性和信息量的优势，导致图像理解的基础上的关系。词性（POS，即主语-宾语-谓语类别）标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此，我们提出了一个多任务三流网络（MTTSNet），它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV
Viewpoint Invariant Action Recognition using RGB-D Videos
The University of Western Australia（西澳大利亚大学）
在基于视频的动作识别中，视点变化往往会带来重大挑战，因为相同的动作可能会在不同的视图中出现不同的效果。我们使用来自RGB-D相机的互补RGB和深度信息来解决这个问题。该技术利用两个数据流中的时空信息来提取对视点变化不敏感的动作特征。我们使用RGB数据来计算密集的轨迹，这些轨迹在非线性知识转移模型下被转换为视点不敏感的深度特征。类似地，深度流用于提取基于CNN的视图不变特征，在该特征上计算傅立叶时间金字塔以合并时间信息。来自两个流的异构特征被组合并用作字典来预测测试样本的标签。为此，我们提出了一个稀疏密集的合作表示分类方案，在提取的异构字典的密集和稀疏表示的样本的区分能力之间取得平衡。
2018-01-15 cs.CV
GS2E: Gaussian Splatting is an Effective Data Generator for Event Stream Generation
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Holcombe Department of Electrical and Computer Engineering, Clemson University（克莱姆森大学霍尔科姆电子与计算机工程系）
本研究提出GS2E大规模合成事件数据集，通过3D高斯泼溅重建静态场景并结合物理驱动的事件模拟流水线，生成视角多样、几何一致的事件流，在事件三维重建任务中展现出优异泛化性与基准价值。
2025-05-21 cs.CV
Dense Depth from Event Focal Stack
Keio University（庆应义塾大学）；University of Stuttgart（斯图加特大学）
本研究提出一种基于事件相机焦平面扫描产生的事件流构建事件焦点堆栈、用合成数据训练卷积神经网络实现稠密深度估计的方法，可消除域差距，性能优于图像域离焦深度法。
2024-12-11 cs.AI cs.CV cs.LG
A Coarse-to-Fine Multi-stream Hybrid Deraining Network for Single Image Deraining
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
由于单图像的不适定性质，单图像去伪任务仍然是一个非常具有挑战性的任务。最近，研究人员试图通过训练基于CNN的端到端模型来解决这个问题，但他们仍然无法精确地从下雨的图像中提取负雨条纹，这通常会导致过度降雨或降雨不足的结果。为了解决这个问题，本文提出了一种新的由粗到细的单图像去盲框架，称为多流混合去盲网络（简称MH-DerainNet）。为了更准确地获取训练过程中的负雨纹，我们提出了一个新的模块，称为双路径剩余密集块，即，残差路径和稠密路径。残差路径用于重用以前层的共同特征，而稠密路径可以探索新的特征。此外，为了连接不同的缩放特征，我们还应用了多流的思想，在级联的双路径残差密集块流之间具有捷径。为了获得更清晰的去噪图像，我们结合了SSIM损失和感知损失，以保持每个像素的相似性，以及保持全局结构，使去噪结果更准确。对合成和真实降雨图像的广泛实验表明，我们的MH-DerainNet可以提供比最近几种最先进的方法显着的改进。
2019-08-28 cs.CV eess.IV
PoseAdapter: Dual-Stream 2.5D Controllable Image Generation for Complex Multi-Object Scenes
Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）
PoseAdapter是一种轻量2.5D可控图像生成框架，通过双流表示解决多目标场景属性泄漏问题，构建OrientLayout数据集，在空间精度等指标上优于现有最优方法。
2026-08-18 cs.CV
Two-Stream Appearance Transfer Network for Person Image Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Purdue University（普渡大学）
姿势引导人物图像生成装置，用于以输入人物图像和期望姿势为条件来生成照片真实感人物图像。该任务需要根据目标姿态对源图像进行空间操纵。然而，广泛用于图像生成和翻译的生成对抗网络（GANs）依赖于空间局部和翻译等变算子，即，卷积、池化和解池化，无法处理大的图像变形。本文介绍了一种新的双流外观传输网络（2s-ATN），以应对这一挑战。它是一个多级体系结构，由源流和目标流组成。每一级都有一个外观转换模块和多个双流特征融合模块。前者先找到两个流特征图之间的密集对应关系，然后将表观信息从源流传递到目标流。后者在两个流之间交换本地信息，并补充非本地外观传输。定量和定性的实验结果表明，该算法能够有效地处理大的空间变形和遮挡，同时保持图像的外观细节。它在两个广泛使用的基准测试中优于现有技术。
2020-11-09 cs.CV
Representation Learning on Event Stream via an Elastic Net-incorporated Tensor Network
Dongguan University of Technology（东莞理工学院）；Kennesaw State University（肯尼索州立大学）
本文针对事件相机数据提出融合弹性网络的张量网络模型，通过张量分解捕获事件流全局时空相关性，在噪声过滤等任务中优于现有方法。
2024-01-16 cs.CV
F$^2$ SLAM: Turning Feed-Forward Geometry into Persistent Factors for SLAM
The University of Tokyo（东京大学）；University of Science and Technology of China（中国科学技术大学）；University of Zaragoza（萨拉戈萨大学）；Tohoku University（东北大学）
F2SLAM将前馈几何直接转化为持久稠密因子图中的优化原生测量，通过高低频双流约束位姿与逆深度，在标定和未标定下提升轨迹精度，未标定ATE RMSE降至0.002米。
2026-10-06 cs.CV
Dual-Stream Attention with Multi-Modal Queries for Object Detection in Transportation Applications
LITIV, Polytechnique Montréal（Polytechnique Montréal 的 LITIV）；Data Science Laboratory, Université du Québec (TELUQ)（Université du Québec (TELUQ) 的 Data Science Laboratory）
针对Transformer检测器在遮挡和效率上的不足，提出DAMM框架，采用多模态查询和双流交叉注意力，在四个基准上取得最优AP和召回率。
2025-08-06 cs.CV
Two-Stream Convolutional Networks for Action Recognition in Videos
University of Oxford（牛津大学）
我们研究了用于视频中动作识别的有区别地训练的深度卷积网络（ConvNets）的架构。挑战在于从静止帧和帧之间的运动捕获关于外观的补充信息。我们的目标还包括在数据驱动的学习框架内推广最佳的手工制作功能。我们的贡献是三方面的。首先，我们提出了一个双流ConvNet架构，它结合了空间和时间网络。其次，我们证明了在多帧密集光流上训练的ConvNet能够在有限的训练数据下实现非常好的性能。最后，我们表明，应用于两个不同的动作分类数据集的多任务学习，可以用来增加训练数据的量，并提高两者的性能。我们的架构是在UCF-101和HMDB-51的标准视频动作基准上进行训练和评估的，在这些基准上，它与最先进的技术相比具有竞争力。它也大大超过了以前使用深度网络进行视频分类的尝试。
2014-11-12 cs.CV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University（石溪大学）；Jadavpur University（贾达普大学）；University of Toronto（多伦多大学）；Kyungpook National University（庆北国立大学）
由于标记数据的稀缺性，对比自监督学习（SSL）框架最近在一些医学图像分析任务中显示出巨大的潜力。然而，现有的对比机制是次优的密集像素级分割任务，由于他们无法挖掘本地功能。为此，我们将度量学习的概念扩展到分割任务，使用密集（不）相似性学习来预训练深度编码器网络，并采用半监督范式来微调下游任务。具体来说，我们提出了一个简单的卷积投影头来获得密集的像素级特征，以及一个新的对比损失来利用这些密集的投影，从而改善局部表示。下游任务设计了一个双向一致性正则化机制，包括两个流模型训练。经过比较，我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码：https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Point3R: Streaming 3D Reconstruction with Explicit Spatial Pointer Memory
Department of Automation, Tsinghua University（自动化系，清华大学）
Point3R通过显式空间指针记忆实现高效的流式3D重建，提升密集重建的精度与效率。
2025-11-28 cs.AI cs.CV cs.LG
Dense Relational Image Captioning via Multi-task Triple-Stream Networks
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Dept. of Electrical Engineering and Graduate School of AI (GSAI), POSTECH（浦项科技大学电气工程系与人工智能研究生院）
我们介绍了密集的关系字幕，一种新的图像描述任务，其目的是生成多个字幕相对于视觉场景中的对象之间的关系信息。关系字幕为对象组合之间的每种关系提供了明确的描述。该框架在信息的多样性和数量方面都是有利的，从而导致基于关系的全面图像理解，例如，关系提案生成。对于对象之间的关系理解，词性（POS;即，主语-宾语-谓语类别）可以是有价值的先验信息，以指导字幕中单词的因果序列。我们加强我们的框架，不仅要学习生成标题，还要理解每个单词的词性。为此，我们提出了多任务三流网络（MTTSNet），它由三个负责每个POS的经常性单元组成，通过联合预测每个单词的正确标题和POS来训练。此外，我们发现，MTTSNet的性能可以提高调制对象嵌入与显式关系模块。我们证明，我们提出的模型可以生成更多样化和更丰富的字幕，通过大量的实验分析大规模数据集和几个指标。然后，我们提出的应用程序，我们的框架整体图像描述，场景图生成，检索任务。
2021-10-11 cs.AI cs.CL cs.CV
Learning Monocular Dense Depth from Events
University of Zurich（苏黎世大学）
事件相机是一种新型传感器，它以异步事件流的形式而不是强度帧的形式输出亮度变化。与传统的图像传感器相比，它们具有显著的优势：高时间分辨率、高动态范围、无运动模糊和低得多的带宽。最近，基于学习的方法已被应用于基于事件的数据，从而释放了它们的潜力，并在各种任务中取得了重大进展，例如单目深度预测。大多数现有的方法使用标准的前馈架构来生成网络预测，这不利用事件流中的时间一致性。我们提出了一个经常性的架构来解决这个任务，并显示出显着的改进，标准的前馈方法。特别是，我们的方法使用单目设置生成密集的深度预测，这在以前没有显示过。我们使用一个新的数据集来预训练我们的模型，该数据集包含CARLA模拟器中记录的事件和深度图。我们测试我们的方法上的多车辆立体事件相机数据集（MVSEC）。定量实验表明，与以前的基于事件的方法相比，平均深度误差提高了50%。
2020-10-22 cs.CV cs.LG
HIMMEL: Hierarchical Interleaved Multi-stream Motion Encoding for Long Video Understanding
Tencent（腾讯）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Forestry University（北京林业大学）
HY-Himmel通过分层视频语言框架解决长视频理解中多模态语言模型的三个瓶颈问题，采用轻量级压缩域三流适配器编码密集帧，提升运动感知能力，实验证明其在Video-MME上性能优于32帧基准。
2026-10-16 cs.AI cs.CV
Multi-modal Streaming 3D Object Detection
University of British Columbia（不列颠哥伦比亚大学）
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云，当LiDAR扫描方位角并获取连续的楔形切片时，依次收集点云。全扫描的采集延迟（~ 100 ms）可能导致过时的感知，这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片，并通过重用来自先前切片的特征来补偿切片的窄视场（FOV）。然而，这些工作都是基于一种单一的模式，需要过去的信息，可能已经过时。同时，来自高频相机的图像可以支持流式模型，因为与LiDAR切片相比，它们提供了更大的FoV。然而，FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距，我们提出了一个创新的相机激光雷达流3D目标检测框架，使用相机图像，而不是过去的激光雷达切片，提供一个最新的，密集的，广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器，同时速度更快。我们的方法被证明是强大的丢失的相机图像，窄的激光雷达切片，和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
RSI-Net: Two-Stream Deep Neural Network for Remote Sensing Imagesbased Semantic Segmentation
Jiangsu Ocean University（江苏海洋大学）；Dalhousie University（达尔豪斯大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）
在遥感图像语义分割中，表征能力和定位精度之间的权衡是非常重要的。如何有效地进行权衡是一个悬而未决的问题，目前利用非常深的模型的方法会导致复杂的模型和大量的内存消耗。与以前利用扩张卷积或深度模型的工作相比，我们提出了一种新的双流深度神经网络用于RSI的语义分割（RSI-Net），通过有效地建模和传播空间上下文结构以及图像级和图形级组合的解码方案来提高性能。第一部分利用图卷积网络对相邻土地覆盖之间的相关性进行显式建模，并对任意不规则的图像区域进行灵活的卷积，而具有多尺度无结构卷积的密集连接无结构卷积网络（DenseAtrousCNet）可以扩展感受野，获得图像的全局信息。在Vaihingen、Potsdam和Gaofen RSI数据集上进行了大量的实验，比较结果表明RSI-Net在整体精度方面具有优越的性能（三个数据集分别为91.83%、93.31%和93.67%），F1评分（在三个数据集上分别为90.3%、91.49%和89.35%）和kappa系数（在三个数据集上分别为89.46%、90.46%和90.37%）。
2022-04-01 cs.AI cs.CV
Learning monocular visual odometry with dense 3D mapping from dense 3D flow
University of Birmingham（伯明翰大学）；University of Lincoln（林肯大学）；Toshiba Research Europe（东芝欧洲研究院）
本文介绍了一种用于单目SLAM的完全深度学习方法，该方法可以使用神经网络来学习视觉里程计（L-VO）和密集3D映射来执行同时定位。通过子网络从单眼图像生成密集2D流和深度图像，然后由L-VO网络中的3D流关联层使用以生成密集3D流。给定该3D流，双流L-VO网络然后可以预测6DOF相对位姿并且进一步重建车辆轨迹。为了学习运动方向之间的相关性，在损失函数中采用双变量高斯建模。在KITTI里程计基准测试中，L-VO网络的平均平移误差和平均旋转误差的总体性能分别为2.68%和0.0143 deg/m。此外，学习的深度被充分利用来生成密集的3D地图。因此，一个完整的视觉SLAM系统，即学习单目测距结合密集的3D映射，实现。
2018-07-25 cs.CV cs.RO
Contrast-Oriented Deep Neural Networks for Salient Object Detection
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
深度卷积神经网络已成为最近显著目标检测突破的关键要素。然而，现有的基于CNN的方法是基于分块（区域）训练和推理或完全卷积网络。前一类的方法通常是耗时的，由于严重的存储和计算重叠补丁之间的冗余。为了克服这一缺陷，第二类方法试图在单个网络前向传递中将原始输入图像直接映射到预测的密集显着图。这些方法虽然效率很高，但对于不同尺度的显著对象或语义信息较弱的显著区域的检测比较困难。在本文中，我们开发了混合对比度导向的深度神经网络来克服上述限制。我们的每个深度网络都由两个互补的组件组成，包括用于密集预测的完全卷积流和用于稀疏显着性推理的分段级空间池化流。我们进一步提出了一个注意力模块，学习权重图，用于融合来自这两个流的两个显着性预测。设计了一种定制的替代方案，通过微调预训练的基线模型来训练这些深度网络。最后，可以可选地应用包含显著轮廓特征嵌入的定制的完全连接的CRF模型作为后处理步骤，以改善来自这两个流的融合结果中的空间相干性和轮廓定位。在六个基准数据集上进行的大量实验表明，我们提出的模型在所有流行的评估指标方面都可以显着优于现有技术。
2018-03-30 cs.CV cs.LG cs.NE
