MVFusion: Multi-View 3D Object Detection with Semantic-aligned Radar and Camera Fusion
Zongmu Technology(纵目科技);Fudan University(复旦大学)
多视角雷达-摄像头融合的3D目标检测为自动驾驶提供了更远的检测范围和更有用的功能,特别是在恶劣天气下。现有的雷达-摄像机融合方法提出了多种融合雷达信息和摄像机数据的设计方案。然而,这些融合方法通常采用多模态特征之间的直接连接操作,这忽略了与雷达特征的语义对齐和模态之间的足够相关性。在本文中,我们提出了MVFusion,一种新的多视角雷达相机融合方法,以实现语义对齐的雷达功能,并加强跨模态信息的交互。为了实现这一点,我们通过语义对齐雷达编码器(SARE)将语义对齐注入到雷达特征中,以产生图像引导的雷达特征。然后,我们提出了雷达引导的融合Transformer(RGFT)融合我们的雷达和图像特征,以加强两个模态的相关性从全局范围内通过交叉注意力机制。大量的实验表明,MVFusion在nuScenes数据集上实现了最先进的性能(51.7% NDS和45.3% mAP)。我们将在发布时发布我们的代码和经过训练的网络。
2023-02-21 cs.CV
Reference-based Video Super-Resolution Using Multi-Camera Video Triplets
POSTECH(浦项科技大学)
我们提出了第一个基于参考的视频超分辨率(RefVSR)的方法,利用参考视频高保真的结果。我们专注于三摄像头设置中的RefVSR,我们的目标是利用广角和长焦视频超分辨率低分辨率超宽视频。我们介绍了第一个RefVSR网络,该网络递归地对齐和传播与从低分辨率帧中提取的特征融合的时间参考特征。为了便于时间参考特征的融合和传播,我们提出了一个传播时间融合模块。为了学习和评估我们的网络,我们提出了第一个RefVSR数据集,该数据集由从智能手机的三个摄像头同时拍摄的超宽、广角和长焦视频组成。我们还提出了一个两阶段的训练策略,充分利用视频三元组在现实世界的4倍视频超分辨率建议的数据集。我们广泛地评估了我们的方法,结果显示了最先进的性能在4倍超分辨率。
2022-03-28 cs.CV
Seeing Motion at Nighttime with an Event Camera
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学)
针对夜间动态场景成像中长曝光与运动模糊的矛盾,提出基于事件相机的NER-Net网络,通过时间戳校准和非均匀光照感知模块,结合新构建的RLED数据集,实现了优于现有方法的夜间运动成像。
2024-04-18 cs.CV
Characterization of the multiplicity of solutions for camera pose given two vertically-aligned landmarks and accelerometer
本文研究利用加速度计和两个垂直对齐地标恢复相机位姿的问题,证明不同几何情形下解的数量为无穷、一个或两个,并给出精确分类,特别证明同高度地标情形存在唯一解。
2024-10-23 cs.CV
XD-RCDepth: Lightweight Radar-Camera Depth Estimation with Explainability-Aligned and Distribution-Aware Distillation
Technical University of Munich(慕尼黑技术大学);Infineon Technologies AG(英飞凌科技)
提出轻量级雷达-相机深度估计架构XD-RCDepth,通过可解释性对齐蒸馏和深度分布蒸馏减少参数29.7%并保持精度,在nuScenes和ZJU-4DRadarCam数据集上实现实时性能。
2026-06-02 cs.CV
G3T Up! Gravity Aligned Coordinate Frames Simplify Pointmap Processing
Cornell University(康奈尔大学)
提出G3T模型,通过预测重力对齐的点图而非相机中心点图,利用场景结构先验减少旋转自由度,提升3D重建精度。
2026-05-26 cs.CV
A Self-Supervised Denoising Strategy for Underwater Acoustic Camera Imageries
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院)
本文针对水下声学相机图像受复杂噪声干扰的问题,提出一种结合自监督去噪框架与细粒度特征引导模块的深度学习去噪策略,在无需噪声先验和复杂调参的情况下有效去噪并保留细节,从而提升局部特征匹配性能。
2024-06-05 cs.CV eess.IV
VoxelTTO: Voxel-Aligned Feed-Forward 3D Gaussian Splatting with Test-Time Optimization
East China University of Science and Technology(华东理工大学);Shanghai Open University(上海开放大学)
VoxelTTO提出体素对齐的前馈3DGS框架,通过全局体素表示、测试时优化和实体体积渲染,提升新视角合成与相机姿态估计精度。
2026-09-21 cs.CV
AlignMiF: Geometry-Aligned Multimodal Implicit Field for LiDAR-Camera Joint Synthesis
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);DarkMatter AI Research(DarkMatter AI研究);University of Oxford(牛津大学);HKU(香港大学);Cainiao Group(菜鸟集团);NCUT(北方工业大学);Sun Yat-sen University(中山大学);Westlake University(西湖大学)
针对 LiDAR 与相机多模态隐式场中的几何未对齐问题,提出 AlignMiF 及 GAA、SGI 模块,在 KITTI-360 和 Waymo 上显著提升联合合成性能。
2024-02-27 cs.CV
Coordinate-Aligned Multi-Camera Collaboration for Active Multi-Object Tracking
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
主动多目标跟踪(AMOT)是一项任务,其中摄像机由一个集中式系统控制,以自动和协作地调整它们的姿态,从而最大限度地覆盖共享视野中的目标。在AMOT中,每个摄像机只能从其观察中接收部分信息,这可能会误导摄像机采取局部最优行动。此外,全球目标,即,对象的最大覆盖,很难直接优化。为了解决上述问题,我们提出了一个坐标对齐的多摄像机协作系统的AMOT。在我们的方法中,我们将每个摄像机视为代理,并使用多智能体强化学习解决方案解决AMOT。为了表示每个智能体的观察,我们首先用图像检测器识别摄像机视图中的目标,然后在3D环境中对齐目标的坐标。我们根据全球覆盖率和四个单独的奖励条款定义每个代理的奖励。代理的行动策略是由基于价值的Q-网络导出的。据我们所知,我们是第一个研究AMOT任务的。为了训练和评估我们的系统的有效性,我们建立了一个虚拟但可信的三维环境,名为“足球场”,模仿现实世界的AMOT场景。实验结果表明,我们的系统达到了71.88%的覆盖率,比基线方法高出8.9%。
2022-02-22 cs.CV cs.MM
Captain Safari: A World Engine with Pose-Aligned 3D Memory
Johns Hopkins University(约翰霍普金斯大学);Tsinghua University(清华大学);UC Santa Cruz(加州大学圣克ruz分校)
本文提出Captain Safari,一种基于姿态条件的世界引擎,通过持久化世界记忆生成视频,提升了复杂场景下的3D一致性与轨迹跟踪能力,优于现有方法。
2026-03-23 cs.CV
TokenSplat: Token-aligned 3D Gaussian Splatting for Feed-forward Pose-free Reconstruction
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);School of Artificial Intelligence(人工智能学院)
TokenSplat通过令牌对齐的3D高斯散射实现无姿态重建,结合可学习相机令牌和非对称双流解码器,提升重建保真度和姿态估计精度。
2026-02-28 cs.CV
The Spatio-Temporal Poisson Point Process: A Simple Model for the Alignment of Event Camera Data
TU Berlin(柏林工业大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出将事件相机数据建模为时空泊松点过程,并基于此开发最大似然方法对齐未对齐事件,在 DAVIS 240C 数据集上实现旋转速度估计的新最优精度,同时降低计算复杂度。
2021-06-13 cs.CV
Align3R: Aligned Monocular Depth Estimation for Dynamic Videos
HKUST(香港科技大学);HKU(香港大学);ShanghaiTech(上海科技大学);WHU(武汉大学);TAMU(德克萨斯农工大学);NTU(南洋理工大学);CUHK(香港中文大学)
本文提出 Align3R,利用并微调 DUSt3R 对齐动态视频各帧的单目深度,再联合优化重建深度与相机位姿,实现优于基线的时间一致性。
2024-12-05 cs.CV
FRAME: Floor-aligned Representation for Avatar Motion from Egocentric Video
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google(谷歌)
针对第一人称视频运动捕捉的挑战,提出轻量级VR数据采集设置与FRAME架构,通过几何合理的多模态整合实现高帧率、高质量且具备强泛化能力的身体姿态预测。
2025-03-29 cs.CV
Minimal Solutions for Panoramic Stitching Given Gravity Prior
Nanjing University of Science and Technology(南京理工大学);Czech Technical University in Prague(布拉格捷克理工大学);SZTAKI(匈牙利科学院计算机科学与控制研究所)
当捕捉全景时,人们倾向于将他们的相机与垂直轴对齐,即,重力的方向。此外,智能手机和平板电脑等现代设备都配备了IMU(惯性测量单元),可以精确测量重力矢量。使用该先验,相机的y轴可以被对准或假设已经对准,从而将它们的相对取向减少到1-D 0 F(自由度)。利用这一假设,我们提出了新的最小的解决方案,全景图像拼接的图像相机所采取的一致的光学中心,即,进行纯旋转。我们考虑四个实际的相机配置,假设未知的固定或变化的焦距有或没有径向失真。求解器在合成场景和来自Sun 360数据集的超过500 k真实图像对以及我们使用配备IMU的两部智能手机捕获的场景上进行了测试。它示出,他们优于国家的最先进的精度和处理时间方面。
2020-12-01 cs.CV
FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出FlowCam,利用可微渲染将光流提升为像素对齐3D场景流并加权拟合SE(3)位姿,实现无需SfM位姿、端到端自监督训练可泛化3D辐射场。
2023-05-31 cs.AI cs.CV cs.GR
Active Perception with A Monocular Camera for Multiscopic Vision
Hong Kong University of Science and Technology(香港科技大学)
我们设计了一个多视角视觉系统,利用低成本的单目RGB摄像机,以获得准确的深度估计的机器人应用。与具有在不受约束的相机姿势处捕获的图像的多视图立体视觉不同,所提出的系统主动地控制具有安装的相机的机器人臂以捕获具有相同视差的水平或垂直对准位置中的图像序列。在这个系统中,我们结合的参考图像和周围的图像之间的立体匹配的成本体积,形成一个融合的成本体积,是强大的离群值。在Middlebury数据集上的实验和真实机器人实验表明,我们获得的视差图比两帧立体匹配更准确:在我们的实验中,平均绝对误差减少了50.2%。
2020-01-22 cs.CV
Exposure Fusion for Hand-held Camera Inputs with Optical Flow and PatchMatch
Harbin Institute of Technology(哈尔滨工业大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出一种混合多曝光图像融合方法,结合光流粗配准与PatchMatch超像素级校正,有效解决手持相机抖动和动态场景导致的未对齐问题,实现无模糊和重影伪影的高质量融合。
2023-04-10 cs.CV
Perspective Fields for Single Image Camera Calibration
University of Michigan(密歇根大学);Adobe Research(奥多比研究院)
几何相机校准通常需要了解图像的透视的应用。我们提出的透视字段作为一种表示,模拟图像的局部透视属性。Perspective Fields包含有关摄影机视图的每像素信息,参数化为向上向量和纬度值。这种表示具有许多优点,因为它对相机模型做了最少的假设,并且对于常见的图像编辑操作(如裁剪,扭曲和旋转)是不变或等变的。它也更容易解释,并与人类的感知保持一致。我们训练一个神经网络来预测透视场,预测的透视场可以很容易地转换为校准参数。我们证明了我们的方法在各种情况下的鲁棒性相比,基于摄像机校准的方法,并显示在图像合成中的应用实例。
2023-03-16 cs.CV
Gravity-aligned Rotation Averaging with Circular Regression
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司)
提出基于圆周回归的重力对齐旋转平均方法,将重力方向集成至全局SfM流程以提升相机朝向精度并减少自由度,在四个大规模数据集上实现SOTA精度且运行速度更快。
2024-10-16 cs.CV
Weather-Robust Scene Semantics with Vision-Aligned 4D Radar
Autonomous Robotics and Perception Group(自主机器人与感知组)
本文提出通过冻结视觉语言模型将雷达编码器对齐于SigLIP嵌入,以提升恶劣天气下的场景语义理解,实验表明雷达配置在雾、轻雪和重雪条件下优于相机基线。
2026-05-08 cs.CV cs.RO
Feedforward Novel View Synthesis for Heterogeneous Cameras
Shanghai Jiaotong University(上海交通大学);Nanyang Technological University(南洋理工大学)
针对异构相机场景,提出结合标记中心相对位置编码、局部射线图和投影感知二维旋转位置编码的方法,实现前馈式新视角合成,在ScanNet++上优于基线并支持全景零样本泛化。
2026-10-05 cs.CV
Beyond Gaussian Bottlenecks: Topologically Aligned Encoding of Vision-Transformer Feature Spaces
Department of Computer Engineering, Koç University, Istanbul, Turkey(科克大学计算机工程系,伊斯坦布尔,土耳其);Department of Computer Engineering, Hacettepe University, Ankara, Turkey(哈恰塔佩大学计算机工程系,安卡拉,土耳其);KUIS AI Research Center, Istanbul, Turkey(KUIS人工智能研究中心,伊斯坦布尔,土耳其);Department of Electrical and Electronics Engineering, Koç University, Istanbul, Turkey(科克大学电气与电子工程系,伊斯坦布尔,土耳其)
本文提出S²VAE框架,通过压缩和表示场景的3D状态,包括相机运动、深度和点结构,以提升视觉模型的几何一致性。实验显示,几何对齐的超球面隐空间在高压缩条件下优于传统高斯瓶颈。
2026-04-30 cs.CV cs.LG
CamLit: Unified Video Diffusion with Explicit Camera and Lighting Control
CamLit首次提出统一的视频扩散模型,结合生成新视角和光照重置,通过单张图像、相机轨迹和环境映射生成高质量视频,实现高精度的相机姿态和光照控制。
2026-03-15 cs.CV
Keypoint-Aligned Embeddings for Image Retrieval and Re-identification
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
学习嵌入对象的姿态不变是至关重要的视觉图像检索和重新识别。现有的方法的人,车辆,或动物的重新识别任务遭受高类内的变化,由于可变形的形状和不同的相机的观点。为了克服这一限制,我们建议将图像嵌入与预定义的关键点顺序对齐。提出的关键点对齐嵌入模型(KAE-Net)通过关键点位置指导的多任务学习来学习部分级特征。更具体地说,KAE-Net通过学习该关键点的热图重建辅助任务,从由特定关键点激活的特征图中提取通道。KAE-Net结构紧凑,通用,概念简单。它在CUB-200-2011,Cars 196和VeRi-776的基准数据集上实现了最先进的性能,用于检索和重新识别任务。
2020-08-26 cs.CV
Learning Intra and Inter-Camera Invariance for Isolated Camera Supervised Person Re-identification
Xidian University(西安电子科技大学);Zhejiang University(浙江大学)
本文针对孤立相机监督行人重识别中的相机偏差问题,提出在统一框架下通过聚类原型对比学习和改进的多相机负样本损失,联合学习相机内与相机间不变性,并在多个基准上验证了方法的有效性。
2023-11-02 cs.CV
Dual-Camera All-in-Focus Neural Radiance Fields
Key Laboratory of Image Processing and Intelligent Control, Ministry of Education(信息处理与智能控制重点实验室);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(人工智能与自动化学院);Nanyang Technological University (NTU)(南洋理工大学)
提出双摄像头全焦NeRF框架DC-NeRF,利用超广角深景深与主摄像头高分辨率融合,无需手动对焦即可合成高质量全焦新视角,并支持可调景深应用。
2025-04-23 cs.CV
Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild
ETH Zürich(苏黎世联邦理工学院);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
我们提出了一个可训练的图像信号处理(ISP)框架,该框架可以在智能手机捕获RAW图像的情况下生成DSLR质量的图像。为了解决训练图像对之间的颜色错位问题,我们采用了一个颜色条件ISP网络,并优化了每个输入RAW和参考DSLR图像之间的一个新的参数化颜色映射。在推理过程中,我们通过设计一个具有高效全局上下文Transformer模块的颜色预测网络来预测目标彩色图像。后者有效地利用全局信息来学习一致的颜色和色调映射。我们进一步提出了一个强大的掩蔽对齐损失,以识别和丢弃在训练过程中的运动估计不准确的区域。最后,我们介绍了ISP in the Wild(ISPW)数据集,由弱配对的手机RAW和DSLR sRGB图像组成。我们广泛评估了我们的方法,在两个数据集上设置了新的最先进的方法。
2022-07-12 cs.CV
SGDet3D++: Geometry-Grounded Semantics for 4D Radar and Camera 3D Object Detection
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);School of Automotive Studies, Tongji University(同济大学汽车学院)
针对4D雷达与相机3D检测中证据支持假设不明确的问题,提出SGDet3D++,通过假设条件证据接地(AGR、GCR、DVC)提升精度,在多个数据集上显著领先。
2026-09-24 cs.CV
CC-FMO: Camera-Conditioned Zero-Shot Single Image to 3D Scene Generation with Foundation Model Orchestration
Tsinghua University(清华大学)
CC-FMO通过结合语义感知和结构化潜在表示,实现基于相机的零样本单图像到3D场景生成,提升场景连贯性和实例保真度。
2025-11-29 cs.CV
WESPE: Weakly Supervised Photo Enhancer for Digital Cameras
ETH Zurich(苏黎世联邦理工学院)
低端和紧凑型移动相机的照片质量有限,主要是由于空间、硬件和预算的限制。在这项工作中,我们提出了一种深度学习解决方案,可以将功能有限的相机拍摄的照片自动转换为单反质量的照片。我们通过引入弱监督照片增强器(WESPE)来解决这个问题-这是一种新的基于图像到图像生成对抗网络的架构。所提出的模型是在弱监督下训练的:与以前的作品不同,不需要以对齐的原始/增强照片对的大型注释数据集的形式进行强监督。唯一的要求是两个不同的数据集:一个来自源相机,另一个由任意高质量的图像组成,这些图像通常可以从互联网上抓取-它们展示的视觉内容可能是不相关的。因此,我们的解决方案可重复用于任何相机:收集数据和训练可以在几个小时内完成。在这项工作中,我们强调对所获得的结果进行广泛的评价。除了标准的客观指标和主观的用户研究,我们训练一个虚拟的评分员在一个单独的CNN的形式,模仿人类的Flickr数据的评分员,并使用这个网络来获得原始和增强的照片的参考分数。我们对DPED、KITTI和Cityscapes数据集以及几代智能手机图片的实验表明,WESPE使用最先进的强监督方法产生了可比或改进的定性结果。
2018-03-03 cs.CV
Cross-Spectral Neural Radiance Fields
University of Bologna(博洛尼亚大学)
我们提出了X-NeRF,一种新的方法来学习交叉光谱场景表示给定的图像从相机捕获具有不同的光谱灵敏度,基于神经辐射场制定。X-NeRF在训练过程中优化了光谱中的相机姿态,并利用归一化跨设备坐标(NXDC)从任意视点渲染不同模态的图像,这些视点对齐并具有相同的分辨率。16个面向前方的场景,具有彩色,多光谱和红外图像的实验,证实了X-NeRF在建模交叉光谱场景表示的有效性。
2022-09-01 cs.CV
Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians
University of Glasgow(格拉斯哥大学)
本文提出一种基于动态3D高斯的图像到视频生成框架,通过单次前向传递构建3D场景表示并采样合理物体运动,实现高效且可控的视频生成,实验表明其在多个数据集上均达到SOTA视频质量和推理效率。
2026-05-14 cs.CV
Stereo World Model: Camera-Guided Stereo Video Generation
The University of Hong Kong(香港大学);VAST;ByteDance Pico(字节跳动Pico)
本文提出StereoWorld,一种基于摄像头的立体世界模型,通过联合学习外观和双眼几何实现端到端的立体视频生成。该模型在RGB模态中操作,直接从视差中获取几何信息,通过统一的相机帧RoPE和立体感知注意力分解提升生成效率和一致性。
2026-03-18 cs.CV
Driving-Video Dehazing with Non-Aligned Regularization for Safety Assistance
Nanjing University of Science and Technology(南京理工大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文针对真实驾驶视频去雾中难以获取精确对齐训练对的问题,提出基于非对齐参考帧匹配与流引导注意力融合的视频去雾方法,并构建GoProHazy数据集验证其优越性。
2025-03-08 cs.CV
M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis
New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校);U.S. Army Combat Capabilities Development Command, Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
M3GD利用相机-激光雷达多模态几何扩散,通过共享空间结构将激光雷达特征注入图像生成器,在GrandTour数据集上提升新视角RGB和深度合成质量,并支持地面机器人部署。
2026-09-25 cs.CV cs.RO
Multi-Bracket High Dynamic Range Imaging with Event Cameras
Univ. of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Huawei Technologies(华为技术有限公司)
现代高动态范围(HDR)成像流水线对齐并融合在不同曝光时间捕获的多个低动态范围(LDR)图像。虽然这些方法在静态场景中工作良好,但动态场景仍然是一个挑战,因为LDR图像仍然受到饱和度和噪声的影响。在这种情况下,事件相机将是一个有效的补充,由于其较高的时间分辨率和动态范围。在本文中,我们提出了第一个多支架HDR管道结合一个标准的相机与事件相机。我们的研究结果表明,使用事件时,整体鲁棒性更好,在合成数据上PSNR提高了5dB,在真实数据上提高了0.7dB。我们还介绍了一个新的数据集,包含括号内的LDR图像与对齐的事件和HDR地面真相。
2022-04-28 cs.CV eess.IV
PEOD: A Pixel-Aligned Event-RGB Benchmark for Object Detection under Challenging Conditions
针对现有Event-RGB数据集极端条件覆盖稀疏、分辨率低的局限,提出首个大规模像素对齐高分辨率(1280×720)目标检测基准PEOD,含130+序列、34万标注框,57%数据来自极端场景,基准测试揭示不同条件下各模型性能差异,为多模态感知研究提供支撑。
2025-11-11 cs.CV
High-precision camera distortion measurements with a "calibration harp"
University of Minnesota(明尼苏达大学);ENS Cachan(卡尚高等师范学校);École des Ponts ParisTech(巴黎高科桥路学院)
介绍了一种从照片中高精度测量数码相机畸变的方法。传统上,这种失真是从包含对齐元素的平面图案的照片中测量的。然而,几乎不可能制造非常平坦的图案并验证其平坦性。这一事实限制了可测量的精确度。相比之下,通过在框架上紧密拉伸高质量的弦,更容易获得物理上非常精确的直线。从字面上理解“铅垂线方法”,我们构建了一个“校准竖琴”,而不是经典的平面模式,以获得高精度的测量工具,可证明达到2/100像素的精度。竖琴是补充与算法计算自动竖琴照片两个不同的和互补的镜头畸变测量。该方法的精度进行评估的国家的最先进的失真校正算法校正的图像,并通过流行的软件。三个应用程序显示:第一个客观和可靠的测量结果的任何失真校正。其次,harp允许控制最先进的全局相机校准算法:它允许选择正确的失真模型,从而避免这些方法固有的内部补偿误差。第三,该方法取代了其他畸变校正方法中的人工过程,使其完全自动化,提高了其可靠性和精度。
2012-12-22 cs.CV
Multi-view Disentanglement for Reinforcement Learning with Multiple Cameras
University of Edinburgh(爱丁堡大学)
针对多摄像头强化学习部署时摄像头数量受限的问题,提出多视图解耦方法MVD,通过自监督辅助任务学习跨摄像头对齐的共享表示与摄像头私有表示,实现单摄像头下的策略泛化与任务求解。
2024-06-21 cs.CV cs.LG
GET3D--: Learning GET3D from Unconstrained Image Collections
SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tencent PCG(腾讯平台与内容事业群);Shanghai AI Lab(上海人工智能实验室)
提出 GET3D-- 方法,通过包含 3D 形状生成器和可学习相机采样器的统一框架,直接从未知姿态和尺度的 2D 图像生成高质量对齐的 3D 纹理形状。
2023-07-27 cs.CV
EGA-Depth: Efficient Guided Attention for Self-Supervised Multi-Camera Depth Estimation
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
提出EGA-Depth引导注意力架构,通过透视图交叉参考相邻视图,仅对重叠视图执行注意力,提升自监督多相机深度估计的效率与精度,在nuScenes和DDAD基准上达到SOTA。
2023-04-06 cs.CV
High Dynamic Range Imaging Based on an Asymmetric Event-SVE Camera System
College of Aerospace Science and Engineering(航空航天科学与工程学院);National University of Defense Technology(国防科技大学);Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation(湖南省图像测量与视觉导航重点实验室)
本文提出了一种基于非对称事件-SVE相机系统的高动态范围成像系统,通过跨模态对齐和计算融合技术提升高动态场景下的成像性能。
2026-02-28 cs.CV
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
Harbin Institute of Technology(哈尔滨工业大学);Taobao, Alibaba Group(阿里巴巴集团淘宝)
ZoomDiff提出一种高保真扩散模型,通过增强条件引导和流对齐特征注入,解决双摄像头平滑变焦中的几何与色彩不连续问题,在合成和真实数据上超越现有方法。
2026-09-24 cs.CV
Self-Supervised Learning of Depth and Camera Motion from 360° Videos
National Tsing Hua University(国立清华大学)
随着360°相机在许多自主系统中变得普遍(例如,自动驾驶汽车和无人机),高效的360°感知变得越来越重要。我们提出了一种新的自监督学习方法,用于从360°视频中预测全向深度和摄像机运动。特别是,从SfMLEarner开始,它是为普通视场的相机设计的,我们引入了三个关键特性来有效地处理360°图像。首先,我们将每一幅图像从等矩形投影转换为立方体投影,以避免图像失真。在每个网络层中,我们使用立方体填充(CP),它填充相邻面的中间特征,以避免图像边界。其次,我们提出了一种新的“球面”的光度一致性约束的整个观察领域。以这种方式,没有像素将被投影到图像边界之外,这通常发生在具有正常视场的图像中。最后,不是天真地估计六个独立的相机运动(即,天真地将SfM-Learner应用于立方体上的每个面),我们提出了一种新的相机姿态一致性损失,以确保估计的相机运动达到共识。为了训练和评估我们的方法,我们收集了一个新的PanoSUNC数据集,其中包含大量具有地面实况深度和相机运动的360°视频。我们的方法在PanoSUCG上实现了最先进的深度预测和相机运动估计,与equirectangular相比,推理速度更快。在现实世界的室内视频中,我们的方法也可以通过获取PanoSUCG上预训练的模型来实现定性合理的深度预测。
2018-11-13 cs.CV
Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision
Harbin Institute of Technology(哈尔滨工业大学);SenseTime Research(商汤科技研究院);Pazhou Lab(琶洲实验室)
近年来,学习RAW到sRGB映射引起了越来越多的关注,其中输入的原始图像被训练成模仿由另一相机捕获的目标sRGB图像。然而,严重的颜色不一致性使得生成输入原始和目标sRGB图像的良好对齐的训练对非常具有挑战性。而使用不准确对齐的监督进行学习则容易导致像素偏移并产生模糊的结果。在本文中,我们绕过这样的问题,提出了一个联合学习模型的图像对齐和RAW到sRGB映射。为了减少图像对齐中颜色不一致的影响,我们引入了使用全局颜色映射(GCM)模块来生成给定输入原始图像的初始sRGB图像,其可以保持像素的空间位置不变,并且目标sRGB图像用于引导GCM将颜色转换到它。PWC-Net)被部署以扭曲目标sRGB图像以与GCM输出对齐。为了减轻不准确对准的监督的影响,利用变形的目标sRGB图像来学习RAW到sRGB映射。在训练过程中,GCM模块和光流网络可以分离,从而不会为推理带来额外的计算开销。实验表明,我们的方法在ZRR和SR-RAW数据集上对最先进的方法表现良好。通过我们的联合学习模型,轻量级骨干可以在ZRR数据集上实现更好的定量和定性性能。代码可在https://github.com/cszhilu1998/RAW-to-sRGB上获得。
2021-08-18 cs.CV
High-resolution Ecosystem Mapping in Repetitive Environments Using Dual Camera SLAM
University of Georgia(佐治亚大学)
运动恢复结构(SfM)技术越来越多地用于在包括环境监测的许多领域中从图像创建3D地图。然而,SfM技术通常在视觉重复的环境中混淆,因为它们主要依赖于全局不同的图像特征。同时定位与地图构建(SLAM)技术在视觉上重复的环境中提供了潜在的解决方案,因为它们使用局部特征匹配,但是SLAM方法在广角相机的情况下工作得最好,广角相机通常不适合记录感兴趣的环境系统。我们通过提出一种双摄像头SLAM方法来解决这个问题,该方法使用面向前的广角摄像头进行定位,并使用面向下的窄角度高分辨率摄像头进行记录。使用标准SLAM方法处理由前向相机视频获取的视频帧,该方法提供成像系统通过环境的轨迹,该轨迹然后用于引导文档相机图像的配准。最初通过单目SLAM从文档相机图像产生的碎片地图随后被缩放并与定位相机轨迹对齐,最后经过全局优化过程以产生统一的细化地图。与几种最先进的SfM方法的实验比较表明,双相机SLAM方法在基于地面控制点标记的选择样本的重复环境系统中表现更好。
2022-01-10 cs.CV cs.RO
Sage Deer: A Super-Aligned Driving Generalist Is Your Copilot
HKUST(香港科技大学);HKUST-GZ(香港科技大学(广州));ZJU(浙江大学);Phigent;GEELY(吉利汽车)
本文提出超级对齐的通才驾驶智能体 SAGE DeeR,通过多视角多模态理解与语言空间隐式思维链自我激发,实现个性化驾驶反应,并构建数据集和大规模基准评估其感知决策与对齐能力。
2025-05-15 cs.CV
Superaccurate Camera Calibration via Inverse Rendering
Technical University of Denmark(丹麦技术大学);University of Southern Denmark(南丹麦大学)
摄像机校准的最普遍的例程是基于检测的明确定义的特征点上的一个专门制作的校准工件。这些可以是棋盘鞍点、圆、环或三角形,通常印刷在平面结构上。首先检测出特征点,然后利用特征点进行非线性优化,估计出摄像机内部参数,提出了一种基于逆绘制原理的摄像机标定方法。而不是仅仅依赖于检测到的特征点,我们使用的内部参数和校准对象的姿态的估计,隐式地呈现一个非真实感等效的光学功能。这使我们能够计算图像域中的逐像素差异,而不会出现插值伪影。然后,我们可以通过最小化像素最小二乘差异来改进内部参数的估计。通过这种方式,我们的模型优化了图像空间中的一个有意义的度量,假设相机传感器的噪声特性为正态分布,我们证明使用合成和真实的相机图像,我们的方法提高了估计相机参数的准确性相比,目前国家的最先进的校准例程。我们的方法还估计这些参数更强大的存在噪声和校准图像的数量是有限的情况下。
2020-03-20 cs.CV
D^2-4DGS: Dual-Depth Guided Sparse-Camera 4D Gaussian Splatting
针对稀疏相机动态四维高斯溅射的几何监督不足问题,提出双深度先验引导的D^2-4DGS框架,经9个数据集-视图设置验证,其峰值信噪比平均较最佳对比方法提升1.33dB。
2026-08-04 cs.CV
Deep Snapshot HDR Reconstruction Based on the Polarization Camera
University of Alberta(阿尔伯塔大学);NUDT(国防科技大学);Huawei Fields Lab(华为Fields实验室)
片上微偏振器技术的最新发展使得能够以与常规相机相同的操作容易性来获取四个空间对准且时间同步的偏振图像。在本文中,我们研究了这种传感器技术在高动态范围(HDR)成像中的使用。具体而言,观察到自然光可以通过改变偏振滤光器的取向而不同地衰减,我们将偏振相机捕获的多个图像视为在不同曝光时间下捕获的一组图像。在我们的方法中,我们首先研究偏振片的取向,程度和角度的光偏振的偏振图像中的像素的曝光时间之间的关系。随后,我们提出了一个深度快照HDR重建框架,使用偏振图像恢复HDR图像。创建极化HDR数据集来训练和评估我们的方法。我们证明了我们的方法对最先进的HDR重建算法表现良好。
2021-05-12 cs.CV eess.IV
A Unifying Contrast Maximization Framework for Event Cameras, with Applications to Motion, Depth, and Optical Flow Estimation
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
我们提出了一个统一的框架来解决几个计算机视觉问题的事件相机:运动,深度和光流估计。我们的框架的主要思想是通过最大化目标函数来找到图像平面上与事件数据最佳对齐的点轨迹:扭曲事件图像的对比度。我们的方法隐式地处理事件之间的数据关联,因此,不依赖于有关场景的附加外观信息。除了准确地恢复运动参数的问题,我们的框架产生运动校正的边缘状图像,具有高动态范围,可用于进一步的景物分析。所提出的方法不仅简单,但更重要的是,据我们所知,它是第一种方法,可以成功地应用于这样一个不同的一组重要的视觉任务与事件相机。
2018-04-04 cs.CV cs.RO
Stitching Videos from a Fisheye Lens Camera and a Wide-Angle Lens Camera for Telepresence Robots
Beijing Institute of Technology(北京理工大学)
许多远程呈现机器人都配备了一个面向前方的摄像头用于视频通信,一个面向下方的摄像头用于导航。在本文中,我们提出了缝合视频从FF相机与广角镜头和DF相机与鱼眼镜头的遥现机器人。我们的目标是提供更紧凑和有效的视觉反馈的用户界面的遥现机器人与用户友好的交互体验。为此,我们提出了一种基于多单应性的视频拼接方法,该方法将来自广角相机和鱼眼相机的视频拼接在一起。该方法包括视频图像对齐,接缝切割,图像融合。基于多单应性对准算法,直接将广角视频图像与鱼眼视频图像进行对准,无需标定、畸变校正和反扭曲等过程。因此,我们可以获得一个拼接的视频与形状保持在非重叠区域和对准的重叠区域的远程呈现。为了减轻在远程呈现机器人驱动期间由移动对象和/或移动相机引起的重影效应,找到用于对准的视频合成的最佳接缝,并且考虑空间和时间相干性,将在后续帧中更新最佳接缝。最后拼接的视频通过基于最佳接缝的图像混合来创建。我们进行了用户研究,以证明我们的方法的有效性和优越性的遥现机器人与拼接视频作为视觉反馈。
2019-03-15 cs.CV cs.HC cs.RO