Rolling-Shutter Modelling for Direct Visual-Inertial Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense Corporation（Artisense公司）
我们提出了一种直接的视觉惯性里程计（VIO）的方法，估计的运动的传感器设置和稀疏的三维几何环境的基础上，从滚动快门相机和惯性测量单元（IMU）的测量。系统的可视部分对稀疏点集执行光度光束法平差。这种直接方法不提取特征点，并且不仅能够跟踪角点，而且能够跟踪具有足够梯度幅度的任何像素。忽略视觉部分的卷帘快门效应会严重降低系统的精度和鲁棒性。在本文中，我们将卷帘快门模型的光度光束法平差，估计一组最近的关键帧姿势和一组稀疏的点的逆深度。使用测量预积分在几个帧之间累积IMU信息，并将其作为所选关键帧之间的附加约束插入到优化中。对于每个关键帧，我们不仅估计姿态，而且估计速度和偏差，以校正IMU测量。与具有全局快门相机的系统不同，我们使用IMU测量和相机的卷帘快门效应来估计每个状态的速度和偏差。最后，我们在一个新的数据集上评估了我们的系统，该数据集包含全局快门和卷帘快门图像，IMU数据和十个不同序列的地面实况姿态，我们将其公开。评估表明，所提出的方法优于卷帘快门没有建模的系统，并实现了类似的精度，全局快门方法的全局快门数据。
2019-11-04 cs.CV
Minimal Solvers for Monocular Rolling Shutter Compensation under Ackermann Motion
Toshiba Research Europe（东芝欧洲研究院）
现代汽车通常配备有廉价的商用卷帘快门相机。这些设备在捕获图像时由于相机的行间延迟而经常产生失真的图像。最近的单目卷帘快门运动补偿方法利用模糊核和直线段的直线度特性。然而，这些方法仅限于处理旋转运动，并且还不够快以实时的操作。在本文中，我们提出了一个最小的解决方案，滚动快门运动补偿假设已知的垂直方向的相机。由于阿克曼运动模型的车辆，其中包括只有两个运动参数，和两个参数的简化深度假设，导致一个4线算法。所提出的最小求解器估计卷帘快门相机运动有效和准确。在真实和模拟数据集上的大量实验证明了我们的方法在定性和定量结果方面的好处。
2017-12-08 cs.CV
Rolling Shutter Inversion: Bring Rolling Shutter Images to High Framerate Global Shutter Video
Northwestern Polytechnical University（西北工业大学）；the Australian National University（澳大利亚国立大学）
单个卷帘快门（RS）图像可以被视为在曝光持续时间内由（虚拟）移动的GS相机捕获的全局快门（GS）图像序列的逐行组合。虽然RS相机被广泛使用，但RS效应会导致明显的图像失真，特别是在存在快速相机运动的情况下，阻碍下游计算机视觉任务。在本文中，我们提出了反转的RS图像捕获机制，即，从两个时间连续的RS帧恢复连续的高帧率GS视频。我们称这个任务为RS时间超分辨率（RSSR）问题。RSSR是一项非常具有挑战性的任务，据我们所知，迄今为止还没有实际的解决方案。本文提出了一种新的基于深度学习的解决方案。通过利用RS成像过程的多视图几何关系，我们的基于学习的框架成功地实现了高帧率GS生成。具体来说，可以确定三个新的贡献：（i）新的公式，双向RS无失真流下的恒定速度以及恒定加速度运动模型。(ii)一个简单的线性缩放操作，它桥接了RS非失真流和规则光流。(iii)在对应于不同扫描线的不同RS非失真流之间的一种新的相互转换方案。我们的方法还利用了深度学习框架内的潜在时空几何关系，其中除了必要的中间扫描线GS图像之外，不需要额外的监督。在这些贡献的基础上，我们代表了第一个滚动快门时间超分辨率深度网络，它能够从两个RS帧中恢复高帧率的GS视频。大量的实验结果表明，我们提出的方法可以产生高质量的GS图像序列与丰富的细节，优于国家的最先进的方法。
2022-10-06 cs.CV
Single-Scanline Relative Pose Estimation for Rolling Shutter Cameras
Microsoft（微软公司）
提出一种利用单扫描线投影交点估计卷帘快门相机相对位姿的方法，无需显式运动模型，并开发了多种最小求解器，为卷帘快门SfM提供了有效的初始化基础。
2025-06-27 cs.CV
RSL-BA: Rolling Shutter Line Bundle Adjustment
Hunan University（湖南大学）；Westlake University（西湖大学）；Dreame Technology Company（追觅科技公司）
本文提出首个基于线特征的卷帘快门光束法平差方法 RSL-BA，建立 Plücker 线投影理论并推导稳定重投影误差，能避免三种退化情形，在合成与真实数据上达到与点方法相当的精度和效率。
2024-08-10 cs.CV
Estimating Velocity and Spin of Spherical Objects from Rolling-Shutter Image(s)
Epson Canada Ltd（爱普生加拿大有限公司）；University of Toronto（多伦多大学）
利用卷帘快门畸变作为时间信息源，提出一种无对应点的公式，通过反向投影框架中的几何一致性，从单帧图像估计快速运动球体的三维平动和角速度。
2026-07-02 cs.CV
Rolling-Shutter-Aware Differential SfM and Image Rectification
National University of Singapore（新加坡国立大学）
在本文中，我们开发了一种改进的差分运动恢复结构（SfM）算法，可以估计相对姿态从两个连续的帧，尽管滚动快门（RS）文物。特别是，我们表明，在恒定速度的假设下，由卷帘快门效应引起的误差可以很容易地纠正由每个光流的线性缩放操作。我们进一步提出了一个9点算法来恢复滚动快门相机，经历恒定加速运动的相对姿态。我们证明了从RS相机的相对姿态恢复的密集深度图可以用于RS感知的翘曲图像校正，以恢复高质量的全局快门（GS）图像。合成和真实的RS图像上的实验表明，我们的RS-感知差分SfM算法产生更准确的结果相对姿态估计和3D重建的图像失真的RS效应相比，标准的SfM算法，假设一个GS相机模型。我们还证明，我们的RS感知扭曲图像纠正方法在消除RS伪影方面优于最先进的商业软件产品，即Adobe After Effects和Apple Imovie。
2019-08-04 cs.CV
Rolling Shutter Camera Synchronization with Sub-millisecond Accuracy
Center for Machine Perception, Czech Technical University in Prague（布拉格捷克理工大学机器感知中心）
提出了一种简单的视频流同步方法，其同步精度优于1毫秒。该方法适用于任何数量的卷帘快门相机，并且当视频中存在一些摄影闪光或其他突然的照明变化时。该方法利用滚动快门传感器的属性，即每个传感器行在前一行开始之后以小延迟开始其曝光。相机可以具有不同的帧速率和分辨率，并且不需要具有重叠的视场。该方法进行了验证五分钟的四个流从冰球比赛。所发现的变换将所有相机中可见的事件映射到参考时间，其中时间误差的标准偏差在0.3到0.5毫秒的范围内。同步的质量证明在时间和空间上重叠的图像中观察到的两个摄像机的快速移动的冰球。
2019-02-28 cs.CV
Relative Pose Estimation for Stereo Rolling Shutter Cameras
Northwestern Polytechnical University（西北工业大学）
本文提出了一种新的线性算法，从立体卷帘快门（RS）相机的连续帧中估计6自由度的相对姿态。我们的方法是基于这样的假设，即立体摄像机进行运动，以恒定的速度在基线的中心，这需要9对左右连续帧的对应关系。立体RS图像使得能够从半全局匹配（SGM）算法恢复深度图。利用估计的相机运动和深度图，我们可以校正RS图像，得到不失真的图像，而无需任何场景结构假设。在模拟点和合成遥感图像上的实验表明了该算法在相对姿态估计中的有效性。
2020-06-14 cs.CV
Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes
The University of Tokyo（东京大学）；National Institute of Informatics（国立情报学研究所）
联合滚动快门校正和去模糊（RSCD）技术对于流行的CMOS相机是至关重要的。然而，目前的方法仍然是基于传统的能量优化和静态场景的开发。为了使基于学习的方法来解决现实世界的RSCD问题，我们贡献了第一个数据集，BS-RSCD，其中包括动态场景中的自我运动和对象运动。通过基于分束器的采集系统同时记录真实失真和模糊的视频以及相应的地面实况。由于直接应用现有的个人卷帘快门校正（RSC）或全局快门去模糊（GSD）方法RSCD导致不良的结果，由于网络架构中的固有缺陷，我们进一步提出了第一个基于学习的模型（JCD）RSCD。其核心思想是采用双向扭曲流进行位移补偿，同时保留未扭曲的去模糊流进行细节恢复。实验结果表明，JCD在真实RSCD数据集（BS-RSCD）和合成RSC数据集（Fastec-RS）上实现了最先进的性能。数据集和代码可在https://github.com/zzh-tech/RSCD上获得。
2021-04-04 cs.CV
Learning Adaptive Warping for Real-World Rolling Shutter Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The University of Tokyo（东京大学）
本文提出了第一个真实世界的卷帘快门（RS）校正数据集，BS-RSC，以及相应的模型来校正失真视频中的RS帧。消费者市场中具有用于视频捕获的基于CMOS的传感器的移动设备在视频采集过程期间发生相对移动时通常会导致卷帘快门效应，这需要RS效应去除技术。然而，目前的国家的最先进的RS校正方法往往无法消除RS的影响，在实际情况下，由于运动是多种多样的，难以建模。为了解决这个问题，我们提出了一个真实世界的RS校正数据集BS-RSC。通过一个精心设计的基于分束器的采集系统，同时记录具有相应地面实况的真实失真视频。BS-RSC包含动态场景中摄像机和物体的各种运动。在此基础上，提出了一种自适应变形的遥感校正模型。我们的模型可以通过预测多个位移场自适应地将学习到的RS特征变形为全局快门对应物。这些扭曲的特征被聚合，然后以从粗到精的策略重建成高质量的全局快门帧。实验结果表明，该方法的有效性，我们的数据集可以提高模型的能力，以消除在现实世界中的RS效果。
2022-04-29 cs.CV
Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature
The University of Tokyo（东京大学）；RIISE；National Institute of Informatics（国立信息学研究所）；University of Maryland College Park（马里兰大学帕克分校）；Hefei Normal University（合肥师范学院）
大多数计算机视觉系统假定无失真图像作为输入。然而，广泛使用的卷帘快门（RS）图像传感器在捕获期间当相机和对象经历运动时遭受几何失真。对RS失真的校正已经进行了广泛的研究。然而，大多数现有工作严重依赖于场景或运动的先验假设。此外，由于大量的流扭曲，运动估计步骤要么过于简化，要么计算效率低下，限制了它们的适用性。在本文中，我们研究使用滚动快门与全局复位功能（RSGR）恢复干净的全局快门（GS）的视频。这个特性使我们能够将校正问题转化为类似于去模糊的问题，从而摆脱不准确和昂贵的显式运动估计。首先，我们建立了一个光学系统，捕获配对的RSGR/GS视频。其次，我们开发了一种新的算法，结合空间和时间的设计，以纠正空间变化的RSGR失真。第三，我们证明了现有的图像到图像的翻译算法可以从失真的RSGR输入恢复干净的GS视频，但我们的算法实现了最佳的性能与特定的设计。我们的渲染结果不仅在视觉上吸引人，而且对下游任务也有好处。与最先进的RS解决方案相比，我们的RSGR解决方案在有效性和效率方面都更优越。考虑到它很容易实现，而不需要改变硬件，我们相信我们的RSGR解决方案可以潜在地取代RS解决方案，以低噪声和低预算拍摄无失真视频。
2022-06-26 cs.CV
Geometric Models of Rolling-Shutter Cameras
随着低功耗、低成本CMOS传感器在相机中的使用越来越频繁，带卷帘快门的相机变得越来越普遍。滚动快门意味着并非所有扫描线都在相同的时间间隔内曝光。当相机或场景中的对象移动时，滚动快门的效果是明显的，并且可能导致投影估计中的系统偏差。我们开发了一个通用的滚动快门相机的投影方程，并显示它是如何受到不同类型的相机运动。在正面平行运动的情况下，我们展示了如何相机可以建模为X狭缝相机。我们还开发了近似的投影方程的非零角速度的光轴和近似的投影方程的恒定速度螺旋运动。我们演示了滚动快门如何影响相机的投影几何形状，进而影响运动结构。
2005-03-29 cs.CV cs.RO
Self-calibration-based Approach to Critical Motion Sequences of Rolling-shutter Structure from Motion
Tohoku University（东北大学）
在本文中，我们考虑临界运动序列（CMS）的卷帘快门（RS）SfM。采用一个RS相机模型与线性化纯旋转，我们表明，RS失真可以近似表示为两个内部参数的“虚”相机加上一个参数的非线性变换类似于镜头失真。然后，我们重新制定的问题作为自校准的假想相机，其中它的倾斜和纵横比是未知的，并在图像序列中变化。在制定中，我们推导出CMS的一般表示。我们还表明，我们的方法可以解释最近在文献中报道的CMS，然后提出了一个新的补救措施来处理简并。我们的理论结果与实验结果吻合良好，它解释了退化时，我们采用天真的光束法平差，以及它们是如何解决我们的方法。
2016-11-16 cs.CV
Joint 3D Shape and Motion Estimation from Rolling Shutter Light-Field Images
Université de Franche-Comté（弗朗什-孔泰大学）；Université de Bourgogne（勃艮第大学）；Université de Lorraine（洛林大学）
本文提出从卷帘快门光场单幅图像联合估计三维形状、位姿与速度的两阶段运动—形状光束法平差方法，并构建新基准数据集验证其有效性。
2023-11-02 cs.CV
URS-NeRF: Unordered Rolling Shutter Bundle Adjustment for Neural Radiance Fields
Wuhan University（武汉大学）；National University of Singapore（新加坡国立大学）
提出一种用于NeRF的无序卷帘快门束调整方法，通过估计相机位姿和速度恢复RS图像物理形成，结合由粗到细策略校正异常位姿，消除了序列输入限制并提升了3D重建质量。
2024-03-25 cs.CV
SUNet: Symmetric Undistortion Network for Rolling Shutter Correction
School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子信息学院）
绝大多数现代消费级相机采用滚动快门机制，如果相机在图像采集期间移动，则会导致图像失真。在本文中，我们提出了一种新的深度网络来解决具有两个连续帧的通用卷帘快门校正问题。我们的流水线被对称地设计为预测与这两帧的中间时间相对应的全局快门图像，这对于现有方法来说是困难的，因为它对应于与这两帧最不同的相机姿势。首先，两个时间对称的密集的无失真流估计使用公认的原则：金字塔建设，翘曲，和成本体积处理。然后，这两个滚动快门图像被扭曲到一个共同的全局快门在特征空间中，分别。最后，在图像解码器中构造对称一致性约束，以有效地聚合两个滚动快门图像的上下文线索，从而恢复高质量的全局快门图像。广泛的实验与公共基准的合成和真实数据表明，我们提出的方法比国家的最先进的方法的优越性。
2021-08-10 cs.CV cs.RO
Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion
Spectacular AI；ETH Zurich（苏黎世联邦理工学院）；Aalto University（阿尔托大学）；University of Oulu（奥卢大学）；Tampere University（坦佩雷大学）
针对手持相机拍摄中的运动模糊和卷帘快门问题，提出基于VIO速度估计和屏幕空间近似的可微分渲染方法，将模糊效果集成到3DGS框架中，实现高质量场景重建，优于现有方法。
2024-07-17 cs.CV
Monocular Visual Odometry with a Rolling Shutter Camera
Gwanju Institue Science and Technology（光州科学技术院）
滚动快门（RS）相机由于低成本成像能力而变得普及。然而，当相机或对象移动或照明条件改变时，RS相机遭受不期望的伪影。因此，使用RS相机的单目视觉里程计（MVO）会产生不准确的自我运动估计。以前的作品解决了这个RS失真的问题，从图像和/或惯性传感器的运动预测。然而，MVO在处理相机运动突然改变时（例如，移动相机的振动瞬时引起极快的运动）的RS失真时仍然有麻烦。为了解决这个问题，我们提出了一种新的MVO算法，考虑到遥感相机的几何特性。该算法的核心思想是新的RS本质矩阵，它包含了在每帧的瞬时角速度和线速度。我们的算法产生准确和强大的自我运动估计在一个在线的方式，并适用于各种移动应用与RS相机。通过对合成数据集和真实数据集的定量和定性比较，验证了该算法的优越性。
2017-04-24 cs.CV
Linear solution to the minimal absolute pose rolling shutter problem
CTU in Prague（布拉格捷克理工大学）；National Institute of Informatics（国立信息学研究所）
本文提出了新的有效的解决方案，卷帘快门相机的绝对位姿问题。与国家的最先进的多项式求解器，我们使用简单，快速的线性求解器在迭代方案的问题。我们提出了几种解决方案的基础上固定不同的变量集，并彻底调查他们的性能。我们设计了一个新的交替策略，估计所有的参数在每次迭代线性固定的非线性项。我们最好的6点求解器基于新的交替技术，表现出与最先进的R6P求解器相同甚至更好的性能，并且快了两个数量级。此外，线性非迭代求解器，需要一个非最小数量的9个对应，但提供了更好的结果比国家的最先进的R6P。此外，所有提出的线性求解器提供了一个单一的解决方案，而最先进的R6P提供了多达20个解决方案，必须通过昂贵的验证修剪。
2018-12-30 cs.CV
SelfDRSC++: Self-Supervised Dual Reversed Rolling Shutter Correction via Video Interpolation
Singapore Management University（新加坡管理大学）；Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）；Southeast University（东南大学）
本研究针对卷帘快门动态畸变问题，提出自监督框架SelfDRSC++，通过轻量网络与物理约束循环策略实现单阶段训练，在合成及真实数据上取得良好校正效果，生成高时间一致性的全局快门序列。
2026-08-14 cs.CV
Challenges in Monocular Visual Odometry: Photometric Calibration, Motion Bias and Rolling Shutter Effect
Technical University of Munich（慕尼黑工业大学）；Artisense（Artisense公司）；Chair for Computer Vision and Artificial Intelligence, Department of Informatics, Technical University of Munich, Germany（慕尼黑工业大学信息学系计算机视觉与人工智能研究室）
单目视觉里程计（VO）和同时定位与地图构建（SLAM）在准确性、鲁棒性和效率方面已经有了巨大的改进，并且近年来越来越受欢迎。然而，没有这么多的讨论已经进行，以揭示三个非常有影响力的，但容易被忽视的方面的影响：测光校准，运动偏差和卷帘快门效应。在这项工作中，我们定量评估这三个方面的直接，基于特征的和半直接的方法的艺术状态，提供了有用的实用知识，既可以更好地应用现有的方法和开发新的算法VO和SLAM的社会。结论（其中一些是反直觉的）得出的技术和实证分析，我们所有的实验。针对现有方法提出了可能的改进，例如提高ORB-SLAM的亚像素精度，从而提高其性能。
2018-06-07 cs.CV
Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
University of Macau（澳门大学）
本文提出RS-Avatar，直接从卷帘快门视频重建无失真可动画3D高斯化身，在自建基准数据集RS-ZJU上的新视角合成任务中性能优于忽略快门的基线方法。
2026-08-19 cs.CV
Single Image Rolling Shutter Removal with Diffusion Models
University of Electronic Science and Technology of China（电子科技大学）；Megvii Technology（旷视科技）；Moonshot AI（月之暗面）；Noumena AI（诺姆人工智能）
本文提出首个基于扩散模型的单帧卷帘快门校正方法RS-Diffusion，通过图像到运动框架和patch-attention模块实现校正，并构建RS-Real数据集，实验证明其性能优于以往单帧方法。
2025-03-11 cs.CV
Single-View Rolling-Shutter SfM
本文提出通过单视角滚动快门几何解决RS SfM问题，系统推导最小重建问题并评估可行性与限制。
2026-03-12 cs.CV math.AG
Context-Aware Video Reconstruction for Rolling Shutter Cameras
Northwestern Polytechnical University（西北工业大学）
随着滚动快门（RS）相机的普及，从两个连续的RS帧恢复潜在全局快门（GS）视频变得越来越有吸引力，这也对真实性提出了更高的要求。使用深度神经网络或优化的现有解决方案实现了有希望的性能。然而，这些方法通过基于RS模型的图像变形来生成中间GS帧，这不可避免地导致黑洞和明显的运动伪影。在本文中，我们缓解这些问题，提出了一个上下文感知GS视频重建架构。它促进了诸如遮挡推理、运动补偿和时间抽象的优点。具体地，我们首先估计双边运动场，使得两个RS帧的像素相应地被扭曲到公共GS帧。然后，提出了一种改进方案来指导GS帧合成以及双边遮挡掩模，以在任意时间产生高保真GS视频帧。此外，我们推导出一个近似的双边运动场模型，它可以作为一种替代方案，提供一个简单而有效的GS帧初始化相关的任务。合成和真实数据上的实验表明，我们的方法在客观指标和主观视觉质量方面都优于最先进的方法。代码可在\url{https://github.com/GitCVfb/CVR}上获得。
2022-05-25 cs.CV
Rolling Shutter Relative Pose Estimation Made Practical
ETH Zürich（苏黎世联邦理工学院）；Google Zurich（谷歌苏黎世）；HUN-REN SZTAKI（匈牙利科学院计算机与自动化研究所）
提出一种基于仿射对应（ACs）的滚动快门（RS）相对位姿估计方法，通过RS校正仿射约束和线性化代数求解器，仅需7个ACs即可在1.2毫秒内估计位姿和RS运动，在TUM RS基准上达到最佳精度。
2026-06-26 cs.CV
They See Me Rollin': Inherent Vulnerability of the Rolling Shutter in CMOS Image Sensors
University of Oxford（牛津大学）
在本文中，我们描述了如何使用明亮的调制光源（例如，便宜的现成激光器），以注入细粒度的图像中断。我们展示了对七种不同CMOS摄像头的攻击，从廉价的物联网到半专业的监控摄像头，以突出卷帘快门攻击的广泛适用性。我们对影响不受控制的设置中的卷帘快门攻击的基本因素进行建模。然后，我们进行了详尽的评估攻击的目标检测任务的影响，调查攻击参数的影响。我们验证了我们的模型对两个独立的摄像头上收集的经验数据，表明通过简单地使用来自摄像头的摄像头的信息，对手可以准确地预测注入的失真大小，并相应地优化他们的攻击。我们发现，通过选择适当的攻击参数，对手可以隐藏高达75%的最先进的检测器所感知的对象。我们还研究了攻击的隐蔽性，与天真的相机致盲攻击相比，表明常见的图像失真度量无法检测到攻击的存在。因此，我们提出了一种新的，准确的和轻量级的增强对象检测器的骨干网络识别卷帘快门攻击。总的来说，我们的研究结果表明，滚动快门攻击可以大大降低基于视觉的智能系统的性能和可靠性。
2021-12-01 cs.CR cs.CV
Towards Nonlinear-Motion-Aware and Occlusion-Robust Rolling Shutter Correction
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hunan University（湖南大学）；Northwestern Polytechnical University（西北工业大学）
针对复杂非线性运动与严重遮挡下的卷帘快门校正，提出 QRS 运动求解器和 RSA2-Net 多帧聚合网络，在三个数据集上显著提升 PSNR。
2023-08-15 cs.CV
Rolling Shutter Camera Self-Calibration
CHU Clermont-Ferrand（克莱蒙费朗大学中心医院）；SURGAR, Surgical Augmented Reality（外科增强现实研究组）；School of Engineering, Westlake University（西湖大学工程学院）；School of Design, Hunan University（湖南大学设计学院）
本文提出了首个无需校准靶标的卷帘快门相机自校准方法，通过结合两种互补成像模型构建统一双投影模型，经仿真与真实数据实验验证了方法的准确性与有效性。
2026-08-18 cs.CV
Dense Scene Reconstruction from Light-Field Images Affected by Rolling Shutter
Université de Franche-Comté（弗朗什-孔泰大学）；CNRS（法国国家科学研究中心）；Université de Bourgogne（勃艮第大学）；Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）
提出一种基于2D Gaussians Splatting的两阶段方法，从受滚动快门影响的光场图像估计补偿后的稠密视差，并构建新合成数据集验证其有效性。
2024-12-04 cs.CV
Video from Stills: Lensless Imaging with Rolling Shutter
University of California, Berkeley（加州大学伯克利分校）
由于图像传感器芯片具有有限的带宽来读出像素，因此记录视频通常需要在帧速率和像素计数之间进行权衡。压缩感知技术可以通过假设图像是可压缩的来规避这种权衡。在这里，我们建议使用多路复用光学空间压缩场景，使整个场景的信息从一行传感器像素，可以通过滚动快门CMOS传感器快速读取。方便地，这种多路复用可以用简单的无透镜的基于漫射器的成像系统来实现。使用稀疏恢复方法，我们能够以每秒超过4，500帧的速度恢复140个视频帧，所有这些都来自滚动快门传感器捕获的单个图像。我们的概念验证系统使用易于制造的扩散器与现成的传感器配对。由此产生的原型，使压缩编码的高帧速率视频到一个单一的滚动快门曝光，并超过了采样有限的性能，足够稀疏的对象的等效的全局快门系统。
2019-05-30 cs.CV eess.IV eess.SP
Rolling Shutter Correction with Intermediate Distortion Flow Estimation
The University of Tokyo（东京大学）；Tsinghua University（清华大学）
本文提出直接估计全局快门到卷帘快门的畸变流，结合全局相关性流注意力机制、由粗到细解码器和多畸变流预测策略，通过后向变形校正卷帘快门图像，在多个基准上优于现有方法且保持高效率。
2024-04-09 cs.CV
Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events
Wuhan University（武汉大学）；Peking University（北京大学）
本文提出自监督网络SelfUnroll，利用事件相机高时间分辨率信息，通过事件帧间/帧内补偿器E-IC构建RS-RS、RS-GS、GS-RS相互约束，实现无真实GS图像监督的卷帘快门到全局快门视频反演，在合成与真实数据集上达到最先进性能。
2023-04-19 cs.CV
Bringing Rolling Shutter Images Alive with Dual Reversed Distortion
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
滚动快门（RS）失真可以被解释为在RS相机曝光期间随时间从即时全局快门（GS）帧拾取一行像素的结果。这意味着每个瞬时GS帧的信息部分地但顺序地嵌入到行相关失真中。受这一事实的启发，我们解决了逆转这一过程的挑战性任务，即，从遭受RS失真的图像中提取未失真的GS帧。然而，由于RS失真与其他因素，如读出设置和相对速度的场景元素的相机，模型，只利用时间上相邻的图像之间的几何相关性遭受较差的通用性，在处理数据与不同的读出设置和动态场景与相机运动和对象运动。在本文中，而不是两个连续的帧，我们建议利用双RS相机拍摄的图像与反向RS方向，这个极具挑战性的任务。基于双反向畸变的对称性和互补性，提出了一种新的端到端模型IFED，通过迭代学习RS时间内的速度场来产生双光流序列.大量的实验结果表明，IFED是优于天真的级联计划，以及国家的最先进的利用相邻的RS图像。最重要的是，虽然它是在合成数据集上训练的，但IFED在从真实世界的RS失真动态场景图像中检索GS帧序列方面是有效的。代码可在https://github.com/zzh-tech/Dual-Reversed-RS上获得。
2022-07-20 cs.CV
Deep network for rolling shutter rectification
CMOS传感器在对场景进行成像时采用逐行采集机制，这可能导致捕获图像中的不期望的运动伪影，称为滚动快门（RS）失真。现有的单图像RS校正方法试图通过使用为特定类别的场景定制的算法来解释这些失真，该场景保证了固有相机参数的信息，或者使用具有已知地面真实运动参数的基于学习的框架。在本文中，我们提出了一个端到端的深度神经网络的单图像遥感纠正的挑战性任务。我们的网络由运动块、轨迹模块、行块、RS校正模块和RS再生模块（仅在训练期间使用）组成。运动块预测相机的姿态为每一行的输入RS失真的图像，而轨迹模块拟合估计的运动参数的三阶多项式。行块预测必须与目标即RS校正图像中的每个像素相关联的相机运动。最后，RS校正模块利用运动轨迹和行块的输出对输入的RS图像进行变形，得到无畸变的图像。为了在训练过程中更快地收敛，我们还使用了RS再生模块，该模块将输入RS图像与由估计的运动参数失真的地面真实图像进行比较。在我们的模型中的端到端公式不约束估计的运动地面实况运动参数，从而成功地纠正复杂的现实生活中的相机运动的RS图像。在合成和真实数据集上的实验表明，我们的网络在定性和定量方面都优于现有技术。
2021-12-12 cs.CV
Renormalization for Initialization of Rolling Shutter Visual-Inertial Odometry
Snap（Snap公司）
本文研究了带卷帘快门相机的视觉-惯性里程计系统的初始化问题。惯性测量是使用惯性信号并将其与视觉数据融合的先决条件。我们提出了一种新的统计解决方案的初始化问题的视觉和惯性数据的同时，通过铸造到Kanatani的重整化方案。重整化是一种优化方案，旨在减少常见线性系统的固有统计偏差。我们推导并提出了必要的步骤和方法，具体的初始化问题。对地面实况的广泛评估显示出优越的性能，并在最初提出的最小二乘解决方案的精度高达$20\%$的增益。重正化的表现类似于最优的最大似然估计，尽管通过不同的方法得到解。通过这篇论文，我们增加了一组计算机视觉问题，这些问题可以转换为重整化方案。
2021-03-24 cs.CV cs.RO
Revisiting Rolling Shutter Bundle Adjustment: Toward Accurate and Fast Solution
Hunan University（湖南大学）；Shanghai AI Laboratory（上海人工智能实验室）；Jiangxi Provincial Natural Resources Cause Development Center（江西省自然资源事业发展中心）
本文针对卷帘快门相机的光束法平差问题，提出结合图像点归一化与视觉残差协方差标准化加权的NW-RSBA方法，并利用雅可比稀疏性和舒尔补加速，在避免平面退化的同时实现更高精度和效率。
2023-04-18 cs.CV
RS-NeRF: Neural Radiance Fields from Rolling Shutter Images
The University of Tokyo（东京大学）
针对卷帘快门效应削弱神经辐射场新视角合成效果的问题，提出RS-NeRF方法，通过构建RS成像物理模型、加入平滑正则化和多重采样算法，有效校正畸变，在合成与真实场景中性能均优于现有方法。
2024-07-14 cs.CV
Motion Blur Decomposition with Cross-shutter Guidance
The University of Tokyo（东京大学）
本文针对单张图像运动模糊分解的高度歧义性问题，提出利用全局快门与卷帘快门互补曝光特性，通过跨快门引导和互惠分支深度网络实现鲁棒分解，并构建三轴系统采集真实数据验证了方法有效性。
2024-04-01 cs.CV
UniINR: Event-guided Unified Rolling Shutter Correction, Deblurring, and Interpolation
AI Thrust, HKUST(GZ)（香港科技大学（广州）AI thrust）；University of Tokyo（东京大学）
针对卷帘快门相机快速运动时帧同时存在畸变与模糊的问题，提出基于事件引导的UniINR方法，通过统一时空隐式神经表征轻量高效地恢复任意帧率清晰全局快门帧，性能优于现有方法。
2024-07-11 cs.CV
Order-One Rolling Shutter Cameras
Trinity College Dublin（都柏林三一学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Genoa（热那亚大学）；Czech Technical University in Prague（布拉格捷克技术大学）
本文为一阶卷帘快门相机建立统一理论，提出新反投影模型并分类相对位姿最小问题，发现新实用情形，可用于解释既有绝对位姿模型。
2025-03-24 cs.CV cs.NA math.AG
USB-NeRF: Unrolling Shutter Bundle Adjusted Neural Radiance Fields
Westlake University（西湖大学）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）
本文提出USB-NeRF，通过建模卷帘快门相机的物理成像过程，在NeRF框架下同时校正RS畸变并恢复相机运动轨迹，在去畸变、新视角合成和位姿估计上均优于现有方法，并能从RS图像序列恢复高帧率全局快门视频。
2024-02-26 cs.AI cs.CV
Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames
AI Thrust, HKUST(GZ)（香港科技大学（广州）人工智能方向）；school of software Shandong University（山东大学软件学院）；School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（新加坡南洋理工大学电子与电气工程学院）
本文提出一种结合事件相机与卷帘快门相机的自监督框架，利用位移场恢复无畸变全局快门高帧率视频，实现32倍插帧、降低94%带宽并达到每帧16毫秒。
2025-06-03 cs.CV cs.RO
Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出自监督框架SelfDRSC，通过双向失真变形模块和自蒸馏策略，仅用双重反向卷帘快门图像即可生成高帧率全局快门视频，效果媲美全监督方法。
2023-09-14 cs.CV
Continuous-Time Spatiotemporal Calibration of a Rolling Shutter Camera-IMU System
Wuhan University（武汉大学）；Huawei Inc.（华为公司）
滚动快门（RS）机制被消费级相机广泛使用，这是智能手机和自动驾驶汽车的重要部件。RS效应导致相机和场景之间的相对运动时的图像失真。在视频稳定、运动恢复结构和视觉辅助里程计中需要考虑这种效应，最近的研究通过考虑RS效应改进了早期的全局快门（GS）方法。然而，目前还不清楚RS如何影响传感器组件中相机的时空校准，这对于上述应用中的良好性能至关重要。本文以相机-惯性测量组合系统为例，研究了遥感对相机-惯性测量组合系统时空定标的影响。为此，我们开发了一种标定方法的RS相机IMU系统与连续时间B样条通过使用一个校准目标。与校准GS相机不同，目标上的地标的每次观察都具有由连续时间B样条拟合的唯一相机姿态。利用从四组公共校准数据生成的模拟数据，我们表明RS可以显著地影响外部参数，导致在方向上的大约1 $^\circ$的误差和在平移中的2 $cm$的误差，其中RS设置为常见的智能手机相机。通过两个工业相机-IMU系统采集的实际数据，我们发现考虑RS效应可以提供更准确和一致的时空校准。此外，我们的方法还准确地校准RS的线间延迟。模拟和校准的代码是公开的。
2021-08-16 cs.CV eess.IV
HaRP: High Dynamic Range Photosequencing through Dual Reversed Shutter Scanning
Graduate School of Information Science and Technology, the University of Tokyo（东京大学信息科学与技术研究生院）
针对CMOS卷帘快门及其全局复位模式在动态范围与速度上的缺陷，提出双反向扫描与行自适应对齐及混合注意力网络，实现高动态范围照片序列拍摄，并构建真实数据集验证效果。
2026-09-24 cs.CV
Invisible Perturbations: Physical Adversarial Examples Exploiting the Rolling Shutter Effect
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
到目前为止，基于摄像头的计算机视觉的物理对抗性例子是通过可见的人工制品实现的-停止标志上的贴纸，眼镜周围的彩色边框或具有彩色纹理的3D打印物体。这里隐含的假设是，扰动必须是可见的，以便相机可以感知它们。相比之下，我们贡献了一个程序来生成，第一次，物理对抗的例子是不可见的人眼。而不是修改受害者对象与可见的文物，我们修改光照亮的对象。我们演示了攻击者如何制作一个调制光信号，反向照亮场景，并在最先进的ImageNet深度学习模型上造成有针对性的错误分类。具体来说，我们利用商品相机的辐射卷帘快门效应来创建出现在图像上的精确条纹图案。对于人眼来说，它看起来像是物体被照亮了，但是相机创建了一个带有条纹的图像，这将导致ML模型输出攻击者想要的分类。我们对LED进行了一系列模拟和物理实验，证明目标攻击率高达84%。
2021-04-18 cs.CR cs.CV cs.LG
Side Eye: Characterizing the Limits of POV Acoustic Eavesdropping from Smartphone Cameras with Rolling Shutters and Movable Lenses
University of Michigan（密歇根大学）；University of Florida（佛罗里达大学）；Northeastern University（东北大学）
该研究揭示了智能手机摄像头的卷帘快门和可动镜头可将环境声音调制到图像上形成窃听侧信道，提出新型信号处理流水线提取信息，并在10部手机上验证了高识别准确率，最后探讨了防御策略。
2023-01-26 cs.CR cs.CV cs.MM
Let's Roll: Synthetic Dataset Analysis for Pedestrian Detection Across Different Shutter Types
University of Southern California（南加州大学）；Harvard Westlake High School（哈佛西湖高中）
本文利用Unreal Engine 5生成配对的GS与RS合成数据集，研究不同快门机制对ML目标检测的影响，发现粗粒度检测性能一致但细粒度指标差异显著。
2023-09-15 cs.CV
Moment-Reenacting: Inverse Motion Degradation with Cross-shutter Guidance
Graduate School of Information Science and Technology, The University of Tokyo（信息科学与技术研究生院，东京大学）
提出统一框架，联合利用全局快门模糊与卷帘快门畸变的互补特性，通过双快门设置和双流运动解释模块实现高速视频重建。
2026-05-22 cs.CV
Neural Image Re-Exposure
Dalian University of Technology（大连理工大学）
提出基于神经网络的图像重新曝光统一框架，利用事件流和注意力机制在后处理中解决快门引起的模糊、不连续等问题，优于现有独立方法。
2023-05-23 cs.CV
Modeling Varying Camera-IMU Time Offset in Optimization-Based Visual-Inertial Odometry
Tencent AI Lab（腾讯人工智能实验室）
结合相机和惯性测量单元（IMU）已被证明在运动跟踪中是有效的，因为这两种传感模式提供了适合融合的互补特性。虽然大多数作品都专注于全局快门相机和同步传感器测量，但消费级设备大多配备卷帘快门相机，并且存在传感器同步不完善的问题。在这项工作中，我们提出了一个非线性优化为基础的单目视觉惯性里程计（VIO）与变化的相机IMU的时间偏移建模为一个未知变量。我们的方法能够以统一的方式处理卷帘快门效应和不完美的传感器同步。此外，我们引入了一个有效的算法，动态规划和红黑树的基础上，以加快IMU集成在变长的时间间隔在优化过程中。一个不确定性感知的初始化也提出了启动VIO鲁棒。Euroc数据集和手机数据的最先进的方法的比较，以验证我们的方法的有效性。
2018-10-12 cs.CV cs.RO
A Linear N-Point Solver for Structure and Motion from Asynchronous Tracks
ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）；Alibaba Group（阿里巴巴集团）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
针对异步相机数据难以进行结构与运动估计的问题，提出一种基于一阶动力学和恒定速度模型的线性N点求解器，可从任意时间戳和视图的2D点对应中高效恢复线性速度与3D结构，在多模态实验中表现优于现有方法。
2025-08-14 cs.CV
