Towards Accurate Camera Geopositioning by Image Matching
Eindhoven University of Technology（埃因霍温理工大学）
在这项工作中，我们提出了一个相机地理定位系统的基础上匹配查询图像对数据库与全景图像。为了进行匹配，我们的系统使用基于卷积特征的全局图像描述符聚合的记忆向量，以便于在数据库中快速搜索。为了加快搜索速度，使用聚类算法来平衡地理定位和计算时间。我们使用一种新的离群点去除算法来细化从查询图像中获得的位置。对于全景图到全景图的匹配，以大于90%的recall@5获得查询图像的匹配。我们将地理上相邻的位置的可用数据集聚类到一个紧凑的表示中，并观察到大约50%的计算增益，代价是只有一个小的（约3%）召回损失。最后，我们提出了一个坐标估计算法，减少了中值地理定位误差高达20%。
2019-03-13 cs.CV
Color-based Segmentation of Sky/Cloud Images From Ground-based Cameras
Nanyang Technological University（南洋理工大学）；Advanced Digital Sciences Center（高级数字科学中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
地面摄像机拍摄的天空/云图像（又名全天空成像仪）由于其在包括气候建模、天气预报、可再生能源发电和卫星通信在内的多个领域中的应用，如今被越来越多地使用。由于这些图像中的云类型和光照条件多种多样，因此云的准确和鲁棒分割具有挑战性。在本文中，我们提出了一个监督的分割框架，地面的天空/云图像的基础上，不同的颜色空间和组件的系统分析，使用偏最小二乘（PLS）回归。与其他最先进的方法不同，我们提出的方法完全基于学习，不需要任何手动定义的参数。此外，我们还向研究界发布了新加坡全天空影像分割数据库（SWIMSEG），这是一个大型的天空/云图像注释数据库。
2016-06-12 cs.CV
Camera Relocalization by Computing Pairwise Relative Poses Using Convolutional Neural Network
Aalto University（阿尔托大学）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
我们提出了一种新的基于深度学习的摄像机重新定位方法。我们的方法通过使用卷积神经网络（CNN）首先检索相似的数据库图像，然后预测查询和数据库图像之间的相对姿态，其姿态是已知的，来定位给定的查询图像。查询图像的相机位置是使用基于RANSAC的方法通过三角测量从两个相对平移估计获得的。每个相对姿态估计提供了相机取向的假设，并且它们在第二RANSAC方案中被融合。使用训练图像对以端到端的方式训练神经网络用于相对姿态估计。与以前的工作相比，我们的方法不需要对网络进行特定场景的训练，这提高了可扩展性，并且它也可以应用于网络训练期间不可用的场景。作为另一个主要贡献，我们发布了一个具有挑战性的室内定位数据集，涵盖注册到公共坐标系的5个不同场景。我们使用我们自己的数据集和标准的7场景基准来评估我们的方法。结果表明，所提出的方法可以很好地推广到以前看不见的场景，并与最近的其他基于CNN的方法相比。
2017-08-01 cs.CV
Superimposition of eye fundus images for longitudinal analysis from large public health databases
International Prevention Research Institute（国际预防研究所）；Swansea University（斯旺西大学）；Diabetic Eye Screening Wales（威尔士糖尿病眼部筛查机构）；University of Strathclyde（思克莱德大学）
在本文中，提出了一种方法，用于叠加（即注册）的眼底图像的糖尿病筛查多年的糖尿病视网膜病变的人。该方法是全自动的，并且对相机变化和图像在空间和时间上的颜色变化具有鲁棒性。该过程的所有阶段都被设计用于队列公共卫生数据库的纵向分析，其中视网膜检查大约每年进行一次。该方法依赖于一个模型，纠正两个径向失真和仿射变换的图像对，这是鲁棒的显着点拟合。每个阶段都涉及线性估计，然后是非线性优化。图像变形的模型也是可逆的快速计算。该方法已在（1）模拟蒙太奇和（2）公共健康数据库中进行了验证，其中69名患者具有高质量图像（271对主要使用不同类型的相机采集，268对主要使用相同类型的相机采集），成功率为92%和98%，5名患者（20对）具有低质量图像，成功率为100%。与两种最先进的方法相比，我们的方法得到了更好的结果。
2018-07-18 cs.CV
EMDB: The Electromagnetic Database of Global 3D Human Pose and Shape in the Wild
ETH Zürich（苏黎世联邦理工学院）；Meta Reality Labs（Meta现实实验室）
EMDB是一个包含58分钟野外视频中高质量3D人体姿态、形状及全局轨迹的电磁数据集，通过多阶段优化和神经隐式模型构建，精度优于现有数据集，并用于评估单目姿态估计方法。
2023-08-31 cs.CV
SpliceRadar: A Learned Method For Blind Image Forensics
Verisk AI, Verisk Analytics（Verisk分析公司Verisk人工智能部门）；Vision and Security Technology (VAST) Lab（视觉与安全技术（VAST）实验室）
随着图像编辑软件的方便使用，像拼接这样的图像操作的检测和定位变得越来越重要。虽然检测会对图像做出判断，但它并不提供对操作的洞察。定位通过识别图像中已被篡改的像素来帮助解释阳性检测。我们提出了一种基于深度学习的拼接定位方法，无需测试图像的相机模型的先验知识。它包括一种新的方法，用于学习丰富的过滤器和抑制图像边缘。此外，我们训练我们的模型上的相机模型识别，这使我们能够利用大型和广泛可用的，未经处理的，相机标记的图像数据库的代理任务。在推理过程中，我们假设拼接区域和宿主区域来自不同的相机模型，我们使用高斯混合模型分割这些区域。在三个测试数据库上的实验结果表明，该方法的结果与现有技术相当或更高，并且对未知数据集具有良好的泛化能力。
2019-06-27 cs.CV
3D Surfel Map-Aided Visual Relocalization with Learned Descriptors
Hong Kong University of Science and Technology（香港科技大学）；ETH Zurich（苏黎世联邦理工学院）
在本文中，我们介绍了一种方法的视觉重新定位使用的几何信息，从三维冲浪地图。一个可视化的数据库首先建立从三维曲面图渲染，它提供了图像点和三维曲面之间的关联的全球索引。曲面重投影约束用于优化视觉数据库中的关键帧姿态和映射点。然后，分层相机重新定位算法利用视觉数据库来估计6-DoF相机姿态。学习的描述符进一步用于提高在具有挑战性的情况下的性能。我们在真实世界条件下进行了评估，并进行了仿真，以显示我们的方法的有效性和效率，并使最终的相机姿态始终与3D环境保持一致。
2021-04-08 cs.CV cs.RO
All the people around me: face discovery in egocentric photo-streams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
给定由可穿戴照相机（2fpm）捕获的图像的无约束流，我们提出了一种无监督的自下而上的方法，用于将出现的面部自动聚类到这些数据中存在的个体身份中。这个问题是具有挑战性的，因为图像是在真实世界条件下获得的，因此图像中的人的可见外观经历了强烈的变化。我们提出的管道包括首先将照片流安排到事件中，然后定位其中多个人的外观，最后将同一个人在不同事件中的各种外观分组。在一个月内佩戴照相机采集的数据集上进行的实验结果表明，所提出的方法的有效性所考虑的目的。
2017-05-12 cs.CV
Lazy Visual Localization via Motion Averaging
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；ByteDance Inc.（字节跳动公司）
本研究提出无需3D场景重建的视觉定位方法LazyLoc，通过定制化运动平均处理数据库-查询对，精度媲美主流结构基方法，且可扩展至多查询协同定位等复杂场景。
2023-07-19 cs.CV
Cross-Quality LFW: A Database for Analyzing Cross-Resolution Image Face Recognition in Unconstrained Environments
Technical University（技术大学）
现实世界的人脸识别应用程序经常处理次优的图像质量或分辨率，由于不同的捕获条件，如各种主体到相机的距离，差的相机设置，或运动模糊。这一特点对业绩有着不可忽视的影响。最近的交叉分辨率人脸识别方法使用简单，任意和不切实际的缩小和放大技术来衡量图像质量对真实世界边缘情况的鲁棒性。因此，我们提出了一个新的标准化的基准数据集和评估协议，来自著名的标签在野外的脸（LFW）。与以前的衍生工具相比，这些衍生工具专注于姿势，年龄，相似性和对抗攻击，我们的跨质量标签人脸在野外（XQLFW）最大限度地提高了质量差异。它只在必要时包含更真实的合成退化图像。然后，我们提出的数据集用于进一步研究图像质量对几种最先进方法的影响。与XQLFW，我们表明，这些模型在交叉质量的情况下表现不同，因此，泛化能力是不准确的预测LFW的性能。此外，我们报告了最近针对交叉分辨率应用进行明确训练的深度学习模型的基线准确性，并评估了对图像质量的敏感性。为了鼓励跨分辨率人脸识别的进一步研究，并激发图像质量鲁棒性的评估，我们公布了数据库和代码的评估。
2022-11-25 cs.CV
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院和人工智能学院，上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择，提出 FlatFusion 框架，通过优化映射策略、注意力分组和微结构，在 nuScenes 上以 10.1 FPS 达到 73.7 NDS，显著超越现有方法。
2025-06-30 cs.CV
Hyperspectral Image Segmentation: A Preliminary Study on the Oral and Dental Spectral Image Database (ODSI-DB)
Hypervision Surgical Ltd（Hypervision Surgical 有限公司）
临床组织类型的视觉区分仍然具有挑战性，传统的RGB成像为此类任务提供有限的对比度。高光谱成像（HSI）是一种很有前途的技术，提供丰富的光谱信息，可以远远超出三通道RGB成像。此外，最近开发的快照HSI相机能够实现具有临床应用潜力的实时成像。尽管如此，调查的相对性能的HSI超过RGB成像的语义分割的目的已经受到限制，特别是在医学成像的背景下。在这里，我们比较了最先进的深度学习图像分割方法在高光谱图像、RGB图像、高光谱像素（减去空间上下文）和RGB像素（忽略空间上下文）上训练时的性能。为了实现这一目标，我们采用了最近发布的口腔和牙齿光谱图像数据库（ODSI-DB），其中包括215个手动分割的牙齿反射光谱图像，30个人类受试者中有35个不同的类别。最近发展的快照HSI摄像机已经使实时临床HSI的一个明显的可能性，虽然成功的应用程序需要全面了解的额外信息HSI提供。我们的工作突出了光谱分辨率，光谱范围和空间信息的相对重要性，以指导HSI相机的发展，并为未来的临床HSI应用提供信息。
2023-03-14 cs.CV eess.IV
Using a Supervised Method without supervision for foreground segmentation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
神经网络是一个强大的框架，用于静态摄像机采集的视频中的前景分割，在各种具有挑战性的场景中以鲁棒的方式从背景中分割出运动对象。首要的方法是那些基于监督的方法，其需要对来自特定静态相机的数十到数百个手动分割图像的数据库进行最终训练阶段。在这项工作中，我们提出了一种方法来自动创建一个“人工”数据库，足以训练监督的方法，使其表现优于目前的无监督方法。与监督方法相比，它基于结合弱前景分割器，从训练图像中提取合适的对象，并将这些对象随机插入背景图像中。测试结果显示在CDnet中的测试序列上。
2021-06-20 cs.CV
Palmprint Recognition in Uncontrolled and Uncooperative Environment
Nanyang Technological University（南洋理工大学）
在线掌纹识别和潜在掌纹识别是掌纹研究的两个分支。前者利用数码相机在良好控制或接触式环境中收集的中等分辨率图像，并与用户合作用于商业应用，后者利用在犯罪现场收集的高分辨率潜在掌纹进行法医调查。然而，这两个分支并没有涵盖一些具有法医调查潜力的掌纹图像。由于智能手机和消费者相机的普及，更多的证据是在不受控制和不合作的环境中拍摄的数字图像，例如，儿童色情图像和恐怖主义图像，犯罪分子通常隐藏或遮盖面部。但他们的手掌可以被观察到。为研究非受控、非合作环境下采集的图像的掌纹识别问题，建立了一个新的掌纹数据库，提出了一种端到端的深度学习算法。新的数据库名为NTU-PI-v1（NTU-PI-v1），包含从互联网上收集的2035个手掌的7881个图像。该算法由对齐网络和特征提取网络组成，具有端到端的可训练性。该算法与最先进的在线掌纹识别方法进行了比较，并在三个公共的非接触式掌纹数据库，IITD，CASIA和理大和两个新的数据库，NTU-PI-v1和NTU非接触式掌纹数据库进行了评估。实验结果表明，该算法优于现有的掌纹识别方法。
2019-11-28 cs.CV
Subjective Quality Assessment of Ground-based Camera Images
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；ADAPT SFI Research Centre（ADAPT SFI研究中心）；University College Dublin（都柏林大学）；Nanyang Technological University Singapore（新加坡南洋理工大学）；National University of Singapore（新加坡国立大学）
图像质量评估对于控制和保持视觉内容的感知质量至关重要。主观和客观评估都可以使用，但是，主观图像质量评估目前被认为是最可靠的方法。在大气研究领域需要一个包含失真图像和平均意见分数的数据库，以改进目前最先进的方法。在本文中，我们专注于使用地基天空相机图像来理解大气事件。我们提出了一个新的图像质量评估数据集包含原始和扭曲的夜间图像的天空/云从SWINSEG数据库。按照国际电联的建议，在受控条件下进行了主观质量评估。主观评分的统计分析显示了噪声类型和失真水平对感知质量的影响。
2019-12-16 cs.CV eess.IV
Lensless-camera based machine learning for image classification
University of Utah（犹他大学）
机器学习在图像分类中得到了广泛的应用。在这里，我们将此应用程序扩展到由仅包含标准CMOS图像传感器而没有镜头的相机生成的数据。我们首先创建了一个手写数字的无透镜图像数据库。然后，我们在该数据集上训练了ML算法。最后，我们证明了训练的ML算法能够以高达99%的准确率对2位数字进行分类。我们的方法清楚地展示了非人类相机在基于机器的决策场景中的潜力。
2017-09-03 cs.CV physics.optics
INTEL-TUT Dataset for Camera Invariant Color Constancy Research
INTEL（英特尔）
在本文中，我们提供了一个新的数据集设计的相机不变的颜色恒常性的研究。相机不变性对应于算法在由不同相机拍摄的相同场景的图像上运行时的性能的鲁棒性。因此，数据库中的图像对应于几个实验室和现场场景，每个场景由三个不同的相机以最小的配准误差捕获。实验室场景也在五种不同的照明下拍摄。还提供了相机的光谱响应和实验室光源的光谱功率分布，因为它们可能证明有利于训练未来的算法以实现颜色恒定性。为了对未来的方法进行公平的评估，我们为有监督的方法提供了指导方针，并指出了训练，验证和测试分区。因此，我们评估了最近提出的基于卷积神经网络的颜色恒常性算法作为未来研究的基线。作为附带贡献，该数据集还包括由移动相机拍摄的图像，具有颜色阴影校正和未校正的结果。这也允许研究颜色阴影的效果。
2017-03-31 cs.CV
Re-identification of Humans in Crowds using Personal, Social and Environmental Constraints
研究了人群中非重叠摄像机对人的重新识别问题，由于人群数量多、遮挡频繁，加上摄像机的属性和曝光不同，导致其外观发生变化，因此在人群中重新识别是一个具有挑战性的问题。为了解决这个问题，我们模拟多个人，社会和环境（PSE）的限制，对人体运动的摄像机。个人约束包括假设跨非重叠相机相似的每个个体的外观和偏好速度。社会影响（约束）在本质上是二次的，即发生在成对的个体之间，并通过分组和避免冲突来建模。最后，环境约束捕获不同摄像机中的门（入口/出口）之间的转移概率，定义为所有门对之间的转移时间和目的地的多模态分布。我们将这些限制到一个能量最小化的框架，解决人类重新识别。当建模PSE约束时，消除$1-1$对应性是NP难的。我们提出了一种随机局部搜索算法来限制假设的搜索空间，并在线性和二次PSE约束下获得了$1-1$解。此外，我们提出了一个替代的优化使用Frank-Wolfe算法，解决了凸近似的目标函数与线性松弛二进制变量，并产生一个数量级的速度比随机局部搜索性能略有下降。我们评估我们的方法，使用累积匹配曲线以及$1-1$分配数千帧的大中央，PRID和DukeMTMC数据集，并获得显着更好的结果相比，现有的重新识别方法。
2016-12-07 cs.CV
Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks
该综述针对事件视觉领域深度学习技术缺乏分类体系的问题，梳理事件表示与增强方法，分类综述相关深度学习方法，并通过基准实验明确问题，最后提出挑战与研究视角。
2024-04-11 cs.CV
Semantic Pose Verification for Outdoor Visual Localization with Self-supervised Contrastive Learning
Izmir Institute of Technology（伊兹密尔理工学院）；Instituto de Investigación en Ingeniería de Aragón (I3A)（阿拉贡工程研究院（I3A））；Universidad de Zaragoza（萨拉戈萨大学）
任何城市规模的视觉定位系统都必须克服长期的外观变化，例如查询图像和数据库图像之间的光照条件变化或季节变化。由于语义内容是更强大的这种变化，我们利用语义信息，以提高视觉定位。在我们的场景中，数据库由全景图像（例如Google街景）生成的日晷视图组成，查询图像是在不同时间用标准视场相机收集的。为了改进本地化，我们检查查询和数据库图像之间的语义相似性，这并不是小事，因为摄像机的位置和视角并不完全匹配。为了学习相似性，我们建议在语义分割图像的数据集上以自监督的方式训练CNN，并进行对比学习。实验表明，这种语义相似度估计方法比像素级的相似度测量方法效果更好。最后，我们使用语义相似性分数来验证通过最先进的视觉定位方法获得的检索，并观察到基于对比学习的姿势验证将前1召回值增加到0.90，这对应于2%的改进。
2022-03-31 cs.CV
Reloc3r: Large-Scale Training of Relative Camera Pose Regression for Generalizable, Fast, and Accurate Visual Localization
The University of Hong Kong（香港大学）；Aalto University（阿尔托大学）；ETH Zurich（苏黎世联邦理工学院）；VIVO（维沃公司）；University of Oulu（奥卢大学）
针对现有深度视觉定位方法泛化性与准确性不足的问题，提出Reloc3r框架，结合相对位姿回归网络与极简运动平均模块，经800万图像对训练后，在6个公开数据集上实现实时准确的跨场景视觉定位。
2025-03-21 cs.CV
Reinforcement Learning of Self Enhancing Camera Image and Signal Processing
University of Texas（得克萨斯大学）；Oden Institute of Engineering and Sciences（奥登工程与科学研究所）
提出RSE-RL深度强化学习模型，在潜在子空间中通过变分自编码器聚类和软执行者-评论者代理，递归地进行基于块的空间自适应伪影滤波与图像增强，有效去除异质噪声和伪影。
2022-09-11 cs.CV
Panoramic Annular Localizer: Tackling the Variation Challenges of Outdoor Localization Using Panoramic Annular Images and Active Deep Descriptors
Zhejiang University（浙江大学）
视觉定位是一个有吸引力的问题，估计相机定位从数据库图像的基础上查询图像。它是各种应用的关键任务，如自动驾驶汽车，辅助导航和增强现实。该任务的挑战性问题在于查询和数据库图像之间的各种外观变化，包括光照变化，动态对象变化和视点变化。为了解决这些问题，本文提出了一种结合全景环形透镜和鲁棒深度图像描述子的全景环形定位器。将单摄像机拍摄的全景环形图像进行处理后送入NetVLAD网络，形成主动深度描述子，利用序贯匹配生成定位结果。在公共数据集和现场进行的实验表明了该系统的有效性。
2019-07-15 cs.CV
REST: Real-to-Synthetic Transform for Illumination Invariant Camera Localization
Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
准确的摄像机定位是跟踪系统的重要组成部分。然而，定位结果受光照的影响很大。包括在各种照明条件下收集的数据可以提高定位算法对照明变化的鲁棒性。然而，这是非常繁琐和耗时的。通过使用合成图像，可以在不同的照明和天气条件下容易地积累各种各样的视图。尽管不断改进处理能力和渲染算法，但合成图像并不完全匹配同一场景的真实图像，即真实图像和合成图像之间存在差距，这也影响了相机定位的准确性。为了减少这种差距的影响，我们引入了“真实到合成转换（REST）”。REST是一个类似于自动编码器的网络，它将真实的功能转换为它们的合成对应物。然后，可以将转换后的特征与累积的数据库进行匹配，以实现鲁棒的相机定位。在我们的实验中，REST将可变光照条件下的特征匹配精度提高了约30%。此外，我们的系统优于使用合成图像训练的最先进的基于CNN的相机定位方法。我们相信我们的方法可以用来初始化本地跟踪和简化数据积累的照明鲁棒定位。
2018-03-26 cs.CV
TRAIL: Trajectory-Aware Visual Place Recognition against Unordered Databases
Visual Geometry Group (VGG), University of Oxford（牛津大学视觉几何组（VGG））；Helsing（赫尔辛公司）
TRAIL提出一种基于条件随机场的轨迹感知视觉地点识别框架，利用查询序列上下文在无序数据库中定位图像，无需数据库序列结构，作为轻量级后处理层可将基线性能提升高达8.3个百分点。
2026-09-09 cs.CV
Cross-modal Place Recognition in Image Databases using Event-based Sensors
ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
本文提出首个跨模态视觉地点识别框架，利用事件相机查询从常规图像数据库中检索图像，并在 Brisbane-Event-VPR 数据集上验证了检索与分类结合可显著提升性能。
2023-07-03 cs.CV
TBPos: Dataset for Large-Scale Precision Visual Localization
University of Vaasa（瓦萨大学）；Aalto University（阿尔托大学）
基于图像的定位是一个经典的计算机视觉挑战，具有几个众所周知的数据集。通常，数据集包括捕获建模场景的视觉3D数据库，以及要发现其3D姿态的查询图像。通常，查询图像是用与用于收集3D数据库的成像硬件不同的相机获取的;因此，难以获取查询图像和3D数据库之间的准确地面实况姿态。随着视觉定位算法精度的不断提高，精确的地面实况变得越来越重要。本文提出了TBPos，一种新的大规模的基于图像的定位，它提供查询图像与完全准确的地面实况构成的视觉数据集：数据库图像和查询图像已来自相同的激光扫描仪数据。在本文的实验部分中，通过基于图像的定位管道来评估所提出的数据集。
2023-02-20 cs.CV
A High Resolution Multi-exposure Stereoscopic Image & Video Database of Natural Scenes
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
近年来，沉浸式显示器（诸如VR耳机、AR眼镜、多视图显示器、自由点电视）已经作为一类新的显示技术出现，与传统显示器相比，提供了更好的视觉体验和观众参与度。随着3D视频和显示技术的发展，高动态范围（HDR）相机和显示器的消费市场正在快速增长。缺乏适当的实验数据是3D HDR视频技术领域中主要研究工作发展的关键障碍。此外，没有足够的真实世界多次曝光实验数据集是HDR成像研究的主要瓶颈，从而限制了观看者的体验质量（QoE）。在本文中，我们介绍了一个多元化的立体多曝光数据集内捕获的印度理工学院马德拉斯，这是家庭对不同的动植物的校园。该数据集使用ZED立体相机捕获，并提供室外位置（如花园，路边景观，节日场地，建筑物）和室内位置（如学术和住宅区）的复杂场景。所提出的数据集适应广泛的深度范围，复杂的深度结构，复杂的物体运动，光照变化，丰富的颜色动态，纹理差异，除了由移动相机和背景运动引入的显着随机性。拟议的数据集向研究界公开提供。此外，详细描述了用于捕获、对准和校准多曝光立体视频和图像的过程。最后，我们讨论了HDR成像，深度估计，一致性色调映射和3D HDR编码方面的进展，挑战，潜在的用例和未来的研究机会。
2022-06-22 cs.CV eess.IV
Camera-trap images segmentation using multi-layer robust principal component analysis
Universidad de Antioquia UdeA（安蒂奥基亚大学）
从相机捕获的图像中分割动物是一项艰巨的任务。为了说明，由于这些图像中的环境条件和硬件限制，存在各种挑战。提出了一种多层鲁棒主成分分析（多层RPCA）背景减除方法。我们的方法计算稀疏和低秩图像的描述符的加权和，使用颜色和纹理特征作为相机陷阱图像分割的研究案例。该算法采用直方图均衡化或高斯滤波作为图像的预处理，结合活动轮廓线的形态滤波器作为图像的后处理。我们的多层RPCA的参数进行了优化与穷举搜索。该数据库由亚历山大·冯·洪堡生物资源研究所拍摄的哥伦比亚森林的相机陷阱图像组成。我们分析了我们的方法在固有的，因此具有挑战性的情况下的相机陷阱图像的性能。此外，我们将我们的方法与一些最先进的背景减除算法进行了比较，其中我们的多层RPCA优于这些其他方法。我们的多层RPCA达到76.17和69.97%的平均细粒度的F-措施的颜色和红外序列，分别。据我们所知，本文是第一个提出多层RPCA并将其用于相机陷阱图像分割的工作。
2017-12-30 cs.CV
How to augment a small learning set for improving the performances of a CNN-based steganalyzer?
LIRMM（蒙彼利埃大学与法国国家科学研究中心联合实验室）；Univ Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；Univ Nîmes（尼姆大学）
深度学习和卷积神经网络（CNN）在过去几年中已被广泛用于许多图像处理主题。就隐写分析而言，使用CNN可以达到最先进的结果。这种网络的性能通常取决于其学习数据库的大小。一个明显的初步假设可能是认为“数据库越大，结果越好”。然而，它出现时，必须采取谨慎的增加数据库的大小，如果一个人希望提高分类精度，即提高隐写分析的效率。据我们所知，没有研究已经进行了丰富的学习数据库上的隐写分析性能的影响。什么样的图像可以添加到初始学习集？敏感标准是什么：用于获取图像的相机型号、应用于图像的处理、数据库中的相机比例等？本文继续了前一篇论文中的工作，并探讨了提高CNN性能的方法。它的目的是研究“基地增强”的性能隐写分析使用CNN的影响。我们提出了这项研究的结果，使用各种实验协议和各种数据库来定义在隐写分析的基础增强的良好做法。
2018-02-03 cs.CV cs.MM
CASIA-Face-Africa: A Large-scale African Face Image Database
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
人脸识别是一个热门的研究领域，在我们的社会中有着广泛的应用。然而，种族偏见已被证明是大多数最先进的（SOTA）人脸识别系统所固有的。许多关于人脸识别算法的调查研究报告了非洲受试者队列的假阳性率高于其他队列。缺乏大规模的非洲人脸图像数据库是研究人脸识别中种族偏见问题的主要限制之一。为此，我们收集了一个名为CASIA-Face-Africa的人脸图像数据库，其中包含1，183名非洲受试者的38，546张图像。利用多光谱相机在各种照明设置下捕获人脸图像。受试者的人口统计学特征和面部表情也被仔细记录。对于地标检测，数据库中的每个面部图像都手动标记有68个面部关键点。根据不同的应用、任务、分区和场景，构建了一组评估协议。没有重新训练的SOTA人脸识别算法的性能报告为基线。建议的数据库及其面部标志注释，评估协议和初步结果形成了一个很好的基准，以研究非洲受试者面部生物特征识别的基本方面，特别是面部图像预处理，面部特征分析和匹配，面部表情识别，性别/年龄估计，种族分类，面部图像生成等。该数据库可以从我们的http://www.cripacsir.cn/dataset/下载
2021-05-11 cs.CV
Massive Online Crowdsourced Study of Subjective and Objective Picture Quality
University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数公开的图像质量数据库都是在高度控制的条件下通过在高质量照片上引入分级模拟失真而创建的。然而，使用典型的真实世界移动相机设备捕获的图像通常受到多种失真的复杂混合的影响，这些失真不一定被现有数据库中发现的合成失真很好地建模。现有遗留数据库的发起人通常进行人类心理测量研究，以在严格控制的视觉环境中获得对图像的人类意见分数的统计上有意义的集合，从而导致相对于其他类型的图像分析数据库的小数据汇集。为了克服这些限制，我们设计并创建了一个新的数据库，我们称之为“野外图像质量挑战数据库”，该数据库包含使用各种现代移动设备捕获的大量图像的各种真实图像失真。我们还设计并实现了一个新的在线众包系统，我们已经使用该系统进行了一项非常大规模的、为期数月的图像质量评估主观研究。我们的数据库包括超过350000意见评分1162图像超过7000独特的人类观察员进行评估。尽管缺乏对众多研究参与者的实验环境的控制，但我们证明了主观数据集的良好内部一致性。我们还评估了几种性能最好的盲图像质量评估算法，并提出了关于失真混合物如何挑战最终用户以及自动感知质量预测模型的见解。
2015-11-09 cs.CV
Vision-Based Terrain Relative Navigation on High-Altitude Balloon and Sub-Orbital Rocket
Massachusetts Institute of Technology（麻省理工学院）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
我们通过将从卫星图像数据库映射的地标与相机图像相关联，并利用相机帧之间的惯性传感器，对使用基于相机的方法进行高空导航进行了实验分析。我们评估了侧向倾斜和面向下的相机从World View Enterprises高空气球收集的数据的性能，这些数据从33公里的高度开始，下降到近地面（4.5公里），飞行时间为1.5小时。我们证明了在超过150公里的轨迹上的平均位置误差小于290米。除了显示在一系列高度的性能，我们还展示了鲁棒性的地形相对导航（TRN）方法的气球的快速旋转，在某些情况下超过每秒20度，和摄像头的障碍所造成的云层覆盖和电线摇摆的气球下面。此外，我们评估了Blue Origin的New Shepard火箭胶囊内的两台相机在有效载荷飞行NS-23上收集的数据的性能，速度高达880公里/小时，并证明平均位置误差小于55米。
2023-02-16 cs.CV
Deep Camera: A Fully Convolutional Neural Network for Image Signal Processing
ON Semiconductor（安森美半导体）
传统的照相机顺序地执行各种信号处理步骤以从原始拜耳图像重构图像。当在多个阶段中执行这些处理时，来自每个阶段的残余误差在图像中累积并且降低最终重构图像的质量。在本文中，我们提出了一个完全卷积神经网络（CNN）执行缺陷像素校正，去噪，白平衡，曝光校正，去马赛克，颜色变换和伽马编码。据我们所知，这是第一个经过端到端训练的CNN，可以在相机中执行整个图像信号处理管道。使用原始Bayer图像的大型图像数据库训练神经网络。通过大量的实验，我们表明，所提出的基于CNN的图像信号处理系统比顺序执行处理的传统信号处理流水线执行得更好。
2019-08-24 cs.CV eess.IV
3D Data Augmentation for Driving Scenes on Camera
Shanghai AI Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）
驾驶场景极其多样和复杂，仅凭人力无法收集所有案例。虽然数据增强是丰富训练数据的有效技术，但是用于自动驾驶应用中的相机数据的现有方法被限制于2D图像平面，这可能无法最佳地增加3D真实世界场景中的数据多样性。为此，我们提出了一个三维数据增强的方法，称为驱动器-3DAug，旨在增强驾驶场景的相机在三维空间。我们首先利用神经辐射场（NeRF）来重建背景和前景物体的3D模型。然后，通过将具有自适应位置和方向的3D对象放置在预定义的有效背景区域处，可以获得增强的驾驶场景。因此，培训数据库可以有效地扩大规模。然而，三维物体建模受到图像质量和有限视点的限制。为了克服这些问题，我们通过引入几何校正损失和具有感知能力的训练策略来修改原始NeRF。我们在Waymo和nuScences数据集上评估了我们的方法用于仅摄像头的单目3D检测任务。所提出的数据增强方法分别在Waymo和nuScences上的检测准确性方面提高了1.7%和1.4%。此外，构建的3D模型可作为数字驾驶资产，并可回收用于不同的检测器或其他3D感知任务。
2023-03-18 cs.CV
C3PO: Database and Benchmark for Early-stage Malicious Activity Detection in 3D Printing
越来越多的恶意用户寻求利用3D打印技术在犯罪活动中生产非法工具的做法。目前的法规不足以应对3D打印机的快速增长。使3D打印机能够识别要打印的物体至关重要，以便在早期阶段终止非法武器的制造过程。深度学习在物体识别任务中的性能有显著提高。然而，3D打印领域缺乏大规模数据库阻碍了自动非法武器识别的进展。本文提出了一种新的3D打印图像数据库，即C3PO，它针对不同的系统工作场景折衷了两个子集。我们从22个3D模型的数控编程代码文件中提取图像，然后将图像分类为10个不同的标签。第一组由62，200个图像组成，这些图像表示笛卡尔坐标系中三个平面上的对象投影。第二组由总共671，677张图像组成，以模拟相机对打印物体的捕获。重要的是，我们证明了武器可以在任何情况下使用基于深度学习的方法，使用我们提出的数据库识别。%我们还使用训练的深度模型来构建对象感知3D打印机的原型。定量结果是有希望的，未来对数据库的探索和3D打印中的犯罪预防是艰巨的任务。
2018-08-02 cs.CV
Camera-Pose Robust Crater Detection from Chang'e 5
The University of Adelaide（阿德莱德大学）
针对现有陨石坑检测算法缺少非天底视角性能评估的问题，本研究对比Mask R-CNN不同预训练方式的效果，证实真实月球图像预训练更优，并发布首个嫦娥五号非天底视角标注陨石坑检测数据集。
2024-07-12 cs.CV
Accurate and Scalable Image Clustering Based On Sparse Representation of Camera Fingerprint
University of Trento（特伦托大学）；National Inter-University Consortium for Telecommunications（全国校际电信联盟）
根据图像的采集设备对图像进行聚类是多媒体取证中的一个众所周知的问题，这通常是通过相机传感器模式噪声（SPN）来实现的。由于SPN是一种类噪声信号，难以估计，并且容易被许多因素衰减或破坏，因此该问题具有挑战性。此外，SPN的高维性阻碍了大规模应用。现有的方法通常基于像素域中SPN之间的相关性，这可能无法捕获向量子空间的并集中的内在数据结构。在本文中，我们提出了一个准确的聚类框架，它利用线性依赖性之间的内在向量子空间的SPN。这种依赖关系的编码下稀疏表示，这是通过解决一个LASSO问题的非负约束。所提出的框架是高度准确的聚类数估计和图像关联。此外，我们的框架是可扩展的图像的数量和鲁棒性对双重JPEG压缩以及离群值的存在，具有很大的潜力，为现实世界的应用。在Dresden和Vision数据库上的实验结果表明，该框架能够很好地适应中规模和大规模的上下文，并且性能优于现有的方法。
2018-11-30 cs.CV
No reference image quality assessment metric based on regional mutual information among images
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；Oxford Brookes University（牛津布鲁克斯大学）
随着照相机在日常生活中的广泛应用，需要一种自动的无参考的图像质量评价指标对图像进行自动分类。本文提出了一种新的基于无参考区域互信息的图像质量评价方法。我们使用区域互信息的子集的完整的图像。所提出的技术进行了测试，在四个基准的自然图像数据库，和一个基准的合成数据库。与经典和国家的最先进的方法的比较分析表明，本技术的优越性，高品质的图像和相应的数据库的其他图像相媲美。
2023-01-14 cs.CV eess.IV
High-Dynamic-Range Imaging for Cloud Segmentation
Nanyang Technological University（南洋理工大学）；Advanced Digital Sciences Center（高级数字科学中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ADAPT SFI Research Centre（ADAPT科学基金会研究中心）；Trinity College Dublin（都柏林大学三一学院）
从地面天空相机获得的天空/云图像通常使用具有宽视场的鱼眼镜头捕获。然而，天空在亮度方面表现出大的动态范围，超过传统相机可以捕获的范围。因此，难以用常规相机在Single Shot中捕获整个场景的细节。在大多数情况下，环日区域曝光过度，而地平线附近的区域曝光不足。这使得对这样的图像的云分割变得困难。在本文中，我们提出了HDRCloudSeg -一种有效的云分割方法，使用高动态范围（HDR）成像的基础上，多曝光融合。我们描述了HDR图像生成过程，并向社区发布了一个新的数据库进行基准测试。我们提出的方法是第一个使用HDR辐射图的云分割，并取得了很好的效果。
2018-03-02 cs.CV
Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image Matching
Australian National University（澳大利亚国立大学）；Huawei（华为）；University of Oxford（牛津大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61所）
我们解决的问题，地面到卫星图像的地理定位，也就是说，估计相机的纬度，经度和方向（方位角），通过匹配查询图像在地面捕获的大型数据库与地理标记的卫星图像。我们的现有技术通过选择与地面查询图像匹配的最相似的卫星参考图像来将上述任务视为纯图像检索。然而，这种方法通常产生粗略的位置估计，因为检索到的卫星图像的地理标记仅对应于图像中心，而地面相机可以位于图像内的任何点。为了进一步巩固我们以前的研究成果，我们提出了一种新的几何感知的地理定位方法。我们的新方法是能够实现查询图像的细粒度定位，卫星图像的像素大小的精度，一旦其粗略的位置和方向已经确定。此外，我们提出了一个新的几何感知的图像检索管道，以提高粗定位精度。除了我们会议工作中的极坐标变换外，这个新管道还通过几何约束投影变换将卫星图像像素映射到地面视图中的地平面，以强调信息区域，例如道路结构，用于跨视图地理定位。大量的定量和定性实验证明了我们新提出的框架的有效性。我们还显着提高性能的粗定位结果相比，国家的最先进的位置召回。
2022-03-26 cs.CV
UDC 2020 Challenge on Image Restoration of Under-Display Camera: Methods and Results
本文是ECCV 2020上第一个显示下相机（UDC）图像恢复挑战赛与RLQ研讨会的报告。该挑战赛是基于一个新收集的数据库下显示相机。挑战曲目对应两种类型的显示器：4k透明OLED（T-OLED）和手机Pentile OLED（P-OLED）。除了大约150支球队注册的挑战，八和九支球队提交的结果在测试阶段的每一个轨道。本文的结果是最先进的显示下摄像机恢复的恢复性能。数据集和论文可在https://yzhouas.github.io/projects/UDC/udc.html上查阅。
2020-08-18 cs.CV eess.IV
An Improved Real-Time Face Recognition System at Low Resolution Based on Local Binary Pattern Histogram Algorithm and CLAHE
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Texas State University（德克萨斯州立大学）
本研究提出一个改良的实时的【形】人脸辨识系统，在15像素的低分辨率下，具有姿态和情绪以及分辨率变化。我们设计了名为LRD 200和LRD 100的数据集，用于训练和分类。人脸检测部分使用Viola-Jones算法，人脸识别部分接收来自人脸检测部分的人脸图像，使用局部二值模式直方图（LBPH）算法进行处理，并使用对比度限制自适应直方图均衡化（CLAHE）和人脸对齐进行预处理。该系统中的人脸数据库可以通过我们定制的独立Android应用程序进行更新，并使用更新的数据库自动重新启动训练和识别过程。使用我们提出的算法，一个实时的【形】人脸识别的准确率为78.40%，在15 px和98.05%，在45 px已达到使用LRD 200数据库包含200个图像的人。在数据库（LRD 100）中每人100张图像的情况下，在15 px和45 px下分别达到60.60%和95%的准确率。当被试的面部与正面两侧偏置约30度时，平均人脸识别准确率为72.25% -81.85%。该人脸识别系统可用于执法目的，其中监控摄像机由于人与摄像机的距离而捕获低分辨率图像。它也可以用作机场，公共汽车站等的监控系统，以减少可能的犯罪威胁的风险。
2021-04-15 cs.CV eess.IV
TuningIQA: Fine-Grained Blind Image Quality Assessment for Livestreaming Camera Tuning
针对现有盲图像质量评估（BIQA）模型无法为直播相机参数调优提供细粒度感知指导的问题，构建FGLive-10K细粒度BIQA数据库，并开发TuningIQA指标，其在分数回归和质量排序上优于现有方法，可指导精确相机调优。
2025-08-25 cs.CV cs.MM eess.IV
TRACER: Efficient Object Re-Identification in Networked Cameras through Adaptive Query Processing
Georgia Institute of Technology（佐治亚理工学院）；National University of Singapore（新加坡国立大学）
提出新型视频数据库管理系统Tracer，通过循环网络建模历史相关性选择最佳摄像机，并结合概率自适应搜索模型加速高召回率查询，构建了合成基准，性能平均提升3.9倍。
2025-07-13 cs.CV cs.DB
The Fishnet Open Images Database: A Dataset for Fish Detection and Fine-Grained Categorization in Fisheries
The Nature Conservancy（大自然保护协会）
基于摄像机的电子监测（EM）系统越来越多地部署在商业渔船上，以收集渔业管理和监管的基本数据。这些系统产生大量的视频数据，这些数据必须在陆地上由人类专家进行审查。计算机视觉可以通过自动检测和分类鱼类来帮助这一过程，然而，该领域现有公共数据的缺乏阻碍了进展。为了解决这个问题，我们提出了渔网开放图像数据库，一个大型的EM图像数据集，用于商业渔船上的鱼类检测和细粒度分类。该数据集由86，029张图像组成，包含34个对象类别，使其成为迄今为止最大和最多样化的渔业EM图像公共数据集。它包括EM数据的许多特征挑战：物种之间的视觉相似性，倾斜的类分布，恶劣的天气条件和混乱的船员活动。我们评估现有的检测和分类算法的性能，并证明该数据集可以作为渔业计算机视觉算法的发展具有挑战性的基准。该数据集可在https://www.fishnet.ai/上获得。
2021-06-16 cs.CV cs.LG
Monocular Camera Localization for Automated Vehicles Using Image Retrieval
University of California, Berkeley（加州大学伯克利分校）
本文提出一种融合图像检索、地图数据库与粒子滤波的单目相机实时定位方法，无需LiDAR和高精地图，在KITTI及室内闭环实验中达到10厘米级精度，并分析了定位与控制误差间的正反馈现象。
2023-11-30 cs.CV cs.SY eess.SY
K-FACE: A Large-Scale KIST Face Database in Consideration with Unconstrained Environments
Korea Institute of Science and Technology (KIST)（韩国科学技术院）；Yonsei University（延世大学）；KIST-School, University of Science and Technology（科学技术大学KIST学院）
K-FACE数据库通过考虑性别、年龄、姿态、光照和配件等多因素，提供了一个系统性且多样化的面部数据集，用于提升人脸识别等视觉任务的性能。
2025-11-24 cs.CV cs.DB
Visual Localization in 3D Maps: Comparing Point Cloud, Mesh, and NeRF Representations
Univ. of Oxford（牛津大学）；Univ. of Hong Kong（香港大学）
本文提出并评估了一个统一的全局视觉定位系统，通过合成新视角图像数据库并利用学习型特征，在点云、网格和NeRF三种3D地图表示中实现单目图像定位，其中NeRF平均成功率达72%，并支持反向行进方向定位。
2024-10-19 cs.CV cs.RO
Camera-Based Piano Sheet Music Identification
Harvey Mudd College（哈维穆德学院）
提出了一种大规模钢琴乐谱图像检索的方法。我们的工作不同于以往的研究在两个方面的乐谱检索。首先，我们调查的问题在一个更大的规模比以前的研究，使用所有独奏钢琴乐谱图像在整个IMSLP数据集作为一个可搜索的数据库。其次，我们使用手机上的乐谱图像作为输入查询，这适合于一个实用的、面向用户的应用程序。我们表明，以前提出的指纹方法的乐谱检索是太慢的实时应用程序，我们诊断其缺点。我们提出了一种新的哈希方案，称为动态n-gram指纹，显着减少运行时间，同时提高检索精度。在IMSLP数据的实验中，我们提出的方法实现了平均倒数排名为0.85，平均运行时间为0.98秒，每个查询。
2020-07-29 cs.CV cs.IR eess.IV
HR-APR: APR-agnostic Framework with Uncertainty Estimation and Hierarchical Refinement for Camera Relocalisation
The Hong Kong University of Science and Technology（香港科技大学）；University of Oxford（牛津大学）
提出APR无关框架HR-APR，通过余弦相似度估计不确定性并用于位姿精修，在保持SOTA精度的同时显著降低计算开销。
2024-04-18 cs.CV cs.RO
Quantitative measurements of biological/chemical concentrations using smartphone cameras
EIM Technology（EIM技术）；New York Institute of Technology（纽约理工学院）；School of Engineering Science, Simon Fraser University（Simon Fraser大学工程科学学院）
本文提出了一种基于智能手机的成像系统，用于定量测量多种生物/化学检测样本的浓度。通过构建图像数据库，研究揭示了颜色信息与浓度之间的关系，并展示了该系统在荧光材料和胶体混合物浓度估计方面的性能。
2026-03-28 cs.CV cs.SY eess.IV
smart application for AMS using Face Recognition
Sathyabama University（萨蒂亚巴玛大学）
考勤管理系统（AMS）可以通过使用人脸识别技术，在那里我们使用闭路电视摄像机固定在教室的入口处，自动捕获人的图像，并使用android增强型智能手机与人脸数据库检查观察到的图像。它通常用于两个目的。首先，通过比较最近产生的面部图像来标记学生的出勤率，其次，识别对环境陌生的人，即未经授权的人对于图像的验证，使用新出现的趋势3D面部识别，其声称在匹配图像数据库时提供更高的准确性，并且具有在不同视角识别主体的能力。
2013-11-13 cs.CV cs.CY
Visual Comfort Aware-Reinforcement Learning for Depth Adjustment of Stereoscopic 3D Images
KAIST（韩国科学技术院）
深度调节的目的是增强立体3D图像的视觉体验，提高视觉舒适度和深度感知。对于人类专家来说，深度调整过程是一系列迭代决策。人类专家迭代地调整深度，直到他对视觉舒适度和感知深度这两个水平都满意为止。在这项工作中，我们提出了一种新的深度强化学习（DRL）为基础的深度调整方法命名为VCA-RL（视觉舒适意识强化学习），明确模拟人类顺序决策的深度编辑操作。我们制定的深度调整过程作为一个马尔可夫决策过程中的行动被定义为相机移动操作，以控制左右相机之间的距离。我们的代理是训练的基础上的指导下，客观的视觉舒适度评估指标，学习的最佳序列的相机运动动作的感知方面，在立体观看。通过大量的实验和用户研究，我们在三个不同的S3 D数据库上展示了我们的VCA-RL模型的有效性。
2021-04-14 cs.CV eess.IV
