Dataset and Benchmarking of Real-Time Embedded Object Detection for RoboCup SSL
Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
当在特定的上下文中产生目标检测的模型时，第一个障碍是具有标记所需类别的数据集。在RoboCup中，一些联盟已经有多个数据集来训练和评估模型。然而，在小型联赛（SSL）中，还没有这样的数据集。本文介绍了一个开源数据集，可用作SSL中实时的【形】目标检测的基准。这项工作还提出了一个管道，训练，部署和评估卷积神经网络（CNN）模型在低功耗嵌入式系统。该管道用于使用最先进的优化模型评估所提出的数据集。在这个数据集中，MobileNet SSD v1在SSL机器人上运行时以94帧每秒（FPS）的速度实现了44.88%的AP（68.81%的AP50）。
2021-06-28 cs.CV cs.RO
F-SIOL-310: A Robotic Dataset and Benchmark for Few-Shot Incremental Object Learning
The Pennsylvania State University（宾夕法尼亚州立大学）
深度学习通过像ImageNet这样的大规模数据集的可用性在对象识别任务中取得了显着的成功。然而，深度学习系统在增量学习而不重放旧数据时会遭受灾难性遗忘。对于现实世界的应用，机器人还需要逐步学习新对象。此外，由于机器人可获得的人类帮助有限，它们必须仅从几个例子中学习。然而，很少有对象识别数据集和基准测试存在，以测试机器人视觉的增量学习能力。此外，从一些例子来看，没有专门为增量对象学习设计的数据集或基准。为了填补这一空白，我们提出了一个新的数据集称为F-SIOL-310（Few-Shot增量对象学习），这是专门为测试机器人视觉的Few-Shot增量对象学习能力而捕获的。我们还提供了F-SIOL-310上的8种增量学习算法的基准测试和评估，以供将来进行比较。我们的研究结果表明，机器人视觉的Few-Shot增量对象学习问题远未得到解决。
2022-04-20 cs.CV cs.RO
3DTTNet: Multimodal Fusion-Based 3D Traversable Terrain Modeling for Off-Road Environments
Shenzhen Automotive Research Institute, Beijing Institute of Technology, Shenzhen（深圳汽车研究院，北京理工大学，深圳）；School of Mechanical Engineering, Beijing Institute of Technology, Beijing（机械工程学院，北京理工大学，北京）；Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences, Beijing（智能计算系统研究中心，计算技术研究所，中国科学院，北京）
针对越野环境感知难题，提出多模态融合的3DTTNet模型，结合LiDAR与单目图像实现稠密三维可通行地形建模，并引入RELLIS-OCC数据集，实验显示场景补全IoU提升42%。
2025-08-06 cs.AI cs.CV cs.RO
Few-shot Semantic Learning for Robust Multi-Biome 3D Semantic Mapping in Off-Road Environments
ACME University（ACME大学）
提出利用预训练ViT在少样本粗略标记数据上微调，实现越野多生物群落二维语义分割，并通过基于距离的融合构建三维语义地图，有效处理越野危险。
2024-11-10 cs.CV cs.LG cs.RO
Australian Supermarket Object Set (ASOS): A Benchmark Dataset of Physical Objects and 3D Models for Robotics and Computer Vision
Deakin University（德金大学）；Monash University（莫纳什大学）；Coles Group（科尔斯集团）
本文提出ASOS数据集，包含50种超市商品的3D纹理网格，通过运动恢复结构技术生成水密网格，为机器人与计算机视觉的目标检测及姿态估计提供低成本、高可及性的基准测试工具。
2025-09-09 cs.CV cs.RO eess.IV
The role of RGB-D benchmark datasets: an overview
Oxford e-Research Centre（牛津电子研究中心）
三年前微软Kinect的出现不仅刺激了计算机视觉社区寻找新的算法和设置来解决社区中的已知问题，而且还引发了几个新的基准数据集的推出，未来的算法可以与之进行比较。对文献和行业发展的回顾得出结论，当前的RGB-D基准数据集可用于确定单个或多个RGB-D传感器的各种应用的准确性。
2013-10-08 cs.CV
A New Benchmark Dataset for Texture Image Analysis and Surface Defect Detection
Najafabad Branch, Islamic Azad University（伊斯兰阿扎德大学纳杰法巴德分校）
纹理分析在许多图像处理应用中扮演着重要的角色，它用来描述图像的内容或对象。另一方面，视觉表面缺陷检测是计算机视觉中的一个研究热点。表面缺陷是指表面纹理的异常。因此，本文提出了一个纹理图像分析和表面缺陷检测的双用途基准数据集，称为石材纹理图像（STI数据集）。建议的基准数据集由4个不同类别的石头纹理图像。所提出的基准数据集具有一些独特的属性，使其非常接近实际应用。局部旋转，不同的缩放率，不平衡的类，纹理大小的变化是建议的数据集的一些属性。在结果部分，一些描述符被应用在这个数据集上，以评估所提出的STI数据集与其他国家的最先进的数据集相比。
2019-06-27 cs.CV
On Creating Benchmark Dataset for Aerial Image Interpretation: Reviews, Guidances and Million-AID
Wuhan University（武汉大学）；Chinese Academy of Sciences（中国科学院）；University of Twente（特文特大学）；German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
近年来，遥感（RS）图像判读取得了长足的进步，应用范围也越来越广。随着遥感图像变得比以往任何时候都更容易获得，对这些图像的自动判读的需求越来越大。在这种情况下，基准数据集是开发和测试智能解释算法的必要先决条件。本文在回顾了遥感图像判读研究领域中已有的基准数据集的基础上，探讨了如何有效地为遥感图像判读准备合适的基准数据集的问题。具体来说，我们首先分析了目前的挑战，发展智能算法的RS图像判读与文献计量学调查。然后，我们提出了以有效的方式创建基准数据集的一般指导。在此基础上，给出了一个建立遥感影像数据集的实例，Million-AID是一个新的大规模基准数据集，包含100万个RS图像场景分类实例。最后讨论了遥感影像标注中存在的问题和发展前景，以促进基准数据集构建的研究。我们希望本文能为RS社区提供一个构建大规模实用图像数据集的整体视角，以供进一步研究，特别是数据驱动的数据集。
2021-03-30 cs.CV
SCUT-FBP: A Benchmark Dataset for Facial Beauty Perception
South China University of Technology（华南理工大学）
在本文中，一个新的人脸数据集的吸引力评级，即SCUT-FBP数据集，开发自动面部美感感知。该数据集提供了一个基准来评估不同方法的面部吸引力预测性能，包括最先进的深度学习方法。SCUT-FBP数据集包含500名亚洲女性受试者的面部肖像，并具有吸引力评级，所有这些都在评级分布，标准差，一致性和自我一致性方面得到了验证。使用经典统计学习方法和深度学习方法，使用面部几何特征和纹理特征的不同组合进行面部吸引力预测的基准评估。通过CNN模型实现了最佳Pearson相关性（0.8187）。因此，我们的实验结果表明，SCUT-FBP数据集提供了一个可靠的基准面部美感。
2015-11-08 cs.CV
IKEA Object State Dataset: A 6DoF object pose estimation dataset and benchmark for multi-state assembly objects
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；IKEA Marketing & Communication AB（宜家营销与传播有限公司）
利用物体及其组件的6DoF（自由度）姿态信息对于物体状态检测任务是至关重要的。我们提出了宜家对象状态数据集，一个新的数据集，其中包含宜家家具的3D模型，RGBD视频的装配过程中，6自由度构成的家具部件和它们的限界框。拟议的数据集将在https://github.com/mxllmx/IKEAObjectStateDataset上提供。
2021-11-16 cs.CV
Machine Learning for Shipwreck Segmentation from Side Scan Sonar Imagery: Dataset and Benchmark
University of Michigan（密歇根大学）；Michigan Technological University（密歇根理工大学）
针对水下标注基准数据集匮乏问题，提出AI4Shipwrecks开源数据集，包含286张高分辨率标注侧扫声纳图像，并基于AUV调查与专家标注进行有监督分割基准实验，推动海洋探索机器学习创新。
2024-08-27 cs.RO
CORe50: a New Dataset and Benchmark for Continuous Object Recognition
Alma Mater Studiorum - University of Bologna（博洛尼亚大学）
高维数据流的连续/终身学习是一个具有挑战性的研究问题。事实上，由于计算和存储问题，每次新数据可用时完全重新训练模型是不可行的，而天真的增量策略已被证明会遭受灾难性遗忘。在现实世界对象识别应用的上下文中（例如，机器人视觉），其中持续学习是至关重要的，很少有数据集和基准可用于评估和比较新兴技术。在这项工作中，我们提出了一个新的数据集和基准CORe 50，专门为连续对象识别设计，并为不同的连续学习场景引入了基线方法。
2017-05-09 cs.AI cs.CV cs.LG
Dunhuang Grottoes Painting Dataset and Benchmark
Dunhuang Academy（敦煌研究院）；Tianjin University（天津大学）；Jinan University（暨南大学）；Tianjin Medical University（天津医科大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
本文介绍了敦煌石窟数据集和基准测试的背景和使用方法。文件首先从敦煌石窟的背景开始，敦煌石窟被广泛认为是无价的遗产。鉴于数字化方法是遗产保护和修复的现代趋势。顺势而为，我们发布首个敦煌石窟壁画修复公开数据集。文档的其余部分详细介绍了绘制数据的生成。为了实现数据驱动的方式，该数据集提供了大量的训练和测试示例，这对于深度学习方法来说是足够的。描述了数据集和基准的详细用法。
2019-07-11 cs.CV
EDFace-Celeb-1M: Benchmarking Face Hallucination with a Million-scale Dataset
Australian National University（澳大利亚国立大学）；Sun Yat-sen University（中山大学）；Tencent（腾讯）；Imperial College London（帝国理工学院）
最近的深度人脸幻觉方法在超分辨率严重退化的面部图像中表现出惊人的性能，甚至超过了人类的能力。然而，这些算法主要在非公开的合成数据集上进行评估。因此，目前还不清楚这些算法在公共人脸幻觉数据集上的表现。同时，现有的大多数数据集没有很好地考虑种族的分布，这使得在这些数据集上训练的人脸幻觉方法偏向于某些特定的种族。为了解决上述两个问题，在本文中，我们建立了一个公共的种族多样化的人脸数据集，EDFace-Celeb-1 M，并设计了一个基准任务的脸幻觉。我们的数据集包括170万张照片，覆盖不同的国家，种族构成均衡。据我们所知，它是野生环境中最大的公开可用的面部幻觉数据集。与此数据集相关联，本文还提供了各种评估协议，并提供了全面的分析，以基准现有的最先进的方法。基准测试评估表明了最先进算法的性能和局限性。
2022-06-08 cs.CV
Vogtareuth Rehab Depth Datasets: Benchmark for Marker-less Posture Estimation in Rehabilitation
Technical University of Munich（慕尼黑工业大学）；reFit Systems（reFit Systems公司）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；Schön Klinik Vogtareuth（福格塔罗伊特舍恩医院）
使用单个深度相机的位置估计已经成为用于分析康复中的运动的有用工具。由于大规模姿态数据集的可用性，计算机视觉研究中姿态估计的最新进展已经成为可能。然而，康复练习中涉及的复杂姿势在现有的基准深度数据集中没有表示。为了解决这个问题，我们提出了两个康复特定的姿势数据集，包含深度图像和2D姿势信息的患者，成人和儿童，进行康复练习。我们使用一个最先进的无标记的姿势估计模型，该模型是在非康复基准数据集上训练的。我们在康复数据集上对其进行了评估，并观察到从非康复到康复的性能显着下降，突出了对这些数据集的需求。我们表明，我们的数据集可用于训练姿势模型，以检测特定于康复的复杂姿势。这些数据集将为研究界的利益而发布。
2021-08-23 cs.CV
PM25Vision: A Large-Scale Benchmark Dataset for Visual Estimation of Air Quality
Han Yang Department of Computer Science, New York University（杨汉 计算机科学系，纽约大学）
本文提出PM25Vision数据集，包含超1.1万张街景图像及11年PM2.5读数，空间精度达5公里，并提供CNN与transformer基线性能。
2025-09-20 cs.CV
BigHand2.2M Benchmark: Hand Pose Dataset and State of the Art Analysis
Imperial College London（帝国理工学院）；Rakuten Institute of Technology（乐天技术研究院）；IIT Jodhpur（印度理工学院焦特布尔分校）
在本文中，我们介绍了一个大规模的手部姿势数据集，收集使用一种新的捕获方法。现有的数据集要么是合成生成的，要么是使用深度传感器捕获的：合成数据集与真实深度图像表现出一定程度的外观差异，而真实数据集在数量和覆盖范围方面受到限制，主要是由于难以对其进行注释。我们提出了一个跟踪系统与6个6D磁传感器和逆运动学，以自动获得21个关节的手姿势注释的深度图捕获的运动范围的限制最小。捕获协议旨在完全覆盖自然手部姿势空间。如嵌入图所示，与现有基准相比，新数据集显示出更广泛和更密集的手部姿势范围。目前国家的最先进的方法进行评估的数据集，我们证明了跨基准性能的显着改善。我们还展示了在新数据集上训练的CNN在以自我为中心的手部姿势估计方面的显着改进。
2017-12-09 cs.CV
Spring: A High-Resolution High-Detail Dataset and Benchmark for Scene Flow, Optical Flow and Stereo
Institute for Visualization and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
虽然最近的运动和立体声估计方法恢复了前所未有的细节量，这种高度详细的结构既没有充分反映在现有的基准数据，也没有充分反映在他们的评估方法。因此，我们引入$-$，这是一个用于场景流、光流和立体声的大型、高分辨率、高细节、计算机生成的基准。基于开源Blender电影“Spring”中的渲染场景，它提供了具有最先进视觉效果和地面实况训练数据的照片级逼真高清数据集。此外，我们还提供一个网站来上传、分析和比较结果。使用基于超分辨率UHD地面实况的新型评估方法，我们的Spring基准可以评估精细结构的质量，并提供不同图像区域的详细性能统计数据。关于地面实况帧的数量，Spring比唯一的场景流基准KITTI 2015大60个$\times$，比成熟的MPI Sintel光流基准大15个$\times$。最近的方法在我们的基准测试中的初步结果表明，估计细节确实具有挑战性，因为它们的准确性有很大的改进空间。Spring基准测试和相应的数据集可以在http://spring-benchmark.org上找到。
2023-03-03 cs.CV
Hyperspectral City V1.0 Dataset and Benchmark
University of Amsterdam（阿姆斯特丹大学）；Nanjing University（南京大学）；Beijing Institute of Technology（北京理工大学）；ZVision Co. Ltd.（智图科技有限公司）；Zongmu Co. Ltd.（宗申科技有限公司）；Jiangsu University of Science and Technology（江苏科技大学）；Tencent（腾讯）；Peking University（北京大学）；Beihang University（北京航空航天大学）；National Institute of Informatics（国立信息学研究所）；National University of Singapore（新加坡国立大学）
本文件介绍高光谱城市数据集和基准测试的背景和用途。文档首先从数据集的背景和动机开始。接下来，我们简要描述了数据集的收集方法以及从原始数据集到最终发布数据集的处理方法，特别是1.0版本。我们还提供了数据集的详细用法以及2019年高光谱城市挑战赛提交结果的评估指标。
2020-02-26 cs.CV
Benchmarking a Benchmark: How Reliable is MS-COCO?
Sama
本研究针对基准数据集常被侧重结果却忽视内容偏差的问题，利用重新标注的Sama-COCO数据集和形状分析流水线挖掘MS-COCO的潜在偏差，通过跨数据集的模型训练评估证实标注风格的重要性，为标注流水线优化提供依据并公开了数据集。
2023-11-05 cs.CV
Benchmarking Pedestrian Odometry: The Brown Pedestrian Odometry Dataset (BPOD)
School of Engineering, Brown University（布朗大学工程学院）
我们提出了布朗行人里程计数据集（BPOD）的基准视觉里程计算法在头戴式行人设置。该数据集是使用同步全局和滚动快门立体相机在布朗大学校园的12个不同的室内和室外位置捕获的。与现有数据集相比，BPOD包含更多的图像模糊和自旋转，这在行人里程计中很常见，但在其他地方很少见。地面实况轨迹是从沿着行人路径放置的粘贴标记生成的，行人的位置是使用第三人称视频记录的。我们评估了BPOD上代表性的直接、基于特征和基于学习的VO方法的性能。我们的研究结果表明，需要显着的发展，成功地捕捉行人轨迹。数据集的链接位于此处：\url {https：doi.org/10.26300/c1n7-7p93
2021-12-24 cs.CV
Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets
CNRS（法国国家科学研究中心）；University of Strasbourg（斯特拉斯堡大学）；IHU Strasbourg（斯特拉斯堡大学医院研究所）
除了生成数据和注释之外，设计合理的数据分割策略和评估指标对于创建基准数据集至关重要。这种做法确保了对数据使用、同质评估和数据集研究方法的统一比较的共识。这项研究的重点是CholecT50，这是一个50视频手术数据集，将手术活动形式化为<仪器，动词，目标>的三元组。在本文中，我们介绍了CholecT50和CholecT45数据集的标准分割，并展示了它们与现有数据集的比较。CholecT45是CholecT50数据集的45个视频的首次公开发布。我们还开发了一个度量库，ivtmetrics，模型评估手术三胞胎。此外，我们通过复制最常用的深度学习框架（PyTorch和TensorFlow）中的基线方法来进行基准研究，以使用拟议的数据划分和指标来评估它们，并公开发布它们以支持未来的研究。拟议的数据分割和评估指标将使全球跟踪数据集的研究进展，并促进进一步部署的最佳模型选择。
2023-02-28 cs.CV
PTB-TIR: A Thermal Infrared Pedestrian Tracking Benchmark
Harbin Institute of Technology（哈尔滨工业大学）；Inner Mongolia University（内蒙古大学）
热红外行人跟踪是计算机视觉众多应用中的一个重要组成部分，其主要优点是可以在完全黑暗的环境下跟踪行人。在基准数据集上公平地评估TIR行人跟踪器的能力对于该领域的发展具有重要意义。但是，没有基准数据集。在本文中，我们开发了一个TIR行人跟踪数据集的TIR行人跟踪评估。该数据集包括60个带有手动注释的热序列。每个序列有九个属性标签，用于基于属性的评估。除了数据集之外，我们还使用九个公开可用的跟踪器对我们的基准数据集进行了大规模的评估实验。实验结果有助于我们了解这些跟踪器的优点和缺点。此外，为了更深入地了解TIR行人跟踪器，我们将其功能分为三个部分：特征提取器，运动模型和观察模型。然后，我们进行了三个比较实验，我们的基准数据集，以验证每个组件如何影响跟踪器的性能。这些实验的发现为未来的研究提供了一些指导。数据集和评估工具包可在{https：//github.com/QiaoLiuHit/PTB-TIR_Evaluation_toolkit}下载。
2019-11-06 cs.CV
THE Benchmark: Transferable Representation Learning for Monocular Height Estimation
Technical University of Munich（慕尼黑工业大学）；Northwestern Polytechnical University（西北工业大学）
本文提出THE基准数据集和少样本跨数据集迁移协议，用于研究单目高度估计模型的可迁移性，并设计尺度可变形卷积模块增强窗口Transformer以应对尺度变化问题。
2023-09-21 cs.CV
Benchmarking 2D Egocentric Hand Pose Datasets
University Health Network（大学健康网络）
针对2D第一人称手部姿态估计领域缺乏理想基准数据集的问题，提出包含特征分析、质量评估和模型验证的新型评估协议，发现H2O和GANerated Hands分别是最具潜力的真实与合成数据集。
2024-09-11 cs.CV
A Large-scale Dataset and Benchmark for Similar Trademark Retrieval
Middle East Technical University（中东技术大学）
随着商标申请和侵权事件的不断增加，商标检索成为一个重要而又具有挑战性的问题。对于TR问题，已经有许多有希望的尝试，然而，由于它们是用有限且大多是琐碎的数据集进行评估的，因此不切实际。在本文中，我们提供了一个大规模的数据集与基准查询，不同的TR方法可以系统地进行评估。此外，我们提供了一个基准使用广泛使用的方法在文献中应用到TR。此外，我们确定并纠正了TR方法中以前没有解决的两个重要问题：对比反转和商标中存在的不相关文本严重影响TR方法。最后，我们将深度学习，即几种流行的卷积神经网络模型应用于TR问题。对于最好的作者来说，这是第一次尝试这样做。
2017-10-14 cs.CV
Multi-Camera Action Dataset for Cross-Camera Action Recognition Benchmarking
Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）
在过去的十年中，动作识别越来越受到计算机视觉和机器学习社区的关注。为了能够研究这个问题，存在大量的动作数据集，这些数据集在受控的实验室设置、真实世界的监控环境下记录，或者从互联网上抓取。除了“野外”数据集之外，传统数据集的训练和测试分割通常具有相似的环境条件，这导致在约束数据集上接近完美的性能。在本文中，我们介绍了一个新的数据集，即多摄像机动作数据集（MCAD），这是专为评估开放式视图分类问题的监控环境下。MCAD总共包含来自18个动作类别的14，298个动作样本，这些动作由20名受试者执行，并由5台摄像机独立记录。受LFW数据集上广受好评的评估方法的启发，我们设计了一个标准的评估协议，并在几种情况下对MCAD进行了基准测试。该基准测试表明，虽然在闭视图场景下平均达到了85%的准确率，但在交叉视图场景下，性能会显著下降。在最坏的情况下，10倍交叉验证的性能从87.0%下降到47.4%。
2017-05-05 cs.CV
Benchmarking Deep Trackers on Aerial Videos
Rochester Institute of Technology（罗切斯特理工学院）
近年来，基于深度学习的视觉对象跟踪器在几个视觉对象跟踪基准测试中取得了最先进的性能。然而，大多数跟踪基准都集中在地面视频，而空中跟踪提出了一系列新的挑战。在本文中，我们在四个航空数据集上比较了十个基于深度学习技术的跟踪器。我们使用不同的方法选择性能最好的跟踪器，特别是通过检测跟踪，判别相关滤波器，暹罗网络和强化学习。在我们的实验中，我们使用具有航拍风格视频的OTB 2015数据集的子集;没有合成序列的UAV 123数据集;包含20个长序列的UAV 20 L数据集;以及DTB 70数据集作为我们的基准数据集。我们比较了不同的跟踪器在航空数据中遇到的不同跟踪情况下的优缺点。我们的研究结果表明，与标准地面视频相比，跟踪器在空中数据集中的表现明显较差。我们将这种效果归因于较小的目标尺寸、相机运动、相对于目标的显著相机旋转、视图外的运动以及以遮挡或类似外观的干扰物的形式出现在跟踪对象附近的混乱。
2021-03-24 cs.CV
WIDER FACE: A Face Detection Benchmark
The Chinese University of Hong Kong（香港中文大学）
人脸检测是计算机视觉领域研究最多的课题之一。人脸检测基准数据集的可用性已经取得了很大的进展。我们表明，目前的人脸检测性能和现实世界的要求之间存在差距。为了方便未来的人脸检测研究，我们引入了WIDER FACE数据集，它是现有数据集的10倍。该数据集包含丰富的注释，包括遮挡、姿势、事件类别和面部边界框。如图1所示，由于尺度、姿态和遮挡的变化很大，所提出的数据集中的人脸极具挑战性。此外，我们还证明了WIDER FACE数据集是人脸检测的有效训练源。我们对几个有代表性的检测系统进行了基准测试，概述了最先进的性能，并提出了一个解决方案来处理大规模的变化。最后，我们讨论了值得进一步研究的常见故障情况。数据集可从以下网址下载：mmlab.ie.cuhk.edu.hk/projects/WIDERFace
2015-11-20 cs.CV
Hyperspectral Benchmark: Bridging the Gap between HSI Applications through Comprehensive Dataset and Pretraining
University of Tuebingen（图宾根大学）
本文提出一个涵盖食品检测、遥感和回收利用的高光谱成像综合基准数据集，并基于其多样性建立预训练流程，以提升模型泛化能力和训练稳定性，解决小数据集限制问题。
2023-09-20 cs.CV
WHU-Hi: UAV-borne hyperspectral with high spatial resolution (H2) benchmark datasets for hyperspectral image classification
Wuhan University（武汉大学）
分类是高光谱图像处理和应用的一个重要方面。目前，研究者大多采用经典的航空高光谱图像作为基准数据集。然而，现有的数据集存在三个瓶颈：（1）空间分辨率低;（2）标记像素比例低;（3）子类区分度低。本文建立了一个新的基准数据集--武汉无人机高光谱图像数据集（WHU-Hi），用于高光谱图像分类。WHU-Hi数据集具有高光谱分辨率（nm级）和非常高的空间分辨率（cm级），我们在这里将其称为H2成像仪。此外，WHU-Hi数据集具有更高的像素标记率和更精细的子类。一些最新的高光谱图像分类方法以WHU-Hi数据集为基准，实验结果表明WHU-Hi是一个具有挑战性的数据集。我们希望WHU-Hi数据集能够成为加速未来研究的强大基准。
2021-03-30 cs.CV eess.IV
LaRS: A Diverse Panoptic Maritime Obstacle Detection Dataset and Benchmark
University of Ljubljana（卢布尔雅那大学）
针对海上障碍物检测缺乏多样化数据集的问题，本文构建涵盖湖泊、河流和海洋场景的全景检测基准 LaRS，并评估27种分割方法。
2023-08-18 cs.CV
Cityscapes 3D: Dataset and Benchmark for 9 DoF Vehicle Detection
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；University of Jena（耶拿大学）
车辆检测及其在三维空间中的位置和姿态表示是实现自动驾驶的关键技术。最近，仅基于单目RGB图像的3D车辆检测方法得到了普及。为了促进这项任务，以及比较和推动最先进的方法，已经发布了几个新的数据集和基准。车辆的地面实况注释通常使用激光雷达点云获得，这通常会由于两个传感器之间的不完美校准或同步而引起误差。为此，我们提出了Cityscapes 3D，扩展了原始的Cityscapes数据集与3D限界框注释的所有类型的车辆。与现有数据集相比，我们的3D注释仅使用立体RGB图像进行标记，并捕获所有九个自由度。与基于激光雷达的方法相比，这导致RGB图像中的像素精确重投影和更高范围的注释。为了简化多任务学习，我们提供了一对2D实例片段和3D边界框。此外，我们补充了Cityscapes基准套件与3D车辆检测的基础上，新的注释，以及在这项工作中提出的指标。数据集和基准可在线获取。
2020-06-14 cs.CV cs.LG cs.RO
Neural video codecs quality assessment dataset and benchmark
AI Center, Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学人工智能中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
针对神经视频编解码器（NVCs）时间压缩范式的质量评估需求，该研究构建了含NVCs与传统编解码器压缩视频的大规模主观数据集，通过众包成对比较获取评分，为相关视频质量指标的开发与基准测试提供了资源。
2026-09-01 cs.CV
SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction
South China University of Technology（华南理工大学）
人脸美丽度预测是一个重要的视觉识别问题，它能对人脸的吸引力做出符合人类感知的评价。为了解决这个问题，各种数据驱动的模型，特别是最先进的深度学习技术，被引入，基准数据集成为实现FBP的基本要素之一。以前的工作制定了面部美容识别作为一个特定的监督学习问题的分类，回归或排名，这表明，FBP本质上是一个计算问题，多范式。然而，大多数FBP基准数据集是在特定的计算约束下构建的，这限制了在数据集上训练的计算模型的性能和灵活性。在本文中，我们认为，FBP是一个多范式的计算问题，并提出了一个新的不同的基准数据集，称为SCUT-FBP 5500，实现多范式的面部美容预测。SCUT-FBP 5500数据集共有5500张正面人脸，具有不同的属性（男性/女性，亚洲人/高加索人，年龄）和不同的标签（人脸标志，[1，~5]内的美丽分数，美丽分数分布），这允许不同的计算模型具有不同的FBP范例，例如基于外观/基于形状的面部美容分类/回归模型，用于亚洲人/高加索人的男性/女性。我们使用特征和预测器的不同组合以及各种深度学习方法评估了SCUT-FBP 5500数据集的FBP。结果表明，基于SCUT-FBP 5500的FBP的改进和潜在的应用。
2018-01-19 cs.CV
The EuroCity Persons Dataset: A Novel Benchmark for Object Detection
Daimler AG（戴姆勒股份公司）；TU Delft（代尔夫特理工大学）
大数据在深度学习在计算机视觉中的成功中占有很大的份额。最近的研究表明，通过利用更大的数据集来提高目标检测性能有很大的潜力。在本文中，我们介绍了EuroCity Persons数据集，该数据集提供了大量高度多样化，准确和详细的城市交通场景中行人，骑自行车者和其他骑手的注释。该数据集的图像是在12个欧洲国家的31个城市的移动车辆上收集的。在超过47300张图像中手动标记了超过238200个人员实例，EuroCity Persons比以前用于基准测试的人员数据集大近一个数量级。此外，该数据集包含大量的人的方向注释（超过211200）。我们优化了四种最先进的深度学习方法（Faster R-CNN、R-FCN、SSD和YOLOv 3），作为新的目标检测基准的基线。在以前的数据集的实验中，我们分析了这些检测器在使用新数据集进行训练时的泛化能力。我们还研究了训练集大小，数据集多样性（白天与夜间，地理区域），数据集细节（即对象方向信息的可用性）和注释质量对检测器性能的影响。最后，我们分析了误差来源，并讨论了前进的道路。
2018-06-05 cs.AI cs.CV cs.LG
NADBenchmarks -- a compilation of Benchmark Datasets for Machine Learning Tasks related to Natural Disasters
University of Rochester（罗切斯特大学）
气候变化增加了世界各地极端天气事件和自然灾害的强度、频率和持续时间。虽然自然灾害数据的增加提高了机器学习（ML）在该领域的应用范围，但进展相对缓慢。一个瓶颈是缺乏基准数据集，这将使ML研究人员能够根据标准指标量化他们的进展。这篇简短论文的目的是探索与自然灾害相关的机器学习任务的基准数据集的状态，并根据灾害管理周期对其进行分类。我们编制了过去五年中引入的现有基准数据集的列表。我们提出了一个网络平台- NADBenchmarks -研究人员可以搜索自然灾害的基准数据集，我们使用我们的汇编列表开发了这样一个平台的初步版本。本文旨在帮助研究人员寻找基准数据集来训练他们的ML模型，并为他们可以贡献新基准数据集的主题提供一般方向。
2022-12-21 cs.CV cs.LG
A Benchmark Grocery Dataset of Realworld Point Clouds From Single View
University of Delaware（特拉华大学）
针对真实杂货场景缺乏大规模三维点云基准的问题，本文构建 3DGrocery100，并在多种点云分类、少样本及持续学习模型上完成基准评测。
2024-04-08 cs.CV
A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing
JD AI Research（京东人工智能研究院）；MUST（澳门科技大学）；NLPR, CASIA, UCAS（中国科学院自动化研究所模式识别国家重点实验室、中国科学院大学）；Universitat de Barcelona, Computer Vision Center（巴塞罗那大学计算机视觉中心）；JD Finance（京东金融）
人脸反欺骗对于防止人脸识别系统的安全漏洞至关重要。近年来，人脸反欺骗基准数据集的可用性取得了很大进展。然而，现有的人脸反欺骗基准的主题（$\le\negmedspace170$）和模态（$\leq\negmedspace2$）的数量有限，这阻碍了学术界的进一步发展。为了促进人脸反欺骗研究，我们引入了一个大规模的多模态数据集，即CASIA-SURF，这是最大的公开可用的人脸反欺骗数据集的主题和视觉模态。具体地，它由具有$21,000$视频的$1,000$受试者组成，并且每个样本具有$3$模态（即，RGB、深度和IR）。我们还提供了一个测量集，评估协议和训练/验证/测试子集，为人脸反欺骗开发了一个新的基准。此外，我们提出了一种新的多模态融合方法作为基线，该方法进行特征重新加权，以选择信息量更大的通道特征，同时抑制每个模态的有用性较低的特征。在所提出的数据集上进行了大量的实验，以验证其重要性和泛化能力。该数据集可在https://sites.google.com/qq.com/chalearnfacespoofingattackdete上获得
2019-04-01 cs.CV
Quantifying the Complexity of Standard Benchmarking Datasets for Long-Term Human Trajectory Prediction
Fraunhofer IOSB, Ettlingen, Fraunhofer Institute of Optronics, System Technologies and Image Exploitation（弗劳恩霍夫光电、系统技术与图像评估研究所）
量化轨迹数据集复杂性的方法仍然是基准人类轨迹预测模型中缺失的一部分。为了更好地理解轨迹预测任务的复杂性并遵循直觉，即更复杂的数据集包含更多的信息，提出了一种用于从基于原型的数据集表示量化数据集中包含的信息量的方法。通过首先采用非平凡的空间序列对齐来获得数据集表示，这使得随后的学习矢量量化（LVQ）阶段成为可能。对几个人体轨迹预测基准测试数据集进行了大规模的复杂性分析，然后简要讨论了人体轨迹预测和基准测试的指示。
2021-05-20 cs.CV cs.LG
The WiLI benchmark dataset for written language identification
本文描述了用于单语书面自然语言识别的WiLI-2018基准数据集。WiLI-2018是一个公开、免费的维基百科短文本摘录数据集。它包含235种语言的1000段，共计23500段。WiLI是一个分类数据集：给定一个以一种主要语言编写的未知段落，必须确定它是哪种语言。
2018-01-23 cs.CL cs.CV
Marine Snow Removal Benchmarking Dataset
Osaka University（大阪大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本文构建并公开了首个海洋雪去除基准数据集，通过数学建模合成成对水下退化图像，提出两项去除任务并给出基准结果。
2024-01-13 cs.CV eess.IV
Overhead MNIST: A Benchmark Satellite Dataset
PeopleTec, Inc.（PeopleTec公司）
该研究提出了10个重要对象的俯视图，并遵循最流行的机器学习任务的一般格式要求：MNIST数字识别。该数据集提供了一个公共基准，从超过一百万个人工标记和策划的示例中提取。这项工作概述了关键的多类对象识别任务，同时与手写，癌症检测和零售数据集的先前工作相匹配。具有迁移学习和卷积神经网络（MobileNetV2）的原型深度学习方法正确识别了10个开销类，平均准确率为96.7%。该模型超过了人类93.9%的峰值性能。为了升级卫星图像和物体识别，这个新的数据集有利于各种努力，如救灾，土地使用管理和其他传统的遥感任务。这项工作扩展了卫星基准测试的新功能，以确定可能在小卫星上工作的高效和紧凑的算法，这是未来多传感器星座的一项实际任务。数据集可以在Kaggle和Github上找到。
2021-02-08 cs.CV cs.LG
Bitstream-Corrupted Video Recovery: A Novel Benchmark Dataset and Method
Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
针对人工掩码无法模拟真实视频比特流损失的问题，本文构建含28,000余片段的BSCV基准，并提出三参数损坏模型与即插即用恢复模块，验证了现有方法局限和所提框架优势。
2023-09-26 cs.CV eess.IV
Bangla Sign Language Translation: Dataset Creation Challenges, Benchmarking and Prospects
Islamic University of Technology（伊斯兰技术大学）
本文提出孟加拉手语翻译数据集IsharaKhobor，探讨数据集创建挑战，并通过基准测试和消融实验展示其改进版本。
2025-11-26 cs.CL cs.CV
EEGEyeNet: a Simultaneous Electroencephalography and Eye-tracking Dataset and Benchmark for Eye Movement Prediction
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们提出了一个新的数据集和基准，目的是推进大脑活动和眼球运动的交叉研究。我们的数据集，EEGEyeNet，包括同步脑电图（EEG）和眼动跟踪（ET）记录从356个不同的主题，从三个不同的实验范式收集。使用这个数据集，我们还提出了一个基准来评估从EEG测量的凝视预测。基准测试包括三个难度逐渐增加的任务：左右、角度幅度和绝对位置。我们在这个基准上进行了大量的实验，以提供坚实的基线，无论是基于经典的机器学习模型还是大型神经网络。我们发布完整的代码和数据，并提供一个简单易用的界面来评估新方法。
2021-11-10 cs.CV cs.LG eess.SP
LandCoverNet: A global benchmark land cover classification training dataset
Radiant Earth Foundation（Radiant Earth基金会）
定期更新和准确的土地覆盖图对于监测17个可持续发展目标中的14个目标至关重要。多谱段卫星图像提供了全球范围的高质量和有价值的信息，可用于开发土地覆盖物分类模型。然而，这样的全球应用程序需要地理上多样化的训练数据集。在这里，我们介绍了LandCoverNet，这是一个基于Sentinel-2观测的10米空间分辨率的土地覆盖分类全球训练数据集。土地覆被类别标签是根据Sentinel-2的年度时间序列定义的，并通过三个人类注释者之间的共识进行验证。
2020-12-05 cs.CV cs.LG
DC-BENCH: Dataset Condensation Benchmark
Google Research（谷歌研究院）
数据集浓缩是一种新兴的技术，旨在学习一个微小的数据集，捕获原始数据集中编码的丰富信息。随着当代机器学习模型所依赖的数据集规模变得越来越大，凝聚方法成为加速网络训练和减少数据存储的重要方向。尽管在这个快速发展的领域已经提出了许多方法，但评估和比较不同的冷凝方法并不简单，仍然是一个悬而未决的问题。压缩数据集的质量往往受到许多关键因素的影响，如数据增强和模型架构。缺乏系统的方法来评估和比较凝聚方法不仅阻碍了我们对现有技术的理解，而且还阻碍了合成数据集的实际使用。这项工作提供了第一个大规模的标准化基准数据集浓缩。它包括一套评估，通过其生成的数据集的镜头全面反映凝聚方法的可生成性和有效性。利用这个基准，我们对当前的冷凝方法进行了大规模的研究，并报告了许多有见地的发现，为未来的发展开辟了新的可能性。基准库，包括评估器，基线方法和生成的数据集，是开源的，以促进未来的研究和应用。
2022-10-17 cs.AI cs.CV cs.LG
Aligning benchmark datasets for table structure recognition
Microsoft（微软）
本文通过固定Table Transformer (TATR)模型架构，采用以数据为中心的方法，消除基准数据集间的标注错误与不一致性，使ICDAR-2013上的评估准确率大幅提升，证明了数据集对齐对TSR模型性能和基准设计的重要意义。
2023-05-23 cs.CV cs.LG
Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms
Zalando Research（Zalando 研究院）
Fashion-MNIST是一个新的数据集，包含来自10个类别的70，000种时尚产品的28 x28灰度图像，每个类别7，000张图像。训练集有60，000张图像，测试集有10，000张图像。Fashion-MNIST旨在作为原始MNIST数据集的直接替代品，用于基准测试机器学习算法，因为它共享相同的图像大小，数据格式以及训练和测试分割的结构。该数据集可在https://github.com/zalandoresearch/fashion-mnist上免费获得
2017-09-15 cs.CV cs.LG stat.ML
Calibrating LiDAR and Camera using Semantic Mutual information
Texas A&M University（德克萨斯A&M大学）；DEVCOM Army Research Laboratory (ARL)（DEVCOM陆军研究实验室）
我们提出了一种算法，自动，无目标，外部校准的激光雷达和相机系统使用语义信息。我们通过最大化传感器之间的语义信息的互信息（MI）、利用神经网络估计语义互信息和矩阵指数进行校准计算来实现这一目标。使用基于核的采样从基于LiDAR投影点的相机测量中采样数据，我们将问题表示为一种新的可微目标函数，该函数支持使用基于梯度的优化方法。我们还介绍了一种初始校准方法，使用二维MI为基础的图像配准。最后，我们证明了我们的方法的鲁棒性，并定量分析了合成数据集的准确性，还定性评估了我们的算法在KITTI 360和RELLIS-3D基准数据集上，显示了最近可比方法的改进。
2021-04-24 cs.CV
The ArtBench Dataset: Benchmarking Generative Models with Artworks
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
我们介绍ArtBench-10，这是第一个用于基准艺术品生成的类平衡，高质量，干净注释和标准化数据集。它包含来自10种不同艺术风格的60，000幅艺术作品图像，每种风格有5，000幅训练图像和1，000幅测试图像。ArtBench-10比以前的艺术品数据集有几个优点。首先，它是类平衡的，而大多数以前的艺术品数据集遭受长尾类分布。其次，图像质量高，注释清晰。第三，ArtBench-10是用标准化的数据汇集、注释、过滤和预处理程序创建的。我们提供了三个版本的数据集，具有不同的分辨率（$32\times32$，$256\times256$和原始图像大小），以易于被流行的机器学习框架合并的方式进行格式化。我们还使用ArtBench-10的代表性图像合成模型进行了广泛的基准测试实验，并进行了深入的分析。该数据集可在合理使用许可下在https://github.com/liaopeiyuan/artbench上获得。
2022-06-22 cs.AI cs.CV cs.LG
A Real Benchmark Swell Noise Dataset for Performing Seismic Data Denoising via Deep Learning
CENPES（森佩斯（巴西石油公司研发中心））；Petrobras（巴西石油公司）；COPPE（科佩大学工程研究院）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
本文提出了一个由合成地震数据与真实噪声混合组成的基准数据集，用于加速地震数据去噪的深度学习新方案开发，并引入了能捕捉微小变化的新评估指标，验证了DL模型去噪的有效性。
2024-10-02 cs.CV cs.LG physics.geo-ph
ABO: Dataset and Benchmarks for Real-World 3D Object Understanding
UC Berkeley（加州大学伯克利分校）；Amazon（亚马逊公司）；BITS Pilani（比尔拉科学技术学院皮拉尼分校）
Amazon Berkeley Objects（ABO）是一个新的大规模数据集，旨在帮助弥合真实和虚拟3D世界之间的差距。ABO包含产品目录图像、元数据和艺术家创建的3D模型，这些模型具有复杂的几何形状和基于物理的材料，与真实的家居物品相对应。我们获得具有挑战性的基准，利用ABO的独特属性，并衡量目前的限制，最先进的三个开放的问题，为现实世界的3D对象的理解：单视图3D重建，材料估计，和跨域多视图对象检索。
2022-06-24 cs.AI cs.CV cs.GR
