SynthForensics: Benchmarking and Evaluating People-Centric Synthetic Video Deepfakes
iCTLab s.r.l.(iCTLab公司);University of Catania(卡塔尼亚大学)
本文提出SynthForensics基准测试,评估合成视频深度伪造的可检测性,通过20445个视频数据集验证了人类和算法在识别合成视频中的性能差异。
2026-05-08 cs.CV
Benchmark data and method for real-time people counting in cluttered scenes using depth sensors
The University of Western Australia(西澳大学)
基于视觉的自动人数统计在智能交通系统、安防、物流等领域有着广泛的应用。然而,目前还没有大规模的公共数据集来衡量这一问题的基准方法。这项工作通过引入第一个真实世界的RGB-D人员计数数据集(PCDS)填补了这一空白,该数据集包含在正常和混乱条件下在公共汽车入口处记录的4,500多个视频。它还提出了一种有效的方法,用于使用深度视频在与公共交通相关的真实世界混乱场景中计算人数。所提出的方法从深度视频帧计算点云,并将其重新投影到地平面上以归一化深度信息。分析所得到的深度图像以识别潜在的人类头部。人类头部的建议是精心完善使用3D人体模型。跟踪连续视频流的每个帧中的提议以追踪它们的轨迹。轨迹再次被细化以确定可靠的计数。最终通过累积离开场景的头部轨迹来计数人。为了实现有效的头部和轨迹识别,我们还提出了两种不同的复合特征。对PCDS的全面评估表明,我们的技术能够在1.7 GHz处理器上以45 fps的高精度在杂乱场景中计算人数,因此可以部署用于智能交通系统的有效实时的【形】人数统计。
2018-10-28 cs.CV
XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis
BRAIN Lab, NWPU(北华大学脑科学实验室);Baidu VIS(百度视觉团队)
本文提出跨车道数据集XLD,通过偏离训练轨迹1-4米的合成测试图像,建立首个面向自动驾驶仿真的新型视图合成基准,并揭示现有NVS方法在跨车道与闭环仿真中的不足。
2025-05-07 cs.CV
Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate
CCVL, Johns Hopkins University(计算机视觉实验室,约翰霍普金斯大学)
本文研究了在3D基础模型产生幻觉时多视角3D一致性的可靠性问题,提出了一种可控的鲁棒性基准和参数化家族,将神经度量分解为backbone、残差和聚合组件,并引入基于COLMAP的度量方法,以提高与人类判断的一致性。
2026-05-18 cs.CV
DL3DV-10K: A Large-Scale Scene Dataset for Deep Learning-based 3D Vision
Purdue University(普渡大学);Adobe Inc.(Adobe公司);Rutgers University(罗格斯大学);Google Inc.(谷歌公司);Huazhong University of Science and Technology(华中科技大学);Wormpex AI Research(Wormpex AI研究院)
针对现有3D视觉数据集规模不足的问题,提出包含5120万帧、10510个视频的大规模真实场景数据集DL3DV-10K,并在其上全面基准测试了NVS方法,验证了数据集对学习可泛化NeRF及3D基础模型的关键价值。
2023-12-29 cs.AI cs.CV
Fine-grained Activities of People Worldwide
Visym Labs(Visym实验室);Systems & Technology Research(系统与技术研究院)
每天,人类都会进行许多密切相关的活动,这些活动涉及微妙的区别性动作,例如穿衬衫与穿夹克,或者握手与击掌。通过道德视觉人工智能进行活动识别可以深入了解我们的日常生活模式,但现有的活动识别数据集并不能捕捉到世界各地这些人类活动的巨大多样性。为了解决这一限制,我们引入了Collector,这是一款免费的移动应用程序,可以录制视频,同时注释同意受试者的对象和活动。这个新的数据汇集平台被用来管理人的活动数据集(CAP),这是第一个大规模的,精细的全球人的活动数据集。CAP数据集包含来自33个国家的780名受试者收集的512个精细活动标签的145万个视频剪辑。我们为此数据集提供活动分类和活动检测基准,并分析基线结果,以深入了解世界各地的人们如何执行常见活动。数据集、基准、评估工具、公共排行榜和移动应用程序可在visym.github.io/cap上使用。
2022-10-20 cs.CV
EgoGroups: A Benchmark For Detecting Social Groups of People in the Wild
Stony Brook University(石英布克大学);Rice University(里士满大学)
本文提出EgoGroups基准测试,通过第一视角数据集捕捉全球城市中的社交动态,评估了最新VLM/LLMs和监督模型在群体检测中的表现,发现零样本设置下VLM和LLMs优于监督基线,人群密度和文化区域显著影响模型性能。
2026-03-23 cs.CV
MMPTRACK: Large-scale Densely Annotated Multi-camera Multiple People Tracking Benchmark
Microsoft(微软)
多摄像机跟踪系统在需要高质量跟踪结果的应用中越来越受欢迎,例如无摩擦结账,因为单目多目标跟踪(MOT)系统经常由于遮挡而在混乱和拥挤的环境中失败。多个高度重叠的相机可以通过恢复部分3D信息来显著缓解该问题。然而,创建具有不同相机设置和背景的高质量多相机跟踪数据集的成本限制了该领域的数据集规模。在本文中,我们提供了一个大规模的密集标记的多摄像机跟踪数据集在五个不同的环境与自动注释系统的帮助。该系统使用重叠和校准的深度和RGB相机来构建一个高性能的3D跟踪器,自动生成3D跟踪结果。使用相机参数将3D跟踪结果投影到每个RGB相机视图以创建2D跟踪结果。然后,我们手动检查和纠正3D跟踪结果,以确保标签质量,这比完全手动标注便宜得多。我们使用两个实时多摄像头跟踪器和一个具有不同设置的人重新识别(ReID)模型进行了广泛的实验。该数据集为杂乱和拥挤环境中的多摄像头、多目标跟踪系统提供了更可靠的基准。此外,我们的研究结果表明,在此数据集上调整跟踪器和ReID模型可以显着提高其性能。我们的数据集将在接受这项工作后公开发布。
2021-11-30 cs.CV
NVS-Adapter: Plug-and-Play Novel View Synthesis from a Single Image
POSTECH(浦项科技大学);Cinamon Runway
本文提出即插即用模块NVS-Adapter,通过视图一致性交叉注意力和全局语义条件化,在不全量微调T2I模型的情况下实现单图几何一致的多视角合成。
2024-08-10 cs.CV
3D Gaussian Splatting for Efficient Retrospective Dynamic Scene Novel View Synthesis with a Standardized Benchmark
Visual and Spatial AI Lab(视觉与空间人工智能实验室);VCCM Section College of PVFA(VCCM学院光电工程学院);Department of ECEN(电子工程系);Department of CSCE(计算机科学与工程系);Texas A&M University(德克萨斯A&M大学)
本文提出基于同步多视角动态场景的3D高斯点划方法,无需时间耦合约束即可实现高效回顾性动态场景新视角合成,并构建了标准化的动态多视角数据集框架以支持可重复的NeRF和3DGS研究。
2026-05-12 cs.CV
The MegaFace Benchmark: 1 Million Faces for Recognition at Scale
University of Washington(华盛顿大学)
最近在一个主要的基准LFW上进行的人脸识别实验显示出惊人的性能--许多算法达到了接近完美的分数,超过了人类的识别率。在本文中,我们提倡以百万级进行评估(LFW仅包含5 K人的13 K照片)。为此,我们组装了MegaFace数据集并创建了第一个MegaFace挑战。我们的数据集包括一百万张照片,捕捉超过69万个不同的个体。挑战评估算法的性能与越来越多的干扰(从10到1 M)在画廊集。我们提出了识别和验证性能,评估性能的姿态和一个人的年龄,并比较作为训练数据大小(照片和人的数量)的函数。我们报告的结果,国家的最先进的和基线算法。我们的主要观察结果是,在百万级规模上的测试揭示了很大的性能差异(在较小规模上表现相似的算法),并且年龄不变识别以及姿势对大多数人来说仍然具有挑战性。MegaFace数据集,基线代码和评估脚本都公开发布,以供进一步实验:megaface.cs.washington.edu。
2015-12-02 cs.CV
Comprehensive Benchmark Datasets for Amharic Scene Text Detection and Recognition
Huazhong University of Science and Technology(华中科技大学)
阿姆哈拉文字是最古老的非洲书写系统之一,至少有23种语言(例如,阿姆哈拉语,提格里尼亚语)在东非超过1.2亿人。阿姆哈拉语书写系统Abugida有282个音节,15个标点符号和20个数字。阿姆哈拉语音节矩阵是从34个基本字素/辅音中通过添加多达12个适当的变音符号或元音标记来获得的。具有共同辅音或元音标记的音节可能在视觉上相似,并挑战文本识别任务。在这项工作中,我们提出了第一个全面的公共数据集,名为HUST-ART,HUST-AST,ABE和Tana,用于自然场景中的阿姆哈拉语脚本检测和识别。我们还进行了广泛的实验,以评估在我们的数据集上检测和识别阿姆哈拉语场景文本的最先进方法的性能。评估结果表明,我们的数据集的基准和它的潜力,促进强大的阿姆哈拉文字检测和识别算法的发展的鲁棒性。因此,其结果将使东非人民受益,包括一些国家和国际社会的外交官。
2022-03-23 cs.CV
Princeton365: A Diverse Dataset with Accurate Camera Pose
Princeton University(普林斯顿大学)
提出Princeton365数据集,包含365个视频和精确相机位姿,通过校准板和360度相机的新颖真值采集框架弥合精度与多样性差距,并引入基于光流的尺度感知评估指标及新颖视图合成基准。
2026-06-01 cs.CV
The MI-Motion Dataset and Benchmark for 3D Multi-Person Motion Prediction
Hangzhou Dianzi University(杭州电子科技大学);National University of Defense Technology(国防科技大学);Netease Fuxi AI Lab(网易伏羲人工智能实验室)
本文提出了用于3D多人运动预测的MI-Motion数据集与基准,包含167k帧交互骨架姿态并支持三种预测设置评估,同时引入了一种基于图和时序卷积网络的新型基线方法以促进该领域研究。
2023-06-26 cs.CV
People Counting in Crowded and Outdoor Scenes using a Hybrid Multi-Camera Approach
Federal University of Paraná(巴拉那联邦大学);Pontifical Catholic University of Paraná(巴拉那天主教大学);École de Technologie Supérieure(高等技术学院)
本文提出了两种新的方法,在拥挤和开放的环境中,结合多个视图收集的信息进行人数统计。多个摄像机被用来扩大视野以及减轻通常影响使用单个摄像机的计数方法的性能的遮挡问题。第一种方法被认为是一种直接的方法,它试图分割和计算人群中的每个人。为了达到这个目的,我们采用了两种头部检测器:一种是基于支持向量机,另一种是基于Adaboost感知器。第二种方法被认为是一种间接的方法,采用学习算法和对整个人群的统计分析来实现计数。为了实现这一目标,从前景图像中的人群中提取角点,并通过估计场景中的人数的学习算法来计算角点。这两种方法都计算场景中的人数,而不仅仅是场景的给定图像或视频帧。在PETS 2009视频数据集上的实验结果表明,该方法比其他方法提高了46.7%,并能在拥挤场景下提供准确的计数结果。另一方面,直接方法显示出高出错率,这是由于后者具有复杂得多的问题要解决,例如头部的分割。
2017-05-08 cs.CV
Open-Attribute Person Retrieval: Finding People Through Distinctive and Novel Attributes
The Pennsylvania State University(宾夕法尼亚州立大学);Korea Telecom Research(韩国电信研究所);Korea University(韩国大学);Kakao Mobility
研究行人检索问题,针对实践中有用的罕见独特属性未被充分探索的情况,构建数据集EPAD并提出GAP-CLIP框架,提升行人检索性能。
2026-07-07 cs.CV
TS-RGBD Dataset: a Novel Dataset for Theatre Scenes Description for People with Visual Impairments
USTHB University(USTHB大学);Computer Science Faculty(计算机科学学院);RIIMA Laboratory(RIIMA实验室)
本文提出TS-RGBD数据集,包含由Microsoft Kinect捕获的剧院场景RGB、深度和骨架序列及真实值人体动作与密集字幕标注,并测试了图像描述与基于骨架的人体动作识别模型,以扩展视障人群可活动的环境范围。
2023-08-02 cs.CV
SimPose: Effectively Learning DensePose and Surface Normals of People from Simulated Data
Google Research(谷歌研究院)
随着通用域自适应方法的扩散,我们报告了一种简单而有效的技术,用于学习发音人的困难的每像素2.5D和3D回归表示。我们为2.5D DensePose估计任务和3D人体表面法线估计任务获得了强大的模拟到真实领域泛化。在多人DensePose MSCOCO基准测试中,我们的方法优于在密集标记的真实图像上训练的最先进的方法。这是一个重要的结果,因为在真实图像上获得人类流形的内在uv坐标是耗时的,并且易于标记噪声。此外,我们在MSCOCO数据集上呈现了我们模型的3D表面法线预测,该数据集缺乏任何真实的3D表面法线标签。我们的方法的关键是通过从域样本的混合物中精心选择的训练批次、深度批次归一化残差网络和修改的多任务学习目标来减轻“域间协变量偏移“。我们的方法是现有的域自适应技术的补充,并可以应用于其他密集的每像素姿态估计问题。
2020-07-30 cs.CV
Geometric Inconsistency Localization in Multi-View Image Sets
IDLab, Ghent University - imec(根特大学-imec IDLab)
本研究提出DeformView数据集和DEFECt3R分类器,用于在宽基线多视角图像中定位几何不一致性,显著提升取证任务性能并减少误报。
2026-09-28 cs.AI cs.CR cs.CV
ORBIT: A Real-World Few-Shot Dataset for Teachable Object Recognition
Microsoft Research(微软研究院);University of Oxford(牛津大学);University of Cambridge(剑桥大学);City, University of London(伦敦城市大学)
在过去的十年中,对象识别已经取得了很大的进步,但主要仍然依赖于每个对象类别的许多高质量的训练样本。相比之下,仅从几个示例中学习新对象可以实现从机器人到用户个性化的许多有影响力的应用。然而,大多数少样本学习研究都是由基准数据集驱动的,这些基准数据集缺乏这些应用程序在现实世界中部署时所面临的高度变化。为了缩小这一差距,我们提出了ORBIT数据集和基准,基于盲人/低视力人群的可教对象识别器的现实应用。该数据集包含盲人/低视力者在手机上记录的486个物体的3,822个视频。该基准反映了一个现实的,极具挑战性的识别问题,提供了一个丰富的操场,以推动鲁棒性研究Few-Shot,高变化的条件。我们设定了基准的第一个最先进的水平,并显示出进一步创新的巨大空间,有可能影响广泛的现实世界的视觉应用,包括盲人/低视力社区的工具。我们在https://doi.org/10.25383/city.14294597上发布数据集,并在https://github.com/microsoft/ORBIT-Dataset上发布基准代码。
2021-10-08 cs.CV
SFOOD: A Multimodal Benchmark for Comprehensive Food Attribute Analysis Beyond RGB with Spectral Insights
Beijing University of Posts and Telecommunications(北京邮电大学);ShiFang Technology Inc.(ShiFang技术有限公司);Specrizion Technology Co.Ltd(Specrizion技术有限公司)
本文构建了首个大规模光谱食品基准SFOOD,涵盖3266个食品类别和2351k数据点,并证明光谱数据对甜度等食品属性分析至关重要,同时揭示现有大规模模型在食品数字化方面仍表现不佳。
2025-07-06 cs.CV
FrameCrafter: Novel View Synthesis as Video Completion
Carnegie Mellon University(卡内基梅隆大学)
本文提出将稀疏新颖视角合成视为低帧率视频补全任务,通过改进架构实现视角不变性,证明视频模型能以最少监督生成竞争性稀疏视角合成结果。
2026-09-02 cs.CV
The IKEA ASM Dataset: Understanding People Assembling Furniture through Actions, Objects and Pose
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision (ACRV)(澳大利亚机器人视觉中心);University of Technology Sydney(悉尼科技大学)
为解决现有数据集在视角和标注上的局限,本文提出了包含三百万帧、多视角的家具组装视频数据集 IKEA ASM,涵盖深度、原子动作、物体分割和人体姿态,并对其动作识别等任务进行了基准测试,以推动多模态整体性方法的发展。
2023-05-17 cs.CV
Benchmark for Anonymous Video Analytics
Queen Mary University of London(伦敦玛丽女王大学)
户外受众测量旨在统计和描述在物理世界中接触广告内容的人。虽然基于计算机视觉的受众测量解决方案越来越受关注,但不存在普遍接受的基准来评估和比较它们的性能。在本文中,我们提出了第一个基准数字户外观众测量,评估基于视觉的任务,观众定位和计数,和观众人口统计。该基准测试由一个在多个位置捕获的新数据集和一组性能指标组成。使用基准测试,我们提出了一个深入的比较八个开源算法在四个硬件平台与GPU和CPU优化的推理和两个商业现成的解决方案,本地化,计数,年龄和性别估计。这个基准测试和相关的开源代码可以在http://ava.eecs.qmul.ac.uk上找到。
2021-10-03 cs.CV
Multi-Dimensional Insights: Benchmarking Real-World Personalization in Large Multimodal Models
Beijing University of Posts and Telecommunications(北京邮电大学);Huazhong University of Science and Technology(华中科技大学)
提出MDI基准,含500余张图像和年龄分层问题,评估大型多模态模型真实世界个性化能力,GPT-4o仅79%准确率,显示显著改进空间。
2024-12-17 cs.AI cs.CL cs.CV
Comparing Apples and Oranges: Off-Road Pedestrian Detection on the NREC Agricultural Person-Detection Dataset
National Robotics Engineering Center, Carnegie Mellon University(卡内基梅隆大学国家机器人工程中心);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
随着城市和高速公路驾驶的多个高质量数据集的出现,车辆中的人员检测最近取得了快速进展,但在越野或农业环境中没有大规模的基准可用于相同的问题。在这里,我们提出了NREC农业人员检测数据集,以刺激在这些环境中的研究。它包括从两个感知平台(一辆拖拉机和一辆皮卡)拍摄的橘子园和苹果园中的人的标记立体视频,以及来自RTK GPS的车辆位置数据。我们在数据集的一部分上定义了一个基准,该数据集结合了总共76 k个标记的人物图像和19 k个采样的无人物图像。该数据集突出了该领域的几个关键挑战,包括变化的环境,植被的大量遮挡,运动和非标准姿势的人,以及从各种距离看到的人;包括元数据,以便有针对性地评估这些影响。最后,我们提出了基线检测性能结果的三个领先的方法,从城市行人检测和我们自己的卷积神经网络的方法,受益于纳入额外的图像上下文。我们表明,现有的方法对城市数据的成功并没有直接转移到这个领域。
2017-10-26 cs.CV
Learning to Detect and Track Visible and Occluded Body Joints in a Virtual World
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
开放世界环境中的多人跟踪需要在精确检测方面做出特殊努力。此外,在检测阶段的时间连续性获得更重要的场景杂波引入了具有挑战性的问题,遮挡目标。为此,我们提出了一种深度网络架构,该架构可以联合提取人的身体部位,并在短时间内将它们关联起来。我们的模型明确地处理被遮挡的身体部位,通过对不可见的关节产生幻觉来解决问题。我们提出了一种新的端到端架构,由四个分支(可见热图,遮挡热图,部分亲和字段和时间亲和字段)由时间链接器特征提取器提供。为了克服缺乏跟踪,身体部位和遮挡注释的监控数据,我们通过利用逼真的视频游戏创建了最广泛的计算机图形数据集,用于在城市场景中进行人员跟踪。它是迄今为止最庞大的人体部位数据集(约50万帧,近1000万个人体姿势),用于城市场景中的人体跟踪。当图像分辨率和清晰度足够高时,我们在虚拟数据上训练的架构在公共真实跟踪基准上也表现出良好的泛化能力,从而产生可用于进一步批量数据关联或re-id模块的可靠tracklet。
2018-09-18 cs.CV
Who's Waldo? Linking People Across Text and Images
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区)
我们提出了一个以人为中心的视觉基础的任务和基准数据集,标题中命名的人和图像中描绘的人之间的联系问题。与之前主要基于对象的视觉基础工作相比,我们的新任务掩盖了标题中的人名,以鼓励在这种图像-标题对上训练的方法专注于上下文线索(例如多个人之间的丰富交互),而不是学习名字和外观之间的关联。为了方便这项任务,我们引入了一个新的数据集,谁的沃尔多,自动挖掘维基共享资源上的图像标题数据。我们提出了一种基于transformer的方法,在这项任务上优于几个强大的基线,并将我们的数据发布给研究社区,以促进考虑视觉和语言的上下文模型的工作。
2021-08-17 cs.CL cs.CV cs.LG
Benchmarking Early Agitation Prediction in Community-Dwelling People with Dementia Using Multimodal Sensors and Machine Learning
KITE Research Institute(KITE研究机构);Toronto Rehabilitation Institute(多伦多康复研究所);University Health Network(大学健康网络);Lawrence Bloomberg Faculty of Nursing(劳伦斯布罗德利护理学院);University of Toronto(多伦多大学);College of Engineering and Technology(工程与技术学院);American University of the Middle East(中东美国大学)
本文基于TIHM多模态居家传感器数据,构建并基准评测社区痴呆患者激越早期预测模型,融合活动情境特征后LightGBM取得AUC-ROC 0.9720。
2025-05-23 cs.CV cs.HC cs.LG
The WILDTRACK Multi-Camera Person Dataset
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
人检测方法对目标之间的永久遮挡非常敏感。随着多相机设置变得越来越频繁地遇到,跨视图信息的联合利用将允许改进的检测性能。我们提供了一个名为WILDTRACK的大规模HD数据集,它最终使高级深度学习方法适用于这个问题。七个静态摄像头的设置捕捉现实和具有挑战性的场景行走的人。值得注意的是,它的相机校准与联合高精度投影扩大了可以利用该数据集的算法的范围。为了加速摄像机自动标定的研究,这些注释也伴随着这个数据集。此外,行人类丰富的外观视觉背景也使该数据集对于单目行人检测具有吸引力,因为:高清摄像机相对靠近人放置,数据集的大小进一步增加了七倍。总之,我们概述了现有的多相机数据集和检测方法,列举了我们的数据集的细节,我们在这个新的数据集上对多相机最先进的检测器进行了基准测试。
2017-07-28 cs.CV
A Hierarchical Grocery Store Image Dataset with Visual and Semantic Labels
KTH Royal Institute of Technology(瑞典皇家理工学院);Microsoft Research(微软研究院)
内置于视觉支持系统和其他辅助设备中的图像分类模型需要提供关于其环境的准确预测。我们专注于为视觉障碍人士提供辅助技术的应用,用于购物或烹饪等日常活动。在本文中,我们提供了一个新的基准数据集,在这个应用程序中的一个具有挑战性的任务-水果,蔬菜和冷藏产品,如牛奶包装和果汁盒,在杂货店的分类。为了使学习过程能够利用结构化信息的多个来源,该数据集不仅包含大量的自然图像,还包括来自在线购物网站的产品的相应信息。这种信息包括对象类的层次结构,以及每种类型对象的图标图像。该数据集可用于训练和评估图像分类模型,以帮助自然环境中的视障人士。此外,我们还提供了在预训练的卷积神经网络上评估的基准测试结果,这些神经网络通常用于图像理解目的,以及一个多视图变分自编码器,它能够利用数据集中丰富的产品信息。
2019-01-03 cs.CV
SPEC: Seeing People in the Wild with an Estimated Camera
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院)
由于缺乏野外图像的摄像机参数信息,现有的3D人体姿态和形状(HPS)估计方法做了几个简化的假设:弱透视投影,大的恒定焦距,和零摄像机旋转。这些假设往往不成立,我们表明,定量和定性,它们会导致重建的3D形状和姿态的错误。为了解决这个问题,我们引入了SPEC,这是第一个在野外的3D HPS方法,它从单个图像中估计透视相机,并利用它更准确地重建3D人体。首先,我们训练一个神经网络来估计给定输入图像的视场、摄像机俯仰和滚动。我们采用新的损失,提高了校准精度比以前的工作。然后,我们训练一个新的网络,连接相机校准的图像特征,并使用这些一起回归三维身体形状和姿势。SPEC在标准基准(3DPW)上比现有技术更准确,并且具有更具挑战性的相机视图和不同焦距的两个新数据集。具体来说,我们创建了一个新的真实感合成数据集(SPEC-SYN)与地面真实3D机构和一个新的野外数据集(SPEC-MTP)与校准和高质量的参考机构。定性和定量分析都证实,在推理过程中知道相机参数可以更好地回归人体。代码和数据集可在https://spec.is.tue.mpg.de上获得。
2022-11-01 cs.CV
$\mathtt{M^3VIR}$: A Large-Scale Multi-Modality Multi-View Synthesized Benchmark Dataset for Image Restoration and Content Creation
Santa Clara University(圣克拉拉大学);University of Newcastle(新castle大学);Futurewei Technologies, Inc.(未来科技公司)
为解决游戏数据集局限与可控视频生成基准缺失问题,提出大规模多模态多视图数据集$\mathtt{M^3VIR}$,提供高保真游戏内容与多任务基准,推动AI图像恢复与内容生成研究。
2025-10-30 cs.CV
Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究中心);Snapchat Inc(Snapchat公司)
心理学研究结果证实,人们对不同的视觉刺激会产生不同的情绪反应。已经发表了几篇关于视觉情感分析问题的论文。特别是,已经尝试分析和预测人们对图像的情绪反应。为此,提出了不同种类的手动调整功能。在几个精心挑选和标记的小图像数据集上报告的结果证实了这些功能的前景。虽然最近许多计算机视觉相关任务的成功是由于采用了卷积神经网络(CNN),但视觉情感分析尚未取得相同的成功。这可能主要是由于无法获得自信地标记和相对较大的图像数据集用于视觉情感分析。在这项工作中,我们引入了一个新的数据集,它从300多万张不同情绪的弱标记图像开始,最终达到了目前最大的公开可用视觉情绪数据集的30倍。我们希望这个数据集鼓励进一步研究视觉情感分析。我们还使用包括CNN在内的最先进的方法对这个大型数据集进行了广泛的基准分析。
2016-05-09 cs.AI cs.CV
DifferSketching: How Differently Do People Sketch 3D Objects?
City University of Hong Kong(香港城市大学);Peking University(北京大学);University of Surrey(萨里大学)
已经提出了多个草图数据集来理解人们如何绘制3D对象。然而,这样的数据集通常是小规模的,并且覆盖一小部分对象或类别。此外,这些数据集包含大部分来自专家用户的手绘草图,使得很难比较专家和新手用户的绘图,而这种比较对于为任何用户组提供更有效的基于草图的界面至关重要。这些观察促使我们分析具有和不具有足够绘图技能的人绘制3D对象的差异。我们邀请了70名新手用户和38名专家用户来绘制136个3D对象,这些对象被呈现为从多个视图渲染的362个图像。这将产生一个包含3,620个手绘多视图草图的新数据集,这些草图在某些视图下与其相应的3D对象配准。我们的数据集比现有的数据集大一个数量级。我们从三个层面分析收集到的数据,即,草图级、笔划级和像素级,在空间和时间特性下,以及在创建者组内和跨创建者组。我们发现,专业和新手的图纸显示出显着的差异,在笔画水平,无论是内在的和外在的。我们证明了我们的数据集在两个应用程序中的有用性:(i)手绘风格的草图合成,以及(ii)将其作为基于草图的3D重建的潜在基准。我们的数据集和代码可以在https://chufengxiao.github.io/DifferSketching/上找到。
2022-09-19 cs.CV cs.GR
Extrapolated Urban View Synthesis Benchmark
NYU(纽约大学);NVIDIA(英伟达);UPenn(宾夕法尼亚大学);USC(南加州大学);Stanford(斯坦福大学)
本文构建首个外推城市视图合成EUVS基准,评估多种SOTA NVS方法,揭示其在大视角变化下易过拟合且现有先验与几何改进有限的问题。
2025-03-12 cs.AI cs.CV cs.LG
FACET: Fairness in Computer Vision Evaluation Benchmark
Meta AI Research, FAIR(Meta人工智能研究院(FAIR))
提出FACET基准,含32k图像及专家标注,用于评估计算机视觉模型在性别、肤色等人口属性上的性能差异,发现分类、检测等任务存在不公平现象,以促进公平稳健的模型发展。
2023-08-31 cs.AI cs.CV
Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);School of Electronics and Communication Engineering, Guangzhou University(广州大学电子与通信工程学院);Univ Rennes(雷恩大学);INSA Rennes(雷恩国立应用科学学院);CNRS(法国国家科学研究中心);IRT b < > absent <> < > com;IETR - UMR 6164
该研究针对动态真实场景下的GS与NeRF两类新视角合成技术,开展两项主观质量评估实验,构建含多视角视频的真实场景库与客观指标基准,揭示现有方法局限,为质量指标与NVS方法发展提供参考。
2025-01-13 cs.CV eess.IV
NaVIP: An Image-Centric Indoor Navigation Solution for Visually Impaired People
Lehigh University(利哈伊大学)
本文提出 NaVIP 图像数据集与以图像为中心的室内导航方案,利用30万张带6DoF位姿、PoI和字幕标注的手机图像,为视障人士提供无需额外基础设施、可扩展且支持实时定位与环境探索的辅助能力。
2024-10-08 cs.AI cs.CV
EgoBody: Human Body Shape and Motion of Interacting People from Head-Mounted Devices
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);Meta Reality Labs Research(Meta现实实验室)
从以自我为中心的观点理解社交互动对于许多应用至关重要,从辅助机器人到AR/VR。推理互动的关键是从自我中心的角度理解互动伙伴的身体姿势和运动。然而,由于缺乏数据集,这一领域的研究受到严重阻碍。现有的数据集在大小、捕获/注释方式、地面实况质量或交互多样性方面都是有限的。我们填补了这一空白,提出自我身体,一种新的大规模数据集的人类姿势,形状和运动估计从自我中心的意见,在复杂的3D场景中的互动。我们使用微软HoloLens 2头戴式设备记录丰富的以自我为中心的数据流(包括RGB、深度、眼睛注视、头部和手部跟踪)。为了获得准确的3D地面实况,我们使用多Kinect装备校准耳机,并将富有表现力的SMPL-X人体网格拟合到多视图RGB-D帧,随着时间的推移重建3D人体形状和相对于场景的姿势。我们收集了125个序列,跨越不同的互动场景,并提出了第一个基准的3D全身姿势和形状估计的社会合作伙伴从自我中心的观点。我们广泛评估了最先进的方法,强调了它们在以自我为中心的情况下的局限性,并利用我们的高质量注释来解决这些局限性。数据和代码可在https://sanweiliti.github.io/egobody/egobody.html上获得。
2022-08-16 cs.AI cs.CV
Vision-based Human Fall Detection Systems using Deep Learning: A Review
Gour Mahavidyalaya(古尔马哈维迪亚拉亚学院);University of Gour Banga(古尔班加大学);Visva-Bharati University(维斯瓦巴拉蒂大学);National Research Council of Italy(意大利国家研究委员会);Institute of Applied Sciences and Intelligent Systems(应用科学与智能系统研究所)
人类跌倒是非常关键的健康问题之一,特别是对于独居的老年人和残疾人。全世界老年人口的数量正在稳步增加。因此,人体跌倒检测正成为这些人辅助生活的有效技术。对于辅助生活,深度学习和计算机视觉已被大量使用。在这篇综述文章中,我们讨论了基于深度学习(DL)的最先进的非侵入式(基于视觉的)跌倒检测技术。我们还提出了一个调查跌倒检测基准数据集。为了清楚地理解,我们简要地讨论了用于评估跌倒检测系统性能的不同指标。本文还给出了基于视觉的人体跌倒检测技术的未来发展方向。
2022-07-22 cs.AI cs.CV
Bangla Sign Language Translation: Dataset Creation Challenges, Benchmarking and Prospects
Islamic University of Technology(伊斯兰技术大学)
本文提出孟加拉手语翻译数据集IsharaKhobor,探讨数据集创建挑战,并通过基准测试和消融实验展示其改进版本。
2025-11-26 cs.CL cs.CV
CompSplat: Compression-aware 3D Gaussian Splatting for Real-world Video
Kyungpook National University(Kyungpook国立大学);Adobe Research(Adobe研究院)
CompSplat是一种针对真实世界视频压缩感知的3D高斯点散布框架,通过建模帧级压缩特性来减少帧间不一致性和累积几何误差,实现了在高压缩条件下更高质量的视角合成。
2026-02-10 cs.CV
SynthBrainGrow: Synthetic Diffusion Brain Aging for Longitudinal MRI Data Generation in Young People
Mass General Brigham, Harvard Medical School(哈佛医学院麻省总医院布里格姆医疗系统);Dana-Farber Cancer Institute(丹娜-法伯癌症研究所);Maastricht University(马斯特里赫特大学);Boston Children's Hospital(波士顿儿童医院)
本文提出基于扩散模型的 SynthBrainGrow 方法,以两年为步长从横断面 MRI 合成纵向脑老化数据,验证其能准确模拟脑室扩大和皮层变薄等结构变化,为神经发育研究提供数据增强和基准测试新途径。
2024-02-22 cs.AI cs.CV eess.SP
OrbitNVS: Harnessing Video Diffusion Priors for Novel View Synthesis
South China University of Technology(华南理工大学);King's College London(伦敦大学国王学院);Agentic Labs, XGTech(Agentic实验室,XGTech);Pazhou Laboratory(Pazhou实验室)
OrbitNVS将新视角合成重新定义为轨道视频生成任务,通过定制模型设计和训练策略,利用预训练视频生成模型的丰富视觉先验,提升几何和外观一致性,实验表明在GSO和OmniObject3D基准上表现优异。
2026-03-20 cs.CV
RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video
Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心 (MCML))
提出统一前馈变压器RayDer,将相机估计、场景重建和渲染整合为单一骨干,实现自监督新视角合成的可扩展幂律缩放,在零样本开放集性能上媲美有监督方法。
2026-05-29 cs.AI cs.CV cs.LG
PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction
Shanghai Jiao Tong University(上海交通大学)
针对NeRF因过拟合导致低纹理区域几何重建差的问题,提出基于SVD的无监督平面正则化方法,结合SSIM损失初始化体表示,在大规模户外场景几何重建和KITTI-360 NVS基准上取得更优效果。
2023-11-05 cs.CV cs.LG
DeblurNVS: Geometric Latent Diffusion for Novel View Synthesis from Sparse Motion-Blurred Images
School of AI for Science, Peking University Shenzhen Graduate School(人工智能科学学院,北京大学深圳研究生院);School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School(电子与计算机工程学院,北京大学深圳研究生院)
提出DeblurNVS框架,利用几何潜在扩散从稀疏运动模糊图像中直接合成高保真新视角,无需逐场景优化。
2026-05-31 cs.CV
MVSplat360: Feed-Forward 360 Scene Synthesis from Sparse Views
Monash University(莫纳什大学);VGG, University of Oxford(牛津大学VGG(视觉几何组));ETH Zurich(苏黎世联邦理工学院);University of Tübingen(蒂宾根大学);Nanyang Technological University(南洋理工大学)
MVSplat360提出一种前馈方法,结合3D高斯泼溅重建与稳定视频扩散,从稀疏视图合成360度新视角,在DL3DV-10K基准上超越现有方法。
2024-11-07 cs.CV
WarpHammer: Densifying Scene Warps with 3D Object Priors for Extreme View Synthesis
OriginAI, Israel(OriginAI,以色列);NVIDIA(英伟达);Technion(以色列理工学院)
针对投影条件新视角合成在大轨道运动下扭曲稀疏导致生成失败的问题,提出无需训练的WarpHammer框架,通过引入3D生成先验的物体显式重建来补充缺失前景并遮挡不应可见的背景点,恢复外观和相机线索,并首次支持融合外部辅助物体视图。
2026-09-29 cs.CV
WorldSplat: Gaussian-Centric Feed-Forward 4D Scene Generation for Autonomous Driving
Nankai University(南开大学);Nanjing University, Suzhou(南京大学苏州校区)
WorldSplat提出前馈4D场景生成框架,结合4D感知扩散模型与视频细化,生成时空一致的多轨迹驾驶视频,解决生成与重建的矛盾。
2025-10-16 cs.CV
FreeScale: Scaling 3D Scenes via Certainty-Aware Free-View Generation
FreeScale通过利用场景重建将有限的真实图像序列转化为高质量训练数据,通过置信度感知的自由视角采样策略提升NVS模型性能,实现2.7dB的PSNR提升。
2026-04-12 cs.CV
Do Vision-Language Models See Urban Scenes as People Do? An Urban Perception Benchmark
Université de Montréal(蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
该研究构建了含100张蒙特利尔街景图的城市感知基准,基于人类标注评估7个零样本VLM的城市感知能力,发现模型在客观属性上对齐度优于主观评价,并公开基准以支持相关可复现评估。
2025-10-05 cs.AI cs.CV
PoseTrack: A Benchmark for Human Pose Estimation and Tracking
MPI for Informatics(马克斯·普朗克信息学研究所);University of Bonn(波恩大学);Amazon Research(亚马逊研究院);Google Research(谷歌研究院)
人体姿势和运动是分析视频的重要线索,有强有力的证据表明,基于身体姿势的表示对于各种任务(如活动识别,内容检索和社交信号处理)非常有效。在这项工作中,我们的目标是通过建立“PoseTrack”,一个新的基于视频的人体姿势估计和关节跟踪的大规模基准,并汇集了从事视觉人体分析的研究人员社区,进一步推进最先进的技术。该基准测试包括三个竞争轨道,重点是i)单帧多人姿态估计,ii)视频中的多人姿态估计,以及iii)多人铰接跟踪。为了促进基准测试和挑战,我们收集,注释和发布了一个新的%大规模基准测试数据集,该数据集的特点是视频中有多个人,并标记了人的轨迹和关节姿势。提供了一个集中的评估服务器,以允许参与者在保留的测试集上进行评估。我们设想,拟议的基准将通过提供一个大型的和有代表性的训练数据集,以及提供一个平台,客观地评估和比较所提出的方法,刺激富有成效的研究。该基准可以在https://posetrack.net上免费访问。
2018-04-10 cs.CV