StableSemantics: A Synthetic Language-Vision Dataset of Semantic Representations in Naturalistic Images
Carnegie Mellon University(卡内基梅隆大学)
该研究提出StableSemantics合成语言-视觉数据集,包含22.4万条人工提示、超200万张合成图像及1000万张注意力图,是首个带语义属性的扩散数据集,可推动视觉语义理解与相关模型发展。
2024-06-19 cs.CV cs.LG
Adaptive Voronoi NeRFs
Visual Computing Institute, RWTH Aachen University(亚琛工业大学视觉计算研究所)
针对大规模3D场景中NeRF训练与推理缓慢的问题,提出基于Voronoi图层级划分的自适应框架,为每个单元配备独立NeRF,通过均匀分配信息与自顶向下细化提升学习与渲染速度。
2023-03-30 cs.CV cs.LG
3D-GRAND: A Million-Scale Dataset for 3D-LLMs with Better Grounding and Less Hallucination
University of Michigan(密歇根大学);New York University(纽约大学)
本研究推出百万级3D-LLM数据集3D-GRAND及幻觉评估基准3D-POPE,验证了指令微调可提升模型接地能力、减少幻觉,证实数据集规模的缩放效应与模拟到真实迁移的可行性,为具身AI研究提供支撑。
2025-03-20 cs.AI cs.CL cs.CV
InteriorNet: Mega-scale Multi-sensor Photo-realistic Indoor Scenes Dataset
Imperial College London(帝国理工学院)
数据集在计算机视觉社区中获得了巨大的普及,从基于深度学习的方法的训练和评估到基准测试同时定位与地图构建(SLAM)。毫无疑问,合成图像具有巨大的潜力,由于可扩展性方面的数据量,而无需繁琐的手动地面实况注释或测量。在这里,我们提出了一个数据集,其目的是提供更高程度的照片现实主义,更大的规模,更多的可变性,以及服务于更广泛的目的相比,现有的数据集。我们的数据集利用了数百万专业室内设计和数百万生产级家具和对象资产的可用性-所有这些都具有精细的几何细节和高分辨率纹理。我们呈现高分辨率和高帧率的视频序列,同时支持各种相机类型以及提供惯性测量的逼真轨迹。随着数据集的发布,我们将在https://interiornetdataset.github.io上提供我们的交互式模拟器软件的可执行程序以及我们的渲染器。为了展示我们数据集的可用性和独特性,我们展示了稀疏和密集SLAM算法的基准测试结果。
2018-09-03 cs.AI cs.CV cs.LG
Multiview Compressive Coding for 3D Reconstruction
FAIR, Meta AI(元人工智能公司FAIR实验室)
视觉识别的核心目标是从单个图像中理解对象和场景。由于大规模学习和通用表示,2D识别已经取得了巨大的进展。相比之下,3D提出了新的挑战,源于图像中未描绘的遮挡。先前的工作试图通过从多个视图推断或依赖于稀缺的CAD模型和类别特定的先验来克服这些问题,这些先验阻碍了扩展到新的设置。在这项工作中,我们探索单视图三维重建学习的启发,在自监督学习的进步概括表示。我们介绍了一个简单的框架,该框架在单个对象或整个场景的3D点上操作,再加上来自不同RGB-D视频的类别不可知的大规模训练。我们的模型,多视图压缩编码(MCC),学习压缩输入的外观和几何形状,通过查询3D感知解码器来预测3D结构。MCC的通用性和效率使其能够从大规模和多样化的数据源中学习,并对DALL $\cdot$ E 2想象的新对象或用iPhone在野外捕获的新对象具有很强的泛化能力。
2023-01-19 cs.CV
Novel View Synthesis from A Few Glimpses via Test-Time Natural Video Completion
University of Michigan(密歇根大学);UC Berkeley(加州大学伯克利分校)
通过测试时自然视频补全方法,从少量视角生成高质量新视角,无需场景特定训练,有效提升稀疏输入下的场景重建与视角生成质量。
2025-11-22 cs.CV cs.GR
SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model
Beijing University of Posts and Telecommunications(北京邮电大学);University of Trento(特伦托大学)
针对通用单目度量深度估计场景一致性差、训练数据需求大的问题,提出基于非归一化深度箱与分治策略的SM$^4$Depth模型,仅用15万数据在消费级GPU训练,即可在跨场景数据集上实现一致的高精度深度估计。
2024-08-15 cs.AI cs.CV
IMAGINE: Image Synthesis by Image-Guided Model Inversion
UC San Diego(加州大学圣迭戈分校);Adobe Research(Adobe研究院)
我们介绍了一种基于反演的方法,表示为IMAge引导模型INvErsion(IMAGINE),仅从单个训练样本生成高质量和多样化的图像。我们利用来自预训练分类器的图像语义知识,通过匹配分类器中的多层次特征表示来实现合理的生成,与外部训练的对抗训练相关联。IMAGINE使合成过程能够同时:1)在合成过程中强制执行语义特异性约束,2)在没有生成器训练的情况下生成逼真的图像,以及3)为用户提供对生成过程的直观控制。通过大量的实验结果,我们定性和定量地证明了IMAGINE在三个不同的图像域(即,对象、场景和纹理)。
2021-04-13 cs.CV
Block-NeRF: Scalable Large Scene Neural View Synthesis
Waymo;Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
我们提出了块NeRF,神经辐射场的一个变体,可以代表大规模的环境。具体来说,我们证明了当缩放NeRF以渲染跨越多个街区的城市规模场景时,将场景分解为单独训练的NeRF是至关重要的。这种分解将渲染时间从场景大小中分离出来,使渲染能够扩展到任意大的环境,并允许对环境进行逐块更新。我们采用了几个架构更改,使NeRF对在不同环境条件下捕获的数据具有强大的鲁棒性。我们添加外观嵌入,学习姿势优化和可控曝光到每个单独的NeRF,并介绍了一个程序,用于对齐相邻NeRF之间的外观,使它们可以无缝组合。我们从280万张图像中构建了一个Block-NeRFs网格,以创建迄今为止最大的神经场景表示,能够渲染旧金山的整个社区。
2022-02-10 cs.CV cs.GR
Deep Learning--Based Scene Simplification for Bionic Vision
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California(加州大学)
视网膜退行性疾病在全世界超过1000万人中造成严重的视力障碍,并且正在开发视网膜假体以恢复这些人的视力。类似于耳蜗植入,这些设备电刺激幸存的视网膜细胞,以唤起视觉感知(光幻视)。然而,目前的假肢视觉的质量仍然是初步的。与其以恢复“自然”视力为目标,不如借用最先进的计算机视觉算法作为图像处理技术,以最大限度地发挥修复视力的作用。在这里,我们结合了深度学习-基于场景简化策略与心理学验证的计算模型的视网膜,以生成逼真的模拟假肢视觉的预测,并衡量他们的能力,以支持场景理解的有视力的受试者(虚拟患者)在各种户外场景。我们表明,对象分割可以更好地支持场景理解比模型的基础上视觉显着性和单眼深度估计。此外,我们强调的重要性,基于理论预测的生物现实模型的光幻视形状。总的来说,这项工作有可能大大提高因视网膜退行性疾病而失明的人的假体视力的效用。
2021-01-30 cs.CV
SCION: Scene Composition with Instanced Neural Primitives
Princeton University(普林斯顿大学)
SCION提出层次化组合场景表示,用可复用基元和轻量级实例替代独立高斯,实现紧凑、可控、可编辑的神经场景表示。
2026-10-06 cs.CV
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题,提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移,结合630万RGBD图像训练的深度模型,构建了新型3D场景重建流程,在零样本基准上性能提升达50%。
2023-04-06 cs.CV
Neural Kernel Surface Reconstruction
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本研究提出基于Neural Kernel Fields的神经核曲面重建方法,通过紧支撑核、梯度拟合等解决其局限,可高效处理大规模含噪点云,在多类重建基准上达SOTA。
2023-06-09 cs.CV
SUDS: Scalable Urban Dynamic Scenes
Carnegie Mellon University(卡内基梅隆大学);Argo AI
我们扩展神经辐射场(NeRFs)的动态大规模的城市场景。先前的工作倾向于重建短持续时间(长达10秒)的单个视频剪辑。两个原因是这样的方法(a)倾向于随着移动对象和输入视频的数量线性缩放,因为为每个对象和输入视频构建单独的模型,以及(b)倾向于需要经由手动或经由类别特定模型获得的3D边界框和全景标签进行监督。作为迈向动态城市的真正开放世界重建的一步,我们引入了两个关键创新:(a)我们将场景分解为三个独立的哈希表数据结构,以有效地编码静态,动态和远场辐射场,以及(b)我们利用由RGB图像,稀疏激光雷达,现成的自监督2D描述符组成的未标记目标信号,最重要的是,2D光流。通过光度、几何和特征度量重建损失来操作这些输入,使SUDS能够将动态场景分解为静态背景、单个对象及其运动。当与我们的多分支表表示相结合时,这种重建可以扩展到来自1700个视频的120万帧中的数万个对象,这些视频跨越数百公里的地理空间足迹,(据我们所知)是迄今为止构建的最大的动态NeRF。我们提出了定性的初步结果的各种任务,使我们的表示,包括新颖的动态城市场景,无监督的3D实例分割,无监督的3D立方体检测的视图合成。为了与之前的工作进行比较,我们还对KITTI和Virtual KITTI 2进行了评估,超越了依赖于地面真实3D限界框注释的最先进方法,同时训练速度提高了10倍。
2023-03-25 cs.CV cs.GR cs.LG
Imagine This! Scripts to Compositions to Videos
University of Washington(华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
想象一个用自然语言描述的场景,具有实体的现实布局和外观,是对空间、视觉和语义世界知识的最终考验。为了实现这一目标,我们提出了组成,检索和融合网络(CRAFT),一个模型能够学习这些知识,从视频字幕数据和应用它,同时从新的字幕生成视频。CRAFT显式地预测所提到的实体(人物和对象)的时间布局,从视频数据库中检索时空实体片段并将它们融合以生成场景视频。我们的贡献包括CRAFT组件的顺序训练,同时联合建模布局和外观,以及鼓励学习组合表示检索的损失。我们评估CRAFT对标题的语义保真度,构图一致性和视觉质量。CRAFT优于直接像素生成方法,并且可以很好地推广到看不见的字幕和没有文本注释的看不见的视频数据库。我们展示了工艺上火石,一个新的丰富的注释视频字幕数据集超过25000个视频。有关CRAFT生成的视频的一瞥,请参见https://youtu.be/688Vv86n0z8。
2018-04-10 cs.CL cs.CV cs.IR
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding
State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,北京智源人工智能研究院)
针对3D视觉-语言定位中场景复杂、数据稀缺和缺乏统一框架的挑战,提出百万级数据集SceneVerse及统一预训练框架GPS,在多项3D视觉定位基准上达到SOTA并展现零样本迁移潜力。
2024-09-24 cs.AI cs.CL cs.CV
LUDVIG: Learning-Free Uplifting of 2D Visual Features to Gaussian Splatting Scenes
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK)
提出免学习方法LUDVIG,通过特征聚合与图扩散将2D视觉基础模型特征提升至Gaussian Splatting三维场景,在分割等任务上达到可比性能并显著提速。
2025-07-27 cs.CV
PointSplat: Efficient Geometry-Driven Pruning and Transformer Refinement for 3D Gaussian Splatting
PointSplat通过几何驱动的剪枝和Transformer细化方法,提高3D高斯散射的效率和渲染质量,在不同稀疏度下均表现优异。
2026-04-10 cs.CV
EA-3DGS: Efficient and Adaptive 3D Gaussians with Highly Enhanced Quality for outdoor scenes
针对户外场景中3DGS训练内存占用高、表示调整机制不足的问题,提出EA-3DGS方法,通过自适应四面体网格初始化、结构感知的剪枝增密及矢量量化,实现高质量实时渲染,在13个场景上验证了优越性。
2025-05-16 cs.CV
Splaxel: Efficient Distributed Training of 3D Gaussian Splatting for Large-scale Scene Reconstruction via Pixel-level Communication
Independent Researcher(独立研究者);Rice University(里士满大学);University of Georgia(佐治亚大学);University of Houston(休斯顿大学);University of Washington(华盛顿大学);Argonne National Labs(阿贡国家实验室)
提出Splaxel框架,通过像素级局部渲染与全局组合替代高斯同步,在保持数学一致性的同时稳定通信开销,结合可见性预测和冲突消除策略,实现大规模3DGS分布式训练加速7.6倍。
2026-11-03 cs.CV cs.DC
ERF: Explicit Radiance Field Reconstruction From Scratch
Meta;Reality Labs(现实实验室)
我们提出了一种新的显式密集三维重建方法,处理一组图像的场景与传感器的姿势和校准,并估计一个照片真实的数字模型。关键创新之一是,与基于神经网络的(隐式)替代方案相比,底层体积表示是完全显式的。我们编码场景明确使用清晰和可理解的映射优化变量场景的几何形状和它们的传出表面辐射。我们表示它们使用分层体积字段存储在一个稀疏体素八叉树。仅从已注册的场景图像中鲁棒地重建具有数百万未知变量的这样的体积场景模型是高度非凸的和复杂的优化问题。为此,我们采用随机梯度下降(亚当),这是由一个逆微分渲染器。我们证明了我们的方法可以重建高质量的模型,可以与最先进的隐式方法相媲美。重要的是,我们不使用顺序重建流水线,其中各个步骤受到来自先前阶段的不完整或不可靠信息的影响,而是从具有场景几何形状和辐射的统一初始解开始我们的优化,这些初始解与地面实况相差甚远。结果表明,该方法具有通用性和实用性.它不需要高度控制的实验室设置来捕获,但允许用各种各样的物体重建场景,包括具有挑战性的物体,如户外植物或毛茸茸的玩具。最后,我们重建的场景模型是通用的,由于他们明确的设计。它们可以交互式地编辑,这对于隐式替代方案来说在计算上太昂贵了。
2022-02-28 cs.CV cs.GR
Contact-GraspNet: Efficient 6-DoF Grasp Generation in Cluttered Scenes
NVIDIA(英伟达);German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich (TUM)(慕尼黑工业大学);University of Washington(华盛顿大学)
在不受约束、杂乱的环境中抓取看不见的物体是自主机器人操作的基本技能。尽管最近在全6自由度抓取学习方面取得了进展,但现有方法通常由复杂的顺序管道组成,这些管道具有几个潜在的故障点和不适合闭环抓取的运行时间。因此,我们提出了一个端到端的网络,有效地生成一个分布的6自由度平行颚把握直接从一个场景的深度记录。我们的新的把握表示对待记录点云的3D点作为潜在的把握接触。通过将完整的6-DoF抓取姿势和宽度植根于观察到的点云中,我们可以将抓取表示的维度降低到4-DoF,这极大地促进了学习过程。我们的类不可知方法在1700万次模拟抓握上进行了训练,并很好地推广到现实世界的传感器数据。在结构化混乱中看不见的物体的机器人抓取研究中,我们实现了超过90%的成功率,与最近的最先进的方法相比,将失败率降低了一半。
2021-03-25 cs.CV cs.RO
GStex: Per-Primitive Texturing of 2D Gaussian Splatting for Decoupled Appearance and Geometry Modeling
University of Toronto(多伦多大学);Vector Institute(向量研究院)
GStex通过对每个二维高斯图元进行纹理化,实现外观与几何的解耦建模,从而在减少图元数量时提升视觉质量和视图合成性能,并支持外观编辑与重新纹理化。
2025-02-26 cs.CV cs.GR
Object Rearrangement Using Learned Implicit Collision Functions
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
机器人物体重排结合了拾取和放置物体的技能。当对象模型不可用时,典型的碰撞检查模型可能无法预测具有遮挡的部分点云中的碰撞,使得无碰撞抓取或放置轨迹的生成具有挑战性。我们提出了一个学习碰撞模型,接受场景和查询对象点云,并预测场景内的6DOF对象姿势的碰撞。我们在100万个场景/对象点云对和20亿个碰撞查询的合成集上训练模型。我们利用学习的碰撞模型作为模型预测路径积分(MPPI)政策的一部分,在桌面重排任务,并表明该政策可以计划无碰撞的把握和放置对象看不见的训练在模拟和物理杂乱的场景与弗兰卡熊猫机器人。在模拟碰撞查询数据集上,学习模型的准确性优于传统管道和学习消融9.8%,并且比性能最佳的基线快75倍。视频和补充材料可在https://research.nvidia.com/publication/2021-03_Object-Rearrangement-Using上获得。
2021-03-26 cs.CV cs.RO
VINGS-Mono: Visual-Inertial Gaussian Splatting Monocular SLAM in Large Scenes
Academy for Engineering and Technology, Fudan University(复旦大学工程技术学院)
针对大场景单目SLAM需求,提出包含VIO前端、2D高斯地图等组件的VINGS-Mono框架,实现高精度定位与高质量建图渲染,支持公里级户外场景且可在移动端实时运行。
2025-01-14 cs.CV cs.RO
SCube: Instant Large-Scale Scene Reconstruction using VoxSplats
NVIDIA(英伟达);University of Toronto(多伦多大学);Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);National University of Singapore(新加坡国立大学);Vector Institute(矢量研究所)
本文提出 SCube,通过图像条件的分层体素潜变量扩散与 VoxSplat 表示,从少至 3 张视图快速生成大规模清晰三维场景。
2024-10-26 cs.AI cs.CV cs.GR
Incremental Scene Synthesis
Siemens Corporate Technology(西门子中央研究院);University of Passau(帕绍大学);The City College, City University of New York(纽约城市大学城市学院)
我们提出了一种增量生成完整的2D或3D场景的方法,具有以下属性:(a)根据学习到的场景先验,它在每个步骤中都是全局一致的,(b)在观察全局一致性的同时可以合并场景的真实观察,(c)可以将未观察到的区域局部幻觉化,以与之前的观察、幻觉和全局先验一致,以及(d)幻觉本质上是统计学的,即,可以从相同的观察中生成不同的场景。为了实现这一点,我们对虚拟场景进行建模,其中每一步的主动代理都可以感知场景的观察部分或生成局部幻觉。后者可以被解释为智能体在这一步通过场景的期望,可以应用于自主导航。在每个点上观察真实数据的限制下,我们的方法收敛于解决SLAM问题。否则,它可以从先验分布中采样完全想象的场景。除了自主智能体之外,应用程序还包括需要大量数据来构建鲁棒的真实世界应用程序的问题,但可用的样本很少。我们在各种2D和3D数据上证明了功效。
2019-11-13 cs.CV cs.LG
CoSIm: Commonsense Reasoning for Counterfactual Scene Imagination
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
作为人类,我们可以通过在脑海中想象替代物体或概念来修改我们对场景的假设。例如,我们可以很容易地预测太阳被雨云遮住的含义(例如,街道会变湿)并相应地做好准备。在本文中,我们介绍了一个新的任务/数据集称为常识推理的反事实场景想象(CoSIM),旨在评估人工智能系统的能力,对场景变化的想象力的原因。在这个任务/数据集中,模型被赋予一个图像和一个关于图像的初始问题-响应对。接下来,应用一个反事实的想象场景变化(以文本形式),模型必须根据这个场景变化预测对初始问题的新回答。我们收集了3.5K个高质量和具有挑战性的数据实例,每个实例包括一个图像,一个常识性问题和一个回答,一个反事实变化的描述,一个对问题的新回答,以及三个干扰因素的回答。我们的数据集包含各种复杂的场景变化类型(如对象添加/移除/状态变化,事件描述,环境变化等)。这需要模型想象许多不同的场景,并对变化的场景进行推理。我们提出了一个基于视觉语言Transformer(即,LXMERT)和消融研究。通过人类的评估,我们展示了一个很大的人类模型的性能差距,这一具有挑战性的反事实,场景想象力的任务,有前途的未来工作的空间。我们的代码和数据集可在https://github.com/hyounghk/CoSIm上公开获取
2022-07-08 cs.AI cs.CL cs.CV
Schrödinger's Navigator: Imagining an Ensemble of Futures for Zero-Shot Object Navigation
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Shanghai University of International Business and Economics(上海对外经贸大学);Shanghai Innovation Institute(上海创新研究院)
提出一种信念感知框架,在推理时通过轨迹条件化的3D世界模型设想多个未来场景,结合自适应遮挡物感知采样和未来感知价值图,提升零样本目标导航在遮挡严重环境中的隐蔽目标发现和风险感知路径选择。
2026-10-19 cs.AI cs.CV cs.RO
Aerial Scene Parsing: From Tile-level Scene Classification to Pixel-wise Semantic Labeling
State Key Lab. LIESMARS, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院)
给定航拍图像,航拍场景解析(ASP)的目标是解释图像内容的语义结构,例如,通过为图像的每个像素分配语义标签。随着数据驱动方法的普及,在过去的几十年里,ASP已经取得了可喜的进展,在使用高分辨率航空影像时,采用瓦片级场景分类或基于分割的图像分析方案来解决问题。然而,前一种方案通常产生具有瓦片式边界的结果,而后一种方案需要处理从像素到语义的复杂建模过程,这通常需要具有像素式语义标签的大规模且注释良好的图像样本。在本文中,我们解决了这些问题,在ASP中,从瓷砖级场景分类的角度,以像素明智的语义标记。具体而言,我们首先通过文献回顾重新审视航空图像判读。然后,我们提出了一个大规模的场景分类数据集,其中包含一百万航空图像,称为百万援助。使用所提供的数据集,我们还报告了使用经典卷积神经网络(CNN)的基准测试实验。最后,我们执行ASP通过统一的瓦片级场景分类和基于对象的图像分析,以实现逐像素的语义标记。密集的实验表明,Million-AID是一个具有挑战性但有用的数据集,可以作为评估新开发算法的基准。当从Million-AID传输知识时,在Million-AID上预训练的微调CNN模型在空中场景分类方面的表现始终优于预训练的ImageNet。此外,我们设计的分层多任务学习方法实现了最先进的像素级分类的具有挑战性的GID,桥接瓦片级场景分类对像素级语义标记的航空图像判读。
2022-01-09 cs.CV
Learning Robust Object Recognition Using Composed Scenes from Generative Models
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
哺乳动物视觉系统中的经常性反馈连接被假设为在合成分析的理论框架中合成输入中发挥作用。内部合成表征与输入表征的比较提供了感知推理和学习期间的验证机制。受这些思想的启发,我们提出合成机器可以通过想象来合成新的、未观察到的图像,以训练网络本身,从而增加系统在新场景中的鲁棒性。作为概念证明,我们研究了由想象组成的图像是否可以帮助对象识别系统处理遮挡,这对于当前最先进的深度卷积神经网络来说是一个挑战。我们对包含各种遮挡场景中的对象的图像进行了微调,这些场景是通过深度生成器网络想象或自我生成的。通过在对象持久性约束下对想象的遮挡场景进行训练,我们的网络发现了原始网络在对象分类中忽略的更微妙和局部化的图像特征,从而在特征空间中获得了不同对象类的更好分离性。这使得我们的网络相对于仅在未遮挡图像上训练的原始网络在遮挡下的对象识别方面有了显着的改进。除了在遮挡下的对象识别中提供实际好处外,这项工作还展示了通过合成循环使用自生成的视觉场景组合,结合对象持久性约束,可以为神经网络提供机会,以发现数据中的新相关模式,并在处理新情况时变得更加灵活。
2017-05-22 cs.CV
One Million Scenes for Autonomous Driving: ONCE Dataset
The Chinese University of Hong Kong(香港中文大学);Huawei IAS BU Vehicle Cloud Service(华为智能汽车解决方案事业部车云服务);Sun Yat-Sen University(中山大学);ETH Zurich(苏黎世联邦理工学院)
目前自动驾驶中的感知模型已经变得臭名昭著,因为它严重依赖大量注释数据来覆盖看不见的情况并解决长尾问题。另一方面,从未标记的大规模收集数据中学习和增量自训练的强大识别模型越来越受到关注,并可能成为自动驾驶下一代行业级强大和鲁棒感知模型的解决方案。然而,研究界普遍遭受的数据不足,这些必要的现实世界的场景数据,这阻碍了未来的探索完全/半/自监督方法的三维感知。在本文中,我们介绍了ONCE(百万N sCenEs)数据集的自动驾驶场景中的三维目标检测。ONCE数据集由100万个LiDAR场景和700万个相应的相机图像组成。这些数据是从144个驾驶小时中选出的,这是现有最大的3D自动驾驶数据集(例如nuScenes和Waymo)的20倍,并且是在一系列不同的地区,时期和天气条件下收集的。为了促进未来利用未标记数据进行3D检测的研究,我们还提供了一个基准,在该基准中,我们在ONCE数据集上再现和评估了各种自监督和半监督方法。我们对这些方法进行了广泛的分析,并对其与所用数据规模相关的性能进行了有价值的观察。有关数据、代码和更多信息,请访问https://once-for-auto-driving.github.io/index.html。
2021-10-25 cs.CV
ScenePainter: Semantically Consistent Perpetual 3D Scene Generation with Concept Relation Alignment
Tsinghua University(清华大学)
针对永续3D场景生成中外扩误差累积导致的语义漂移,本文提出ScenePainter,通过SceneConceptGraph对齐场景概念关系并引导外扩,显著提升长序列3D视图的一致性与沉浸感。
2025-07-25 cs.CV
MEET: A Million-Scale Dataset for Fine-Grained Geospatial Scene Classification with Zoom-Free Remote Sensing Imagery
针对固定分辨率遥感影像细粒度场景分类需求,本文构建百万样本、80类的无缩放MEET数据集,提出自适应融合中心与辅助场景上下文的CAT模型,并通过基准实验证明其显著优于11个基线。
2025-03-14 cs.AI cs.CV
Towards Audio to Scene Image Synthesis using Generative Adversarial Network
National Taiwan University(台湾大学)
人类可以从声音中想象出一个场景。我们希望机器通过使用条件生成对抗网络(GANs)来做到这一点。该模型采用了谱范数、投影变换和辅助分类器等技术,与朴素条件GAN相比,在主观和客观评价方面都具有更好的图像质量。近四分之三的人同意我们的模型有能力生成与声音相关的图像。通过输入相同声音的不同音量,我们的模型输出基于音量的不同尺度的变化,表明我们的模型在一定程度上真正了解声音和图像之间的关系。
2018-08-13 cs.CL cs.CV cs.SD
Towards Improving the Generation Quality of Autoregressive Slot VAEs
National Renewable Energy Lab(国家可再生能源实验室);Auburn University(奥本大学);University of Florida(佛罗里达大学)
本文针对基于槽的自回归模型难以学习对象间相关性和缺乏规范顺序的问题,提出以全局场景变量条件化槽并学习一致生成顺序,显著提升了无条件场景生成质量。
2023-11-28 cs.CV cs.LG
Places: An Image Database for Deep Scene Understanding
Massachusetts Institute of Technology(麻省理工学院);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
数百万项数据集计划的兴起使数据饥渴的机器学习算法能够在对象和场景识别等任务中达到接近人类的语义分类。在这里,我们描述的地方数据库,一个存储库的1000万个场景的照片,标记与场景的语义类别和属性,包括一个准详尽的列表中遇到的环境类型的世界。使用最先进的卷积神经网络,我们提供了令人印象深刻的基线性能在场景分类。凭借其高覆盖率和高多样性的样本,地方数据库提供了一个生态系统,以指导当前棘手的视觉识别问题的未来进展。
2016-10-06 cs.AI cs.CV
VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory
University of Oxford(牛津大学)
提出VMem记忆模块,通过基于3D表面元素几何索引过去视图,在生成交互式视频时高效检索相关历史,以低计算成本实现长期场景一致性。
2025-08-14 cs.CV
Learning Global Object-Centric Representations via Disentangled Slot Attention
School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
针对现有以物体为中心的学习方法仅能提取场景依赖表示、缺乏跨场景物体识别能力等问题,本文提出基于解耦槽注意力的方法,学习全局物体表示,在多任务上表现优异。
2024-10-24 cs.CV
How and What to Imagine? Visual Thinking in Unified Multimodal Models for Cross-View Spatial Reasoning
Mila - Québec AI Institute(蒙特利尔AI研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);ServiceNow AI Research(ServiceNow人工智能研究);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
提出View Dropout训练策略使模型利用中间思维图像进行跨视角空间推理,并发现全景视觉思维在信息性和可学习性上最优。
2026-09-15 cs.CV
CoCoNets: Continuous Contrastive 3D Scene Representations
Carnegie Mellon University(卡内基梅隆大学)
本文探讨了从RGB和RGB-D构成的图像和视频的非模态3D特征表示的自监督学习,对象和场景语义内容不可知,并评估视觉对应,对象跟踪和目标检测的下游任务中产生的场景表示。该模型以3D特征点的形式推断场景的潜在3D表示,其中每个连续的世界3D点被映射到其对应的特征向量。该模型通过在查询视点中渲染3D特征云并与从查询视图预测的3D特征点云进行匹配来训练用于对比视图预测。值得注意的是,可以查询表示的任何3D位置,即使它在输入视图中不可见。我们的模型汇集了最近令人兴奋的研究工作的三个强大的想法:3D特征网格作为视图预测的神经瓶颈,用于处理3D网格分辨率限制的隐式函数,以及用于特征表示的无监督训练的对比学习。我们得到的3D视觉特征表示有效地跨对象和场景的规模,想象信息闭塞或丢失的输入视点,随着时间的推移跟踪对象,在3D中对齐语义相关的对象,并提高3D目标检测。我们优于许多现有的3D特征学习和视图预测的最先进方法,这些方法要么受到3D网格空间分辨率的限制,要么不尝试构建非模态3D表示,要么由于其非卷积瓶颈而不处理组合场景变化。
2021-04-08 cs.CV
Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);University Politehnica of Bucharest(布加勒斯特理工大学)
针对无人机大规模真实场景新视图合成问题,提出高效多尺度体素雕刻方法以适应姿态与深度噪声,并利用自动生成数据进行自训练,在高分辨率输出上超越现有SOTA。
2023-06-26 cs.CV cs.LG cs.RO
Revisiting Scene Text Recognition: A Data Perspective
South China University of Technology(华南理工大学)
该研究从数据视角重新审视场景文本识别,指出常用基准存在性能饱和假象,构建了含1400万张图像的Union14M真实数据集,揭示真实场景下STR仍存挑战,并验证自监督预训练可提升模型鲁棒性。
2023-07-19 cs.CV
TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions
South China University of Technology(华南理工大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
提出Omni密集描述任务,通过六维结构模式生成带时间戳的类脚本描述,构建OmniDCBench基准和SodaM评估指标,训练TimeChat-Captioner-7B模型,在音视频推理和时间定位任务上超越Gemini-2.5-Pro。
2026-07-03 cs.CV
Vision language models have difficulty recognizing virtual objects
US Naval Research Laboratory(美国海军研究实验室)
本文提出用图像中未视觉呈现的“虚拟对象”测试VLM的场景理解,并通过系统评估发现最先进VLM对虚拟对象的空间推理能力不足。
2025-05-15 cs.AI cs.CV
When and How Much to Imagine: Adaptive Test-Time Scaling with World Models for Visual Spatial Reasoning
University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校);Nanyang Technological University(南洋理工大学)
本文提出自适应测试时框架AVIC/AVIC-R,通过世界模型选择性调用和缩放视觉想象,在空间推理中平衡准确性与效率,超越GPT-4o等基线。
2026-11-20 cs.AI cs.CL cs.CV
MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation
MMLab, The Chinese University of Hong Kong, Hong Kong SAR(香港理工大学MMLab,香港中文大学,香港特别行政区);The Hong Kong University of Science(香港理工大学);The University of Hong Kong(香港大学);Tsinghua University(清华大学)
提出一种基于世界模型的4D场景生成方法,通过多视图RGBD预测和测试时动作优化,实现几何一致的4D动态预测与机器人操作。
2026-10-20 cs.CV
Novel 3D Scene Understanding Applications From Recurrence in a Single Image
Pennsylvania State University(宾夕法尼亚州立大学);Nimble Robotics Inc.(Nimble机器人公司);Meituan AI(美团AI)
我们展示了从单个图像中发现重复模式的实用性,用于在以下方面对3D场景进行空间理解:(1)消失点检测,(2)假设3D平移对称性和(3)计算图像中RP实例的数量。此外,我们说明了利用RP发现输出,形成一个更精确的,定量的文本描述的场景的可行性。我们对具有不同变化的新的1 K+循环模式(RP)基准的定量评估表明,从一个单一视图的循环的视觉感知导致场景理解结果与使用数百万图像的现有监督方法和/或无监督方法一样好或更好。
2022-10-14 cs.CV
HumanOmni: A Large Vision-Speech Language Model for Human-Centric Video Understanding
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);ISEE, Sun Yat-sen University(中山大学智能工程学院);VCIP, CS, Nankai University(南开大学计算机科学与通信工程学院)
本研究提出业界首个以人为中心的Omni-multimodal大型语言模型HumanOmni,通过构建超240万视频片段与1400万指令的数据集,采用三分支自适应融合视觉与音频特征,显著提升情感识别等场景理解能力。
2025-01-25 cs.CV
Learning rigid-body simulators over implicit shapes for large-scale scenes and vision
Google Deepmind(谷歌DeepMind)
针对大规模刚体场景模拟难题,提出基于学习符号距离函数(SDF)的SDF-Sim模拟器,克服网格方法扩展瓶颈,支持数百物体和百万节点,并可从多视角图像应用于真实场景。
2024-05-22 cs.CV cs.LG
A Dense Material Segmentation Dataset for Indoor and Outdoor Scene Parsing
Apple Inc.(苹果公司)
理解世界的一个关键算法是材料分割,它分配一个标签(金属,玻璃等)。每个像素。我们发现,在现有数据上训练的模型在某些情况下表现不佳,并建议使用44,560张室内和室外图像上的320万个密集段的大规模数据集来解决这个问题,这是现有数据的23倍。我们的数据涵盖了更多样化的场景、对象、视点和材料,并包含了更公平的皮肤类型分布。我们表明,在我们的数据上训练的模型在数据集和视点上的表现优于最先进的模型。我们提出了一个大规模的场景解析基准和基线0.729每像素的准确性,0.585平均类的准确性和0.420平均IoU在46种材料。
2022-07-21 cs.CV
Understand Scene Categories by Objects: A Semantic Regularized Scene Classifier Using Convolutional Neural Networks
Zhejiang University(浙江大学);The University of Technology, Sydney(悉尼科技大学)
场景分类是当今机器人环境理解的基本感知任务。在本文中,我们试图利用流行的机器学习技术深度学习来增强场景理解,特别是在机器人应用中。由于场景图像比标志性对象图像具有更大的多样性,因此深度学习方法在较少样本的情况下从场景图像中自动学习特征更具挑战性。受人类基于对象知识的场景理解的启发,我们通过鼓励深层神经网络结合对象级信息来解决场景分类问题。这是通过语义分割的正则化来实现的。与250万张图像相比,只有5000张训练图像,我们在公开的SUN RGB-D数据集上展示了所提出的深度架构实现了优于最先进的场景分类结果。此外,语义分割的性能,正则化,也达到了一个新的记录与细化来自预测的场景标签。最后,我们将我们的SUN RGB-D数据集训练的模型应用于移动机器人捕获的图像,对我们大学的场景进行分类,证明了所提出的算法的泛化能力。
2015-09-22 cs.CV
MetaEarth-MM: Unified Multimodal Remote Sensing Image Generation with Scene-centered Joint Modeling
Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University(航天智能科学与技术系,航天学院,北京航空航天大学);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(虚拟现实技术与系统国家重点实验室,北京航空航天大学);Shenyuan Honors College, Beihang University(Shen Yuan荣誉学院,北京航空航天大学)
本文提出MetaEarth-MM模型,通过统一的多模态遥感图像生成框架,实现多模态图像的联合生成和任意模态之间的转换,展示了其在多模态遥感观测中的强大生成能力和广泛适用性。
2026-05-19 cs.CV
Object Detectors Emerge in Deep Scene CNNs
MIT(麻省理工学院)
随着用于视觉处理的新计算架构的成功,例如卷积神经网络(CNN)和对具有数百万个标记示例的图像数据库的访问(例如,ImageNet,Places),计算机视觉的最新技术正在迅速发展。持续进步的一个重要因素是理解这些深层架构的内部层所学习的表示。在这里,我们展示了对象检测器从训练CNN中出现,以执行场景分类。由于场景由对象组成,因此用于场景分类的CNN自动发现有意义的对象检测器,代表学习的场景类别。随着对象检测器作为学习识别场景的结果而出现,我们的工作表明,同一个网络可以在单个前向传递中执行场景识别和对象定位,而无需明确教授对象的概念。
2015-04-15 cs.CV cs.NE