MegaSynth: Scaling Up 3D Scene Reconstruction with Synthesized Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Adobe Research（奥多比研究院）；Stony Brook University（石溪大学）；Oregon State University（俄勒冈州立大学）；Cornell University（康奈尔大学）
Hanwen Jiang, Zexiang Xu, Desai Xie, Ziwen Chen, Haian Jin, Fujun Luan, Zhixin Shu, Kai Zhang, Sai Bi, Xin Sun, Jiuxiang Gu, Qixing Huang, Georgios Pavlakos, Hao Tan
提出用程序化生成的70万场景数据集MegaSynth训练三维重建模型，消除语义信息实现可扩展，联合训练或预训练提升重建质量1.2-1.8 dB PSNR，仅用合成数据即可媲美真实数据训练效果。
摘要：
我们提出通过使用合成数据进行训练来扩展三维场景重建。我们工作的核心是MegaSynth，一个程序化生成的三维数据集，包含70万场景——比之前的真实数据集DL3DV大50多倍——极大地扩展了训练数据。为了实现可扩展的数据生成，我们的关键思想是消除语义信息，无需建模复杂的语义先验，如物体可供性和场景构图。相反，我们用基本空间结构和几何基元对场景进行建模，提供可扩展性。此外，我们控制数据复杂度以促进训练，同时使其与真实数据分布大致对齐，以利于真实世界的泛化。我们探索使用MegaSynth和可用的真实数据训练LRM。实验结果表明，使用MegaSynth进行联合训练或预训练，在多种图像域上将重建质量提高了1.2至1.8 dB PSNR。此外，仅使用MegaSynth训练的模型与使用真实数据训练的模型表现相当，突显了三维重建的低层次特性。我们还对MegaSynth在增强模型能力、训练稳定性和泛化性方面的特性进行了深入分析，并探讨了其在其他任务中的应用。
英文摘要：
We propose scaling up 3D scene reconstruction by training with synthesized data. At the core of our work is MegaSynth, a procedurally generated 3D dataset comprising 700K scenes - over 50 times larger than the prior real dataset DL3DV - dramatically scaling the training data. To enable scalable data generation, our key idea is eliminating semantic information, removing the need to model complex semantic priors such as object affordances and scene composition. Instead, we model scenes with basic spatial structures and geometry primitives, offering scalability. Besides, we control data complexity to facilitate training while loosely aligning it with real-world data distribution to benefit real-world generalization. We explore training LRMs with both MegaSynth and available real data. Experiment results show that joint training or pre-training with MegaSynth improves reconstruction quality by 1.2 to 1.8 dB PSNR across diverse image domains. Moreover, models trained solely on MegaSynth perform comparably to those trained on real data, underscoring the low-level nature of 3D reconstruction. Additionally, we provide an in-depth analysis of MegaSynth's properties for enhancing model capability, training stability, and generalization, as well as application to other tasks.
NVS-SQA: Exploring Self-Supervised Quality Representation Learning for Neurally Synthesized Scenes without References
School of Computer Science, the University of Sydney（悉尼大学计算机科学学院）；School of Software, Shandong University（山东大学软件学院）；School of Computer and Artificial Intelligence, Beijing Technology and Business University（北京科技与商业大学计算机与人工智能学院）
DeRainGS: Gaussian Splatting for Enhanced Scene Reconstruction in Rainy Environments
The University of Tokyo（东京大学）；Nanjing University of Science and Technology（南京理工大学）；Dalian Maritime University（大连海事大学）；Shanghai Astronomical Observatory（上海天文台）；University of Chinese Academy of Sciences（中国科学院大学）；Dalian University of Technology（大连理工大学）
Weather-Magician: Reconstruction and Rendering Framework for 4D Weather Synthesis In Real Time
SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University, Shanghai, 200240, China（上海交通大学巴黎精英技术学院，上海交通大学，上海，200240，中国）；Department of Automation, Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai Jiao Tong University, Shanghai 200240, China（自动化系，系统控制与信息处理重点实验室，中华人民共和国教育部，上海交通大学，上海，200240，中国）
Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）
GS2E: Gaussian Splatting is an Effective Data Generator for Event Stream Generation
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Holcombe Department of Electrical and Computer Engineering, Clemson University（克莱姆森大学霍尔科姆电子与计算机工程系）
Scene-Graph Augmented Data-Driven Risk Assessment of Autonomous Vehicle Decisions
University of California, Irvine（加州大学尔湾分校）
尽管自动驾驶系统（ADS）取得了令人印象深刻的进步，但复杂路况下的导航仍然是一个具有挑战性的问题。有相当多的证据表明，评估各种决策的主观风险水平可以提高ADS在正常和复杂驾驶场景中的安全性。然而，现有的基于深度学习的方法通常无法对交通参与者之间的关系进行建模，并且在面对复杂的现实世界场景时可能会受到影响。此外，这些方法缺乏可移植性和可解释性。为了解决这些限制，我们提出了一种新的数据驱动的方法，使用场景图作为中间表示。我们的方法包括一个多关系图卷积网络，一个长短期记忆网络，和注意力层建模的主观风险驾驶演习。为了训练我们的模型，我们制定了这个任务作为一个监督场景分类问题。我们考虑一个典型的用例来展示我们模型的功能：车道变化。我们表明，我们的方法在大型（96.4% vs. 91.2%）和小型（91.8% vs. 71.2%）合成数据集上都比最先进的方法实现了更高的分类准确率，这也说明我们的方法即使从较小的数据集也可以有效地学习。我们还表明，我们在合成数据集上训练的模型在真实世界数据集上测试时，平均准确率为87.8%，而在相同合成数据集上训练的最先进模型的准确率为70.3%，这表明我们的方法可以更有效地传递知识。最后，我们证明了空间和时间注意层的使用分别将我们模型的性能提高了2.7%和0.7%，并提高了其可解释性。
Evaluating Hallucination in Text-to-Image Diffusion Models with Scene-Graph based Question-Answering Agent
West China Hospital, Sichuan University（四川大学华西医院）；Case Western Reserve University（凯斯西储大学）；Tianjin University（天津大学）；School of Artificial Intelligence, BUPT（北京邮电大学人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
FishEyeRecNet: A Multi-Context Collaborative Deep Network for Fisheye Image Rectification
University of Sydney（悉尼大学）；National University of Defense Technology（国防科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；Hangzhou Dianzi University（杭州电子科技大学）
A LiDAR Point Cloud Generator: from a Virtual World to Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
3D LiDAR扫描仪在自动驾驶中发挥着越来越重要的作用，因为它们可以生成环境的深度信息。然而，创建具有点级标签的大型3D LiDAR点云数据集需要大量的手动注释。这危及监督式深度学习算法的有效开发，这些算法通常需要大量数据。我们提出了一个框架，快速创建点云与精确的点级别的标签从计算机游戏。该框架支持从自动驾驶场景和用户配置场景中收集数据汇集。来自自动驾驶场景的点云可以用作深度学习算法的训练数据，而来自用户配置场景的点云可以用于系统地测试神经网络的脆弱性，并使用伪造的示例通过再训练使神经网络更加鲁棒。此外，场景图像可以同时捕获，以便传感器融合任务，提出了一种方法来做点云和捕获的场景图像之间的自动校准。通过使用生成的合成数据增强训练数据集，我们在点云分割中的准确性（+9%）得到了显着提高。我们的实验还表明，通过使用来自用户配置场景的点云来测试和重新训练网络，可以修复神经网络的弱点/盲点。
