Traj-LLM: A New Exploration for Empowering Trajectory Prediction with Pre-trained Large Language Models
Beihang University（北京航空航天大学）；Research Institute for Frontier Science, Beihang University（北京航空航天大学前沿科学研究院）；Beijing University of Technology（北京工业大学）；College of Metropolitan Transportation, Beijing University of Technology（北京工业大学城市交通学院）
本文提出 Traj-LLM，通过稀疏联合编码、Mamba 车道感知概率学习和多模态 Laplace 解码器，将预训练 LLM 用于交通轨迹预测，并在基准及少样本设置中取得最优表现。
2024-05-08 cs.AI cs.CV
Scene Parsing with Integration of Parametric and Non-parametric Models
Nanyang Technological University（南洋理工大学）
我们采用卷积神经网络（CNN）作为我们的参数模型来学习判别特征和分类器进行局部补丁分类。基于类的出现频率分布，学习CNN的集成（CNN-Ensemble），其中每个CNN组件专注于学习不同且互补的视觉模式。由CNN Entrance输出像素的局部信念。考虑到视觉上相似的像素在局部背景下是不可区分的，我们利用全局场景语义来减轻局部歧义。全局场景约束通过在标记能量函数中加入全局能量项来实现，并且在非参数框架中进行实际估计。提出了一种基于大间隔的CNN度量学习方法，以获得更好的全局置信度估计。最后，局部和全局信念的整合产生的像素的类似然，基于最大边际推理执行，以生成标签预测图。即使没有任何后处理，我们也能在具有挑战性的SiftFlow和Barcelona基准测试中获得最先进的结果。
2016-04-20 cs.CV
CoPa-SG: Dense Scene Graphs with Parametric and Proto-Relations
University of Augsburg（奥斯堡大学）
提出CoPa-SG合成场景图数据集及参数化关系与原型关系概念，通过精确标注和细粒度关系表示，提升场景图生成模型性能并增强下游规划与推理能力。
2025-06-26 cs.CV
Recovering Parametric Scenes from Very Few Time-of-Flight Pixels
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究如何利用极少数飞行时间像素（如15个）恢复参数化场景几何，提出结合前馈预测与可微渲染的方法，并在仿真和真实采集中验证了物体6D位姿估计的有效性。
2025-09-19 cs.CV
Dysen-VDM: Empowering Dynamics-aware Text-to-Video Diffusion with LLMs
National University of Singapore（新加坡国立大学）；Skywork AI, Singapore（新加坡Skywork AI公司）；Nanyang Technological University（南洋理工大学）
本文提出Dysen-VDM，利用大语言模型构建动态场景管理器，将文本动作转为动态场景图并编码为时空特征，提升文本到视频扩散模型的时序动态建模能力，在复杂动作场景中显著优于现有方法。
2024-03-19 cs.AI cs.CV
A Parametric Top-View Representation of Complex Road Scenes
Carnegie Mellon University（卡内基梅隆大学）；NEC Laboratories America（NEC美国实验室）；UC San Diego（加州大学圣迭戈分校）
在本文中，我们解决的问题，推断布局的复杂道路场景给定一个单一的摄像机作为输入。为了实现这一目标，我们首先提出了一种新的参数化模型的道路布局的俯视图表示，这不仅是直观的人类可视化，但也提供了一个可解释的界面，更高层次的决策。此外，我们的顶视场景模型的设计允许有效的采样，从而生成大规模的模拟数据，我们利用这些数据来训练深度神经网络，以推断我们的场景模型的参数。具体来说，我们提出的训练过程使用监督域自适应技术，将模拟以及手动注释的数据。最后，我们设计了一个条件随机场（CRF），强制一致的预测，为一个单一的帧，并鼓励视频帧之间的时间平滑。在两个公共数据集上的实验表明：（1）我们的参数化俯视图模型具有足够的代表性，可以描述复杂的道路场景;（2）所提出的方法优于仅在手动注释或模拟数据上训练的基线，从而充分利用两者;（3）我们的CRF能够生成时间平滑而语义有意义的结果。
2019-04-18 cs.CV
PasteGAN: A Semi-Parametric Method to Generate Image from Scene Graph
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Microsoft（微软）；Northwestern Polytechnical University（西北工业大学）
尽管在从结构化（场景图）或自由形式（句子）描述生成高质量图像方面取得了一些令人兴奋的进展，但它们中的大多数仅保证图像级的语义一致性，即生成的图像与描述的语义含义相匹配。他们仍然缺乏以更可控的方式合成图像的研究，比如精细地操纵每个物体的视觉外观。因此，为了生成具有首选对象和丰富交互的图像，我们提出了一种半参数方法PasteGAN，用于从场景图和图像作物生成图像，其中对象的空间排列及其成对关系由场景图定义，对象外观由给定的对象作物确定。为了增强输出中对象的交互性，我们设计了一个裁剪细化网络和一个对象图像融合器，将对象及其关系嵌入到一个地图中。多重损失协同工作，以确保生成的图像高度尊重作物，符合场景图，同时保持出色的图像质量。还提出了一个裁剪选择器，如果没有提供裁剪，则通过对场景图中对象周围的交互进行编码，从外部对象池中选择最兼容的裁剪。在Visual Genome和COCO-Stuff数据集上的测试结果表明，该方法在初始得分、多样性得分和Fréchet初始距离上均优于SOTA方法.大量的实验也证明了我们的方法的能力，生成复杂和多样化的图像与给定的对象。
2019-11-28 cs.CV
NoPA: Non-Parametric Online 3D Scene Graph Generation
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
针对现有3D场景图生成方法无法实时运行的问题，提出NoPA，用非参数化分布表示物体，保留几何细节，并通过基于最大均值差异的合并策略和关系传播，实现实时且准确的在线场景图生成。
2026-07-02 cs.CV
Non-parametric spatially constrained local prior for scene parsing on real-world data
School of Engineering and Technology, Central Queensland University（中央昆士兰大学工程与技术学院）
场景解析的目的是识别场景图像中每个像素的对象类别，它在图像内容理解和计算机视觉应用中起着核心作用。然而，从不受约束的真实世界数据中准确地解析场景仍然是一项具有挑战性的任务。在本文中，我们提出了非参数的空间约束局部先验（SCLP）的场景分析的现实数据。对于给定的查询图像，通过首先检索与查询图像最相似的训练图像的子集，然后从检索到的子集收集关于空间图像块之间和相邻超像素之间的对象共现统计的先验信息来学习非参数SCLP。SCLP在捕获查询图像中关于对象间相关性的长距离和短距离上下文方面都是强大的，并且可以有效地与传统的视觉特征相结合以改进分类结果。我们在SIFT Flow和PASCAL-Context基准数据集上的实验表明，与最先进的方法相比，与超像素级视觉特征结合使用的非参数SCLP实现了最佳性能之一。
2020-06-23 cs.CV cs.LG eess.IV
Scene Parsing with Global Context Embedding
University of California, Merced（加州大学默塞德分校）；Adobe Research（Adobe 研究院）
提出了一种基于参数模型和非参数模型的全局上下文信息的场景分析方法。与以往的方法，只利用对象之间的局部关系，我们训练的上下文网络的基础上场景相似性，以生成全局上下文的特征表示。此外，这些学到的功能被用来生成显式类推理的全局和空间先验。然后，我们设计模块将特征表示和先验信息嵌入到分割网络中，作为额外的全局上下文线索。我们表明，该方法可以消除假阳性，不兼容的全球背景表示。在MIT ADE20K和PASCAL Context数据集上的实验表明，该方法的性能优于现有方法.
2017-10-20 cs.CV
Constrained Parametric Proposals and Pooling Methods for Semantic Segmentation in RGB-D Images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
我们专注于基于RGB-D数据的语义分割问题，重点分析了包含来自许多视觉类别的许多实例的杂乱室内场景。我们的方法是基于一个参数的图形地面强度和深度约束的建议过程，生成空间布局假设在多个位置和规模的图像，然后由顺序推理算法，将建议集成到一个完整的场景估计。我们的贡献可以概括为提出以下建议：（1）利用强度和深度信息的参数最大流图形-背景建议方法的一般化，以便在多项式时间内系统地和有效地生成基础空间模型的断点，（2）新的区域描述方法基于使用强度和深度通道构造的多个特征上的二阶池化，（3）可以解决重叠空间分区中的冲突的推理过程，并且处理具有非常不同尺度的大量对象类别实例的场景，（4）对深度的影响以及大量描述符的有效性的广泛评估，这些描述符都是预先设计的并且使用深度学习自动获得的，在一个困难的RGB-D语义分割问题与92类。我们报告了具有挑战性的NYU Depth v2数据集的最新结果，该数据集扩展为RMRC 2013室内分割挑战赛，目前该模型排名第一，平均得分为24.61%，赢得了39个类别。此外，我们还表明，通过结合二阶和深度学习特征，可以额外实现超过15%的相对准确度提高。在场景分类基准测试中，我们的方法进一步提高了24%的最先进水平。
2014-07-31 cs.CV
An Implicit Parametric Morphable Dental Model
The University of Hong Kong（香港大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Texas A&M University（得克萨斯农工大学）
人体的3D可变形模型捕捉主体之间的变化，并且在重建和编辑应用中是有用的。当前的牙齿模型使用显式网格场景表示，并且仅对牙齿进行建模，而忽略牙龈。在这项工作中，我们提出了第一个参数化的牙齿和牙龈的三维变形牙齿模型。我们的模型使用隐式场景表示，并从严格对齐的扫描中学习。它基于每个牙齿和牙龈的组件式表示，以及每个此类组件的可学习潜在代码。它还可以学习模板形状，从而实现多种应用，如分割，插值和牙齿替换。我们的重建质量与最先进的全局隐式表示相当，同时能够实现新的应用。项目页面：https://vcai.mpi-inf.mpg.de/projects/DMM/
2022-11-21 cs.CV
DepthTransfer: Depth Extraction from Video Using Non-parametric Sampling
University of Illinois（伊利诺伊大学）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research（微软研究院）
我们描述了一种使用非参数深度采样从视频自动生成合理深度图的技术。我们展示了我们的技术在过去的方法失败的情况下（非平移相机和动态场景）。我们的技术适用于单个图像以及视频。对于视频，我们使用局部运动线索来改善推断的深度图，而光流用于确保时间深度一致性。对于训练和评估，我们使用基于Kinect的系统来收集包含具有已知深度的立体视频的大型数据集。我们表明，我们的深度估计技术优于国家的最先进的基准数据库。我们的技术可用于自动将单视场视频转换为立体声3D可视化，我们通过各种室内和室外场景的视觉效果，包括故事片Charade的结果来证明这一点。
2019-12-24 cs.CV
H-Flow: Self-supervised Human Scene Flow via Physics-inspired Joint Multi-modal Learning
Michigan State University（密歇根州立大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出H-Flow，一种能够同时捕捉骨骼运动学和表面变形的密集人体场景流方法，通过物理启发的联合多模态学习实现自监督，引入高保真合成基准DynAct4D，并在标准基准和零样本场景中优于现有方法。
2026-05-21 cs.CV
Depth Extraction from Video Using Non-parametric Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research（微软研究院）
我们描述了一种使用非参数深度采样从视频自动生成合理深度图的技术。我们展示了我们的技术在过去的方法失败的情况下（非平移相机和动态场景）。我们的技术适用于单个图像以及视频。对于视频，我们使用局部运动线索来改善推断的深度图，而光流用于确保时间深度一致性。对于训练和评估，我们使用基于Kinect的系统来收集包含具有已知深度的立体视频的大型数据集。我们表明，我们的深度估计技术优于国家的最先进的基准数据库。我们的技术可用于自动将单视场视频转换为立体声3D可视化，我们通过各种室内和室外场景的视觉效果，包括故事片Charade的结果来证明这一点。
2019-12-24 cs.CV
HSPACE: Synthetic Parametric Humans Animated in Complex Environments
Google Research（谷歌研究院）
3d人体感测的现有技术的进步目前受到缺乏具有3d地面真实的视觉数据集的限制，包括多个人，在运动中，在真实世界环境中操作，具有复杂的照明或遮挡，并且可能被移动相机观察到。复杂的场景理解需要估计人类姿势和形状以及手势，以实现最终将有用的指标和行为信号与自由视角照片级逼真的可视化功能相结合的表示。为了保持进展，我们建立了一个大规模的照片逼真的数据集，人类空间（HSPACE），动画人类放置在复杂的合成室内和室外环境。我们将100个不同年龄、性别、比例和种族的个体与数百个动作和场景以及体型的参数变化（总共1,600个不同的人）结合起来，以生成超过100万帧的初始数据集。人类动画是通过拟合一个富有表现力的人体模型，GHUM，单扫描的人，然后由新的重新定位和定位程序，支持逼真的动画穿着的人，身体比例的统计变化，并联合一致的场景放置多个移动的人。资产是自动生成的，大规模的，并与现有的实时的渲染和游戏引擎兼容。评估服务器的数据集将可用于研究。我们对合成数据的影响进行了大规模分析，并与真实数据和薄弱的监督联系起来，强调了在这种实际环境中，随着模型容量的增加，持续质量改进和限制模拟与真实差距的巨大潜力。
2022-01-06 cs.CV
Bayesian Nonparametric Submodular Video Partition for Robust Anomaly Detection
Rochester Institute of Technology（罗切斯特理工学院）
多实例学习（MIL）提供了一种有效的方法来解决视频异常检测问题，通过将其建模为弱监督问题，因为标签通常仅在视频级别可用，而由于昂贵的标签成本而丢失帧。我们建议进行新的贝叶斯非参数子模块视频划分（BN-SVP），以显着改善MIL模型训练，可以提供一个高度可靠的解决方案，在实际设置中，包括离群片段或多种类型的异常事件的鲁棒异常检测。BN-SVP本质上执行动态非参数层次聚类，具有增强的自转换，将视频中的片段分组为可以自然地解释为场景的时间一致和语义一致的隐藏状态。假设每个片段是通过非参数混合过程生成的，该过程允许相同场景内的片段的变化以适应许多真实世界监控视频的动态和噪声性质。BN-SVP的场景和混合成分分配也引起段之间的成对相似性，从而导致子模集函数的非参数构造。将此函数与MIL损失集成，可以有效地将模型暴露给各种潜在的积极实例，以改进其训练。提出了一种贪心算法来优化子模函数，并支持有效的模型训练。我们的理论分析确保了所提出的算法的性能保证。在多个真实世界的异常视频数据集上证明了所提出的方法的有效性，具有鲁棒的检测性能。
2022-03-24 cs.CV
MirrorGaussian: Reflecting 3D Gaussians for Reconstructing Mirror Reflections
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Toronto（多伦多大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出MirrorGaussian，利用真实空间与虚拟镜面空间的对称性及双重渲染策略，联合优化3D高斯和镜面平面，实现含镜场景的高质量实时重建、编辑与最先进性能。
2024-05-20 cs.CV
Co-SLAM: Joint Coordinate and Sparse Parametric Encodings for Neural Real-Time SLAM
University College London（伦敦大学学院）
本文提出 Co-SLAM，通过联合多分辨率哈希网格与 one-blob 编码并结合全局关键帧光束平差，实现实时鲁棒相机跟踪和最先进的高保真表面重建。
2023-04-27 cs.CV
Scene Synthesis via Uncertainty-Driven Attribute Synchronization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Kuaishou Technology（快手科技）
开发深度神经网络以生成3D场景是神经合成中的一个基本问题，其直接应用于建筑CAD、计算机图形学以及生成虚拟机器人训练环境。这项任务是具有挑战性的，因为3D场景表现出不同的模式，从连续的，如对象大小和形状对之间的相对姿态，离散的模式，如对称关系的对象的出现和共现。本文介绍了一种新的神经场景合成方法，可以捕捉不同的特征模式的三维场景。我们的方法结合了基于神经网络和传统场景合成方法的优势。我们使用从训练数据中学习的参数先验分布，它提供了对象属性和相关属性的不确定性，以正则化前馈神经模型的输出。此外，我们的方法不是仅仅预测场景布局，而是预测一组过完备的属性。这种方法允许我们利用预测属性之间的基本一致性约束来修剪不可行的预测。实验结果表明，我们的方法大大优于现有的方法。生成的3D场景忠实地内插训练数据，同时保留连续和离散特征模式。
2021-09-01 cs.CV
Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion
Huawei Technologies（华为技术有限公司）；Univ. of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
最近，使用基于帧和基于事件的相机的组合的视频帧内插在性能和存储器效率方面都超过了传统的基于图像的方法。然而，当前的方法仍然遭受（i）互补内插结果的脆弱的图像级融合，其在融合图像中存在伪影的情况下失败，（ii）针对每个插入帧运行的潜在时间不一致和低效的运动估计过程，以及（iii）不触发事件的低对比度区域，并且因此导致仅事件运动估计生成伪影。此外，以前的方法仅在由平面和遥远场景组成的数据集上进行测试，这些数据集无法捕捉真实世界的全部复杂性。在这项工作中，我们解决了上述问题，通过引入多尺度特征级融合和计算单次非线性帧间运动的事件和图像，可以有效地采样图像变形。我们还收集了第一个大规模的事件和帧数据集，包括100多个具有深度变化的具有挑战性的场景，这些场景是用基于分束器的新实验装置捕获的。我们表明，我们的方法提高了重建质量高达0.2 dB的PSNR和高达15%的LPIPS分数。
2022-04-25 cs.CV
EM Algorithms for Weighted-Data Clustering with Application to Audio-Visual Scene Analysis
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔罗纳-阿尔卑斯分院）；University of Trento（特伦托大学）
数据聚类已经受到了很多关注，并且有许多方法、算法和软件包可用。在这些技术中，参数有限混合模型由于其有趣的数学性质和基于期望最大化（EM）的最大似然估计的存在而发挥着核心作用。在本文中，我们提出了一个新的混合模型，关联的权重与每个观察点。我们引入加权数据高斯混合，我们推导出两个EM算法。第一种方法为每个观察值考虑固定的权重。第二种方法将每个权重视为遵循伽马分布的随机变量。我们提出了一种基于最小消息长度标准的模型选择方法，提供了一个权重初始化策略，并通过比较几个最先进的参数和非参数聚类技术，验证所提出的算法。我们还证明了所提出的聚类技术的有效性和鲁棒性，在存在异构数据，即视听景物分析。
2016-01-25 cs.CV cs.LG stat.ML
Deep Parametric Continuous Convolutional Neural Networks
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）；Uber Advanced Technologies Group（优步先进技术集团）
标准的卷积神经网络假设网格结构的输入是可用的，并利用离散卷积作为其基本构建块。这限制了它们对许多现实世界应用的适用性。在本文中，我们提出了参数连续卷积，一个新的可学习的运营商，在非网格结构的数据。其关键思想是利用参数化的核函数，跨越整个连续向量空间。这种泛化允许我们学习任意的数据结构，只要它们的支持关系是可计算的。我们的实验表明，显着改善了国家的最先进的点云分割的室内和室外场景，激光雷达运动估计的驾驶场景。
2021-01-17 cs.AI cs.CV cs.LG
RAFaRe: Learning Robust and Accurate Non-parametric 3D Face Reconstruction from Pseudo 2D&3D Pairs
Nanjing University（南京大学）
提出了一种鲁棒、精确的单视图三维人脸重建非参数方法。虽然人们已经在参数化SVFR上投入了大量的精力，但在最终的3D形状和地面实况之间仍然存在明显的差距。我们认为存在两个主要障碍：1）参数模型的表示仅限于特定的人脸数据库; 2）拟合数据集中的2D图像和3D形状明显不对齐。为了解决这些问题，通过首先渲染详细的3D面部，然后将野生图像中的面部与渲染的面部交换，来创建大规模的伪2D\& 3D数据集。这些伪2D和3D对是从公开可用的数据集创建的，这些数据集消除了2D和3D数据之间的差距，同时覆盖了不同的外观，姿势，场景和照明。我们进一步提出了一个非参数方案，从创建的数据集学习一个良好的广义SVFR模型，所提出的分层有符号距离函数在预测中等规模和小规模的3D面部几何形状方面是有效的。我们的模型在FaceScape野生/实验室和MICC基准测试中优于以前的方法，并且可以很好地推广到各种外观，姿势，表情和野外环境。代码发布于www.example.com。
2023-02-10 cs.CV
Surg-SegFormer: A Dual Transformer-Based Model for Holistic Surgical Scene Segmentation
Department of Surgery, Hamad Medical Corporation（哈马德医疗集团外科部）；College of Engineering, Qatar University（卡塔尔大学工程学院）
本文提出无需提示的双Transformer模型Surg-SegFormer，用于机器人辅助手术整体场景分割，在EndoVis2018和EndoVis2017上分别取得0.80和0.54的mIoU，减轻专家教学负担并提升住院医师对复杂手术环境的独立理解能力。
2025-07-06 cs.AI cs.CV eess.IV
PanoGS: Gaussian-based Panoptic Segmentation for 3D Open Vocabulary Scene Understanding
Zhejiang University（浙江大学）；RayNeo（雷尼奥）
针对现有3DGS开放词汇场景理解方法无法区分实例级信息的问题，提出PanoGS方法，通过金字塔三平面特征建模、语言引导图割与SAM辅助图聚类实现3D全景开放词汇理解，性能更具竞争力。
2025-03-23 cs.CV
Engine-Native Editable 3D World Reconstruction with Objects and Lighting
Tsinghua University（清华大学）；Nankai University（南开大学）；University of Electronic Science and Technology of China（电子科技大学）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
研究旨在实现引擎原生可编辑3D世界重建。核心方法是引入Lumera管道，基于Lumera-2K数据，用Lumera-Box和Lumera-Light解析相关元素并组装。主要贡献是确立参数化灯光目标，揭示多方面剩余瓶颈，且在检测等方面取得一定分数。
2026-07-24 cs.CV
Fast Algorithm of High-resolution Microwave Imaging Using the Non-parametric Generalized Reflectivity Model
提出了一种基于广义反射率概念的高分辨率微波成像算法。本文的贡献是双重的。我们引入了非参数广义反射率（GR，简称）的概念，作为工作频率和视角等的函数。GR扩展了传统的基于Born的成像模型，即，单散射模型，考虑到电磁波场和成像场景之间更真实的相互作用。然后，基于稀疏正则化优化的凸性，制定了GR的微波成像。通常，稀疏正则化优化需要实现迭代策略，这在计算上是昂贵的，特别是对于大规模问题。为了打破这个瓶颈，我们通过引入对偶变换将成像问题转化为物理驱动的图像处理问题。此外，该图像处理是在重叠的块上执行的，这可以以并行或分布式方式有效地解决。这样，所提出的高分辨率成像方法可适用于大规模微波成像问题。选定的仿真结果证明了所提出的方法的最先进的性能。
2016-09-12 cs.CV
Sample and Filter: Nonparametric Scene Parsing via Efficient Filtering
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）；EPFL（洛桑联邦理工学院）
场景解析在计算机视觉中引起了广泛的关注。虽然参数模型已被证明对这一任务是有效的，但它们不能容易地结合新的训练数据。相比之下，非参数方法绕过任何学习阶段，直接将标签从训练数据转移到查询图像，可以很容易地利用新的标记样本，因为它们变得可用。不幸的是，由于其标签传输过程的计算成本，最先进的非参数方法通常会过滤掉大多数训练图像，只保留少数相关图像来标记查询。因此，这些方法丢弃了许多仍然包含有价值信息的图像，并且通常获得不平衡的标记样本集。在本文中，我们介绍了一个非参数的方法，场景分析，采样和过滤器的战略。更具体地说，我们建议根据图像相似性得分对标记的超像素进行采样，这使我们能够获得一组平衡的样本。然后，我们制定标签传输作为一个有效的过滤过程，这让我们利用更多的标记样本比现有的技术。我们的实验证明了我们的方法在两个基准数据集上优于最先进的非参数方法。
2016-03-15 cs.CV
Robust Shape Fitting for 3D Scene Abstraction
Institute of Information Processing, Leibniz University Hannover（汉诺威莱布尼茨大学信息处理研究所）；Niantic, Inc.（Niantic公司）；University of Bath（巴斯大学）
提出一种基于神经网络引导的RANSAC鲁棒估计器，用立方体拟合深度图以抽象复杂3D场景，并引入遮挡感知距离度量和立方体求解器，在NYU Depth v2数据集上验证了有效性。
2024-03-15 cs.CV
StreamGS: Online Generalizable Gaussian Splatting Reconstruction for Unposed Image Streams
Microsoft Research Asia（微软亚洲研究院）；HKUST（香港科技大学）；HKUST(GZ)（香港科技大学（广州））
针对未位姿图像流在线3DGS重建的三大挑战，提出StreamGS方法，通过逐帧预测聚合高斯、内容自适应细化及跨帧冗余合并，实现质量相当、速度快150倍且泛化性更优的在线重建。
2025-03-22 cs.CV
Semi-Parametric Neural Image Synthesis
LMU Munich（慕尼黑大学）；MCML（慕尼黑机器学习中心）；Heidelberg University（海德堡大学）
新的架构最近改进了生成图像合成，从而在各种任务中获得出色的视觉质量。这种成功在很大程度上是由于这些架构的可扩展性，因此是由模型复杂性和用于训练这些模型的计算资源的急剧增加引起的。我们的工作问题的基本范式压缩大型训练数据不断增长的参数表示。我们提出了一个正交的，半参数的方法。我们用一个单独的图像数据库和一个检索策略来补充小的扩散或自回归模型。在训练过程中，我们从外部数据库中为每个训练实例检索一组最近邻居，并根据这些信息样本对生成模型进行调节。虽然检索方法提供（本地）内容，但模型专注于基于此内容学习场景的组成。正如我们的实验所证明的那样，简单地将数据库交换为具有不同内容的数据库，可以将经过训练的模型事后转移到一个新的领域。该评估显示了在生成模型尚未训练的任务上的竞争性能，例如类条件合成，zero-shot风格化或文本到图像合成，而不需要配对的文本-图像数据。由于外部数据库和检索的内存和计算开销可以忽略不计，我们可以显着减少生成模型的参数计数，并且仍然优于最先进的技术。
2022-10-24 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”）
COM4D通过设计空间和时间注意力训练，仅用静态多物体或动态单物体监督，一致预测4D/3D对象的结构和时空配置，无需4D组合训练数据，实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
Contextual Scene Augmentation and Synthesis via GSACNet
FHL Vive Center for Enhanced Reality, University of California, Berkeley（加州大学伯克利分校FHL Vive增强现实中心）；XR Lab, Department of Architecture, University of California, Berkeley（加州大学伯克利分校建筑系XR实验室）
室内场景增强已成为计算机视觉和图形学领域的一个新兴课题，在增强现实和虚拟现实中有着广泛的应用。然而，使用深度神经网络的当前最先进的系统需要大的数据集用于训练。在本文中，我们介绍GSACNet，上下文场景增强系统，可以用有限的场景先验进行训练。GSACNet利用一种新的参数化数据增强方法，结合图形注意力和暹罗网络架构，然后是自动编码器网络，以方便小数据集的训练。我们通过在Matterport3D数据集上进行消融和与替代系统的比较研究来展示我们所提出的系统的有效性。我们的研究结果表明，我们的场景增强优于现有技术的场景合成有限的场景先验。
2021-03-29 cs.AI cs.CV cs.GR
Parametric Exponential Linear Unit for Deep Convolutional Neural Networks
Laval University（拉瓦尔大学）
目标识别是提高视觉系统对复杂场景理解能力的一项重要任务。最近，指数线性单元（ELU）已被提出作为管理卷积神经网络（CNN）中偏置偏移的关键组件，但定义了一个必须手动设置的参数。在本文中，我们提出学习ELU的参数化，以便在CNN的每一层学习适当的激活形状。我们使用NiN，Overfeat，All-CNN和ResNet网络在MNIST，CIFAR-10/100和ImageNet数据集上的结果表明，我们提出的参数ELU（PELU）比非参数ELU具有更好的性能。我们观察到使用NiN网络的ImageNet的相对误差提高了7.28%，参数仅增加了0.0003%。我们使用PELU对Vgg采用的非线性行为进行了可视化检查，结果表明，该网络通过在不同层学习不同的激活来利用增加的灵活性。
2018-01-10 cs.CV cs.LG cs.NE
MANTRA: Memory Augmented Networks for Multiple Trajectory Prediction
University of Florence（佛罗伦萨大学）
自动驾驶汽车预计将在复杂的场景中与几个独立的非合作代理一起驾驶。在这样的环境中安全导航的路径规划不能仅仅依赖于感知其他代理的当前位置和运动。相反，它需要在足够远的未来预测这些变量。在本文中，我们解决的问题，多模态轨迹预测利用记忆增强神经网络。我们的方法使用递归神经网络学习过去和未来的轨迹嵌入，并利用关联外部存储器来存储和检索这些嵌入。然后通过解码以观察到的过去为条件的内存中的未来编码来执行轨迹预测。我们通过在语义场景图之上学习CNN来将场景知识纳入解码状态。存储器的增长是有限的学习的基础上现有的嵌入预测能力的写入控制器。我们证明了我们的方法能够在三个数据集上原生地执行多模态轨迹预测，获得最先进的结果。此外，由于记忆模块的非参数性质，我们展示了一旦经过训练，我们的系统如何通过输入新的模式来不断改进。
2021-06-03 cs.CV
Weakly Supervised Image Annotation and Segmentation with Objects and Attributes
我们建议使用非参数贝叶斯模型从Flickr等媒体共享网站上丰富的弱标记图像中学习来模拟复杂的视觉场景。鉴于对象和属性的弱图像级注释没有位置或它们之间的关联，我们的模型旨在学习对象和属性类的外观以及它们在每个对象实例上的关联。一旦学习，给定一个图像，我们的模型可以被部署来以联合和连贯的方式解决许多视觉问题，包括识别场景中的对象（自动对象注释），使用它们的属性描述对象（属性预测和关联），以及定位和描绘对象（目标检测和语义分割）。这是通过开发一种新的弱监督马尔可夫随机场堆叠印度自助餐过程（WS-MRF-SIBP）来实现的，该过程将对象和属性建模为潜在因素，并明确捕获它们在超像素内和超像素之间的相关性。在基准数据集上的大量实验表明，我们的弱监督模型显着优于弱监督的替代品，并经常与现有的强监督模型的各种任务，包括语义分割，自动图像标注和检索的基础上的对象-属性关联。
2017-08-08 cs.CV
Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives
University of Maryland, College Park（马里兰大学 College Park分校）
Speedy-Splat通过优化渲染管线和引入剪枝技术，显著提升了3D高斯点播的渲染速度，模型大小和训练时间也得到优化。
2025-08-14 cs.CV cs.GR
H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction
Crisalix SA（克里萨利克斯公司）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
最近的学习方法，隐式地表示表面几何使用基于坐标的神经表示在多视图三维重建的问题中表现出令人印象深刻的结果。然而，这些技术的有效性取决于场景的大量（几十个）输入视图的可用性以及计算上要求的优化。在本文中，我们解决了这些限制的具体问题，Few-Shot全三维头部重建，赋予基于坐标的表示与概率形状之前，使更快的收敛和更好的推广时，使用很少的输入图像（下至三个）。首先，我们使用隐式表示从数千个不完整的原始扫描中学习3D头部的形状模型。在测试时，我们联合过拟合两个基于坐标的神经网络的场景，一个建模的几何形状和另一个估计的表面辐射，使用隐式微分渲染。我们设计了一个两阶段的优化策略，在该策略中，学习到的先验被用来初始化和约束的几何形状在初始优化阶段。然后，先验被解冻并微调到场景。通过这样做，我们实现了高保真的头部重建，包括头发和肩膀，并具有高层次的细节，始终优于最先进的3D变形模型方法在Few-Shot的情况下，和非参数化的方法时，大的视图集可用。
2021-07-26 cs.AI cs.CV
