R-PointHop: A Green, Accurate, and Unsupervised Point Cloud Registration Method
University of Southern California（南加州大学）；Tencent America（腾讯美国）；Tencent Media Lab（腾讯媒体实验室）
受最近的PointHop分类方法的启发，本文提出了一种无监督的3D点云配准方法，称为R-PointHop。R-PointHop首先使用其最近邻居为每个点确定局部参考系（LRF）并查找局部属性。接下来，R-PointHop通过点下采样、邻域扩展、属性构建和降维步骤获得局部到全局的层次特征。因此，在分层特征空间中使用最近邻规则建立点对应。然后，选择具有良好对应性的显著点的子集来估计3D变换。LRF的使用允许点的分层特征相对于旋转和平移的不变性，从而使得R-PointHop在构建点对应时更鲁棒，即使旋转角度很大。在3DMatch、ModelNet 40和Stanford Bunny数据集上进行了实验，验证了R-PointHop算法在三维点云配准中的有效性。R-PointHop的模型大小和训练时间都比深度学习方法小一个数量级，其配准误差也更小，是一种绿色精准的解决方案。我们的代码可以在GitHub上找到。
2022-03-14 cs.CV
Rotational Projection Statistics for 3D Local Surface Description and Object Recognition
National University of Defense Technology（国防科技大学）；The University of Western Australia（西澳大学）
在存在噪声、变化的网格分辨率、遮挡和杂波的情况下识别3D对象是一项非常具有挑战性的任务。本文提出了一种新的方法旋转投影统计（RoPS）。它有三个主要模块：局部参考框架（LRF）定义，RoPS特征描述和三维物体识别。我们提出了一种新的技术来定义的LRF通过计算的散布矩阵的所有点躺在局部表面上。RoPS特征描述符通过将特征点的相邻点旋转投影到2D平面上并计算这些投影点的分布的一组统计（包括低阶中心矩和熵）来获得。使用所提出的LRF和RoPS描述符，我们提出了一个分层的三维物体识别算法。所提出的LRF，RoPS描述符和对象识别算法的性能进行了严格的测试，一些流行的和公开的数据集。我们提出的技术表现出优越的性能相比，现有的技术。我们还表明，我们的方法是强大的噪声和不同的网格分辨率。在博洛尼亚、西澳大学、皇后大学和Ca' Foscari Venezia数据集上测试时，我们基于RoPS的算法分别实现了100%、98.9%、95.4%和96.0%的识别率。
2013-04-11 cs.CV
Histograms of Gaussian normal distribution for feature matching in clutter scenes
Xi’an Institute of Optics and Precision Mechanics of CAS（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Fraunhofer IGD（弗劳恩霍夫计算机图形研究所）
3D特征描述符提供了相应模型和场景之间的信息。然而，在杂乱场景中的3D物体识别仍然是一个很大程度上未解决的问题。实际应用带来了几个挑战，这些挑战没有被现有的方法完全解决。特别是在杂乱的场景中，场景和模型之间存在许多特征失配。因此，我们提出了高斯正态分布直方图（HGND）提取显着特征的本地参考帧（LRF），使我们能够解决这个问题。我们提出了一个LRF上的每个局部表面补丁使用的散射矩阵的特征向量。然后在LRF上计算每个显著点的HGND信息，为此我们使用深度图像的网格和点数据。在Bologna数据集的45个杂乱场景和UWA数据集的50个杂乱场景上进行了实验，以评估我们的HGND的鲁棒性和准确性。我们进行的实验表明，HGND获得更可靠的匹配率比国家的最先进的方法在混乱的情况下。
2017-06-19 cs.CV
Point Cloud Quality Assessment Using the Perceptual Clustering Weighted Graph (PCW-Graph) and Attention Fusion Network
Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
本文提出结合感知聚类加权图与注意力融合网络的无参考点云质量评估方法，用于在缺少参考模型时评价3D内容质量。
2025-06-04 cs.CV
GPA-Net:No-Reference Point Cloud Quality Assessment with Multi-task Graph Convolutional Network
Shanghai Jiao Tong University（上海交通大学）；Tencent Media Lab（腾讯媒体实验室）
针对无参考点云质量评估中预处理引入失真、特征表达不足及几何不变性欠缺的问题，提出GPA-Net，通过GPAConv、多任务学习和坐标归一化实现最优评估性能。
2023-06-01 cs.CV cs.MM
No-Reference Point Cloud Quality Assessment via Domain Adaptation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）
本文提出了一种新的无参考点云质量评价方法--图像传输点云质量评价（IT-PCQA）。对于质量评估，深度神经网络（DNN）在无参考指标设计上表现出令人信服的性能。然而，无参考PCQA最具挑战性的问题是我们缺乏大规模的主观数据库来驱动强大的网络。我们的动机是，人类视觉系统（HVS）是决策者，无论是什么类型的媒体质量评估。利用自然图像丰富的主观评分，我们可以通过DNN寻求人类感知的评价标准，并将预测能力转移到3D点云上。特别地，我们将自然图像作为源域，将点云作为目标域，并通过无监督对抗领域自适应来推断点云质量。为了提取有效的潜在特征并最小化域差异，我们提出了一个分层特征编码器和一个条件判别网络。考虑到最终目的是回归客观分数，在条件判别网络中引入一种新的条件交叉熵损失，对影响质量回归网络收敛的负样本进行惩罚。实验结果表明，该方法可以获得比传统的无参考度量更高的性能，甚至与全参考度量相当的结果。所提出的方法还表明了评估特定媒体内容的质量而无需昂贵且繁琐的主观评估的可行性。代码可在https://github.com/Qi-Yangsjtu/IT-PCQA上获得。
2022-03-11 cs.CV eess.IV
3D Point Cloud Denoising via Deep Neural Network based Local Surface Estimation
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们提出了一种基于神经网络的3D点云去噪架构，称为神经投影去噪（NPD）。在我们以前的工作中，我们提出了一个两阶段的去噪算法，首先估计参考平面，然后将噪声点投影到估计的参考平面。由于估计的参考平面不可避免地含有噪声，因此应用多投影来稳定去噪性能。NPD算法使用神经网络来估计噪声点云中的点的参考平面。通过更准确地估计参考平面，我们能够仅用一次投影实现更好的去噪性能。据我们所知，NPD是第一个使用深度学习技术对3D点云进行降噪的工作。为了进行实验，我们从ShapeNet中的3D数据中采样40000个点云来训练网络，并从ModelNet10中的3D数据中采样350个点云进行测试。实验结果表明，该算法能够有效地估计噪声点云中点的法向量。与五种竞争方法相比，该算法具有更好的去噪性能，产生更小的方差。
2019-04-09 cs.CV eess.SP
MaskLRF: Self-supervised Pretraining via Masked Autoencoding of Local Reference Frames for Rotation-invariant 3D Point Set Analysis
University of Yamanashi（山梨大学）
针对现有掩码点建模缺乏旋转不变性的问题，提出MaskLRF框架，通过局部参考帧内的掩码自编码学习旋转不变特征，并在多个下游任务上取得最先进精度。
2024-05-22 cs.CV
FoV-Net: Rotation-Invariant CAD B-rep Learning via Field-of-View Ray Casting
Ghent University（根特大学）；CVAMO, Flanders（弗拉芒计算机视觉与建模实验室）
本文提出FoV-Net，通过局部参考框架和视场网格实现旋转不变的B-rep学习，提升3D CAD分析的鲁棒性与效率。
2026-03-13 cs.CV
Detecting cities in aerial night-time images by learning structural invariants using single reference augmentation
University of Potsdam（波茨坦大学）
本文探讨，如果它是可能的，学习结构不变的城市图像时，只使用一个单一的参考图片沿数据集中的变量产生的转换。以前的工作探讨了仅从几个示例学习的问题，并表明数据增强技术有利于机器学习方法的性能和泛化。首先，使用城市图像在单个参考增强训练数据集上训练结合傅立叶变换的主成分分析。其次，在具有更多样本的类似数据集上训练卷积神经网络。研究结果是，卷积神经网络是能够找到同一类别的图像，而应用的主成分分析结合傅立叶变换未能解决这个任务。
2018-10-19 cs.CV cs.LG
Generalized Probabilistic U-Net for medical image segementation
Image Sciences Institute, University Medical Center Utrecht（乌得勒支大学医学中心图像科学研究所）；Eindhoven University of Technology（埃因霍温理工大学）
我们提出了广义概率U-网络，它扩展了概率U-网络，允许更一般形式的高斯分布作为潜在的空间分布，可以更好地近似参考分割的不确定性。我们研究了潜在空间分布的选择对使用LIDC-IDRI数据集捕获参考分割中的不确定性的影响。我们发现，分布的选择会影响样本的多样性的预测和它们的重叠相对于参考分割。对于LIDC-IDRI数据集，我们证明了使用高斯混合会导致广义能量距离（GED）度量相对于标准概率U-Net的统计学显着改善。我们已经在https://github.com/ishaanb92/GeneralizedProbabilisticUNet上提供了我们的实现
2022-07-26 cs.CV cs.LG
Active Predictive Coding Networks: A Neural Solution to the Problem of Learning Reference Frames and Part-Whole Hierarchies
Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington, Seattle（华盛顿大学西雅图分校）
我们介绍了主动预测编码网络（APCN），这是一类新的神经网络，它解决了Hinton和其他人在人工智能和大脑建模领域提出的一个主要问题：神经网络如何学习对象的内在参考系，并通过动态分配解析树中的节点将视觉场景解析为部分-整体层次结构？APCN通过使用一种新颖的思想组合来解决这个问题：（1）超网络用于动态生成递归神经网络，该网络以更高的对象级嵌入向量为条件来预测部件及其在内在参考系中的位置，以及（2）强化学习与反向传播结合使用，用于模型参数的端到端学习。APCN架构自然地适合于多层次的分层学习，并且与皮质功能的预测编码模型密切相关。使用MNIST，Fashion-MNIST和Omniglot数据集，我们证明了APCN可以（a）学习将图像解析为部分-整体层次结构，（b）学习组合表示，以及（c）将其知识转移到看不见的对象类。APCN能够动态生成具有对象部分位置的解析树，因此它为可解释的AI提供了一个新的框架，该框架利用了深度学习的进步，同时保留了可解释性和组合性。
2022-01-14 cs.AI cs.CV cs.LG
Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment
Fraunhofer Heinrich Hertz Institute (Fraunhofer HHI)（弗劳恩霍夫海因里希·赫兹研究所）；Berlin Institute of Technology（柏林工业大学）
我们提出了一种基于深度神经网络的图像质量评估（IQA）方法。该网络是端到端训练的，包括10个卷积层和5个用于特征提取的池化层，以及两个用于回归的全连接层，这使得它比相关的IQA模型更深入。所提出的架构的独特特征在于：1）通过轻微的调整，它可以用于无参考（NR）以及全参考（FR）IQA设置中，以及2）它允许局部质量和局部权重的联合学习，即，在一个统一的框架内，局部质量对整体质量估计的相对重要性。我们的方法纯粹是数据驱动的，不依赖于手工制作的功能或其他类型的关于人类视觉系统或图像统计的先验领域知识。我们在LIVE，CISQ和TID 2013数据库以及LIVE In Wild图像质量挑战数据库上评估了所提出的方法，并显示出优于最先进的NR和FR IQA方法的性能。最后，跨数据库评估显示出在不同数据库之间进行概括的高能力，表明所学习的特征具有高鲁棒性。
2017-12-07 cs.CV
The efficiency of deep learning algorithms for detecting anatomical reference points on radiological images of the head profile
Samara National Research University（萨马拉国立研究大学）；IPSI RAS（俄罗斯科学院图像投影系统研究所）；FSBEI HE SamSMU MOH Russia（俄罗斯卫生部萨马拉国立医科大学）；ICCS RAS（俄罗斯科学院复杂系统研究所）
在这篇文章中，我们研究了深度学习算法在解决横向投影中头部放射图像上检测解剖参考点的任务时的效率，该任务使用全卷积神经网络和具有扩展架构的全卷积神经网络进行生物医学图像分割- U-Net。对每个所选神经网络架构的解剖参考点的检测结果进行比较，并将其与当神经外科医生检测到解剖参考点时获得的结果进行比较。基于所获得的结果，可以得出结论，U-Net神经网络允许比完全卷积神经网络更准确地执行解剖参考点的检测。用U-Net神经网络检测解剖参考点的结果更接近一组解剖学家检测参考点的平均结果。
2020-06-18 cs.CV eess.IV
CRCNet: Few-shot Segmentation with Cross-Reference and Region-Global Conditional Networks
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉参考和局部全局条件网络（CRCNet）的Few-Shot分割。与以前的作品，只预测查询图像的面具，我们提出的模型同时进行预测的支持图像和查询图像。我们的网络可以通过交叉引用机制更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。为了进一步改善特征比较，我们开发了一个局部-全局条件模块来捕获全局和局部关系。我们还开发了一个掩模细化模块，以改善预测的前景区域循环。在PASCAL VOC 2012、MS COCO和FSS-1000数据集上的实验表明，我们的网络达到了新的最先进的性能。
2022-08-23 cs.CV
CRNet: Cross-Reference Networks for Few-Shot Segmentation
Nanyang Technological University（南洋理工大学）；A*Star（新加坡科技研究局）
在过去的几年中，最先进的图像分割算法是基于深度卷积神经网络的。为了渲染具有理解概念能力的深度网络，人类需要收集大量像素级注释数据来训练模型，这是耗时且繁琐的。近年来，Few-Shot分割方法被提出来解决这一问题。Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉引用网络（CRNet）的Few-Shot分割。与以前的作品只预测查询图像中的掩码不同，我们提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制，我们的网络可以更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。我们还开发了一个掩模细化模块来循环地细化前景区域的预测。对于$k$ -shot学习，我们建议微调网络的部分，以利用多个标记的支持图像。在PASCAL VOC 2012数据集上的实验表明，我们的网络达到了最先进的性能。
2020-03-24 cs.CV
NovisVQ: A Streaming Convolutional Neural Network for No-Reference Opinion-Unaware Frame Quality Assessment
本文提出流式无参考且不依赖主观意见的视频质量评估模型NovisVQ，利用DAVIS合成退化训练时序卷积网络预测LPIPS、PSNR、SSIM，性能优于图像基线并与全参考指标相关性高于BRISQUE。
2025-11-06 cs.CV
TDAN: Temporally Deformable Alignment Network for Video Super-Resolution
University of Rochester（罗切斯特大学）；Northeastern University（东北大学）
视频超分辨率（VSR）旨在从其对应的低分辨率（LR）帧（参考帧）和多个相邻帧（支持帧）恢复照片般逼真的高分辨率（HR）视频帧。由于摄像机或物体的不同运动，参考框架和每个支撑框架不对齐。因此，时间对齐是一个具有挑战性的，但VSR的重要问题。以往的VSR方法通常利用参考帧和每个支撑帧之间的光流来包裹支撑帧以进行时间对准。因此，这些基于图像级包裹的模型的性能将高度依赖于光流的预测精度，并且不准确的光流将导致包裹的支持帧中的伪影，其也将传播到重构的HR视频帧中。为了克服这一局限性，本文提出了一种时间可变形对齐网络（TDAN），在不计算光流的情况下，在特征级自适应地对齐参考帧和每个支持帧。TDAN使用来自参考帧和每个支持帧的特征来动态预测采样卷积核的偏移。通过使用相应的核，TDAN变换支持框架以与参考框架对齐。为了预测HR视频帧，利用采用对准帧和参考帧的重建网络。实验结果验证了所提出的基于TDAN的VSR模型的有效性。
2018-12-07 cs.CV
Trustworthy Self-Attention: Enabling the Network to Focus Only on the Most Relevant References
Chongqing University（重庆大学）
针对遮挡点光流预测中自注意力易受错误参考干扰的问题，提出利用在线遮挡识别信息构建扩展特征与强约束的轻量化方法，无需遮挡标签即可使网络聚焦最相关参考，在 Sintel 基准上达到 SOTA 性能。
2024-03-27 cs.CV
CMSA-Net: Causal Multi-scale Aggregation with Adaptive Multi-source Reference for Video Polyp Segmentation
Southeast University, China（东南大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), UAE（Mohamed bin Zayed大学人工智能学院）
CMSA-Net通过因果多尺度聚合和动态多源参考策略，提升视频息肉分割的准确性和实时性。
2026-02-26 cs.CV
Align-and-Attend Network for Globally and Locally Coherent Video Inpainting
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
我们提出了一种新的前馈网络视频修复。我们使用一组采样的视频帧作为参考，采取可见的内容，以填补目标帧的漏洞。我们的视频修复网络由两个阶段组成。第一阶段是使用参考帧和目标帧之间的计算的单应性的对准模块。然后，基于帧相似性聚合可见块以粗略地填充目标孔。第二阶段是非局部注意模块，其将所生成的补丁与已知的参考补丁（在空间和时间上）进行匹配以细化先前的全局对准阶段。这两个阶段包括大的时空窗口大小的参考，从而使远程信息和孔区域之间的相关性建模。因此，即使是具有挑战性的场景，大或缓慢移动的洞可以处理，这已经很难通过现有的基于流的方法建模。我们的网络还设计了一个循环传播流，以鼓励视频结果的时间一致性。视频对象去除的实验表明，我们的方法inpaints与全局和局部相干内容的漏洞。
2019-05-30 cs.CV
DPC-QA Net: A No-Reference Dual-Stream Perceptual and Cellular Quality Assessment Network for Histopathology Images
University of Manchester（曼彻斯特大学）；Beihang University（北航大学）
本文提出无参考双流网络 DPC-QA Net，结合小波全局感知与细胞核/膜质量评估，在多个数据集上以超过92%准确率检测染色与细胞问题，并优于现有 NR-IQA 方法，可用于计算病理学 WSI 区域预筛选。
2025-09-19 cs.CV eess.IV
Deep Reference Generation with Multi-Domain Hierarchical Constraints for Inter Prediction
帧间预测是视频编码中用于时间冗余去除的重要模块，其中从先前编码的帧中搜索相似的参考块并用于预测要编码的块。虽然传统的视频编解码器可以估计和补偿块级运动，但它们的帧间预测性能仍然受到由不规则旋转和变形引起的剩余不一致的逐像素位移的严重影响。在本文中，我们通过提出一种深度帧插值网络来解决这个问题，以在编码场景中生成额外的参考帧。首先，我们总结了以前用于帧内插的自适应卷积，并提出了一种因子分解核卷积网络，以提高建模能力，同时保持其紧凑的形式。其次，为了更好地训练该网络，引入多域层次约束来正则化我们的因子化核卷积网络的训练。对于空间域，我们使用逐渐下采样和上采样的自动编码器来生成用于不同尺度下的帧插值的因式分解核。对于质量域，考虑到输入帧的质量不一致，因子分解核卷积与质量相关的特征进行调制，以学习从高质量帧中利用更多的信息。对于频域，从编码性能的角度来看，利用执行频率变换的绝对变换差损失之和来促进网络优化。通过设计良好的帧内插网络，通过多域分层约束进行正则化，我们的方法在随机访问配置下平均节省6.1%的BD速率，并为亮度分量节省高达11.0%的BD速率。
2019-05-16 cs.CV eess.IV
