CUF: Continuous Upsampling Filters
Google Research（谷歌研究院）
神经场已迅速被用于表示3D信号，但它们在更经典的2D图像处理中的应用相对有限。在本文中，我们考虑图像处理中最重要的操作之一：上采样。在深度学习中，可学习的上采样层已被广泛用于单图像超分辨率。我们建议将上采样核参数化为神经场。这种参数化导致一个紧凑的架构，获得了40倍的参数减少的数量相比，竞争任意规模的超分辨率架构。当对大小为256x256的图像进行上采样时，我们表明我们的架构比竞争的任意尺度超分辨率架构效率高2倍至10倍，并且在实例化为单尺度模型时比子像素卷积更高效。在一般设置中，这些增益随目标尺度的平方多项式增长。我们在标准基准测试上验证了我们的方法，表明可以在不牺牲超分辨率性能的情况下实现这种效率增益。
2022-10-20 cs.CV cs.LG
Structured Sparsity Learning for Efficient Video Super-Resolution
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；ETH Zürich（苏黎世联邦理工学院）；ByteDance Inc（字节跳动公司）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
视频超分辨率（VSR）模型的高计算成本阻碍了它们在资源有限的设备（例如，智能手机和无人机）。现有的VSR模型包含大量的冗余过滤器，从而降低了推理效率。为了修剪这些不重要的过滤器，我们开发了一个结构化的修剪计划称为结构化稀疏学习（SSL）根据VSR的性质。在SSL中，我们为VSR模型中的几个关键组件设计了修剪方案，包括残差块，递归网络和上采样网络。具体来说，我们开发了一个剩余稀疏连接（RSC）计划的残留块的经常性网络，解放修剪限制和保留恢复信息。对于上采样网络，我们设计了一个像素重排剪枝方案来保证特征通道-空间转换的准确性。此外，我们观察到，修剪误差将被放大的隐藏状态传播与循环网络。为了缓解这个问题，我们设计了时间微调（TF）。大量的实验表明，SSL可以显着优于最近的方法定量和定性。
2023-03-25 cs.CV eess.IV
End-to-End Image Super-Resolution via Deep and Shallow Convolutional Networks
Dalian University of Technology（大连理工大学）
卷积神经网络（CNN）的一个令人印象深刻的优点是它们能够从原始像素中自动学习特征表示，从而消除了手工设计过程的需要。然而，最近的单图像超分辨率（SR）的方法未能保持这一优势。他们在两个解耦步骤中利用CNN，即，首先用手工设计的技术将低分辨率（LR）图像上采样到高分辨率（HR）尺寸（例如，双三次插值），然后在上采样的LR图像上应用CNN以重建HR结果。在本文中，我们寻求一种替代方案，并提出了一种新的图像SR方法，该方法联合学习特征提取，上采样和HR重建模块，产生一个完全端到端可训练的深度CNN。与现有方法相反，所提出的方法在潜在特征空间中使用针对图像SR的任务进行优化的滤波器进行上采样。此外，以多尺度方式执行HR重建，以同时合并短距离和长距离上下文信息，确保HR图像的更准确恢复。为了便于网络训练，设计了一种新的训练方法，该方法将拟议的深度网络与相对较浅的网络联合训练，从而实现更快的收敛和更优越的性能。所提出的方法被广泛采用的数据集进行了广泛的评估，并提高了性能的国家的最先进的方法有相当大的利润。此外，进行深入的消融研究，以验证不同的网络设计对图像SR的贡献，为未来的研究提供额外的见解。
2016-07-26 cs.CV
BasicAVSR: Arbitrary-Scale Video Super-Resolution via Image Priors and Enhanced Motion Compensation
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Tianjin Key Laboratory of Machine Learning, College of Intelligence and Computing, Tianjin University（天津机器学习重点实验室，天津大学智能计算学院）
本文提出BasicAVSR基线模型，通过多尺度频率先验、光流引导传播、二阶运动补偿和超上采样单元，并设计三种传播变体，在任意尺度视频超分辨率中显著提升质量、泛化能力与推理速度。
2025-11-06 cs.CV
EchoIR: Advancing Image Restoration with Echo Upsampling and Bi-Level Optimization
University of Sydney（悉尼大学）
针对图像复原中上采样造成特征退化的问题，提出类UNet的EchoIR，通过Echo-Upsampler学习双边中间特征并以AS-BLO联合建模上采样与复原，实验取得SOTA性能。
2024-12-10 cs.CV eess.IV
Patch-based Progressive 3D Point Set Upsampling
ETH Zurich（苏黎世联邦理工学院）；Shenzhen University（深圳大学）；Tel Aviv University（特拉维夫大学）
我们提出了一个细节驱动的深度神经网络点集上采样。高分辨率的点集对于基于点的绘制和表面重建是必不可少的。受最近神经图像超分辨率技术的成功启发，我们逐步训练了一系列基于补丁的上采样网络，这些网络具有不同的端到端细节水平。我们提出了一系列的架构设计的贡献，导致一个显着的性能提升。消融研究中证实了每种技术贡献的效果。定性和定量实验表明，我们的方法显着优于最先进的基于学习和优化的方法，无论是在处理低分辨率的输入和揭示高保真的细节。
2019-03-21 cs.CV cs.GR cs.LG
Global-Local Face Upsampling Network
Mitsubishi Electric Research Labs（三菱电机研究实验室）
人脸幻觉是从低分辨率输入图像生成高分辨率人脸图像的任务，是一个在广泛应用领域中有用的研究充分的问题。当输入面部分辨率非常低（例如，10 × 12像素）和/或在具有大姿态和照明变化的不受控设置中捕获图像。在本文中，我们重新审视了[1]中介绍的算法，并对该框架进行了深入的解释，该框架在这种具有挑战性的场景下达到了最先进的水平。在我们的深度网络架构中，定义人脸的全局和局部约束可以使用训练数据进行端到端的有效建模和学习。从概念上讲，我们的网络设计可以分为两个子网络：第一个子网络根据全局约束实现整体人脸重建，第二个子网络增强特定于人脸的细节并执行局部补丁统计。我们使用一种新的超分辨率损失函数优化深度网络，该函数将重建误差与对抗环境中学习的人脸质量度量相结合，从而产生更好的视觉效果。我们在受控和非受控设置中进行了广泛的实验，并表明我们的算法在数值和视觉上都提高了最先进的水平。
2016-04-27 cs.CV cs.LG
BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond
Nanyang Technological University（南洋理工大学）；Applied Research Center Tencent PCG（腾讯平台与内容事业群应用研究中心）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
视频超分辨率（VSR）方法往往具有比图像对应物更多的分量，因为它们需要利用额外的时间维度。复杂的设计并不罕见。在这项研究中，我们希望解开结，并重新考虑VSR的一些最重要的组成部分，由四个基本功能，即，传播、对齐、聚合和上采样。通过重用一些现有的组件添加最小的重新设计，我们展示了一个简洁的管道，BasicVSR，实现了有吸引力的改进速度和恢复质量相比，许多国家的最先进的算法。我们进行了系统的分析，以解释如何获得这种增益，并讨论了陷阱。我们进一步展示了BasicVSR的可扩展性，提出了一个信息填充机制和耦合传播方案，以促进信息聚合。BasicVSR及其扩展IconVSR可以作为未来VSR方法的强大基线。
2021-04-07 cs.CV
A Fully Progressive Approach to Single-Image Super-Resolution
ETH Zurich（苏黎世联邦理工学院）；Disney Research（迪士尼研究院）
最近的单图像超分辨率深度学习方法在传统的误差测量和感知质量方面取得了令人印象深刻的结果。然而，在每种情况下，对于大的上采样因子实现高质量的结果仍然具有挑战性。为此，我们提出了一种在架构和训练方面都是渐进式的方法（ProSR）：网络在中间步骤中对图像进行上采样，而学习过程则从容易到困难，就像在课程学习中所做的那样。为了获得更逼真的结果，我们设计了一个生成对抗网络（GAN），名为ProGanSR，它遵循相同的渐进多尺度设计原则。这不仅允许很好地缩放到高的上采样因子（例如，8x），但是构成了同时增加所有上采样因子的重构质量的原则性多尺度方法。特别是在NTIRE2018 SISR挑战中，ProSR在SSIM方面排名第二，在PSNR方面排名第四[34]。与排名第一的团队相比，我们的模型略低，但运行速度快5倍。
2018-04-10 cs.CV
Continuous Space-Time Video Super-Resolution Utilizing Long-Range Temporal Information
Wuhan University（武汉大学）；Huawei（华为）
在本文中，我们考虑空时视频超分辨率（ST-VSR）的任务，即扩展一个给定的源视频到更高的帧速率和分辨率的同时。然而，大多数现有方案要么在训练阶段考虑固定的中间时间和尺度，要么只接受预设数量的输入帧（例如，两个相邻帧），其不能利用长距离时间信息。为了解决这些问题，我们提出了一个连续的ST-VSR（C-STVSR）的方法，可以将给定的视频转换到任何帧速率和空间分辨率。为了实现时间任意插值，我们提出了一个前向扭曲引导的帧合成模块和光流引导的上下文一致性损失，以更好地近似极端运动，并保持输入和预测帧之间的相似结构。此外，我们设计了一个内存友好的级联深度到空间模块，实现连续空间上采样。同时，通过对光流的精细重组，该方法具有内存友好性，使得从远距离相邻帧中传播信息成为可能，从而获得更好的重建质量。实验结果表明，该算法具有很好的灵活性，在各种数据集上，无论是客观评价还是主观视觉效果，都比现有方法有更好的性能。
2023-02-26 cs.CV
Localized FNO for Spatiotemporal Hemodynamic Upsampling in Aneurysm MRI
Biomedical Imaging Group, Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院生物医学成像组、计算机视觉实验室）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）；Institute of Environmental Engineering, Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院环境工程研究所）；Biodiversity and Conservation Biology Unit, Swiss Federal Institute for Forest, Snow and Landscape Research, WSL（森林、雪和景观研究联邦研究所生物多样性与保护生物学单元）；Institute for Biomedical Engineering, University and ETH Zurich（苏黎世联邦理工学院生物医学工程研究所）
本文提出局部化傅里叶神经算子LoFNO，结合拉普拉斯特征向量几何先验与EDSR上采样层，对动脉瘤MRI血流数据进行去噪和时空上采样，实现优于插值和其他深度学习方法的血流速度与壁面剪切应力预测。
2025-07-18 cs.AI cs.CV physics.comp-ph
VTinker: Guided Flow Upsampling and Texture Mapping for High-Resolution Video Frame Interpolation
VTinker通过引导流上采样和纹理映射技术，提升高分辨率视频帧插值的精度与质量。
2025-11-20 cs.CV
AVSR-Diff: Scale-Agnostic Diffusion Priors for Temporally Consistent Arbitrary-Scale Video Super-Resolution
KAIST（韩国科学技术院）；CMLab, Chung-Ang University（中央大学CMLab）
提出AVSR-Diff框架，通过解耦尺度无关的潜在去噪与连续坐标渲染，并引入时间门控特征循环和尺度感知傅里叶细化模块，实现任意尺度下的高保真时间一致视频超分辨率。
2026-07-02 cs.CV
Scale-Aware Dynamic Network for Continuous-Scale Super-Resolution
Beijing Normal University（北京师范大学）
随着深度学习技术的发展，具有固定和离散比例因子的单幅图像超分辨率（SR）得到了很大的发展。然而，连续尺度的SR，其目的是使用一个单一的模型来处理任意（整数或非整数）的比例因子，仍然是一个具有挑战性的任务。现有的超分辨率模型一般采用静态卷积提取特征，无法有效感知比例因子的变化，导致在多尺度超分辨率任务上的泛化性能有限。此外，现有的连续尺度上采样模块没有充分利用多尺度特征，并且面临诸如SR结果中的棋盘状伪影和高计算复杂性的问题。为了解决上述问题，我们提出了一个规模感知的动态网络（SADN）的连续规模SR。首先，我们提出了一个规模感知的动态卷积（SAD-Conv）层的特征学习的多个SR任务与各种规模。SAD-Conv层可以基于比例因子自适应地调整多个卷积核的注意力权重，从而以可忽略的额外计算成本增强模型的表达能力。其次，我们设计了一个连续尺度上采样模块（CSUM）与多双线性局部隐函数（MBLIF）的任何尺度上采样。CSUM构造多个尺度逐渐增加的特征空间来近似图像的连续特征表示，MBLIF充分利用多尺度特征将任意坐标映射到高分辨率空间中的RGB值。我们使用各种基准来评估我们的SADN。实验结果表明，CSUM可以取代以前的固定规模的上采样层，并获得一个连续规模的SR网络，同时保持性能。我们的SADN使用更少的参数，并优于最先进的SR方法。
2021-10-29 cs.CV
Rethinking the Upsampling Layer in Hyperspectral Image Super Resolution
Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）；College of Oceanography and Space Informatics, China University of Petroleum (East China)（海洋科学与空间信息学院，中国石油大学（华东））；Department of Automation, Tsinghua University（自动化系，清华大学）
本文提出轻量级高光谱图像超分网络LKCA-Net，并用低秩近似与知识蒸馏特征对齐优化上采样层，在保持竞争力的同时实现数十至数百倍加速。
2025-01-30 cs.AI cs.CV eess.IV
Asymmetric VAE for One-Step Video Super-Resolution Acceleration
Shanghai Jiao Tong University（上海交通大学）；South China University of Technology（华南理工大学）
针对一步扩散 VSR 推理仍昂贵的问题，本文提出 FastVSR，以 f16 高压缩非对称 VAE、稳定训练框架和下界引导策略降低计算量，实现相对多步模型 111.9 倍、现有一步模型 3.92 倍加速。
2025-09-29 cs.CV
Learning Affinity-Aware Upsampling for Deep Image Matting
The University of Adelaide（阿德莱德大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了上采样中的学习亲和力提供了一种有效和高效的方法来利用深度网络中的成对交互。二阶特征通常用于密集预测，以在上采样后与可学习模块（如非局部块）建立相邻关系。由于上采样是必不可少的，因此上采样中的学习亲和力可以避免额外的传播层，从而提供构建紧凑模型的可能性。通过从统一的数学角度看待现有的上采样算子，我们将它们概括为二阶形式，并引入了Affinity-Aware上采样（A2 U），其中上采样内核使用轻量级低秩双线性模型生成，并以二阶特征为条件。我们的上采样算子也可以扩展到下采样。我们讨论了A2 U的替代实现，并验证了它们在两个细节敏感的任务上的有效性：玩具数据集上的图像重建;以及基于亲和力的想法构成主流抠图方法的大规模图像抠图任务。特别是，Composition-1 k抠图数据集上的结果显示，A2 U在SAD度量方面相对于强基线实现了14%的相对改善，参数的增加可以忽略不计（<0.5%）。与最先进的抠图网络相比，我们实现了8%的性能提高，只有40%的模型复杂度。
2020-11-29 cs.CV
DRFN: Deep Recurrent Fusion Network for Single-Image Super-Resolution with Large Factors
Dalian University of Technology（大连理工大学）
近年来，由于深度卷积神经网络（CNN）的发展，单图像超分辨率取得了很大进展。绝大多数基于CNN的模型使用预定义的上采样算子，如双三次插值，将输入的低分辨率图像放大到所需的大小，并学习插值图像和地面实况高分辨率（HR）图像之间的非线性映射。然而，插值处理可能导致视觉伪像，因为细节被过度平滑，特别是当超分辨率因子高时。在本文中，我们提出了一种深度递归融合网络（DRFN），它利用转置卷积代替双三次插值进行上采样，并集成从递归残差块中提取的不同级别的特征来重建最终的HR图像。我们采用深度递归学习策略，因此具有更大的感受野，这有利于更准确地重建图像。此外，我们表明，多级融合结构是适合于处理图像超分辨率问题。广泛的基准测试评估表明，所提出的DRFN在准确性和视觉效果方面优于大多数当前的深度学习方法，特别是对于大规模图像，同时使用更少的参数。
2019-08-23 cs.CV eess.IV
Hierarchical Frequency-based Upsampling and Refining for Compressed Video Quality Enhancement
Hangzhou Dianzi University（杭州电子科技大学）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；Xinhua Zhiyun Technology Co., Ltd.（新华智云科技有限公司）
针对压缩视频伪影问题，提出分层频率上采样与细化网络HFUR，利用DCT先验重建损失并跨尺度细化，在公共基准上实现最先进性能。
2024-03-18 cs.CV eess.IV
StereoINR: Cross-View Geometry Consistent Stereo Super Resolution with Implicit Neural Representation
School of Remote Sensing and Information Engineering, Wuhan University, Hubei, China（遥感与信息工程学院，武汉大学，湖北，中国）
本文提出 StereoINR，将立体图像对建模为连续隐式表示，结合空间变形与交叉注意力机制，实现任意倍率且跨视图几何一致的立体图像超分辨率重建。
2025-07-05 cs.CV eess.IV
On-Device Text Image Super Resolution
OnDevice AI Samsung R\& D Institute Bangalore, India；2cm OnDevice AI 2cm Samsung R\& D Institute 2cm Bangalore, India 2cm
随着深度卷积神经网络的发展，最近对超分辨率（SR）的研究取得了重大进展。需要从设备上的场景文本图像甚至文档图像中提取信息抽取，其中大多数是低分辨率（LR）图像。因此，SR成为必不可少的预处理步骤，因为传统上存在于智能手机中的双三次上采样在LR图像上表现不佳。为了让用户更好地控制自己的隐私，并通过减少云计算的开销和GPU使用时间来减少碳足迹，在边缘上执行SR模型是最近一段时间的必要条件。在智能手机等资源受限的平台上运行和优化模型存在各种挑战。在本文中，我们提出了一种新的深度神经网络，它可以重建更清晰的字符边缘，从而提高OCR的置信度。所提出的架构不仅在各种基准数据集上实现了比双三次上采样的PSNR的显着改善，而且还以每幅图像11.7 ms的平均推理时间运行。我们在Text330数据集上的表现优于最先进的技术。我们还在ICDAR 2015 TextSR数据集上实现了75.89%的OCR准确率，其中地面真实值的准确率为78.10%。
2020-11-20 cs.CV
Dual-layer Image Compression via Adaptive Downsampling and Spatially Varying Upconversion
Shanghai Jiao Tong University（上海交通大学）；McMaster University（麦克马斯特大学）
超高分辨率（UHR）图像几乎总是被下采样以适应移动终端设备的小型显示器，并且当在非常高分辨率的显示器上显示时被上采样到其原始分辨率。这一观察激励我们联合优化下采样和上采样的操作对，这些操作对在空间上自适应于图像内容，以获得最大的率失真性能。本文提出了一种自适应下采样双层（ADDL）图像压缩系统。在ADDL压缩系统中，通过学习的内容自适应下采样内核降低图像的分辨率，并压缩图像以形成编码的基本层。对于解压缩，通过学习的自适应下采样内核的先验知识，使用深度上采样神经网络对基本层进行解码并上转换为原始分辨率。我们将下采样内核限制为Gabor滤波器的形式，以降低滤波器优化的复杂性，并减少解码器进行自适应上采样所需的边信息量。大量的实验表明，联合优化，空间自适应下采样和上转换的ADDL压缩方法优于现有技术的图像压缩方法。
2023-02-13 cs.CV eess.IV
SuperGaussian: Repurposing Video Models for 3D Super Resolution
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）；University College London（伦敦大学学院）
提出SuperGaussian方法，重新利用预训练视频模型进行三维超分辨率，结合三维整合生成高质量高斯溅射模型，显著提升三维模型保真度。
2024-07-16 cs.AI cs.CV
Lightweight Modules for Efficient Deep Learning based Image Restoration
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Mathworks（Mathworks公司）
低水平图像复原是现代人工智能（AI）驱动的相机流水线的组成部分。这些框架中的大多数基于深度神经网络，其在资源受限的平台（如移动电话）上呈现出巨大的计算开销。在本文中，我们提出了几个轻量级的低级别模块，可用于创建一个给定的基线模型的计算成本低的变体。最近的工作，有效的神经网络设计主要集中在分类。然而，低级图像处理属于图像到图像的翻译类型，它需要一些分类中不存在的额外计算模块。本文试图通过设计通用高效模块来弥合这一差距，这些模块可以取代当代基于深度学习的图像复原网络中使用的基本组件。我们还提出并分析了我们的结果，强调了将深度可分离卷积核（一种用于高效分类网络的流行方法）应用于基于亚像素卷积的上采样（一种用于低级视觉应用的流行上采样策略）的缺点。这表明，分类领域的概念并不总是能够无缝地集成到图像到图像的翻译任务中。我们广泛验证了我们的研究结果的三个流行的任务图像修补，去噪和超分辨率。我们的研究结果表明，与全容量基线相比，建议的网络始终输出视觉上相似的重建，并在当代移动设备上显着减少参数，内存占用和执行速度。
2020-07-11 cs.CV eess.IV
CAD-PU: A Curvature-Adaptive Deep Learning Solution for Point Set Upsampling
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
点集可以说是物体或场景表面最直接的近似，但它的实际获取往往受到噪声，稀疏，并可能不完整的缺点，这限制了其用于高质量的表面恢复。点集上采样旨在增加其密度和规则性，以便可以实现更好的表面恢复。考虑到上采样目标本身只是底层表面的近似，该问题是严重不适定和具有挑战性的。为了通过点集上采样提高表面近似，我们通过配对输入和输出点集的表面近似误差范围来确定对目标至关重要的因素。这表明，给定上采样结果中的点的固定预算，更多的点应该分布到局部曲率相对较高的表面区域上。为了实现这一动机，我们提出了一种新的曲率自适应点集上采样网络（CAD-PU）的设计，其核心是一个曲率自适应特征扩展模块。为了训练CAD-PU，我们遵循相同的动机，并提出几何直观的代理人，近似离散的概念，表面曲率的上采样点集。我们进一步将所提出的代理集成到基于曲率最小化目标的对抗学习中，这给出了CAD-PU的实际有效学习。我们进行彻底的实验，显示我们的贡献和我们的方法比现有的优势的功效。我们的实现代码可在https://github.com/JiehongLin/CAD-PU上公开获取。
2020-09-10 cs.CV
Resolution-Flexible Decoding for Hybrid Neural Video Representations
Waseda University（早稻田大学）
针对混合神经视频表示中解码器受限于固定分辨率的问题，提出分辨率灵活解码框架，采用均匀上采样与对齐策略，并引入中间监督和难度感知采样，在UVG数据集上提升重建质量。
2026-11-03 cs.CV eess.IV
Radiative-Structured Neural Operator for Continuous Spectral Super-Resolution
School of Statistics and Data Science, LEBPS, KLMDASR and LPMC（统计与数据科学学院，LEBPS，KLMDASR和LPMC）；Image Processing Center, School of Astronautics（图像处理中心，航天学院）
本文提出辐射结构神经算子用于连续光谱超分辨，通过物理一致性约束和角一致投影方法提升超光谱重建的准确性与物理合理性。
2026-03-12 cs.CV eess.IV
Real-Time Super-Resolution System of 4K-Video Based on Deep Learning
Southeast University（东南大学）；University of Cambridge（剑桥大学）
视频超分辨率（VSR）技术在重建低质量视频方面表现出色，避免了基于插值的算法带来的令人不快的模糊效果。然而，巨大的计算复杂度和内存占用阻碍了可扩展性的边缘和运行时推理在现实生活中的应用，特别是对于大规模的VSR任务。本文探讨了实时的【形】VSR系统的可能性，并设计了一种高效的通用VSR网络EGVSR。所提出的EGVSR是基于时空对抗学习的时间一致性。为了追求高达4K分辨率的更快VSR处理能力，本文尝试选择轻量级的网络结构和高效的上采样方法，在保证高视觉质量的情况下减少EGVSR网络所需的计算量。此外，在实际硬件平台上实现了批量归一化计算融合、卷积加速算法等神经网络加速技术，优化了EGVSR网络的推理过程。最后，我们的EGVSR实现了4K@29.61FPS的实时处理能力。与目前最先进的VSR网络TecoGAN相比，我们实现了85.04%的计算密度降低和7.92倍的性能加速。在视觉质量方面，所提出的EGVSR在大多数指标（例如LPIPS、tOF、tLP等）的列表中名列前茅。在公共测试数据集Vid4上，并在整体性能得分上超过其他最先进的方法。这个项目的源代码可以在www.example.com上找到。
2021-07-14 cs.AI cs.CV eess.IV
Point Cloud Upsampling and Normal Estimation using Deep Learning for Robust Surface Reconstruction
Ilmenau University of Technology（伊尔梅瑙工业大学）；Carl Zeiss AG（卡尔蔡司公司）
真实世界表面的重建在各种应用中都有很高的要求。大多数现有的重建方法应用3D扫描仪来创建通常稀疏且低密度的点云。这些点云将被三角化并与通过几何方法估计的表面法线结合用于可视化。然而，重建的质量取决于点云的密度和表面法线的估计。在本文中，我们提出了一种新的点云上采样深度学习架构，使后续的稳定和平滑的表面重建。一个低密度的噪声点云与相应的点法线被用来估计具有较高的密度和附加的点法线的点云。为此，我们提出了一个复合损失函数，鼓励网络估计点，躺在一个表面上，包括法线准确地预测表面的方向。我们的研究结果显示了估计法线与点位置的好处。生成的点云更平滑、更完整，最终的曲面重建更接近地面实况。
2021-02-26 cs.CV
Deep Magnification-Flexible Upsampling over 3D Point Clouds
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
本文讨论了从给定的稀疏点云生成稠密点云来模拟物体/场景的底层几何结构的问题。为了解决这个具有挑战性的问题，我们提出了一个新的端到端的基于学习的框架。具体来说，通过利用线性逼近定理，我们首先制定明确的问题，归结为确定插值权重和高阶逼近误差。然后，我们设计了一个轻量级的神经网络自适应学习统一和排序插值权重以及高阶细化，通过分析输入点云的局部几何形状。所提出的方法可以解释的显式配方，因此是更有效的内存比现有的。与仅针对预定义和固定的上采样因子工作的现有方法形成鲜明对比，所提出的框架仅需要具有一次性训练的单个神经网络来处理典型范围内的各种上采样因子，这在现实世界的应用中是非常期望的。此外，我们提出了一个简单而有效的培训策略，以推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和噪声数据。大量的实验合成和真实世界的数据表明，所提出的方法的优越性，在国家的最先进的方法定量和定性。
2022-03-29 cs.CV
Probability-based Global Cross-modal Upsampling for Pansharpening
Xi’an Jiaotong University（西安交通大学）；Nanyang Technological University（南洋理工大学）
全色锐化是遥感图像处理中必不可少的预处理步骤。虽然深度学习（DL）方法在这一任务上表现良好，但这些方法中使用的当前上采样方法仅利用低分辨率多光谱（LRMS）图像中每个像素的局部信息，而忽略利用其全局信息以及引导全色（PAN）图像的跨模态信息，这限制了它们的性能改进。为了解决这个问题，本文提出了一种新的基于概率的全局跨模态上采样（PGCU）方法进行全色锐化。准确地说，我们首先制定的PGCU方法从概率的角度来看，然后设计一个有效的网络模块来实现它充分利用上述信息，同时考虑到信道的特异性。PGCU模块由三个模块组成，即，信息抽取（IE）、分布和期望估计（DEE）以及精细调整（FA）。大量的实验验证了PGCU方法与其他流行的上采样方法相比的优越性。此外，实验还表明，PGCU模块可以帮助提高现有SOTA深度学习泛锐化方法的性能。这些代码可在https://github.com/Zeyu-Zhu/PGCU上获得。
2023-03-09 cs.CV
Taming Real-World Space-Time Video Super-Resolution with One-Step Diffusion
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；Visual Intelligence + X International Cooperation Joint Laboratory of MOE, Beijing（教育部视觉智能+X国际合作联合实验室）；Innovation School of Artificial Intelligence, Hefei University of Technology（合肥工业大学人工智能创新学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文提出OSDEnhancer框架，通过一步扩散模型实现鲁棒的时空视频超分辨率，解决了现实世界中复杂未知退化的问题，通过线性初始化和分治策略提升时空动态和纹理恢复性能。
2026-05-19 cs.CV cs.GR
CU-Net: Real-Time High-Fidelity Color Upsampling for Point Clouds
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；New Jersey Institute of Technology（新泽西理工学院）
由于现有技术的捕获、处理和通信限制，点云上采样对于高质量增强现实、虚拟现实和远程呈现应用是必不可少的。虽然已经很好地研究了几何上采样以致密点云的坐标，但是颜色属性的上采样在很大程度上被忽略了。在本文中，我们提出了CU-Net，这是第一个深度学习点云颜色上采样模型，可以实现低延迟和高视觉保真度操作。CU-Net通过利用基于稀疏卷积的特征提取器和基于神经隐函数的颜色预测模块实现线性时间和空间复杂度。因此，CU-Net在理论上保证比大多数具有二次复杂度的现有方法更有效。实验结果表明，CU-Net能够实时的对近百万点的真实感点云进行着色，且具有明显优于基线的视觉效果。此外，CU-Net可以适应任意上采样率和不可见对象，无需重新训练。我们的源代码可在https://github.com/UMass-LIDS/cunet上获得。
2022-11-16 cs.CV
Render In-between: Motion Guided Video Synthesis for Action Interpolation
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
对人类活动的视频进行上采样是一项有趣但具有挑战性的任务，具有从游戏到娱乐和体育广播的许多潜在应用。在这种情况下合成视频帧的主要困难源于人体运动的高度复杂性和非线性性质以及身体的复杂外观和纹理。我们建议解决这些问题的运动指导帧上采样框架，能够产生逼真的人体运动和外观。利用大规模运动捕捉数据集（AMASS）训练一种新的运动模型来推断帧间的非线性骨骼运动。高帧速率姿态预测然后由神经渲染流水线使用以产生全帧输出，同时考虑姿态和背景一致性。我们的管道只需要低帧率视频和未配对的人体运动数据，但不需要高帧率视频进行训练。此外，我们还为此任务贡献了第一个评估数据集，该数据集由高质量和高帧率的人类活动视频组成。与最先进的视频插值技术相比，我们的方法产生了更好的质量和准确性，这是显而易见的像素级，分布度量和比较用户评价的最先进的结果之间的帧。我们的代码和收集的数据集可以在https://git.io/Render-In-Between上找到。
2021-11-01 cs.CV
Deep Learning Techniques for Super-Resolution in Video Games
Bournemouth University（伯恩茅斯大学）；Department of Computing and Informatics（计算与信息学院）
视频游戏图形的计算成本正在增加，并且用于处理图形的硬件正在努力跟上。这意味着计算机科学家需要开发创造性的新方法来提高图形处理硬件的性能。用于视频超分辨率的深度学习技术可以使视频游戏具有高质量的图形，同时抵消大部分计算成本。这些新兴技术使消费者能够从视频游戏中获得更好的性能和乐趣，并有可能成为游戏开发行业的标准。
2020-12-17 cs.CV cs.NE eess.IV
Indices Matter: Learning to Index for Deep Image Matting
The University of Adelaide（阿德莱德大学）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
我们表明，现有的上采样算子可以与索引函数的概念统一起来。这个概念的灵感来自于深度图像抠图解码过程中的观察，其中索引引导的解池可以比其他上采样算子（如双线性插值）更好地恢复边界细节。通过将索引视为特征图的函数，我们引入了学习索引的概念，并提出了一种新的索引引导的编码器-解码器框架，其中索引是自适应地从数据中学习的，并用于指导池化和上采样操作，而不需要监督。该框架的核心是一个灵活的网络模块，称为IndexNet，它可以动态预测给定输入的索引。由于其灵活性，IndexNet可用作插件，适用于任何具有耦合下采样和上采样阶段的现成卷积网络。我们证明了IndexNet在自然图像抠图任务上的有效性，其中学习索引的质量可以从预测的alpha抠图中直观地观察到。在Composition-1 k抠图数据集上的结果表明，我们在MobileNetv 2上构建的模型比基于VGG-16的深度抠图基线至少有$16.1\%$改进，训练数据更少，模型容量更低。代码和模型已在以下网址提供：https://tinyurl.com/IndexNetV1
2019-08-02 cs.CV
PU-Flow: a Point Cloud Upsampling Network with Normalizing Flows
South China University of Technology（华南理工大学）；City University of Hong Kong（香港城市大学）；Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
点云上采样的目的是从给定的稀疏点云生成稠密点云，这是一个具有挑战性的任务，由于点集的不规则和无序的性质。为了解决这个问题，我们提出了一种新型的基于深度学习的模型，称为PU-Flow，它结合了标准化流和权重预测技术，以产生均匀分布在底层表面上的密集点。具体而言，我们利用归一化流的可逆特性来转换欧几里得空间和潜在空间之间的点，并将上采样过程制定为潜在空间中相邻点的集合，其中集合权重从局部几何上下文自适应地学习。大量的实验表明，我们的方法是有竞争力的，在大多数测试情况下，它优于国家的最先进的方法在重建质量，接近表面的精度，和计算效率。源代码将在https://github.com/unknownue/pu-flow上公开。
2022-06-08 cs.CV
4DSR-GCN: 4D Video Point Cloud Upsampling using Graph Convolutional Networks
Università degli Studi di Firenze（佛罗伦萨大学）
针对重度压缩的时变3D视频点云，本文提出结合动态边卷积、图注意力与GAN的轻量GCN上采样恢复模型，以约300KB参数达到可比重建质量并适配LiDAR边缘设备。
2023-06-01 cs.AI cs.CV cs.MM
CoordFlow: Coordinate Flow for Pixel-wise Neural Video Representation
Technion, Israel Institute of Technology（以色列理工学院）
本文提出 CoordFlow，一种逐像素隐式神经表示视频压缩方法，通过将视频分解为视觉一致层并利用运动轨迹补偿冗余，在性能上达到逐像素 INR 最优并与逐帧方法相当，同时具备无监督分割、超分辨率、稳定、修复和去噪等能力。
2025-01-01 cs.CV cs.LG
Extending Class Activation Mapping Using Gaussian Receptive Field
Pohang University of Science and Technology（浦项科技大学）
本文讨论了深度学习模型的可视化任务。为了改进基于类激活映射（CAM）的可视化方法，我们提供了两个选项。首先，我们提出了高斯上采样，这是一种改进的上采样方法，可以反映深度学习模型的特性。其次，我们确定和修改现有的CAM研究的数学推导中的不自然的条款。基于这两个选项，我们提出了扩展CAM，先进的CAM为基础的可视化方法，具有改进的理论性能。实验结果表明，扩展CAM提供了更准确的可视化比现有的方法。
2020-01-15 cs.CV
PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文讨论了从给定的稀疏点云生成均匀稠密的点云来描述底层几何结构的问题。由于点云的不规则性和无序性，点云加密作为一项生成任务具有挑战性。为了应对这一挑战，我们提出了一种新的基于深度神经网络的方法，称为PUGeo-Net，它为每个输入点学习$3\times 3$线性变换矩阵$\bf T$。矩阵$\mathbf T$近似局部参数化的增广雅可比矩阵，并在2D参数域和3D切平面之间建立一对一的对应关系，以便我们可以将自适应分布的2D样本（也是从数据中学习的）提升到3D空间。然后，我们通过计算沿切平面法线的位移将样本投影到曲面上。PUGeo-Net与现有的深度学习方法有着根本的不同，这些方法主要是由图像超分辨率技术驱动的，并在抽象特征空间中生成新的点。由于其以几何为中心的性质，PUGeo-Net适用于具有清晰特征的CAD模型和具有丰富几何细节的扫描模型。此外，PUGeo-Net还可以计算原始点和生成点的法线，这是曲面重建算法非常需要的。计算结果表明，PUGeo-Net是第一个可以联合生成顶点坐标和法线的神经网络，在上采样因子$4\sim 16$的准确性和效率方面始终优于最先进的神经网络。
2020-03-07 cs.CV
A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection
UC San Diego（加州大学圣迭戈分校）；IBM T. J. Watson Research（IBM T. J. Watson 研究院）
提出了一种统一的深度神经网络，表示为多尺度CNN（MS-CNN），用于快速多尺度目标检测。MS-CNN由建议子网络和检测子网络组成。在建议的子网络中，在多个输出层执行检测，以便感受野匹配不同尺度的对象。这些互补的尺度特定的检测器相结合，以产生一个强大的多尺度对象检测器。通过优化多任务丢失，统一网络是端到端学习的。通过反卷积的特征上采样也被探索，作为输入上采样的替代方案，以减少存储器和计算成本。最先进的目标检测性能，高达15 fps，报告的数据集，如KITTI和加州理工学院，包含大量的小对象。
2016-07-25 cs.CV
Motion-blurred Video Interpolation and Extrapolation
KAIST（韩国科学技术院）
场景中相机或物体的突然运动会导致视频模糊，因此恢复高质量视频需要两种类型的增强：视觉增强和时间上采样。广泛的研究试图从模糊图像序列中恢复干净的帧或通过插值对帧进行时间上采样，但联合处理这两个问题的研究非常有限。在这项工作中，我们提出了一种新的框架，用于从运动模糊的视频中以端到端的方式去模糊，内插和外推清晰的帧。我们首先通过光流估计从给定的输入中学习导致模糊的像素级运动，然后通过用估计的流扭曲解码的特征来预测多个干净的帧，从而设计我们的框架。为了确保预测帧之间的时间一致性并解决潜在的时间模糊性，我们提出了一个简单而有效的基于流的规则。通过对高速视频中运动模糊数据集进行广泛的定性和定量评估，突出了我们方法的有效性和可扩展性。
2021-03-10 cs.CV
CRVOS: Clue Refining Network for Video Object Segmentation
Yonsei University（延世大学）
基于编解码器的半监督视频对象分割（Semi-VOS）方法因其优越的性能而受到广泛关注。然而，它们中的大多数都具有复杂的中间网络，这些中间网络生成强大的说明符，以应对具有挑战性的场景，这在处理相对简单的场景时是非常低效的。为了解决这个问题，我们提出了一个实时网络，视频对象分割线索细化网络（CRVOS），它没有任何中间网络来有效地处理这些场景。在这项工作中，我们提出了一个简单的说明符，称为线索，它包括前一帧的粗掩码和坐标信息。我们还提出了一种新的细化模块，通过使用反卷积层代替双线性上采样层，与一般的细化模块相比，该模块显示出更好的性能。我们提出的方法显示了最快的速度与竞争力的准确性之间的现有方法。在DAVIS 2016验证集上，我们的方法达到了63.5 fps，J&F得分为81.6%。
2020-06-02 cs.CV
An Energy-Efficient Edge Computing Paradigm for Convolution-based Image Upsampling
University of California, San Diego（加州大学圣地亚哥分校）
针对基于实时深度学习的图像上采样应用提出了一种新的节能边缘计算范例。用于图像上采样的最先进的深度学习解决方案目前使用调整大小或子像素卷积来训练，以学习生成具有最小伪影的高保真图像的内核。然而，使用这些学习的卷积内核执行推理需要内存密集型特征映射变换，这在实时应用中占主导地位的时间和能源成本。为了减轻这种对内存带宽的压力，我们将调整大小或子像素卷积的使用限制在云中进行训练，方法是将学习的卷积内核转换为反卷积内核，然后将它们部署为功能等效的反卷积进行推理。这些内核转换旨在作为从训练转移到推理时的一次性成本，使系统设计人员能够通过保留在云中训练时学习的图像保真度，同时最大限度地减少边缘推理期间的数据传输损失，从而在其最佳上下文中使用每个算法。我们还探讨了现有的反卷积推理算法的变种，并介绍了一种新的变种考虑。我们使用所产生的时间和能量成本的定量模型分析和比较基于卷积的上采样算法的推理特性，并表明与子像素或调整大小的卷积相比，使用反卷积进行边缘推理可以提高系统延迟和能效。
2021-07-26 cs.AR cs.CV cs.DC
Index Network
The University of Adelaide（阿德莱德大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
我们表明，现有的上采样算子可以统一使用的索引函数的概念。这个概念的灵感来自于深度图像抠图解码过程中的观察，其中索引引导的解池通常可以比其他上采样算子（如双线性插值）更好地恢复边界细节。通过将索引视为特征图的函数，我们引入了“学习索引”的概念，并提出了一种新的索引引导编码器-解码器框架，其中索引自适应地从数据中学习，并用于指导下采样和上采样阶段，而无需额外的训练监督。该框架的核心是一个新的可学习模块，称为索引网络（IndexNet），它根据特征图本身动态生成索引。IndexNet可以用作插件，适用于几乎所有现成的卷积网络，这些卷积网络具有耦合的下采样和上采样阶段，使网络能够动态捕获局部模式的变化。特别是，我们实例化并研究了IndexNet的五个家族，并证明了它们在四个密集预测任务上的有效性，包括图像去噪、图像抠像、语义分割和单目深度估计。代码和模型已在https://tinyurl.com/IndexNetV1上提供
2020-04-05 cs.CV
Improving Dense Crowd Counting Convolutional Neural Networks using Inverse k-Nearest Neighbor Maps and Multiscale Upsampling
The Graduate Center of the City University of New York（纽约城市大学研究生中心）；Borough of Manhattan Community College - CUNY（纽约城市大学曼哈顿社区学院）；The City College of New York - CUNY（纽约城市大学纽约城市学院）
成千上万到数百万人的聚集经常发生在各种各样的事件中，这些高密度人群的自动计数对于安全，管理和测量事件的重要性是有用的。在这项工作中，我们证明了用于训练深度神经网络的人群密度图的常规标记方案不如我们的替代逆k最近邻（i $k$ NN）图有效，即使直接用于现有的最先进的网络结构。我们还提供了一种新的网络架构MUD-i $k$ NN，其通过转置卷积使用多尺度上采样以充分利用所提供的i $k$ NN标记。与i个$k$ NN图组合的该上采样进一步提高了人群计数准确度。我们的新的网络架构表现良好，与国家的最先进的。然而，我们的标签和上采样技术通常适用于现有的人群计数架构。
2019-03-29 cs.CV cs.LG stat.ML
Learning Uncertain Convolutional Features for Accurate Saliency Detection
Dalian University of Technology（大连理工大学）
深度卷积神经网络（CNN）在许多计算机视觉任务中提供了卓越的性能。在本文中，我们提出了一种新的深度全卷积网络模型，用于精确的显著目标检测。这项工作的关键贡献是学习深度不确定卷积特征（UCF），这有助于显著性检测的鲁棒性和准确性。我们通过在特定卷积层之后引入重新定义的dropout（R-dropout）来构建内部特征单元的不确定集合来实现这一点。此外，我们提出了一种有效的混合上采样方法，以减少我们的解码器网络中的反卷积算子的棋盘伪影。所提出的方法也可以应用于其他深度卷积网络。与现有的显著性检测方法相比，所提出的UCF模型能够将不确定性纳入更准确的对象边界推断。大量的实验表明，我们提出的显着性模型表现良好，对国家的最先进的方法。不确定特征学习机制以及上采样方法可以显着提高其他像素视觉任务的性能。
2017-08-07 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich（苏黎世联邦理工学院）；The University of Tokyo（东京大学）；Zhejiang University（浙江大学）；The Ohio State University（俄亥俄州立大学）；Microsoft（微软）
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上，而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性，我们的方法显式地创建一个三维点云表示的场景，并保持密集的3D-2D对应帧，反映从卫星视图推断的几何场景配置。至于在3D空间中的合成，我们实现了一个级联的网络架构，其中包含两个沙漏模块，用于从语义和每类潜在向量生成逐点的粗特征和细特征，然后投影到帧和上采样模块，以获得最终的逼真视频。通过利用计算的对应关系，所产生的街景视频帧坚持3D几何场景结构，并保持时间一致性。定性和定量实验表明，优越的结果相比，其他国家的最先进的合成方法，要么缺乏时间的一致性或现实的外观。据我们所知，我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
Test-Time Augmentation for 3D Point Cloud Classification and Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；VinAI Research（VinAI研究院）；Singapore Management University（新加坡管理大学）；Trinity College Dublin（都柏林圣三一学院）
本文针对稀疏3D点云性能下降问题，提出利用隐式场重建和点云上采样技术进行测试时增强，显著提升了ModelNet40等数据集上的分类与分割精度。
2023-11-22 cs.CV
AlphaNet: An Attention Guided Deep Network for Automatic Image Matting
Fynd
在本文中，我们提出了一个端到端的解决方案，即从自然图像中高精度提取前景物体的图像抠图。当背景是纯绿色或蓝色时，可以在工作室设置中通过色度键控轻松实现图像抠图和背景检测。尽管如此，在具有复杂且不均匀深度背景的自然场景中的图像抠图仍然是需要人为干预的繁琐任务。为了在自然场景中实现完整的自动前景提取，我们提出了一种方法，该方法将语义分割和深度图像抠图过程同化到单个网络中，以生成用于图像合成任务的详细语义抠图。我们提出的方法的贡献是双重的，首先，它可以被解释为一个完全自动化的语义图像抠图方法，其次作为现有的语义分割模型的细化。我们提出了一种新的模型架构，作为分割和抠图的组合，将上采样和下采样算子的功能与注意力的概念统一起来。如我们的工作所示，注意力引导下采样和上采样可以提取高质量的边界细节，不像其他正常的下采样和上采样技术。为了实现同样的目标，我们利用了一个注意力引导的编码器-解码器框架，该框架进行无监督学习，用于从数据中自适应地生成注意力图，以服务和指导上采样和下采样算子。我们还构建了一个以时尚电子商务为重点的数据集，其中包含高质量的alpha蒙版，以便于图像蒙版的训练和评估。
2020-03-07 cs.CV cs.LG eess.IV
Video Event Restoration Based on Keyframes for Video Anomaly Detection
Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）；Northwestern Polytechnical University（西北工业大学）
本文提出基于关键帧的视频事件复原新范式，并设计带双跳跃连接的U形Swin Transformer网络USTN-DSC及相邻帧差分损失，有效提升视频异常检测性能。
2023-04-11 cs.CV
PU-Net: Point Cloud Upsampling Network
The Chinese University of Hong Kong（香港中文大学）；Tel Aviv University（特拉维夫大学）；Guangdong Provincial Key Laboratory of Computer Vision and Virtual Reality Technology（广东省计算机视觉与虚拟现实技术重点实验室）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
由于数据的稀疏性和不规则性，使用深度网络学习和分析3D点云具有挑战性。本文提出了一种数据驱动的点云上采样技术。其核心思想是学习每个点的多级特征，并通过多分支卷积单元隐式地在特征空间中扩展点集。然后将扩展的特征拆分为多个特征，然后将其重建为上采样点集。我们的网络应用于补丁级别，具有联合损失函数，该函数鼓励上采样点以均匀分布保持在底层表面上。我们进行各种实验，使用合成和扫描数据来评估我们的方法，并证明其优越性，一些基线方法和基于优化的方法。结果表明，我们的上采样点具有更好的均匀性，更接近底层表面。
2018-03-26 cs.CV cs.GR
ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching
Center for Mathematical Modelling and Intelligent Systems for Health and Environment (MISHE)（数学建模与智能系统用于健康和环境的中心（MISHE））；Atlantic Technological University（大西洋技术大学）；Department of Engineering and Physics（工程与物理系）
提出增强型Shuffle Mixer（ESM）模块，通过融合主特征与视差上采样单元，以低计算成本恢复小尺度代价体丢失的细节，实现实时高精度立体匹配。
2026-06-25 cs.CV
