Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化，这些模式包括：（i）最大视频质量，（ii）最小比特率，（iii）最大编码率（之前的最小编码时间模式）和（iv）可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下，以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现，该方法使用不同的视频编码标准（x265，VP 9，AV 1）对来自不同视频数据集的各种视频进行编码。结果表明，从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省，而不牺牲视频质量。这是通过使用有效的回归模型来实现的，该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265，VP 9，AV 1，并在x265中使用新的GOP配置，在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
Joint Optimization of Rate, Distortion, and Decoding Energy for HEVC Intraframe Coding
本文提出了一种新的算法，旨在通过利用HEVC解码器解决方案的一般能量模型，最大限度地减少所需的解码能量。我们将能量模型结合到HEVC编码器中，使得它能够构造其解码过程消耗比常规比特流的解码过程更少能量的比特流。为了实现这一点，我们建议扩展传统的率失真优化方案的解码能量率失真的方法。为了在优化过程中获得快速的编码决策，我们推导出量化参数和拉格朗日乘子之间的固定关系，用于能量优化。我们的实验表明，这个概念是适用于帧内编码的视频和本地播放以及在线流媒体的情况下，高达15%的解码能量可以节省在大约相同幅度的比特率增加的代价。
2022-03-03 eess.IV
Multiple description video coding for real-time applications using HEVC
本文提出一种兼容HEVC的低复杂度、低延迟双信道多描述编码（MDC）方案，通过自适应IDR帧周期提升视频流在无线传输中的抗丢包鲁棒性。
2023-08-07 eess.IV
Region of Interest (ROI) Coding for Aerial Surveillance Video using AVC & HEVC
来自无人驾驶飞行器（UAV）的空中监视，即具有移动摄像机，对于警察以及灾区监视越来越感兴趣。对于更详细的地面图像，相机分辨率正在稳步提高。与此同时，要传输的视频数据量也在显著增加。为了减少数据量，引入了感兴趣区域（ROI）编码系统，该系统主要以牺牲剩余图像区域为代价对某些区域进行高质量编码。我们采用现有的ROI编码系统，依靠全局运动补偿，以保持完整的图像分辨率在整个图像。使用不同的ROI检测器来自动地将UAV机载视频图像分类为ROI和非ROI。我们提出用经修改的高效率视频编码（HEVC）编码器来替换经修改的高级视频编码（AVC）视频编码器。在检测系统本身没有任何变化的情况下，但是通过替换视频编码后端，我们能够将编码效率平均提高32%，尽管与常规AVC编码相比，常规HEVC仅为相同的测试序列和类似的PSNR提供12-30%的编码增益。由于所采用的ROI编码主要依赖于新出现的图像区域的帧内模式编码，因此与包括预测模式（帧间）的整个帧的常规编码相比，HEVC-ROI编码相对于AVC-ROI编码的增益取决于序列特性。我们提出了一个详细的分析帧内的比特分布来解释的增益。总的来说，我们可以提供编码数据速率为0.7-1.0 Mbit/s的全高清电视视频序列在30 fps的合理质量超过37分贝。
2018-01-19 eess.IV
Accelerating HEVC Intra Partitioning via a CNN-Hierarchical Attention Transformer Hybrid
Department of Artificial Intelligence, Indian Institute of Technology Kharagpur（人工智能系，印度理工学院Kharagpur）
提出HFViT混合架构，融合重参数化深度可分离卷积与分层注意力Transformer，以低复杂度实现高效全局信息传播，在HEVC帧内划分预测中降低VMAF BD-rate惩罚并保持低CPU延迟。
2026-05-27 cs.CV eess.IV
A Versatile Depth Video Encoding Scheme Based on Low-rank Tensor Modeling for Free Viewpoint Video
本文提出了一种基于低秩张量分解和HEVC帧内编码的低复杂度深度视频压缩方案，通过将深度序列表示为高阶张量并利用CP分解获取场景几何的低秩近似，在保证渲染质量的同时实现了显著的比特率增益。
2025-11-05 cs.MM eess.IV
Comparing H.265/HEVC and VP9: Impact of High Frame Rates on the Perceptual Quality of Compressed Videos
已知高帧速率可以增强特定视频内容的感知视觉质量。然而，缺乏对高帧速率的研究限制了该研究领域的扩展，特别是在全高清（FHD）和4K超高清视频格式的背景下。这项研究涉及到压缩FHD视频的主观和客观质量评估。首先，我们通过采用高效视频编码和VP 9在五个量化参数级别上对多个帧速率压缩FHD视频，即，15 fps、30 fps和60 fps。FHD视频从高帧率视频数据库BVI-HFR获得，跨越各种场景、颜色和运动，并且被示出为BBC广播内容的代表。其次，进行编码器和各个帧速率的压缩视频的详细的主观质量评估，从而以反映体验质量的差分平均意见得分的形式得到主观测量。特别是，其目的是调查压缩的感知质量的压缩FHD视频的影响，并比较两种编码器的性能为每个帧速率。最后，11个国家的最先进的客观质量评估指标的基准使用的主观测量，调查的相关性作为两个模型之间的相关系数的统计评价。在广泛的调查后，提出了一种增强全参考（FR）视频质量测量（VQM）的质量估计的建议。
2020-06-04 eess.IV
Sustainable Real-Time 8K60 HEVC Encoding for V2X: Repurposing Legacy NVENC Hardware at the Vehicular Edge
Waseda University（早稻田大学）
本文研究了如何通过重用遗留的NVIDIA Pascal GPU在车载边缘实现可持续的实时8K60 HEVC编码，以满足V2X通信对超低延迟视频 telemetry 的需求，同时减少能耗和电子垃圾。
2026-05-16 cs.MM cs.PF eess.IV
Recent Advances on HEVC Inter-frame Coding: From Optimization to Implementation and Beyond
高效率视频编码（HEVC）与其前身H. 264/AVC相比，在同等主观质量的情况下使视频压缩比加倍。编码效率的显著提高归功于许多新技术。帧间编码是其中最强大但最复杂的技术之一，并且造成了高计算负担，因此是基于HEVC的实时应用的主要障碍。近年来，人们对帧间编码进行了大量的研究，以降低实时应用的复杂度，或者进一步提高编码效率。在本文中，我们提供了一个全面的国家的最先进的技术，HEVC帧间编码从三个方面，即快速帧间编码解决方案，在不同的硬件平台上的实现，以及先进的帧间编码技术的审查。更具体地说，在每个方面的不同算法进一步细分为子类别，并在利弊，编码效率和编码复杂度方面进行比较。据我们所知，这是第一次对HEVC帧间编码的最新进展进行全面回顾，希望它有助于HEVC的改进、实现和应用以及下一代视频编码标准的持续发展。
2019-12-03 cs.MM eess.IV
Partition-Aware Adaptive Switching Neural Networks for Post-Processing in HEVC
本文针对最先进的视频编码标准高效率视频编码（HEVC）提出了基于神经网络的后处理。我们首先提出了一个分区感知卷积神经网络（CNN），它利用编码器产生的分区信息来帮助后处理。与现有的仅将解码帧作为输入的基于CNN的方法相比，所提出的方法考虑编码单元（CU）大小信息并将其与失真的解码帧组合，使得由HEVC引入的伪影被有效地减少。我们还引入了一个自适应切换神经网络（adaptive-switching neural network，简称CNN），它由多个独立的CNN组成，可以自适应地处理压缩视频帧中的内容变化和失真，从而进一步减少视觉伪影。此外，提出了一个迭代训练过程，训练这些独立的CNN专注于不同的本地补丁类。基准序列上的实验证明了我们的分区感知和自适应切换神经网络的有效性。源代码可以在http://min.sjtu.edu.cn/lwydemo/HEVCpostprocessing.html上找到。
2019-12-25 cs.MM eess.IV
Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
最近基于深度学习的视频压缩方法带来了比传统编解码器（如AVC和HEVC）更大的编码增益。然而，基于学习的编解码器通常需要相当长的计算时间和模型复杂度。在本文中，我们提出了一种新的轻量级混合视频编解码器，包括传统的视频编解码器（HEVC / VVC），无损图像编解码器，和我们的新的恢复网络。准确地说，我们的编码器包括传统的视频编码器和无损图像编码器，传输一个有损压缩的视频比特流随着无损压缩的参考帧。解码器由相应的视频/图像解码器和一个新的恢复网络构成，它在两个步骤中增强了压缩视频。在第一步中，使用大型视频数据集训练的网络恢复传统编码器丢失的细节。然后，我们进一步提高视频质量的指导下的参考图像，这是一个有损压缩的视频帧。参考图像提供视频特定信息，其可用于更好地恢复压缩视频的细节。实验结果表明，所提出的方法实现了相当的性能，顶级的方法，即使在HEVC应用。然而，我们的方法具有较低的复杂度，更快的运行时间，并且可以很容易地集成到现有的传统编解码器。
2023-03-21 cs.CV eess.IV
Memory Assessment of Versatile Video Coding
本文提出了下一代通用视频编码（VVC）的内存评估。采用最先进的高效率视频编码（HEVC）作为基线来执行存储器分析。目标是提供与HEVC相比，VVC的内存需求有多严重的见解和观察。所采用的方法包括两组实验：（1）整体记忆分析和（2）帧间预测特定记忆分析。在内存分析中获得的结果显示，VVC访问的内存比HEVC多13.4倍。此外，帧间预测模块（如在HEVC中）仍然是编码器中资源最密集的操作：60%-90%的存储器需求。帧间预测特定的分析表明，VVC需要比HEVC多5.3倍的存储器访问。此外，我们的分析表明，高达23%的这种增长是由于VVC novel-CU大小（大于64 x64）。
2020-06-01 cs.MM eess.IV
Quality-Driven Dynamic VVC Frame Partitioning for Efficient Parallel Processing
VVC是下一代视频编码标准，提供超出HEVC标准的编码能力。最新的视频编码标准的高计算复杂性需要高级并行技术，以实现实时和低延迟的编码和解码。HEVC和VVC包括瓦片网格分割，其允许利用独立线程同时处理帧的矩形区域。瓦片网格可以进一步划分成矩形切片（RS）的水平子网格，从而增加划分灵活性。本文提出的动态瓦片和矩形切片（TRS）分区解决方案受益于这种灵活性。TRS分割是在帧级进行的，同时考虑到内容的空间纹理和先前编码帧的编码时间。所提出的解决方案搜索最佳的分区配置，最大限度地减少多线程编码时间和编码质量损失之间的权衡。实验证明，与均匀TRS划分相比，该方法显著减少了多线程编码时间，编码质量略有提高。
2020-12-29 cs.DC eess.IV
Video Quality Assessment and Coding Complexity of the Versatile Video Coding Standard
本文全面分析了VVC标准相比HEVC的编码性能与复杂度，发现VVC在主客观质量上可节省31%-40%比特率，但解码复杂度增加1.5倍，编码复杂度至少增加8倍。
2023-10-19 eess.IV
Improved Encoding for Overfitted Video Codecs
本文通过光流估计引导运动信息学习并引入联合率失真优化，在保持低解码复杂度的同时，使过拟合视频编码器性能接近HEVC并优于其他同类编码器。
2025-03-26 eess.IV
Complexity Analysis Of Next-Generation VVC Encoding and Decoding
虽然下一代视频压缩标准，通用视频编码（VVC），提供了一个优越的压缩效率，其计算复杂性显着增加。本文深入分析了VVC测试模型6的编码器和解码器的复杂度，通过量化每个编码工具的复杂度分解，并测量VVC编码/解码的复杂度和内存需求。这些广泛的分析是在低延迟（LD）、随机访问（RA）和全帧内（AI）条件下（总共320次编码/解码）对720 p、1080 p和2160 p的六个视频序列进行的。结果表明，与LD中的HEVC相比，VVC编码器和解码器分别复杂5倍和1.5倍，并且在AI中分别复杂31倍和1.8倍。对编码工具的详细分析表明，平均而言，在LD中，运动估计工具占53%，变换和量化占22%，熵编码占7%。在解码中，环路滤波器占30%，运动补偿占20%，熵解码占16%，是最复杂的模块。此外，VVC编码/解码所需的内存带宽是通过内存配置来测量的，分别是HEVC的30倍和3倍。报告的结果和见解是一个指导未来的研究和实现节能的VVC编码器/解码器。
2020-05-21 cs.CC cs.MM eess.IV
Video compression with low complexity CNN-based spatial resolution adaptation
Bristol Vision Institute（布里斯托尔视觉研究所）；University of Bristol（布里斯托尔大学）
最近已经证明，空间分辨率自适应可以集成在视频压缩中，以通过在编码之前进行空间下采样和在解码器处进行超分辨来提高整体编码性能。当使用卷积神经网络（CNN）来执行分辨率上采样时，已经报告了显著的改进。然而，由于采用了基于CNN的超分辨率，这种方法在解码器处具有高复杂度。在本文中，提出了一种新的框架，支持灵活分配的复杂性之间的编码器和解码器。该方法采用CNN模型在编码器处进行视频下采样，并使用Lanczos 3滤波器在解码器处重建全分辨率。所提出的方法被集成到HEVC HM 16.20软件中，并使用All Intra配置在JVET UHD测试序列上进行评估。实验结果证明了所提出的方法的潜力，与原始HEVC HM相比具有显著的比特率节省（超过10%），并且编码器（29%）和解码器（10%）处的计算复杂度降低。
2020-07-29 cs.CV cs.LG cs.MM
Deep Video Precoding
iSIZE Ltd.（iSIZE有限公司）
目前有几个研究小组正在研究深度学习如何推动图像和视频编码的发展。一个悬而未决的问题是如何使深度神经网络与现有的（和即将推出的）视频编解码器（如MPEG AVC，HEVC，VVC，Google VP 9和AOM AV 1）以及现有的容器和传输格式结合使用，而不对客户端进行任何更改。在实际部署方面，这种兼容性是一个至关重要的方面，特别是由于视频内容行业和硬件制造商预计将在可预见的未来继续致力于这些标准。我们建议使用深度神经网络作为当前和未来视频编解码器和自适应视频流系统的预编码器。在我们当前的设计中，核心预编码组件包括在传输之前在视频编码期间操作的降尺度神经网络的级联结构。这与用于每个可独立解码的流段的预编码模式选择算法相耦合，该预编码模式选择算法根据场景特性、所利用的编码器以及期望的比特率和编码配置来调整缩减因子。我们的框架与所有当前和未来的编解码器和传输标准兼容，因为我们的深度预编码网络结构是结合线性升尺度滤波器（例如，双线性过滤器），所有网络视频播放器都支持。FHD和UHD内容以及广泛使用的AVC、HEVC和VP 9编码器的结果表明，将这些标准与所提出的深度视频预编码相结合，在适合于视频点播自适应流传输系统的编码配置和比特率下，允许15%至45%的速率降低。使用预编码还可以降低编码复杂度，这对于H.265/HEVC和VP 9等复杂编码器的成本效益云部署至关重要。
2019-12-13 cs.LG cs.MM eess.IV
Decoding-Energy-Rate-Distortion Optimization for Video Coding
本文提出了一种生成编码视频比特流的方法，该方法比传统的编码比特流需要更少的解码能量。为此，我们建议扩展标准的率失真优化方法，也考虑解码能量。在编码器中，解码能量在运行时使用基于特征的能量模型来估计。这些能量估计然后被用于计算由编码器最小化的解码能量速率失真成本。这最终导致这三个参数之间的最佳权衡。因此，我们介绍了描述解码能量率失真优化的数学理论，并详细解释了所提出的编码器算法。对于速率-能量控制，引入了一个新的编码器参数。最后，测量HEVC编码的比特流的软件解码过程。结果表明，这种方法可以导致高达30%的解码能量减少在一个恒定的视觉客观质量时，接受在同一数量级的比特率增加。
2022-03-02 eess.IV
Encoder-Quantization-Motion-based Video Quality Metrics
本文合并多个人工主观数据集并引入HEVC轻量级特征，提出可在编码或解码端低开销实时计算的视频质量指标，相关性优于VMAF与P.1204.3，并支持跨动态范围泛化。
2024-04-09 eess.IV
A High-Level Feature Model to Predict the Encoding Energy of a Hardware Video Encoder
本文提出一种基于高斯过程回归的高层特征模型，用于预测硬件视频编码器的编码能量，误差约9%，并发现空间分辨率是关键特征，可辅助预估不同分辨率、编码标准和预设下的编码能耗。
2025-10-14 eess.IV eess.SP
Encoder Complexity Control in SVT-AV1 by Speed-Adaptive Preset Switching
针对视频编码计算复杂度日益增加的问题，本文提出在 SVT-AV1 中通过速度自适应预设切换实现复杂度控制，使用户能在完整预设范围内按时间约束编码，平均精度达 8.9% 且无额外延迟。
2023-07-11 eess.IV
Fast Inter-Prediction based on Decision Trees for AV1 encoding
由于使用了许多先进的工具和改进，如先进的帧间预测模式，AOMedia Video 1（AV 1）标准可以实现相当高的压缩效率。然而，这些都是以编码器的高计算复杂度为代价的，这可能会限制该标准在实际应用中的益处。本文表明，并非所有序列都受益于使用所有这些模式，这表明可以引入一些编码器优化来加速AV 1编码。提出了一种基于决策树的帧间模式检测方法，用于有选择地判断是否检测所有帧间模式。提取适当的特征并用于对每个块执行决策。实验结果表明，该方法在对编码效率影响不大的情况下，平均可减少43.4%的编码时间.
2019-08-29 eess.IV
Energy Reduction Opportunities in HDR Video Encoding
本文比较了HDR视频在不同位深配置下的编码能耗，发现对8-bit输入进行线性缩放虽略降视觉质量，但可借助向量指令显著降低编码复杂度和能耗，且低码率下8-bit内部位深的压缩效率可超过10-bit编码。
2024-06-17 eess.IV
Video coding technique with parametric modeling of noise
本文提出了一种视频编码方法，其中噪声编码使用一种新的参数模型表示频谱包络和能量的空间分布。所提出的方法已经通过实验评估，使用视频测试序列在一个实际的设置，包括一个简单的，实时的降噪技术和高效率的视频编解码器（HEVC）。实验结果表明，与传统的视频编码方法相比，该方法可以使重构视频的主观质量提高约1.8个MOS（Mean Opinion Scope）点（11点尺度）。此外，本工作证实了在以前的作品中获得的结果，即使是唯一的降噪编码之前的使用提供了质量的提高。
2019-04-26 cs.MM eess.IV
FRAPPE: Full Input, Residual Output Autoencoding with Projection Pursuit Encoder
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出FRAPPE框架，通过全输入预测残差输出并使用投影追踪编码器，实现零开销变速率编码，在CPU上实现实时1080p编码，压缩效率优于AVIF。
2026-05-27 eess.IV
Scalable SSIM Estimation from PSNR for Per-Title and Context-Adaptive Encoding Workflows
Université du Québec à Rimouski（魁北克大学里穆斯基分校）；Kingston University London（金斯顿大学伦敦校区）
针对流媒体编码中SSIM计算开销大的问题，提出ApproxSSIMate方法，利用PSNR和预计算统计量估计SSIM，解耦质量评估，显著降低开销，并在多种编解码器上验证有效性。
2026-09-22 cs.MM eess.IV
Compressed Video Super-Resolution based on Hierarchical Encoding
University of Bristol（布里斯托大学）；University of Electronic Science and Technology of China（电子科学与技术大学）
本研究提出基于分层编码transformer的通用压缩视频超分辨率方法VSR-HE，可4倍放大高压缩比视频、消除H.265/HEVC压缩伪影，已提交至ICME 2025相关挑战赛的两个赛道。
2025-06-17 cs.CV eess.IV
Unravelling the Power of Single-Pass Look-Ahead in Modern Codecs for Optimized Transcoding Deployment
该研究评估 x264、SVT-AV1、NVIDIA 与 AWS Mediaconvert 等现代编码器的单遍编码效果，并按复杂度场景给出编码器与预设选择建议。
2024-04-08 cs.MM eess.IV
Fast Multirate Encoding for 360° Video in OMAF Streaming Workflows
Brandenburg University of Technology Cottbus-Senftenberg（勃兰登堡工业大学科特布斯-森夫滕贝格分校）
本文提出快速多速率编码策略，通过跨分辨率和QP的信息重用，显著加速HEVC编码，减少编码时间达33%-59%，并提升流媒体效率。
2026-01-24 cs.MM eess.IV
Quality-Constant Per-Shot Encoding by Two-Pass Learning-based Rate Factor Prediction
Bilibili Inc.（哔哩哔哩公司）
提供质量恒定的流可以同时保证用户体验并防止浪费比特率。在本文中，我们提出了一种新的基于深度学习的两遍编码器参数预测框架来决定速率因子（RF），编码器可以输出恒定质量的流。对于视频中的每个单镜头片段，该方法首先通过超快速预处理提取空间、时间和预编码特征。基于这些特征，通过深度神经网络预测RF参数。视频编码器使用RF来压缩片段作为第一编码通道。然后测量第一遍编码的VMAF质量。如果质量不满足目标，则将执行第二遍RF预测和编码。在第一遍预测的RF和相应的实际质量作为反馈的帮助下，第二遍预测将是高度准确的。实验结果表明，该方法的平均编码复杂度仅为1.55倍，压缩后视频的实际VMAF与目标VMAF的偏差在$\pm1$以内的准确率达到98.88%.
2022-08-23 cs.CV eess.IV
Evaluation of Hardware-based Video Encoders on Modern GPUs for UHD Live-Streaming
Waseda University（早稻田大学）
本文评估了现代GPU上硬件视频编码器在UHD实时直播中的性能，比较了不同GPU和SoC的编码效率与能耗，发现硬件编码器在实时场景中能匹配软件性能，但不同代际间性能提升有限。
2025-11-24 cs.AR cs.MM eess.IV
Speeding up VP9 Intra Encoder with Hierarchical Deep Learning Based Partition Prediction
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Netflix Inc.（Netflix公司）
在VP 9视频编解码器中，在编码期间通过使用率失真优化（RDO）递归地分割64 $\times$ 64超级块来决定块的大小。这个过程是计算密集型的，因为一个超级块的可能分区的组合搜索空间。在这里，我们提出了一个基于深度学习的替代框架，使用分层全卷积网络（H-FCN）以四级分区树的形式预测帧内模式超级块分区。我们创建了一个大型的VP 9超级块数据库和相应的分区来训练H-FCN模型，随后将其与VP 9编码器集成以减少帧内模式编码时间。实验结果表明，我们的方法平均将帧内模式编码速度提高了69.7%，但代价是Bjontegaard-Delta比特率（BD率）增加了1.71%。虽然VP 9提供了几个内置的速度级别，旨在以降低率失真性能为代价提供更快的编码，但我们发现，我们的模型能够在加速比和BD速率方面优于参考VP 9编码器的最快推荐速度级别，以获得高质量的帧内编码配置。
2020-07-19 cs.CV cs.LG eess.IV
Partition Tree Search Acceleration for VVC: Survey and Evaluation with VTM Evolution
InterDigital, R&I（InterDigital 研究院）；Univ Rennes, INSA Rennes（雷恩大学，雷恩国立应用科学学院）；CNRS, IETR - UMR 6164（法国国家科学研究中心，电子与信息技术研究所）
本文综述并评估了VVC中用于减少分区搜索复杂度的最新加速技术，分析了这些技术如何随着VTM版本的演进而发展，并探讨了在不同VTM配置和软件版本下提升编码复杂度与压缩效率之间平衡的挑战。
2026-05-19 cs.MM eess.IV
Encoding Time and Energy Model for SVT-AV1 based on Video Complexity
针对视频编码压缩优化带来的能耗攀升问题，提出基于视频复杂度与编码器配置经验关系的SVT-AV1编码时间及能量模型，实现较低的预测误差，助力压缩与能耗的权衡。
2024-01-30 cs.MM eess.IV
Auto-Encoding for Shared Cross Domain Feature Representation and Image-to-Image Translation
Amity University（阿米提大学）
图像到图像的转换是计算机视觉和模式识别问题的一个子集，我们的目标是学习域$\mathbf{X}_1$的输入图像和域$\mathbf{X}_2$的输出图像之间的映射。当前方法使用具有编码器-解码器结构的神经网络来学习映射$G:\mathbf{X}_1 \to\mathbf{X}_2$，使得来自$\mathbf{X}_2$和$G(\mathbf{X}_1)$的图像的分布是相同的，其中$G(\mathbf{X}_1) = d_G (f_G (\mathbf{X}_1))$和$f_G (\cdot)$被称为编码器，而$d_G(\cdot)$被称为解码器。目前，也计算逆映射$F:\mathbf{X}_2 \to \mathbf{X}_1$的这种方法使用单独的编码器-解码器对$d_F (f_F (\mathbf{X}_2))$或至少单独的解码器$d_F (\cdot)$来这样做。在这里，我们介绍了一种方法来执行跨域图像到图像的翻译跨多个域使用一个单一的编码器-解码器架构。我们使用自动编码器网络，其给定输入图像$\mathbf{X}_1$，首先计算潜在域编码$Z_d = f_d (\mathbf{X}_1)$和潜在内容编码$Z_c = f_c (\mathbf{X}_1)$，其中域编码$Z_d$和内容编码$Z_c$是独立的。然后，解码器网络$g(Z_d,Z_c)$创建原始图像$\mathbf{\…
2020-06-11 cs.CV cs.LG eess.IV
Performance Analysis of Hardware-Accelerated 10-Bit 4:2:2 Encoding with Split-Frame Encoding for High-Fidelity V-PCC Streaming
School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程学院）
针对高保真V-PCC流媒体对10位4:2:2编码的实时需求，本文利用Blackwell GPU的四个硬件编码器实现分帧编码，达到122 fps吞吐量，验证了通用GPU的可行性。
2026-06-28 cs.AR cs.MM eess.IV
