CodecSplat: Ultra-Compact Latent Coding for Feed-Forward 3D Gaussian Splatting
Sun Yat-sen University（中山大学）；Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
提出CodecSplat框架，通过将压缩集成到前馈式高斯生成流水线中，利用结构化中间特征表示实现超紧凑场景编码，显著降低存储和传输开销。
2026-10-19 cs.CV
Reconstructing Continuous Light Field From Single Coded Image
Nagoya University（名古屋大学）
本文提出一种结合联合孔径-曝光编码与神经辐射场的方法，从单张编码图像高效重建连续光场，无需测试时优化，为相机设计与神经渲染的首次结合。
2023-11-16 cs.CV cs.GR eess.IV
Enhanced Spatially Interleaved Techniques for Multi-View Distributed Video Coding
本文提出了一种多视点分布式视频编码框架，独立的摄像机编码和集中解码。时空视图隐藏方法的开发，利用所采用的混合KEY/Wyner-Ziv帧的交织性质，用于边信息（SI）的逐块生成。我们研究了一些视图隐藏方法，并开发了一种联合方法，利用所有可用的相关性形成的边信息。我们应用多样性技术融合多个这样的预测，从而实现更可靠的结果。我们还介绍了系统的增强功能，通过选择性反馈，视图间位平面投影和帧减法进一步提高率失真性能。结果表明，相对于H.264帧内编码的比特率降低25%或相当于2.5 dB的PSNR增加的性能显着改善。
2019-12-17 cs.CV cs.MM
BVI-CR: A Multi-View Human Dataset for Volumetric Video Compression
针对体积视频压缩缺乏高质量数据集的问题，提出包含18个多视角RGB-D人体动作序列的BVI-CR数据集，并基准测试表明神经表示方法相比传统编码平均PSNR增益达38%。
2024-11-17 cs.CV eess.IV
3D hierarchical optimization for Multi-view depth map coding
随着高分辨率3D传感器的普及，深度数据得到了广泛的应用。在多视图序列中，深度信息用于补充每个视图的颜色数据。本文提出了一种具有唯一表示的多个深度图的联合编码。每个视图的彩色和深度图像被独立分割，并以最佳率失真方式组合。所得到的分区被投影到参考视图，在参考视图中构建用于多个视图的连贯层次。采用率失真优化算法对分层结构中的节点进行选择，得到最终的分割结果。一致分割用于对多个视图的深度图进行鲁棒编码，从而获得与HEVC编码标准竞争的结果。可从以下网址获得：http://link.springer.com/article/10.1007/s11042-017-5409-z
2019-11-01 cs.CV
LDMIC: Learning-based Distributed Multi-view Image Coding
The Hong Kong University of Science and Technology（香港科技大学）
本文提出基于学习的分布式多视图图像编码框架LDMIC，通过独立编码和基于交叉注意力的联合上下文传递模块实现联合解码，在快速编码的同时显著优于现有多视图图像编码方法。
2023-04-12 cs.AI cs.CV cs.LG
Stereoscopic Omnidirectional Image Quality Assessment Based on Predictive Coding Theory
University of Science and Technology of China（中国科学技术大学）
立体全向图像的客观质量评估是一个具有挑战性的问题，因为它受到多个方面的影响，如投影变形，视场（FoV）范围，双目视觉，视觉舒适度等。现有的研究表明，经典的2D或3D图像质量评估（IQA）的指标是不能够表现良好的立体全向图像。然而，很少有研究工作集中在评价的感知视觉质量的全向图像，特别是立体全向图像。本文基于人类视觉系统（HVS）的预测编码理论，针对三维360度图像的特点，提出了一种立体全方位图像质量评价器（SOIQE）。SOIQE包括两个模块：基于预测编码理论的双目竞争模块和多视点融合模块。在双目竞争模块中，我们引入预测编码理论来模拟高层模式之间的竞争，通过计算相似度和竞争优势度来获得视口图像的质量分数。此外，我们开发的多视图融合模块聚合的质量分数的视口图像的内容权重和位置权重的帮助下。SOIQE是一个不需要回归学习的参数化模型，这保证了它的可解释性和泛化性能。我们发表的立体全向图像质量评估数据库（SOLID）的实验结果表明，我们提出的SOIQE方法优于国家的最先进的指标。此外，我们还验证了每个提出的模块的有效性在公共立体图像数据集和全景图像数据集。
2019-06-12 cs.CV cs.MM
Light Field Compression with Disparity Guided Sparse Coding based on Structural Key Views
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
最近的成像技术正在迅速发展，以采样更丰富和更身临其境的3D世界的表示。基于微透镜阵列的光场（LF）相机是新兴技术之一。为了记录光线的方向性信息，低频图像与空间维度相近的传统二维图像相比，需要更大的存储空间和传输带宽，低频数据的压缩成为其应用的重要组成部分。在本文中，我们提出了一种LF编解码器，充分利用LF子视图之间的内在几何形状，首先近似LF与视差引导稀疏编码的透视移位光场字典。稀疏编码仅基于几个优化的结构关键视图（SKV）;然而，可以从编码系数恢复整个LF。通过保持编码器和解码器之间的近似相同，仅需要将非关键视图、视差图和SKV的残差压缩到比特流中。提出了一种优化的SKV选择方法，使得大部分LF空间信息可以被保留。为了实现最佳的字典效率，LF被划分为几个编码区域（CR），在其上单独进行重建。在LF基准数据集上进行了实验和比较，结果表明，与高效视频编码（HEVC）相比，所提出的SC-SKV编解码器在率失真性能和视觉质量方面都产生了令人信服的压缩结果：平均实现了47.87%的BD速率降低和1.59 dB的BD-PSNR提高，特别是在低比特率场景下，最多可提高4 dB。
2017-05-10 cs.CV
Sparse-View CT Reconstruction via Convolutional Sparse Coding
Sichuan University（四川大学）
传统的基于字典学习的CT重建方法是基于块的，并且用这些方法学习的特征通常包含相同特征的移位版本。为了解决这些问题，卷积稀疏编码（CSC）已被提出并引入各种应用。受CSC在信号处理领域的成功应用的启发，本文提出了一种基于CSC的稀疏CT重建方法。该方法直接对整幅图像进行处理，不需要像基于字典学习的方法那样将图像分割成重叠的小块，能够保持更多的细节信息，避免小块聚集带来的伪影。实验结果表明，该方法在定性和定量方面都优于现有的几种算法。
2018-10-15 cs.CV physics.med-ph
Information Theory-Guided Heuristic Progressive Multi-View Coding
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对现有多视图对比学习存在的噪声未过滤、负样本对处理不当等问题，提出信息论引导的三层渐进多视图编码方法IPMC，在理论和实验上均优于现有方法。
2023-08-23 cs.CV cs.LG eess.IV
Information Theory-Guided Heuristic Progressive Multi-View Coding
针对多视图表示学习中现有对比学习方法存在的噪声未过滤、负样本对处理不当等问题，提出信息论引导的三层渐进式多视图编码方法IPMC，在理论和实验上均优于现有方法。
2023-08-22 cs.AI cs.CV cs.LG
A Hierarchical Coding Scheme for Glasses-free 3D Displays Based on Scalable Hybrid Layered Representation of Real-World Light Fields
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于低秩乘法层和傅立叶视差层透射模式的分层光场编码方案。该方案从不同扫描顺序确定的光场视图的子集中学习堆叠的乘法层。乘法层使用快速数据驱动的卷积神经网络（CNN）进行优化。利用层模式的空间相关性，在Krylov子空间上通过奇异值分解得到的因子分解中具有不同的低秩。此外，利用HEVC进行编码有效地去除了低秩近似层中的视图内和视图间相关性。来自乘法表示的近似解码视图的初始子集用于构造傅立叶视差层（FDL）表示。FDL模型合成由预定义的分层预测顺序识别的视图的第二子集。通过对残差信号进行编码，进一步消除了合成视图的预测残差之间的相关性。采用从解码残差获得的视图的集合，以便改进FDL模型并且以改进的准确度预测视图的下一子集。重复该分层过程，直到所有光场视图都被编码。建议的混合分层表示和编码方案的关键优点是，它不仅利用空间和时间冗余，但有效地利用了强大的内在相似性相邻子孔径图像在水平和垂直方向上指定的不同的预测顺序。此外，该方案是灵活的，以实现在一个单一的集成系统中的解码器的多个比特率的范围。与真实光场的压缩性能分析表明，大量的比特率节省，保持良好的重建质量。
2021-04-19 cs.CV
Contrastive Multiview Coding
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
人类通过许多感官渠道来观察世界，例如，左眼看到的长波长光通道，或者右耳听到的高频振动通道。每个视图都是嘈杂的和不完整的，但是重要的因素，例如物理、几何和语义，往往在所有视图之间共享（例如，“狗”可以被看到、听到和感觉到）。我们调查的经典假设，一个强大的代表性是一个模型的观点不变的因素。我们研究这一假设的框架下，多视图对比学习，在那里我们学习的表示，旨在最大限度地提高互信息之间的不同意见，同一场景，但在其他方面是紧凑的。我们的方法可以扩展到任何数量的视图，并且是视图不可知的。我们分析的方法，使其工作的关键属性，发现对比损失优于一个流行的替代方案的基础上跨视图预测，和更多的意见，我们从学习，更好地得到的表示捕捉底层场景语义。我们的方法在图像和视频无监督学习基准测试中取得了最先进的结果。代码发布于：http://github.com/HobbitLong/CMC/。
2020-12-18 cs.CV cs.LG
GAN-Based Multi-View Video Coding with Spatio-Temporal EPI Reconstruction
Fuzhou University（福州大学）
针对多视点视频编码比特率高、重建精度低的问题，提出基于GAN的时空EPI重建方法，通过提取隐编码作边信息、联合约束重建代价与熵，显著提升率失真性能。
2023-05-05 cs.CV eess.IV
Multiview Hessian Discriminative Sparse Coding for Image Annotation
University of Technology, Sydney（悉尼科技大学）
稀疏编码通过使用过完备字典来稀疏地表示信号，并且在实际计算机视觉应用中获得了有希望的性能，特别是对于诸如图像去噪和图像修补的信号恢复任务。近年来，许多区别性稀疏编码算法已经被开发用于分类问题，但它们不能自然地处理由多视图特征表示的视觉数据。此外，现有的稀疏编码算法使用图拉普拉斯算子来模拟数据分布的局部几何形状。已经确定拉普拉斯正则化使解偏向于常数函数，这可能导致差的外推能力。在本文中，我们提出了多视图Hessian判别稀疏编码（mHDSC）无缝集成Hessian正则化与判别稀疏编码的多视图学习问题。特别地，mHDSC利用Hessian正则化来引导沿着流形中的测地线平滑变化的解决方案，并将标签信息视为用于结合图像注释的区分能力的特征的附加视图。我们在PASCAL VOC'07数据集上进行了广泛的实验，并证明了mHDSC用于图像标注的有效性。
2013-07-15 cs.CV cs.IT cs.MM
Blind Stereoscopic Omnidirectional Image Quality Assessment Using Predictive Coding Hierarchy
School of Computational and Mathematical Sciences, Cardiff University（卡迪夫大学计算与数学科学学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对立体全景图像质量评估的挑战，本文提出受预测编码层级启发的PCH指标，经实验验证其性能优于现有最优方法。
2026-09-01 cs.CV
Multiview Video Compression Using Advanced HEVC Screen Content Coding
Poznań University of Technology（波兹南理工大学）
提出了一种基于屏幕内容编码的多视点视频编码方法。假设在某个时刻，对应于所有视图的帧被打包成单个帧，即，应用帧兼容方法进行多视图编码。对于这样的编码场景，本文证明了屏幕内容编码可以有效地用于多视点视频编码。考虑两种方法：第一种使用标准HEVC屏幕内容编码，第二种使用高级屏幕内容编码。后者是作者的原始提议，其利用四分之一像素运动矢量和HEVC屏幕内容编码的其他非标准扩展。实验结果表明，即使使用标准HEVC屏幕内容编码，多视图视频编码也比联播HEVC编码高效得多。所提出的高级屏幕内容译码提供与MV-HEVC实质上相同的译码效率，MV-HEVC是最先进的多视图视频压缩技术。作者认为，高级屏幕内容编码可以有效地用于新的通用视频编码（VVC）技术。然而，VVC的参考多视图扩展还不存在，因此，对于基于VVC的编码，实验比较留给未来的工作。
2021-06-25 cs.CV cs.MM
A Novel Hierarchical Light Field Coding Scheme Based on Hybrid Stacked Multiplicative Layers and Fourier Disparity Layers for Glasses-Free 3D Displays
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于低秩乘法层和傅立叶视差层透射模式的分层光场编码方案。所提出的方案识别使用卷积神经网络针对不同扫描顺序优化的光场视图子集的乘法层。我们的方法利用隐藏的低秩结构中的乘法层从不同的扫描模式的子集。通过对Krylov子空间进行不同秩的低秩近似，可以有效地去除乘法层中的空间冗余。近似层之间的视图内和视图间冗余通过HEVC编码进一步去除。接下来，基于所选择的分层顺序从近似光场的第一子集构造傅立叶视差层表示。通过对傅立叶视差层进行建模来合成后续视图子集，傅立叶视差层以改进的精度迭代地细化表示。所提出的混合分层表示和编码方案的关键优点在于，它不仅利用光场中的空间和时间冗余，而且有效地利用由不同预测顺序指定的水平和垂直方向上的相邻子孔径图像之间的内在相似性。此外，该方案是灵活的，以实现在一个单一的集成系统内的解码器的多个比特率的范围。在真实光场上分析了该方案的压缩性能。我们实现了大量的比特率节省，并保持良好的光场重建质量。
2021-08-27 cs.CV eess.IV
Auto-Weighted Layer Representation Based View Synthesis Distortion Estimation for 3-D Video Coding
Nanyang Technological University（南洋理工大学）；Alibaba-NTU Singapore Joint Research Institute（阿里巴巴-南洋理工大学新加坡联合研究院）；Tsinghua University（清华大学）；Shandong Normal University（山东师范大学）；Simon Fraser University（西蒙弗雷泽大学）；Beijing Jiao Tong University（北京交通大学）；Beijing Key Laboratory of Advanced Information Science and Network Technology（北京市先进信息科学与网络技术重点实验室）
近来，已经研究了各种视图合成失真估计模型以更好地服务于3-D视频编码。然而，他们很难定量建模之间的关系，不同程度的深度变化，纹理退化，和视图合成失真（VSD），这是至关重要的率失真优化和率分配。本文提出了一种基于自动加权层表示的视图合成失真估计模型。首先，根据深度变化的程度及其相关的纹理退化定义子VSD（S-VSD）。在此之后，一组理论推导表明，VSD可以近似分解为S-VSD乘以其相关的权重。为了获得S-VSD，开发了S-VSD的基于层的表示，其中具有相同深度变化水平的所有像素用层表示，以使得能够在层水平上进行有效的S-VSD计算。同时，学习一个非线性映射函数来准确地表示VSD和S-VSD之间的关系，在VSD估计过程中自动为S-VSD提供权重。为了学习这样的函数，构建VSD及其关联的S-VSD的数据集。实验结果表明，VSD可以准确地估计与非线性映射函数学习的权重，一旦其相关的S-VSD可用。所提出的方法优于相关国家的最先进的方法在精度和效率。所提出的方法的数据集和源代码将在https://github.com/jianjin008/上提供。
2022-01-07 cs.CV eess.IV
Pre-training General Trajectory Embeddings with Maximum Multi-view Entropy Coding
Beijing Jiaotong University（北京交通大学）；Aalborg University（奥尔堡大学）
提出最大多视角轨迹熵编码（MMTEC）预训练方法，通过减少偏差的前置任务及双编码器，学习通用轨迹嵌入，在真实数据集上超越现有方法。
2023-12-26 cs.CV cs.LG
Rate-Distortion Analysis of Multiview Coding in a DIBR Framework
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Sadjad Institute of Higher Education（萨贾德高等教育学院）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
用于多视图应用的基于深度图像的渲染技术最近已经被引入用于在任意相机位置处的高效视图生成。因此，编码速率控制必须考虑纹理和深度数据。由于深度和纹理图像的不同结构以及它们在渲染视图中的不同角色，因此在它们之间分配可用的比特预算需要仔细分析。由于纹理编码导致的信息丢失影响合成视图中的像素值，而深度信息中的错误导致对象的偏移或其边界处的意外图案。在本文中，我们解决了多视点视频序列的纹理和深度数据之间的有效比特分配问题。我们采用一个率失真框架的基础上简化模型的深度和纹理图像。我们的模型保留了深度和纹理图像的主要特征。与最近的解决方案不同，我们的方法允许避免在编码时进行失真估计，从而不会增加编码的复杂性。除此之外，我们的模型独立于解码器中使用的底层修复方法。实验结果证实了我们的理论结果和我们的速率分配策略的效率。
2012-11-19 cs.CV
Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images
Rochester Institute of Technology（罗切斯特理工学院）；University of South Florida（南佛罗里达大学）
在这项工作中，我们开发了卷积神经生成编码（Conv-NGC），这是预测编码对基于卷积/解卷积计算的情况的推广。具体来说，我们具体实现了一个灵活的神经生物学动机的算法，逐步细化潜在状态特征图，以动态地形成一个更准确的内部表示/重建模型的自然图像。所得到的感官处理系统的性能进行了评估复杂的数据集，如颜色MNIST，CIFAR-10，和街道房屋视图数（SVHN）。我们研究了我们的大脑启发模型在重建和图像去噪任务上的有效性，发现它与通过误差反向传播训练的卷积自动编码系统具有竞争力，并且在分布外重建（包括完整的90 k CINIC-10测试集）方面优于它们。
2023-02-06 cs.CV cs.LG
Joint Reconstruction of Multi-view Compressed Images
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
相关多视点图像的分布式表示是视觉传感器网络中的一个重要问题。本文研究了分布式压缩相关图像的联合重建问题，即联合解码以提高所有压缩图像的重建质量。我们考虑一种场景，其中在不同视点处捕获的图像使用公共编码解决方案（例如，JPEG，H.264帧内），在不同相机之间具有平衡的速率分布。中央解码器首先从将用于联合信号恢复的独立压缩的图像估计潜在的相关模型。联合重建，然后作为一个约束的凸优化问题，重建符合估计的相关模型的全变差（TV）平滑图像。同时，我们增加了约束条件，迫使重建的图像与其压缩版本保持一致。我们通过实验表明，所提出的联合重建方案优于独立重建的图像质量，对于给定的目标比特率。此外，我们提出的算法的解码性能相比，有利的国家的最先进的分布式编码方案的基础上的差异学习和发现。
2012-06-19 cs.CV cs.MM
Deep Joint Transmission-Recognition for Multi-View Cameras
Imperial College London（帝国理工学院）
我们提出了联合传输识别方案，在无线边缘进行有效的推理。出于与无线摄像机的监控应用，我们认为在无线信道上的多视角摄像机作为边缘设备进行的人的分类任务。我们介绍了基于深度神经网络（DNN）的压缩方案，该方案结合了数字（单独）传输和联合信源-信道编码（JSCC）方法。我们评估了不同的信道信噪比，带宽和功率约束下的设备边缘通信方案。我们表明，JSCC计划不仅提高了端到端的准确性，但也简化了编码过程，并提供优雅的降级与信道质量。
2020-11-03 cs.CV cs.IT cs.LG
Multi-View Task-Driven Recognition in Visual Sensor Networks
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
如今，分布式智能摄像机被部署用于多个应用场景中的广泛任务，包括对象识别、图像检索和取证应用。由于分布式系统中有限的带宽，有效的编码的本地视觉功能，事实上一直是一个活跃的研究课题。在本文中，我们提出了一种新的方法来获得一个紧凑的表示高维视觉数据，使用传感器融合技术。我们转换的问题，在资源有限的情况下，多视图表示学习的视觉分析，我们发现，找到适当的压缩表示的关键是利用相机的位置相对于彼此作为一个基于规范的正则化在特定的信号表示的稀疏编码。学习每个摄像机的表示被视为一个单独的任务和多任务学习与联合稀疏的所有节点。提出的表示学习方案被称为视觉传感器网络的多视图任务驱动学习（MT-VSN）。我们证明了MT-VSN在各种监视识别任务中优于最先进的技术。
2017-05-31 cs.CV
Deep Convolutional Neural Network Features and the Original Image
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Maryland（马里兰大学）
基于深度卷积神经网络（DCNN）的人脸识别算法在无约束观看条件下识别人脸的任务上取得了进展。这些网络通过学习大量人脸图像获得的紧凑的基于特征的人脸表示进行操作。虽然DCNN产生的学习特征对视点、照明和外观的变化具有高度鲁棒性，但人们对这种网络顶层出现的人脸代码的性质知之甚少。我们分析了两种人脸识别算法产生的DCNN特征。在第一组实验中，我们使用DCNN的顶级特征作为线性分类器的输入，旨在预测图像的元数据。结果表明，DCNN特征包含了关于人脸的偏航和俯仰以及人脸是来自静态图像还是视频帧的准确信息。在第二组实验中，我们测量了单个DCNN特征以视图相关或视图不变方式操作的程度。我们发现，依赖于视图的编码是身份的一个特征，而不是DCNN的特征--一些身份以依赖于视图的方式编码，而另一些身份以独立于视图的方式编码。在我们的第三次分析中，我们可视化了500个身份的24，000多张图像的DCNN特征空间。空间中心的图像均为低质量（例如，极端视图、面部遮挡、低分辨率）。图像质量作为距原点的距离的函数单调增加。该结果表明，图像质量信息在DCNN特征中可用，使得一致的平均特征值反映可靠地指示差或不可用的图像的编码失败。结合起来，这些结果提供了对支持DCNN中人脸鲁棒表示的编码机制的深入了解。
2016-11-06 cs.CV
Low-Latency Neural Stereo Streaming
Qualcomm AI Research（高通人工智能研究）
针对现有立体视频压缩方法顺序处理导致并行化差、延迟高的问题，提出低延迟并行编解码器LLSS，通过双向特征移位模块和联合跨视角先验模型直接利用视角间互信息进行熵编码，实现左右视角并行处理，显著提升了率失真性能并最小化延迟。
2024-03-26 cs.CV eess.IV
Acquiring a Dynamic Light Field through a Single-Shot Coded Image
Nagoya University（名古屋大学）；Osaka University（大阪大学）
本文提出在单次曝光中同步应用孔径编码和像素级曝光编码，结合联合训练的卷积神经网络，从单张编码图像重建5×5视点、4个时间子帧的动态光场，首次在压缩光场获取中实现超越相机帧率的时间分辨率。
2022-04-26 cs.CV eess.IV
Stereo Image Coding for Machines with Joint Visual Feature Compression
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；Santa Clara University（圣克拉拉大学）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
本文提出面向机器的立体图像编码框架MVSFC-Net，通过SMFC模块联合消除空间、视图间与跨尺度冗余，实现更优压缩效率和三维视觉任务性能。
2025-02-20 cs.CV eess.IV
NN-VVC: Versatile Video Coding boosted by self-supervisedly learned image coding for machines
Nokia Technologies（诺基亚技术公司）；Tampere University（坦佩雷大学）
本文提出NN-VVC混合编解码器，融合端到端学习型图像编码与VVC等传统视频编码，在多数据集和多机器视觉任务上显著降低BD码率。
2024-01-19 cs.CV eess.IV
On multi-view feature learning
University of Frankfurt（法兰克福大学）
稀疏编码是学习局部特征用于物体识别的常用方法。最近，人们对从时空、双目或其他多观测数据中学习特征越来越感兴趣，其中目标是对图像之间的关系而不是单个图像的内容进行编码。我们提供了一个多视图特征学习的分析，它表明隐变量通过检测多个图像扭曲之间共享的特征空间中的旋转角度来编码变换。我们的分析有助于解释最近的实验结果，这些结果表明，在视频上训练复杂的细胞模型时，会出现特定于转化的特征。我们的分析还表明，变换不变特征可以作为学习变换表示的副产品出现。
2012-06-18 cs.CV cs.LG stat.ML
PIC: Revisiting INR for Image Coding with Fast Encoding and Sub-Millisecond Decoding
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Joy Future Academy, JD Group（京东探索研究院）
本文提出PIC，一种前馈式隐式神经表示图像编解码器，实现20 FPS编码和2000 FPS解码，在率失真性能和解码速度上均优于或媲美JPEG。
2026-09-09 cs.CV
Self-Supervised Representation Learning With MUlti-Segmental Informational Coding (MUSIC)
Rensselaer Polytechnic Institute（伦斯勒理工学院）
自监督表示学习将高维数据映射到一个有意义的嵌入空间，在这个空间中，语义内容相似的样本彼此接近。最近的表示学习方法大多在$l2$规范化单位超球面上最大化余弦相似度或最小化来自同一样本的不同视图的嵌入特征之间的距离。为了防止所有样本具有相同的嵌入特征的平凡解决方案，已经开发了各种技术，如对比学习，停止梯度，方差和协方差正则化等。在这项研究中，我们提出了多段信息编码（MUSIC）的自监督表示学习。MUSIC将嵌入特征分为多个分段，这些分段区分地将样本划分为不同的语义聚类，并且不同的分段关注不同的划分原则。信息论测量直接用于优化MUSIC，并在理论上保证避免平凡的解决方案。MUSIC不依赖于常用的技术，例如存储体或大批量、不对称网络、梯度停止、动量权重更新等，使得训练框架灵活。我们的实验表明，MUSIC在使用线性探测的ImageNet分类上取得了比大多数相关的Barlow Twins和VICReg方法更好的结果，并且既不需要深度投影仪也不需要大的特征尺寸。代码将提供。
2022-06-13 cs.AI cs.CV
