Automatic Detection of Font Size Straight from Run Length Compressed Text Documents
University of Mysore（迈索尔大学）；Indian Statistical Institute（印度统计研究所）
字体大小的自动检测在智能OCR和文档图像分析领域中有许多应用，这些应用传统上是在未压缩文档上进行的，尽管在现实生活中，文档以压缩形式存在以进行有效的存储和传输。如果字体大小检测的任务可以直接从这些文档的压缩数据中执行而无需解压缩，这将是新颖的和智能的，这将导致节省大量的处理时间和空间。因此，在本文中，我们提出了一个新的想法，学习和检测字体大小直接从游程长度压缩文本文件在行级使用简单的行高功能，这铺平了道路，智能OCR和文件分析直接从压缩文档。在该模型中，给定的混合情况下，不同的字体大小的文本文件被分割成压缩文本行和提取的特征，如行高和上升高度被用来捕获的字体大小的模式的形式回归线，使用它的字体大小的自动检测在识别阶段完成。该方法进行了实验与数据集的50个压缩文件组成的780行的单一字体大小和375行的混合字体大小的文本，导致在99.67%的整体准确性。
2014-02-18 cs.CV
Faster and Accurate Classification for JPEG2000 Compressed Images in Networked Applications
University of California（加利福尼亚大学）
JPEG 2000（j2 k）是一种非常流行的图像和视频压缩格式，随着基于云的图像分类应用的快速增长，大多数现有的j2 k兼容方案将在处理中心重建之前从源传输压缩的彩色图像作为深度CNN的输入。我们建议通过使用直接从j2 k压缩图像中提取的CDF 9/7离散小波变换（DWT）系数训练深度CNN图像分类器来去除计算成本高的重建步骤。我们证明了额外的计算节省利用较浅的CNN，以实现良好的精度在DWT域的分类。此外，我们表明，传统的增强变换，如翻转/移位是无效的DWT域，并提出不同的增强变换，以实现更准确的分类，而无需任何额外的成本。这样，对于j2 k编码的图像，在没有图像重建的情况下，更快和更准确的分类是可能的。通过在CIFAR-10和Tiny ImageNet数据集上的实验，我们证明了所提出的解决方案在有限信道带宽上的图像传输性能是一致的。
2019-09-04 cs.CV cs.LG cs.MM
Fast Object Detection in Compressed Video
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
视频中的目标检测由于在实际场景中更实用而受到越来越多的关注。大多数深度学习方法使用CNN来单独处理视频流中的每个解码帧。然而，已经嵌入在视频压缩格式中的免费但有价值的运动信息通常被忽视。在本文中，我们提出了一种快速的目标检测方法，利用这一点与一种新的运动辅助记忆网络（MMNet）。MMNet有两个主要的优点：1）它大大加快了压缩视频的特征提取过程。它只需要对I帧（即视频中的几个参考帧）运行一个完整的识别网络，并产生随后的P帧的特征（预测帧）与轻量级内存网络，运行速度快; 2）与建立附加网络来对帧的运动进行建模的现有方法不同，我们充分利用了在视频流中可自由获得的运动矢量和残余误差。据我们所知，MMNet是第一个在压缩视频上研究深度卷积检测器的工作。我们的方法在大规模ImageNet VID数据集上进行了评估，结果表明，它比单个图像检测器R-FCN快3倍，比高性能检测器MANET快10倍，精度损失较小。
2019-08-17 cs.CV
Less is More: Accelerating Faster Neural Networks Straight from JPEG
Instituto de Ciência e Tecnologia, Universidade Federal de São Paulo – UNIFESP（圣保罗联邦大学科学技术研究所（UNIFESP））
大多数可用的图像数据通常以压缩格式存储，其中JPEG是最普遍的。为了将此数据馈送到卷积神经网络（CNN）上，需要初步解码过程以获得RGB像素，这需要高计算负载和存储器使用。因此，近年来，用于处理JPEG压缩数据的CNN的设计受到了关注。在大多数现有的作品中，典型的CNN架构被适配为便于使用DCT系数而不是RGB像素进行学习。虽然它们是有效的，但它们的结构变化要么提高了计算成本，要么忽略了DCT输入的相关信息。在本文中，我们研究了加速为DCT输入设计的CNN的不同方法，利用学习策略通过充分利用DCT输入来降低计算复杂性。我们的实验在ImageNet数据集上进行。结果表明，学习如何以数据驱动的方式组合所有DCT输入比手动丢弃它们更好，并且其与减少层的组合已被证明可以有效地降低计算成本，同时保持准确性。
2022-08-24 cs.CV
Direct Processing of Document Images in Compressed Domain
University of Mysore（迈索尔大学）；Indian Statistical Institute（印度统计研究所）
随着这个数字时代大数据量的快速增长，传真文件，发票，收据等传统上都要进行压缩，以提高数据存储和传输的效率。然而，为了处理这些文档，它们需要经历解压阶段，这会减少额外的计算资源。这一限制导致了研究直接处理压缩图像的可能性的动机。在这篇研究论文中，我们总结了直接从游程压缩文档执行不同操作而不经过解压缩阶段的研究工作。演示的不同操作是特征提取;文本行、词和字符分割;文件块分割;以及字体大小检测，所有这些都在文件的压缩版本中进行。特征提取方法演示了如何直接从压缩文档数据中提取传统定义的特征，如投影轮廓、游程直方图和熵。文档分割涉及使用垂直和水平投影轮廓特征提取文本行、单词和字符的压缩段。进一步尝试从压缩文档中随机分割感兴趣的块，随后促进分割块的绝对和相对特征化，这在压缩域中的银行支票、Challans等的自动处理中找到实时的应用。最后，本文还研究了一个在文本行级检测字体大小的应用。所有提出的算法进行了实验验证与足够的数据集的压缩文档。
2014-10-14 cs.CV
Deep Residual Learning for Compressed Sensing CT Reconstruction via Persistent Homology Analysis
最近，已经广泛地研究了使用稀疏投影视图的压缩感测（CS）计算机断层扫描（CT）以减少对患者的潜在辐射风险。然而，由于投影视图的数量不足，解析重建方法导致严重的条纹伪影，并且基于CS的迭代方法在计算上非常昂贵。为了解决这个问题，在这里，我们提出了一种新的深度残差学习方法，用于稀疏视图CT重建。具体而言，基于一种新的持久同源性分析表明，条纹伪影的流形在拓扑上比原始伪影简单，开发了一种估计条纹伪影的深度残差学习架构。一旦估计了条纹伪影图像，就可以通过从输入图像中减去条纹伪影来获得无伪影图像。使用真实患者数据集的广泛实验，我们证实了所提出的残差学习提供了显着更好的图像重建性能，计算速度快了几个数量级。
2016-11-25 cs.CV
A Deep Learning Approach to Block-based Compressed Sensing of Images
Technion（以色列理工学院）
压缩感知（CS）是一种信号处理框架，用于从通过信号的线性投影获得的少量测量中有效地重建信号。基于块的CS是一种轻量级的CS方法，主要适用于处理非常高维的图像和视频：它对局部块进行操作，采用低复杂度的重建算子，并且需要更少的内存来存储感测矩阵。在本文中，我们提出了一种用于基于块的CS的深度学习方法，其中全连接网络执行基于块的线性感测和非线性重建阶段。在训练阶段，传感矩阵和非线性重建算子的\emph{jointly}优化，所提出的方法优于国家的最先进的重建质量和计算时间。例如，在25%的感知速率下，平均PSNR优势为0.77dB，计算时间快200倍以上。
2016-06-05 cs.CV
A Segmentation-aware Deep Fusion Network for Compressed Sensing MRI
Xiamen University（厦门大学）；Columbia University（哥伦比亚大学）
压缩感知MRI是计算成像领域的一个经典逆问题，它通过测量较少的k空间数据来加速MR成像。与基于“浅层”优化的方法相比，深层神经网络模型提供了更强的表示能力和更快的重建速度。然而，在现有的基于深度的CS-MRI模型中，来自MRI数据集中的大量分割标签的高级语义监督信息被忽略。在本文中，我们提出了一种用于压缩感知MRI的分割感知深度融合网络SADFN。本文引入多层特征聚合方法，融合分割网络中不同层的所有特征。然后，包含语义信息的聚合特征图提供给重构网络中的每一层，并采用特征融合策略。这保证了重建网络知道它重建的图像中的不同区域，简化了函数映射。通过对比研究，证明了跨层、跨任务信息融合策略的实用性。在脑分割基准MRBrainS上进行的大量实验验证了所提出的SADFN模型在压缩感知MRI中达到了最先进的精度。本文提出了一种新的方法来指导低层次的视觉任务使用的信息从中级或高级任务。
2018-04-04 cs.CV
TapLab: A Fast Framework for Semantic Video Segmentation Tapping into Compressed-Domain Knowledge
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Huawei Noahs Ark Lab（华为诺亚方舟实验室）
由于对推理速度的严格要求，实时语义视频分割是一项具有挑战性的任务。目前的方法主要致力于减少模型的大小，以提高效率。在本文中，我们重新思考这个问题，从一个不同的观点：使用压缩视频中包含的知识。我们提出了一个简单而有效的框架，称为TapLab，利用压缩域的资源。具体来说，我们设计了一个快速的功能扭曲模块，使用运动矢量的加速。为了减少运动矢量引入的噪声，我们设计了残差引导的校正模块和残差引导的帧选择模块。TapLab显著减少了最先进的快速语义图像分割模型的冗余计算，运行速度提高了3到10倍，精度下降可控。实验结果表明，TapLab在Cityscapes数据集上实现了70.6%的mIoU，99.8 FPS，单个GPU卡用于1024x2048视频。高速版本甚至达到160+ FPS的速度。代码将很快在https://github.com/Sixkplus/TapLab上提供。
2020-08-18 cs.CV
End-to-End Compressed Video Representation Learning for Generic Event Boundary Detection
University of Chinese Academy of Sciences（中国科学院大学）；ByteDance Inc.（字节跳动公司）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
通用事件边界检测旨在定位将视频分割成块的通用、无分类的事件边界。现有方法通常需要在将视频帧馈送到网络之前对其进行解码，这需要相当大的计算能力和存储空间。为此，我们提出了一种新的端到端压缩视频表示学习，用于事件边界检测，该方法利用了压缩域中的丰富信息，即，RGB、运动矢量、残差和内部图像组（GOP）结构，而无需完全解码视频。具体来说，我们首先使用ConvNets来提取GOP中I帧的特征。在此基础上，设计了一个轻量级的空间通道压缩编码器，根据运动矢量，残差和相关的I帧的表示计算的P帧的特征表示。提出了一种时间对比模块来确定视频序列的事件边界。为了弥补注释的模糊性并加快训练过程，我们使用高斯核来预处理地面实况事件边界。在Kinetics-GEBD数据集上进行的大量实验表明，该方法具有$4.5\times$更快的运行速度，达到了与现有方法相当的结果。
2022-03-29 cs.CV
FSVideo: Fast Speed Video Diffusion Model in a Highly-Compressed Latent Space
FSVideo Team Intelligent Creation（FSVideo团队智能创作）
FSVideo通过高度压缩的潜在空间和改进的扩散Transformer架构，在速度和质量上实现了高效视频生成。
2026-02-02 cs.CV
A Deep Learning Approach for Parallel Imaging and Compressed Sensing MRI Reconstruction
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
并行成像通过使用接收器线圈阵列采集额外的灵敏度信息来加速MRI数据采集，从而减少相位编码步骤。压缩感知磁共振成像（CS-MRI）由于比并行成像需要更少的数据，在医学成像领域中得到了普及。并行成像和压缩感知（CS）都减少了在k空间中捕获的数据量，这加快了传统MRI采集。由于采集时间与样本计数成反比，因此从减少的k空间样本形成图像会导致更快的采集，但会产生混叠伪影。为了对重建图像进行去混叠，本文提出了一种新的生成对抗网络（GAN），称为RECGAN-GR，它是监督与多模态损失。与现有的GAN网络相比，我们提出的方法引入了一种新的生成器网络，RemU-Net，它集成了双域损失函数，如加权幅度和相位损失函数，以及基于并行成像的损失，GRAPPA一致性损失。作为细化学习，提出了一个k空间校正块，使GAN网络自抵抗生成不必要的数据，这加快了重建过程。综合结果表明，所提出的RECGAN-GR不仅将PSNR提高了4 dB，而且比文献中现有的单线圈数据的传统最先进的CNN方法提高了2 dB。所提出的工作显著提高了低保留数据的图像质量，从而使采集速度提高了5到10倍。
2022-12-17 cs.CV eess.IV
Deep Learning Based Image Retrieval in the JPEG Compressed Domain
Indian Institute of Information Technology Allahabad（阿拉哈巴德印度信息技术学院）
基于内容的图像检索（CBIR）系统在像素域上使用低层特征，如颜色，纹理和形状，检索图像。在这种情况下，两种类型的图像表示，即局部和全局图像特征已在文献中进行了研究。从像素图像中提取这些特征并将其与数据库中的图像进行比较非常耗时。因此，近年来，已经做出了一些努力来以较少的计算直接在压缩域中完成图像分析。此外，我们日常交易中的大部分图像都以JPEG压缩格式存储。因此，如果我们可以直接从部分解码或压缩的数据中检索特征并将其用于检索，那将是理想的。在这里，我们提出了一个统一的模型，图像检索，DCT系数作为输入，并有效地提取全局和局部特征，直接在JPEG压缩域准确的图像检索。实验结果表明，我们提出的模型表现类似于当前的DELG模型，该模型以RGB特征作为输入，参考平均精度，同时具有更快的训练和检索速度。
2021-07-08 cs.CV eess.IV
Fast Disparity Estimation from a Single Compressed Light Field Measurement
Universidad Industrial de Santander（桑坦德工业大学）
来自光场的丰富的空间和角度信息允许多种视差估计方法的发展。然而，光场的获取需要高的存储和处理成本，限制了该技术在实际应用中的使用。为了克服这些缺点，压缩传感（CS）理论已经允许开发光学架构以获取单个编码光场测量。使用需要高计算成本的优化算法或深度神经网络来解码该测量。用于从压缩光场进行视差估计的传统方法需要首先恢复整个光场，然后进行后处理步骤，因此需要长时间。相比之下，这项工作提出了一个快速的视差估计从一个单一的压缩测量，通过省略在传统的方法所需的恢复步骤。具体地，我们提出联合优化用于获取单个编码光场快照的光学架构和用于估计视差图的卷积神经网络（CNN）。实验上，所提出的方法估计的视差图与使用深度学习方法重建的光场获得的视差图相当。此外，该方法在训练和推理方面比从重建光场估计视差的最佳方法快20倍。
2022-09-22 cs.CV eess.IV
$\mathbf{D^3}$: Deep Dual-Domain Based Fast Restoration of JPEG-Compressed Images
Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；University of Science and Technology of China（中国科学技术大学）
本文提出了一种基于深度双域（$\mathbf{D^3}$）的JPEG压缩图像伪影快速恢复模型。它利用了深度网络的巨大学习能力，以及过去深度架构设计中几乎没有的特定问题的专业知识。对于后者，我们既考虑了JPEG压缩方案的先验知识，又考虑了基于稀疏性的双域方法的成功实践。我们进一步设计了一步稀疏推理（1-SI）模块，作为一个有效的和轻量级的前馈近似稀疏编码。大量的实验验证了所提出的$D^3$模型优于几个国家的最先进的方法。具体来说，我们的最佳模型能够在PSNR方面超过最新的深度模型约1 dB，并且速度快30倍。
2016-04-09 cs.AI cs.CV cs.LG
Accurate and Fast Compressed Video Captioning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；ByteDance Inc.（字节跳动公司）；University of North Texas（北德克萨斯大学）；University of Chinese Academy of Sciences（中国科学院大学）
研究提出压缩域端到端transformer视频字幕生成方法，利用I帧、运动向量和残差避免人工采样，在多基准达SOTA且速度快近2倍。
2024-01-03 cs.AI cs.CV
Fast object detection in compressed JPEG Images
INSA Rouen（鲁昂国立应用科学学院）；Normandie Université（诺曼底大学）；ACTEMIUM（ACTEMIUM公司）
静态图像中的目标检测在过去几年中引起了广泛关注，随着深度学习的出现，许多工业应用都取得了令人印象深刻的性能。这些深度学习模型中的大多数依赖于RGB图像来定位和识别图像中的对象。然而，在一些应用中，图像被压缩以节省存储或快速传输。因此，为了应用上述深度模型，耗时的图像解压缩步骤是强制性的。为了减轻这个缺点，我们提出了一种快速的深度架构，用于JPEG图像中的目标检测，JPEG是最广泛的压缩格式之一。我们训练一个神经网络来检测基于块DCT（离散余弦变换）系数{发布}的JPEG压缩算法的对象。我们修改了著名的Single Shot多盒检测器（SSD），将其第一层替换为一个专用于处理DCT输入的卷积层。PASCAL VOC和工业数据集的道路交通监控图像的实验评估表明，该模型是约$2\times$比常规SSD更快，有前途的检测性能。据我们所知，本文是第一个解决压缩JPEG图像检测。
2019-04-16 cs.CV cs.LG stat.ML
Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
最近基于深度学习的视频压缩方法带来了比传统编解码器（如AVC和HEVC）更大的编码增益。然而，基于学习的编解码器通常需要相当长的计算时间和模型复杂度。在本文中，我们提出了一种新的轻量级混合视频编解码器，包括传统的视频编解码器（HEVC / VVC），无损图像编解码器，和我们的新的恢复网络。准确地说，我们的编码器包括传统的视频编码器和无损图像编码器，传输一个有损压缩的视频比特流随着无损压缩的参考帧。解码器由相应的视频/图像解码器和一个新的恢复网络构成，它在两个步骤中增强了压缩视频。在第一步中，使用大型视频数据集训练的网络恢复传统编码器丢失的细节。然后，我们进一步提高视频质量的指导下的参考图像，这是一个有损压缩的视频帧。参考图像提供视频特定信息，其可用于更好地恢复压缩视频的细节。实验结果表明，所提出的方法实现了相当的性能，顶级的方法，即使在HEVC应用。然而，我们的方法具有较低的复杂度，更快的运行时间，并且可以很容易地集成到现有的传统编解码器。
2023-03-21 cs.CV eess.IV
Identity-aware Facial Expression Recognition in Compressed Video
Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Harvard Medical School（哈佛医学院）；Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；Hong Kong Polytechnic University（香港理工大学）；Fanhan Tech. Inc.（泛瀚科技有限公司）
本文的目标是探索在压缩视频域中消除主体间差异的面部表情表示。以前的大多数方法处理序列的RGB图像，而现成的和有价值的表达相关的肌肉运动已经嵌入压缩格式。在高达两个数量级的压缩域中，我们可以明确地从残留帧中推断出表情，并且可以使用预先训练的人脸识别网络从I帧中提取身份因子。通过强制它们的边缘独立性，期望表达特征对于表达更纯并且对身份转移具有鲁棒性。我们不需要身份标签或来自同一个人的多个表达样本来进行身份消除。此外，当顶点框架在数据集中被注释时，可以进一步添加互补约束以正则化特征级游戏。在测试中，只需要压缩的残差帧来实现表情预测。我们的解决方案可以实现可比或更好的性能比最近的解码图像为基础的方法在典型的FER基准约3 $\times$更快的压缩数据的推理。
2021-01-07 cs.AI cs.CV cs.LG
Mutual Information Regularized Identity-aware Facial ExpressionRecognition in Compressed Video
Harvard University（哈佛大学）；John Hopkins University（约翰·霍普金斯大学）；The Hong Kong Polytechnic University（香港理工大学）
如何提取有效的、对身份特征具有不变性的表情表示是人脸表情识别中的一个长期难题。大多数以前的方法处理序列的RGB图像，而我们认为，现成的和有价值的表达相关的肌肉运动已经嵌入到压缩格式。在本文中，我们的目标是探索在压缩视频域中消除主体间变化的面部表情表示。在高达两个数量级的压缩域中，我们可以显式地从残留帧中推断出表情，并可能使用预先训练的人脸识别网络从I帧中提取身份因子。通过强制它们的边缘独立性，期望表达式特征对于表达式更纯并且对身份转移具有鲁棒性。具体而言，我们提出了一种新的合作极小极小博弈的互信息（MI）最小化的潜在空间。我们不需要身份标签或来自同一个人的多个表达样本来进行身份消除。此外，当顶点框架在数据集中被注释时，可以进一步添加互补约束以正则化特征级游戏。在测试中，只需要压缩的残差帧来实现表情预测。我们的解决方案可以实现可比或更好的性能比最近的解码图像为基础的方法在典型的FER基准约3倍的推理速度。
2021-06-05 cs.AI cs.CV cs.MM
