GIFnets: Differentiable GIF Encoding Framework
Google Research(谷歌研究院)
图形交换格式(GIF)是一种广泛使用的图像文件格式。由于调色板颜色的数量有限,GIF编码通常会引入色带伪影。传统上,应用抖动来减少色带,但是引入了点图案伪影。为了减少伪影并提供更好,更高效的GIF编码,我们引入了一个可区分的GIF编码管道,其中包括三个新的神经网络:PaletteNet,DitherNet和BandingNet。这三个网络中的每一个都在GIF编码管道中提供了重要的功能。PaletteNet在给定输入图像的情况下预测接近最佳的调色板。DitherNet操作输入图像以减少色带伪影,并提供传统抖动的替代方案。最后,BandingNet旨在检测色带,并提供专门针对GIF图像的新感知损失。据我们所知,这是第一个基于深度神经网络并兼容现有GIF解码器的完全可区分GIF编码管道。用户实验表明,该算法优于基于Floor-Steinberg的GIF编码。
2020-06-24 cs.CV eess.IV
Encryption and encoding of facial images into quick response and high capacity color 2d code for biometric passport security system
School of Computer, Information and Mathematical Sciences(计算机、信息与数学科学学院)
本文提出了一种多模态生物特征、安全加密数据和加密生物特征编码到基于QR码的生物特征护照认证方法,用于国家安全应用。首先,采用扩展轮廓-局部二值模式(EP-LBP)、Canny边缘检测器和带图像文件信息的尺度不变特征变换(SIFT)算法(IMFINFO),初步实现了人脸标记尺寸的识别。其次,将主动形状模型(ASM)应用于主动外观模型(AAM)中,对手部进行跟踪,并将手部几何特征注入到验证和识别中,实现手部几何形状的识别。第三,将可公开访问的加密生物特征护照信息编码成QR码并插入电子护照以提高保护。此外,通过应用高级加密标准(AES)和安全散列算法(SHA)256算法对个人信息和生物统计数据进行加密。它将加强生物特征护照安全系统。
2022-03-17 cs.CV
Color Spike Data Generation via Bio-inspired Neuron-like Encoding with an Artificial Photoreceptor Layer
Fu Jen Catholic University(辅仁大学)
本文提出一种基于生物神经元原理的 Neuron-like Encoding 方法,并结合人工光感受器层生成携带颜色和亮度信息的视觉脉冲信号,在遵循神经形态计算原则的同时提升脉冲神经网络的信息容量与性能。
2025-08-19 cs.CV
Seeing Beyond Appearance - Mapping Real Images into Geometrical Domains for Unsupervised CAD-based Recognition
Siemens Corporate Technology(西门子中央研究院);University of Passau(帕绍大学);Technical University of Munich(慕尼黑工业大学)
虽然卷积神经网络在计算机视觉领域占据主导地位,但人们通常无法访问其训练所需的大量领域相关数据。因此,通常使用可用的合成样本以及领域自适应方案来准备目标领域的算法。为了从不同的角度解决这个问题,我们引入了一个管道,将看不见的目标样本映射到用于训练特定任务方法的合成域。对数据进行去噪,只保留这些识别算法熟悉的特征,我们的解决方案大大提高了它们的性能。由于这种映射比相反的映射更容易学习(即学习生成逼真的特征来增强源样本),我们演示了我们的整个解决方案如何纯粹在增强的合成数据上进行训练,并且仍然比使用领域相关信息(例如3D模型的真实图像或逼真纹理)训练的方法表现更好。将我们的方法应用于无纹理CAD数据的对象识别,我们提出了一种自定义生成网络,该网络充分利用纯几何信息来学习鲁棒特征,并为不可见的彩色图像实现更精细的映射。
2018-10-09 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
ChronoSC: Task-Oriented Semantic Communication via Temporal-to-Color Encoding
Smart Green Transformation Center (GREEN-X), VinUniversity, Vietnam(智能绿色转型中心(GREEN-X),Vin大学,越南);School of Computer Science(计算机科学学院)
ChronoSC通过时间到颜色编码实现视频问答任务的高效语义通信,采用轻量级无损投影方案,实现极端时间压缩,提升带宽效率并保持高准确率。
2026-05-11 cs.CV
The Four Color Theorem for Cell Instance Segmentation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), China(计算机科学与技术学院,哈尔滨工业大学(深圳));School of Science, Harbin Institute of Technology (Shenzhen), China(科学学院,哈尔滨工业大学(深圳));Department of Electrical and Computer Engineering, National University of Singapore, Singapore(电气与计算机工程系,新加坡国立大学)
针对紧密接触细胞难区分及现有实例分割框架难平衡性能与效率的问题,提出受四色定理启发的四色编码细胞实例分割方法,结合渐近训练等策略解决训练不稳定问题,达到当前最优性能。
2025-06-11 cs.CV
Enhancing Tree Type Detection in Forest Fire Risk Assessment: Multi-Stage Approach and Color Encoding with Forest Fire Risk Evaluation Framework for UAV Imagery
本文通过引入多种多阶段目标检测器及CBAM注意力、随机擦除和颜色空间优化,提升无人机影像森林火灾风险评估中树种类型检测的准确性,并在加拿大不列颠哥伦比亚省数据上验证了有效性。
2024-08-06 cs.CV
Seeing eye-to-eye? A comparison of object recognition performance in humans and deep convolutional neural networks under image manipulation
University of Salzburg(萨尔茨堡大学)
在相当长的一段时间里,深度卷积神经网络(DCNN)在对象识别方面已经达到了人类的基准性能。因此,计算神经科学和机器学习领域已经开始将许多相似性和差异归因于人工视觉和生物视觉。本研究旨在ImageNet数据集上分类学习范例中人类和前馈神经网络之间视觉核心对象识别性能的行为比较。为此,人类参与者(n = 65)在在线实验中与不同的前馈DCNN竞争。设计的方法基于七种不同猴子类别的典型学习过程,包括使用自然示例的训练和验证阶段,以及使用新颖的,无经验的形状和颜色操作的测试阶段。准确性分析显示,人类不仅在所有条件下都优于DCNN,而且对形状和最明显的颜色变化表现出更大的鲁棒性。此外,对行为模式的精确检查通过揭示各组之间的独立分类错误来突出这些发现。所获得的结果表明,人类对比强烈,人工前馈架构,当涉及到视觉核心对象识别的操纵图像。在一般情况下,这些研究结果是符合越来越多的文献,提示对复发作为一个关键因素,足够的泛化能力。
2020-12-13 cs.CV cs.LG eess.IV
Color encoding in Latent Space of Stable Diffusion Models
Computer Vision Center / Universitat Autònoma de Barcelona(计算机视觉中心 / 巴塞罗那自治大学)
本文研究了Stable Diffusion模型中颜色在潜在空间中的编码机制,揭示了颜色、亮度和形状在不同潜在通道中的表示方式,为生成模型的理解与改进提供了新视角。
2025-12-10 cs.AI cs.CV
CocoNet: A deep neural network for mapping pixel coordinates to color values
George Coşbuc National College(乔治·科什布克国立学院);University of Bucharest(布加勒斯特大学)
在本文中,我们提出了一种深度神经网络方法,用于将图像中的2D像素坐标映射到相应的红绿蓝(RGB)颜色值。该神经网络被称为CocoNet,即坐标到颜色网络。在训练过程中,神经网络学习在其层内对输入图像进行编码。更具体地说,网络学习一个连续函数,该函数近似在离散2D像素位置上采样的离散RGB值。在测试时,给定2D像素坐标,神经网络将输出对应像素的近似RGB值。通过考虑每个2D像素位置,网络实际上可以重建整个学习图像。值得注意的是,我们必须为每个输入图像训练单独的神经网络,即一个网络仅编码单个图像。据我们所知,我们是第一个提出一种单独编码图像的神经方法,通过学习从2D像素坐标空间到RGB颜色空间的映射。我们的神经图像编码方法具有各种低级图像处理应用,从图像编码,图像压缩和图像去噪到图像恢复和图像完成。我们进行实验,包括定量和定性的结果,证明我们的方法的实用性和它的优越性,比标准基线,例如双边滤波或双三次插值。我们的代码可在https://github.com/paubric/python-fuse-coconet上获得。
2018-11-22 cs.CV
Seeing Through the Weights: Privacy Leakage in Scene Coordinate Regression
Stony Brook University(石溪大学);Ghent University Global Campus(根特大学全球校区);George Mason University Korea(乔治梅森大学韩国校区);SUNY Korea(纽约州立大学韩国校区)
本文提出一种查询攻击方法,从场景坐标回归模型中重建训练环境的3D几何,并进一步合成图像,证明该类方法并非隐私安全。
2026-07-01 cs.CV
Seeing Time: Benchmarking Chronological Reasoning and Shortcut Biases in Vision-Language Models
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computing Technologies, RMIT University(皇家墨尔本理工学院计算技术学院)
本文提出一个新基准,通过三个专门数据集评估视觉-语言模型在图像内和跨图像的时间顺序推理能力,并揭示模型常利用颜色等表面线索而非真正时间特征。
2026-06-04 cs.AI cs.CV
Deep Image Harmonization in Dual Color Spaces
Shanghai Jiao Tong University(上海交通大学)
本文提出在RGB和Lab双颜色空间中利用解耦的颜色与光照特征进行图像协调,通过U-Net主干、Lab编码与控制模块提升前景与背景的一致性。
2023-08-05 cs.CV
Efficient Neural Network Encoding for 3D Color Lookup Tables
Samsung AI Center Toronto(三星人工智能中心多伦多分中心)
提出一种内存占用低于0.25MB的神经网络架构,能将512个3D颜色查找表编码为紧凑表示,在保持低颜色失真的同时支持颜色加权与可逆双射编码。
2024-12-19 cs.AI cs.CV cs.LG
Seeing Through the Noisy Dark: Towards Real-world Low-Light Image Enhancement and Denoising
Hefei University of Technology(合肥工业大学);Zhengzhou University(郑州大学);Zhejiang University(浙江大学);Sea AI Lab(Sea人工智能实验室)
微光图像增强(LLIE)的目的是改善照明噪声的黑暗图像的照明和可见性。为了处理真实世界中经常带有严重和复杂噪声的低光照图像,已经对联合LLIE和去噪进行了一些努力,但是这些努力只能实现较差的恢复性能。我们将其归因于两个挑战:1)在现实世界的低光照图像中,噪声在一定程度上被低光照覆盖,去噪后的剩余噪声在增强过程中将不可避免地被放大; 2)将原始数据转换为sRGB会导致信息丢失和更多的噪声,因此先前在原始数据上训练的LLIE方法不适合更常见的sRGB图像。在这项工作中,我们提出了一种新的低光增强和去噪网络,用于sRGB颜色空间中的真实世界低光图像(RLED-Net)。在RLED-Net中,我们采用了一种即插即用的可微分潜在子空间重构块(LSRB),将真实图像嵌入到低秩子空间中,以抑制噪声和纠正错误,从而有效地缩小了增强过程中噪声的影响。然后,我们提出了一个有效的交叉通道和移位窗口Transformer(CST)层,该层具有两个分支来计算窗口和通道注意力以抵抗降级(例如,斑点噪声和模糊)。在CST层的基础上,我们进一步提出了一个U型结构的网络CSTNet作为深度特征恢复的骨干,并构造了一个特征细化模块来细化最终的特征。在真实噪声图像和公共图像数据库上的大量实验很好地验证了所提出的RLED-Net对RLIE和去噪同时进行的有效性。
2022-11-15 cs.CV
Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models
University of Copenhagen(哥本哈根大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院);Clemson University(克莱姆森大学)
该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因,引入WhatIfVis基准,发现其能编码视觉证据但难以控制对其的依赖,监督微调等方法可提升可控性。
2026-08-27 cs.CV
Using Color To Identify Insider Threats
Stanford University(斯坦福大学);Fortinet(飞塔信息科技公司)
内部威胁代价高昂,难以检测,而且不幸的是,其发生率正在上升。为了提高对此类威胁的检测能力,我们开发了新的技术,使我们能够提取强大的特征并增强攻击向量,以获得更大的分类能力。最重要的是,我们生成高质量的彩色图像编码的用户行为,没有传统的灰度图像编码的缺点。结合起来,它们形成了计算机视觉用户和实体行为分析,这是一种从头开始设计的检测系统,旨在改进学术界的进步,并减轻阻止在工业中使用先进模型的问题。拟议的系统击败了学术界和工业界在黄金标准基准数据集上使用的最先进的方法。
2022-02-10 cs.CV cs.LG
Seeing Syntax: Uncovering Syntactic Learning Limitations in Vision-Language Models
Dalhousie University(达尔豪斯大学);Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
该研究针对视觉-语言模型文本编码器局限性成因不明的问题,通过对比多类VLM与单模态语言模型的句法编码能力,发现预训练目标是影响VLM句法学习的核心因素,且不同模型层间句法编码趋势存在差异。
2024-12-11 cs.CL cs.CV cs.LG
Fourier Decomposition for Explicit Representation of 3D Point Cloud Attributes
Yonsei University(延世大学);Emory University(埃默里大学)
本文提出一种利用3D傅里叶分解的点云编码方法,以分离颜色和几何特征,提升多点间关系的捕捉能力,在DensePoint数据集上实现分类、分割和风格迁移的最优性能。
2026-03-26 cs.CV eess.IV
Depth Estimation from a Single Optical Encoded Image using a Learned Colored-Coded Aperture
Universidad Industrial de Santander(桑坦德工业大学)
提出一种具有丰富光谱信息的彩色编码光阑(CCA)并联合CNN进行端到端优化,从单张光学编码图像中检索深度信息,在三个数据集上优于现有方法并通过低成本原型验证了真实场景效果。
2023-09-14 cs.CV
BeautyBank: Encoding Facial Makeup in Latent Space
CyberAgent;The University of Tokyo(东京大学)
本文提出BeautyBank妆容编码器,将妆容图案特征解耦并编码到高维潜空间,结合渐进式妆容微调策略,实现妆容注入生成与相似度度量,并构建了32.4万对高清成对数据集BMS。
2024-11-24 cs.CV
Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention
University of Electronic Science and Technology of China(电子科技大学);Beijing Institute of Basic Medical Sciences(北京基础医学研究所)
红外摄像机具有对光不敏感和雾环境下穿透力强的优点,被广泛应用于夜间交通场景的传感。然而,热红外(TIR)图像的低对比度和缺乏色度阻碍了高级计算机视觉算法的人类解释和可移植性。将夜间TIR图像转换为日间彩色(NTIR2DC)图像的着色可以是促进夜间场景感知的有希望的方式。尽管最近在图像翻译方面取得了令人印象深刻的进展,但NTIR2DC任务中的语义编码纠缠和几何失真仍然没有得到充分解决。因此,我们提出了一个自上而下的attEntion和gRadient aLignment为基础的GAN,称为珍珠GAN。首先设计了一个自上而下的引导注意模块和一个精心设计的注意损失,以减少翻译过程中的语义编码歧义。然后,引入结构化梯度对齐损失,以鼓励翻译和输入图像之间的边缘一致性。此外,像素级标注的FLIR和KAIST数据集的一个子集上进行的多种翻译方法的语义保持性能进行评估。此外,设计了一种新的度量标准来评价翻译过程中的几何一致性。大量的实验证明了所提出的PearlGAN在NTIR2DC任务中优于其他图像翻译方法。源代码和带标签的分割掩码将在\url{https://github.com/FuyaLuo/PearlGAN/}上提供。
2021-04-29 cs.CV
Color Image Compression Based On Wavelet Packet Best Tree
Matoshri College of Engineering and Research Centre(马托什里工程与研究中心学院);University of Pune(浦那大学)
在图像压缩中,研究人员的目标是通过去除空间和光谱冗余来减少表示图像所需的比特数。近年来,离散小波变换和小波包变换已成为图像压缩的主流技术。小波变换是图像压缩的主要处理部分之一。压缩的结果根据所使用的小波的基和抽头而变化。提出了根据图像的性质选择合适的小波母函数,可以显著提高图像的质量和压缩比。提出了一种基于阈值熵的小波包最佳树增强行程长度编码的新方法。该方法由于不分解完整树,降低了小波包分解的时间复杂度。我们的算法选择的子带,其中包括基于阈值熵的重要信息。提出了一种改进的行程长度编码技术,它比RLE编码技术具有更好的效果。与JPEG-2000相比,该方法的效果更好。
2010-04-19 cs.CV
TIC: Text-Guided Image Colorization
University of Technology Sydney(悉尼科技大学);Indian Statistical Institute(印度统计研究所);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
图像彩色化是计算机视觉中的一个著名问题。然而,由于该任务的病态性质,图像着色本质上是具有挑战性的。虽然研究人员已经进行了几次尝试来使着色管道自动化,但由于缺乏条件反射,这些过程通常会产生不切实际的结果。在这项工作中,我们试图整合文字描述作为一个辅助条件,随着灰度图像,是要着色,以提高保真度的着色过程。据我们所知,这是在着色管道中结合文本条件的第一次尝试之一。为此,我们提出了一种新的深度网络,它采用两个输入(灰度图像和相应的编码文本描述),并试图预测相关的色域。由于各个文本描述包含场景中存在的对象的颜色信息,因此文本编码有助于提高预测颜色的整体质量。我们已经使用不同的指标评估了我们提出的模型,发现它在定性和定量方面都优于最先进的着色算法。
2022-08-04 cs.CV
Target Recognition Algorithm for Monitoring Images in Electric Power Construction Process
Chongqing Jiaotong University(重庆交通大学)
该研究提出一种基于红外成像和局部线性映射颜色处理及支持向量机分类的电力施工监控目标识别算法,在室内外场景中识别准确率高,误识别率低于3%。
2024-02-09 cs.CV
Multi-scale Dynamic Feature Encoding Network for Image Demoireing
Nanjing University of Science and Technology(南京理工大学)
数码相机和手机等数字传感器的普及简化了照片的获取。然而,数字传感器在拍摄具有复杂纹理的物体时会产生莫尔条纹,这会降低照片的质量。莫尔条纹分布在图像的各个频段,是一种具有颜色和形状变化的动态纹理,这给图像复原的重要任务--去莫尔条纹带来了两个主要挑战。本文针对第一个挑战,设计了一个多尺度网络来处理不同空间分辨率的图像,获得不同频段的特征,从而可以联合去除不同频段的莫尔条纹。为了解决第二个挑战,我们提出了一个动态特征编码模块(DFE),嵌入在每个尺度,动态纹理。通过DFE可以更有效地消除莫尔图案。我们提出的方法,称为多尺度卷积网络与动态特征编码的图像去莫尔(MDDM),可以在保真度和感知的基准上优于现有技术。
2019-09-26 cs.CV cs.MM
MMC: Multi-Modal Colorization of Images using Textual Descriptions
University of Technology Sydney(悉尼科技大学);Indian Statistical Institute(印度统计研究所)
本文提出 MMC 多模态图像着色方法,将灰度图像与编码文本描述共同输入深度网络,按对象预测颜色并融合生成结果,在 LPIPS、PSNR 和 SSIM 上优于现有技术。
2023-04-25 cs.CV cs.MM
STEPS: Scene Text Editing with Preserved Style Using Diffusion and Contrastive Style Encoding
Roblox
STEPS提出一种扩散模型架构,通过独立于文本内容的风格编码器与多语义条件结合,在场景文本编辑中实现更优的风格保留、可读性和主观质量。
2026-10-01 cs.CV cs.LG
A Deep Learning Approach for Digital Color Reconstruction of Lenticular Films
我们提出了第一个准确的数字化和彩色重建过程的历史透镜状电影,是强大的文物。透镜胶片出现在20世纪20年代,是第一批允许捕捉运动中的全色信息的技术之一。该技术利用RGB过滤器和浮雕在胶片表面的圆柱形小块来编码图像水平空间维度的颜色。为了投影图像,使用适当的模拟设备反转编码过程。在这项工作中,我们引入了一个自动化的,完全数字化的管道来处理扫描的透镜状电影和彩色图像。我们的方法将深度学习与基于模型的方法相结合,以最大限度地提高性能,同时确保重建的彩色图像与编码的颜色信息真实匹配。我们的模型采用不同的策略来实现有效的颜色重建,特别是(i)我们使用数据增强来创建鲁棒的颜色分割网络,(ii)我们拟合颜色光栅预测以获得精确的矢量颜色定位,以及(iii)我们训练预测插值系数的着色网络以获得真实的着色。我们验证了所提出的方法上的透镜状电影数据集,并将其与其他方法进行比较。由于没有彩色地面实况可作为参考,我们进行了用户研究,以主观的方式验证我们的方法。研究结果表明,所提出的方法在很大程度上是首选其他现有的和基线的方法。
2022-04-04 cs.CV eess.IV
DDT: Decoupled Diffusion Transformer
Nanjing University(南京大学);ByteDance Seed Vision(字节跳动种子视觉)
本文提出解耦扩散Transformer(DDT),通过专用条件编码器与速度解码器分离语义编码和高频解码,在ImageNet上取得新SOTA,并利用统计动态规划实现相邻步骤自条件共享以加速推理。
2025-04-09 cs.AI cs.CV
What's color got to do with it? Face recognition in grayscale
University of Notre Dame(圣母大学);Pontificia Universidad Católica de Chile(智利天主教大学)
该研究揭示深度CNN人脸匹配器在灰度或彩色训练集上准确率几乎相同,颜色携带的身份信息有限,并证明利用灰度存储优势扩充训练集可提升识别准确率。
2024-07-03 cs.AI cs.CV cs.CY