A Scalable Vector Graphics Latent Space
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本文提出SLS(SVG隐空间),一种基于Transformer的自编码器,学习SVG路径的稠密可逆隐表示,可降低下游任务FLOPs超150倍,为矢量图形研究提供通用隐空间基础。
2026-08-25 cs.AI cs.CV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
可伸缩编码能够适应信道带宽的变化,在当今复杂的网络环境中表现良好。然而,现有的可扩展压缩方法面临两个挑战:压缩性能下降和可扩展性不足。在本文中,我们提出了第一个学习细粒度可伸缩图像压缩模型(DeepFGS),以克服上述两个缺点。具体而言,我们引入了一个特征分离骨干,将图像信息分为基本的和可扩展的功能,然后重新分配的功能,通过信道的信息重排策略。通过这种方式,我们可以通过一次编码生成连续可伸缩的比特流。此外,我们重用解码器以减少DeepFGS的参数和计算复杂度。实验表明,我们的DeepFGS在PSNR和MS-SSIM指标上优于所有基于学习的可伸缩图像压缩模型和传统的可伸缩图像编解码器。据我们所知,我们的DeepFGS是第一次探索学习的细粒度可扩展编码,与基于学习的方法相比,它实现了最好的可扩展性。
2022-01-04 cs.CV eess.IV
Compact Neural Graphics Primitives with Learned Hash Probing
NVIDIA(英伟达);University of Toronto(多伦多大学);Adobe
本文提出一种带学习式探测的哈希表,用于神经图形基元,兼顾低内存占用与高推理速度,训练仅慢1.2-2.6倍,优于现有索引学习方法。
2023-12-28 cs.CV cs.GR
StarVector: Generating Scalable Vector Graphics Code from Images and Text
ServiceNow Research(ServiceNow研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);ÉTS, Montréal, Canada(蒙特利尔高等技术学院);UBC, Vancouver, Canada(英属哥伦比亚大学)
本文提出StarVector多模态大语言模型,直接在SVG代码空间中利用视觉理解生成紧凑精确的矢量图形,并构建了2M样本数据集SVG-Stack和基准SVG-Bench,实现了最先进的性能。
2025-05-31 cs.AI cs.CL cs.CV
A Scalable Pipeline Combining Procedural 3D Graphics and Guided Diffusion for Photorealistic Synthetic Training Data Generation in White Button Mushroom Segmentation
Antal Bejczy Center for Intelligent Robotics(安塔尔·贝茨奇智能机器人中心);Research and Innovation Center of Obuda University(奥布达大学研究与创新中心)
本文提出结合程序化3D图形和引导扩散模型,生成高逼真合成数据以提升白蘑菇分割性能。
2025-12-09 cs.CV
Real-time Virtual-Try-On from a Single Example Image through Deep Inverse Graphics and Learned Differentiable Renderers
L’Oréal Research and Innovation(欧莱雅研究与创新部);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信巴黎);Modiface;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
增强现实应用已经迅速在在线平台上传播,允许消费者虚拟地试穿各种产品,例如化妆品、染发剂或鞋子。然而,参数化渲染器来合成给定产品的逼真图像仍然是一项具有挑战性的任务,需要专业知识。虽然最近的工作已经引入了用于从示例图像虚拟试穿的神经渲染方法,但是当前的方法基于不能在移动设备上实时的【形】使用的大型生成模型。这就需要一种结合计算机图形学和神经渲染方法优点的混合方法。在本文中,我们提出了一种基于深度学习的新框架,用于构建实时的【形】逆图形编码器,该编码器学习将单个示例图像映射到给定增强现实渲染引擎的参数空间中。我们的方法利用了自监督学习,并且不需要标记的训练数据,这使得它可以扩展到许多虚拟试穿应用。此外,由于算法选择或实现约束,大多数增强现实渲染器在实践中是不可区分的,以在便携式设备上达到实时的【形】。为了放松对基于图形的可微渲染器的需求,我们引入了一个可训练的模仿器模块。我们的模仿器是一个生成网络,它学习准确地再现给定不可微渲染器的行为。我们提出了一种新的渲染灵敏度损失训练模仿者,这确保了网络学习每个渲染参数的准确和连续的表示。我们的框架支持新的应用程序,消费者可以从社交媒体上的灵感参考图像中虚拟地尝试新的未知产品。它也可以被图形艺术家用来从参考产品图像自动创建逼真的渲染。
2022-05-12 cs.CV
Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection
University of California, Los Angeles(加州大学洛杉矶分校);Damo Academy, Alibaba US(阿里巴巴美国达摩院)
鲁棒主元分析(RPCA)是现代机器学习中的一个重要工具,用于检测低秩矩阵重构任务中的异常值。在本文中,我们提出了一个可扩展的和可学习的非凸的高维RPCA问题,我们称之为学习鲁棒PCA(LRPCA)的方法。LRPCA是高效的,其自由参数可以通过深度展开有效地学习以进行优化。此外,我们通过一种新的前馈-递归-混合神经网络模型,将深度展开从有限迭代扩展到无限迭代。我们建立了恢复保证LRPCA温和的假设下RPCA。数值实验表明,LRPCA优于最先进的RPCA算法,如ScaledGD和AltProj,在合成数据集和现实世界的应用。
2021-10-11 cs.CV cs.IT cs.LG
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Pengcheng Laboratory(鹏城实验室);Huawei Technologies Co., Ltd(华为技术有限公司)
针对可伸缩图像压缩性能下降与伸缩粒度不足的问题,本文提出 DeepFGS 框架,通过特征分离、信息重排、互熵模型和解码器复用实现单次编码的连续可伸缩码流,并在 PSNR 与 MS-SSIM 上超越现有方法。
2024-11-30 cs.CV eess.IV
Efficient Graphics Representation with Differentiable Indirection
McGill University(麦吉尔大学);Meta Reality Labs(元宇宙现实实验室)
提出可微间接寻址这一学习型基元,利用可微多尺度查找表替代图形流水线中的传统计算与数据操作,可无缝集成至现有架构并实现快速训练与高效结果。
2023-11-17 cs.CV cs.GR cs.LG
Exploration of Learned Lifting-Based Transform Structures for Fully Scalable and Accessible Wavelet-Like Image Compression
本文研究面向可伸缩可访问图像压缩的学习型提升小波变换结构,通过比较提升步骤排列、网络架构及训练方法,发现保留固定步骤、增加通道更有益,并取得较JPEG 2000超25%的码率节省。
2024-02-29 cs.CV cs.MM eess.IV
PointTriNet: Learned Triangulation of 3D Point Sets
Carnegie Mellon University(卡内基梅隆大学);LIX, École Polytechnique, IP Paris(巴黎综合理工学院计算机科学实验室(LIX))
这项工作考虑了几何深度学习中的一个新任务:在3D空间中的一组点之间生成三角剖分。我们提出了PointTriNet,这是一种可区分和可扩展的方法,可以将点集三角剖分作为3D学习管道中的一层。该方法迭代地应用两个神经网络:分类网络预测候选三角形是否应该出现在三角测量中,而建议网络建议其他候选者。这两个网络的结构是在附近的点和三角形的PointNets,使用一种新的三角形相对输入编码。由于这些学习问题是在局部几何数据上进行的,因此我们的方法是有效的和可扩展的,并且可以推广到看不见的形状类别。我们的网络是以无监督的方式从一系列表示为点云的形状中训练出来的。我们证明了这种方法对于经典网格任务的有效性,对离群值的鲁棒性,以及作为端到端学习系统的一个组成部分。
2020-07-23 cs.CV cs.LG stat.ML
Neural Point-Based Graphics
Samsung AI Center(三星人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);In3D.io
我们提出了一种新的基于点的方法来模拟真实场景的外观。该方法使用原始点云作为场景的几何表示,并使用编码局部几何和外观的可学习神经描述符来增强每个点。深度渲染网络与描述符并行学习,因此可以通过将来自新视点的点云的光栅化通过该网络来获得场景的新视图。输入光栅化使用学习的描述符作为点伪颜色。我们表明,所提出的方法可以用于复杂的场景建模和获得真实感的意见,同时避免明确的表面估计和网格。特别是,即使在存在对标准网格建模具有挑战性的对象的情况下,使用手持式商品RGB-D传感器以及标准RGB相机扫描的场景也能获得令人信服的结果。
2020-04-05 cs.CV
Scalable Full Flow with Learned Binary Descriptors
Austrian Institute of Technology(奥地利技术研究所);Graz University of Technology(格拉茨技术大学);Czech Technical University in Prague(布拉格捷克理工大学)
提出了一种大位移光流场的计算方法,该方法通过卷积神经网络(CNN)学习局部匹配代价,并通过条件随机场(CRF)获得平滑先验。我们通过最小投影来处理4D成本量上的计算和内存密集型操作,该最小投影将内存复杂度从二次描述符降低到线性描述符和二进制描述符,以实现高效匹配。这使得能够即时评估成本,并允许在高分辨率图像上执行学习和CRF推断,而无需存储4D成本体积。为了解决学习二进制描述符的问题,我们提出了一种新的混合学习方案。与目前用于学习二进制CNN的最先进方法相比,我们可以在我们的模型中计算精确的非零梯度。我们比较了几种用于训练二进制描述符的方法,并在公共可用的基准测试中显示了结果。
2017-07-20 cs.CV
High Dynamic Range Video Compression: A Large-Scale Benchmark Dataset and A Learned Bit-depth Scalable Compression Algorithm
Shangha University(上海大学)
本文构建了首个大规模HDR视频基准数据集HDRVD2K,并基于此提出首个学习型位深可扩展视频压缩网络LBSVC,通过位深增强模块有效利用动态范围先验提升压缩与重建性能。
2025-03-01 cs.CV
SVGen: Interpretable Vector Graphics Generation with Large Language Models
Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信)
针对矢量图形生成耗时的挑战,提出基于大规模数据集SVG-1M的端到端模型SVGen,结合课程学习与强化学习优化,从自然语言生成高准确性和结构完整的SVG代码,效果优于通用大模型。
2025-08-06 cs.CV cs.LG
DeepSVG: A Hierarchical Generative Network for Vector Graphics Animation
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
可缩放矢量图形(SVG)在现代2D界面中无处不在,因为它们能够缩放到不同的分辨率。然而,尽管应用于光栅化图像的基于深度学习的模型取得了成功,但矢量图形表示学习和生成的问题在很大程度上仍未被探索。在这项工作中,我们提出了一种新的分层生成网络,称为DeepSVG,用于复杂的SVG图标生成和插值。我们的架构有效地解开高层次的形状从低层次的命令,编码形状本身。该网络以非自回归的方式直接预测一组形状。我们通过发布一个新的大规模数据集以及一个用于SVG操作的开源库来介绍复杂SVG图标生成的任务。我们证明了我们的网络能够准确地重建各种矢量图形,并且可以通过执行插值和其他潜在空间操作来作为一个强大的动画工具。我们的代码可在https://github.com/alexandre01/deepsvg上获得。
2020-10-22 cs.CV
Inverse Graphics GAN: Learning to Generate 3D Shapes from Unstructured 2D Data
Microsoft Research(微软研究院)
最近的工作表明,只有非结构化的2D图像学习生成模型的3D形状的能力。然而,训练这样的模型需要通过渲染过程的光栅化步骤进行区分,因此过去的工作集中在开发定制的渲染模型,这些模型以各种方式平滑这种不可区分的过程。因此,这些模型无法利用游戏和图形行业构建的照片般逼真,功能齐全的工业渲染器。在本文中,我们介绍了第一个可扩展的训练技术,从2D数据,利用现成的不可微渲染器的3D生成模型。为了解释不可微性,我们引入代理神经渲染器来匹配不可微渲染器的输出。我们还提出了一种新的输出匹配方法,以确保神经渲染器学会适当地平滑光栅化。我们在从我们生成的3D形状渲染的图像上评估了我们的模型,并表明我们的模型可以在使用专门的非结构化2D图像进行训练时始终学习生成比现有模型更好的形状。
2020-02-28 cs.CV cs.LG
Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering
Tandon School of Engineering, New York University(纽约大学坦登工程学院)
提出一种端到端学习的可缩放点云压缩方案,将比特流直接解码为可渲染3D高斯,联合优化比特率与渲染质量,显著提升渲染质量并降低解码渲染时间,支持实时高质量点云渲染。
2024-09-25 cs.CV eess.IV
EXMOVES: Classifier-based Features for Scalable Action Recognition
Dartmouth College(达特茅斯学院)
本文介绍了EXMOVES,学习基于范例的功能,用于有效识别视频中的动作。我们的描述符中的条目是通过评估输入序列的时空体积上的一组运动分类器来产生的。每个运动分类器都是在低级特征上训练的简单示例SVM,即,使用单个注释的正时空体积和大量未注释的视频学习的SVM。我们的代表提供了两个主要优势。首先,由于我们的中级特征是从单个视频样本中学习的,因此它们需要最少的监督。其次,我们表明,我们的全球视频描述符训练的简单线性分类模型产生的动作识别精度接近最先进的,但在数量级较低的成本,因为在测试时没有滑动窗口是必要的,线性模型是有效的训练和测试。这使得能够进行可扩展的动作识别,即,即使在大型视频数据库中,也可以对大量不同动作进行有效分类。我们通过从两个不同的低级特征表示构建我们的中级描述符来展示我们的方法的通用性。该方法的准确性和效率被证明在几个大规模的动作识别基准。
2014-03-28 cs.CV
Learned Scalable Video Coding For Humans and Machines
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
提出一种端到端可学习的可扩展视频编解码器,基础层支持机器视觉任务,增强层结合基础层支持人类观看的输入重建,基于条件编码实现更优压缩增益,在四个数据集上性能优于现有方案。
2024-11-17 cs.CV eess.IV
Vector Prism: Animating Vector Graphics by Stratifying Semantic Structure
KAIST AI(韩国科学技术院人工智能研究院)
本文提出了一种通过分层语义结构来提升向量图形动画质量的框架,通过统计汇总弱预测来恢复语义,从而提高VLMs动画生成的连贯性和准确性。
2025-12-16 cs.CV
BézierSketch: A generative model for scalable vector sketches
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里大学人工智能联合研究中心);University of Edinburgh(爱丁堡大学)
人体素描的神经生成模型的研究是一个迷人的当代建模问题,由于素描图像生成和人类绘画过程之间的联系。具有里程碑意义的SketchRNN通过顺序生成草图作为一系列路点提供了突破。然而,这会导致生成低分辨率图像,并且无法对长草图进行建模。在本文中,我们提出了BézierSketch,一种新的生成模型,完全矢量草图,可自动扩展和高分辨率。为此,我们首先介绍了一种新的逆图形方法来嵌入笔划,该方法训练编码器将每个笔划嵌入到其最佳拟合的Bézier曲线。这使我们能够将草图视为参数化笔划的短序列,从而训练具有更大容量的周期性草图生成器,以生成更长的草图,同时生成可扩展的高分辨率结果。我们报告定性和定量结果的快速,绘制!标杆
2020-07-14 cs.CV cs.LG eess.IV
TAFA-GSGC: Group-wise Scalable Point Cloud Geometry Compression with Progressive Residual Refinement
本文提出TAFA-GSGC,一种可扩展的点云几何编码器,通过分层残差细化和通道组熵编码,实现单比特流多质量解码,提升压缩效率并优于PCGCv2基准。
2026-05-13 cs.CV
Compositional Scalable Object SLAM
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个快速,可扩展,准确的同时定位与地图构建(SLAM)系统,表示室内场景的对象的图形。利用人工环境的结构化和可识别的对象所占据的观察,我们表明,组成的可扩展对象映射公式是服从于一个强大的SLAM解决方案,无漂移的大规模室内重建。为了实现这一目标,我们提出了一种新的语义辅助数据关联策略,获得明确的持久对象地标,和2.5D合成渲染方法,使可靠的帧到模型RGB-D跟踪。因此,我们提供了一个优化的在线实现,可以运行在接近帧速率与一个单一的图形卡,并提供了一个全面的评估对国家的最先进的基线。将在https://placeholder上提供开源实现。
2020-11-05 cs.CV cs.RO
Chat2SVG: Vector Graphics Generation with Large Language Models and Image Diffusion Models
City University of Hong Kong(香港城市大学);Monash University(墨尔本大学)
针对现有文本转SVG方法在形状规整性、泛化能力和表现力上的局限,提出Chat2SVG混合框架,结合大语言模型生成SVG模板、图像扩散模型优化路径,提升生成质量并支持自然语言编辑。
2025-11-12 cs.CV cs.GR
VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models
UC Berkeley(加州大学伯克利分校)
扩散模型在文本到图像的合成中已经显示出令人印象深刻的结果。使用大量的字幕图像数据集,扩散模型学习生成高度多样化的对象和场景的光栅图像。然而,设计师经常使用矢量表示的图像,如可缩放矢量图形(SVG)的数字图标或艺术。矢量图形可以缩放到任何大小,是紧凑的。我们表明,一个文本条件下的扩散模型训练图像的像素表示,可以用来生成SVG可导出的矢量图形。我们这样做没有访问标题SVG的大型数据集。通过优化可微分矢量图形光栅化器,我们的方法,VectorFusion,提取抽象的语义知识的预训练的扩散模型。受最近文本到3D工作的启发,我们使用Score Distillation Sampling学习与标题一致的SVG。为了加快生成速度并提高保真度,VectorFusion还从图像样本中进行了重新排序。实验表明比以前的工作更高的质量,并展示了一系列的风格,包括像素艺术和草图。请参阅我们的项目网页https://ajayj.com/vectorfusion。
2022-11-21 cs.AI cs.CV cs.GR
Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
构建物体层次结构的功能对人脑的视觉加工非常重要。以往的研究已经成功地采用胶囊网络,以无监督的方式分解数字和人脸的部分,以探讨神经网络的相似感知机制。然而,它们的描述仅限于2D空间,限制了它们模仿人类固有的3D感知能力的能力。在本文中,我们提出了一个逆图形胶囊网络(IGC-Net)学习的分层三维人脸表示从大规模的未标记的图像。IGC-Net的核心是一种新型的胶囊,称为图形胶囊,它表示具有计算机图形(CG)中可解释参数的3D图元,包括深度,距离和3D姿态。具体来说,IGC-Net首先将对象分解为一组语义一致的部分级描述,然后将它们组装成对象级描述以构建层次结构。学习的图形胶囊揭示了面向视觉感知的神经网络如何将面部理解为3D模型的层次结构。此外,发现的部分可以部署到无监督的人脸分割任务,以评估我们的方法的语义一致性。此外,具有明确物理意义的部分级描述提供了对最初在黑盒子中运行的人脸分析的洞察,例如形状和纹理对人脸识别的重要性。在CelebA、BP 4D和Multi-PIE上的实验证明了IGC-Net的特性。
2023-03-20 cs.CV
3D-Aware Scene Manipulation via Inverse Graphics
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
我们的目标是获得一个可解释的,富有表现力的,并解开场景表示,包含全面的结构和纹理信息,为每个对象。以前由神经网络学习的场景表示通常是不可解释的,仅限于单个对象,或者缺乏3D知识。在这项工作中,我们提出了3D场景去渲染网络(3D-SDN),以解决上述问题,将语义,几何和外观的解纠缠表示集成到一个深生成模型。我们的场景编码器执行逆图形,将场景转换为结构化的对象表示。我们的解码器有两个组成部分:一个微分形状渲染器和神经纹理生成器。语义、几何和外观的解纠缠支持3D感知场景操纵,例如,自由旋转和移动对象,同时保持一致的形状和纹理,并在不影响其形状的情况下改变对象外观。实验表明,我们的编辑方案的基础上3D-SDN是优于其2D对应。
2018-12-18 cs.CV cs.GR eess.IV