RandNet: deep learning with compressed measurements of images
Harvard University(哈佛大学)
主成分分析、字典学习和自动编码器都是用于从大量训练数据中学习表示的无监督方法。在所有这些方法中,输入数据的维数越高,学习所需的时间就越长。我们介绍了一类神经网络,称为RandNet,学习表示使用压缩的随机测量数据的兴趣,如图像。RandNet将卷积递归稀疏自动编码器架构扩展到密集网络,更重要的是,扩展到输入数据是原始数据的压缩随机测量的情况。通过压缩输入数据,可以在训练期间在内存中容纳更多的批次。此外,在稀疏测量的情况下,训练在计算上更有效。我们证明,在无监督的设置中,RandNet使用压缩数据进行字典学习。在有监督的设置中,我们表明RandNet可以以最小的准确性损失对MNIST图像进行分类,尽管使用图像的随机投影进行训练,导致大小减少了50%。总的来说,我们的研究结果提供了一个一般的原则框架,使用压缩数据训练神经网络。
2019-08-25 cs.LG stat.ML
Representation Learning for Compressed Video Action Recognition via Attentive Cross-modal Interaction with Motion Enhancement
State Key Laboratory of Software Development Environment, Beihang University(北京航空航天大学软件开发环境国家重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);National Computer Network Emergency Response Technical Team, Coordination Center of China(中国国家计算机网络应急技术处理协调中心)
针对压缩视频动作识别中运动信息粗糙含噪、跨模态融合不足的问题,提出带运动增强的注意力跨模态交互网络MEACI-Net,通过多尺度去噪运动流、选择性运动补全和跨模态增强模块提升性能,在多个基准上验证了其有效性与高效性。
2022-06-16 cs.AI cs.CV
Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space
Zyphra
本文提出压缩卷积注意力(CCA)和压缩卷积分组查询注意力(CCGQA),通过在共享潜在空间内执行注意力操作,显著减少参数、KV缓存和FLOPs,提升训练和推理效率。
2026-03-16 cs.AI cs.CL
TransOpt: Transformer-based Representation Learning for Optimization Problem Classification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约泽夫·斯蒂芬国际研究生院)
本文提出TransOpt,利用Transformer架构学习优化问题表示,在BBOB基准的24类问题分类中达到70%-80%准确率,验证了Transformer用于黑盒优化问题表示学习的可行性。
2023-11-29 cs.LG math.OC
Attacking Compressed Vision Transformers
New York University(纽约大学)
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中,但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此,模型压缩技术现在被广泛用于在边缘设备上部署模型,因为它们降低了资源需求并使模型推理非常快速和高效。但是,从安全角度来看,它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉,它们会严重影响模型的准确性和可靠性。在这项工作中,我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性,并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
Chain-of-Thought and Compressed Looped Transformers: A Memory-Budget Separation
Department of Mathematics and Statistics(数学与统计学系)
本文通过比较三种记忆机制(压缩潜在循环、全序列状态循环和思维链暂存区),证明压缩循环Transformer的记忆预算限制其推理能力,而思维链通过扩展上下文实现更强的问题求解。
2026-05-29 cs.LG
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI;Eleuther AI
KVM提出了一种新的块递归注意力机制,能够处理固定大小或增长状态,通过在强基线变压器中加入KVM注意力层,实现了线性复杂度的RNN,并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
Transformer Compressed Sensing via Global Image Tokens
The University of Queensland(昆士兰大学)
卷积神经网络(CNN)与传统的手工制作方法相比,表现出出色的压缩感知(CS)性能。然而,它们在概括性、归纳偏差和难以模拟远距离关系方面受到广泛的限制。Transformer神经网络(TNN)通过实现设计用于捕获输入之间的依赖关系的注意力机制来克服这些问题。然而,高分辨率任务通常需要视觉Transformer(ViT)将图像分解为基于块的令牌,将输入限制为固有的本地上下文。我们提出了一种新的图像分解,自然地嵌入到低分辨率的输入图像。这些万花筒令牌(KD)提供了一种全局注意力机制,其计算成本与基于补丁的方法相同。为了展示这一发展,我们用TNN块替换了知名CS-MRI神经网络中的CNN组件,并展示了KD带来的改进。我们还提出了一个整体的图像令牌,提高整体图像质量和减少模型的大小。补充材料请访问:https://github.com/uqmarlonbran/TCS.git
2022-07-12 cs.CV cs.LG eess.IV
EDiT: Efficient Diffusion Transformers with Linear Compressed Attention
Samsung, AI Center Cambridge(三星人工智能中心剑桥)
本文提出高效扩散Transformer(EDiT)及多模态MM-EDiT架构,通过引入线性压缩注意力与混合注意力方案,在保持图像质量的同时实现高达2.2倍的加速。
2025-08-11 cs.CV cs.LG
Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning
Mila(米拉研究所);University of Montreal(蒙特利尔大学);Microsoft Research(微软研究院);Google Deepmind(谷歌DeepMind);Google Research(谷歌研究院)
递归神经网络对学习时间压缩表示有很强的归纳倾向,因为序列的整个历史由单个向量表示。相比之下,Transformers对学习时间压缩表示几乎没有归纳偏见,因为它们允许关注序列中所有先前计算的元素。具有更压缩的序列表示可能有利于泛化,因为高级表示可以更容易地重用和重新利用,并且将包含更少的不相关细节。与此同时,过度压缩表示是以牺牲表现力为代价的。我们提出了一个解决方案,将计算分为两个流。本质上是循环的慢流旨在通过将$K$时间步长的块强制为被划分为多个向量的单个表示来学习专门的和压缩的表示。同时,快速流被参数化为Transformer,以处理由以慢速流中的信息为条件的$K$时间步长组成的块。在所提出的方法中,我们希望获得Transformer的表现力,同时鼓励更好地压缩和结构化的表示在慢流。我们所提出的方法的好处,在改进的样本效率和泛化性能相比,各种竞争力的基线视觉感知和顺序决策任务。
2022-10-25 cs.AI cs.LG
Merging Feed-Forward Sublayers for Compressed Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
提出一种通过选择、对齐和合并Transformer中相似前馈子层的新型模型压缩方法,在保持99%性能的同时移除超21%参数,优于层剪枝基线。
2025-03-28 cs.CL cs.LG
Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration
Seoul National University(首尔大学)
我们提出了一种新的信息瓶颈(IB)的方法命名为丢弃瓶颈,离散下降的功能是无关的目标变量。Drop-Bottleneck不仅具有简单易行的压缩目标,而且还提供了输入变量的确定性压缩表示,这对于需要一致表示的推理任务非常有用。此外,它可以联合学习一个特征提取器,并考虑每个特征维度与目标任务的相关性来选择特征,这是大多数基于神经网络的IB方法无法实现的。针对强化学习任务,提出了一种基于降瓶颈的探索方法。在VizDoom中的大量噪声和奖励稀疏迷宫导航任务中(Kempka等人,2016)和DMLab(Beattie等人,2016年),我们的勘探方法达到了最先进的性能。作为一个新的IB框架,我们证明了下降瓶颈优于变分信息瓶颈(VIB)(Alemi等人,2017)在多个方面,包括对抗鲁棒性和降维。
2021-03-23 cs.AI cs.LG
How Much Cache Does Reasoning Need? Depth-Cache Tradeoffs in KV-Compressed Transformers
FujianAI(福建AI)
研究通过k步指针追逐分析KV缓存压缩对多步推理的影响,揭示了深度与缓存大小的理论界限及带宽限制,同时比较了自适应与非自适应缓存的误差缩放差异。
2026-04-20 cs.AI cs.CC cs.LG
Ultra Memory-Efficient On-FPGA Training of Transformers via Tensor-Compressed Optimization
Department of Electrical and Computer Engineering, University of California, Santa Barbara(加州大学圣芭芭拉分校电子与计算机工程系);Intel Corporation(英特尔公司);Department of Computer Science, North Carolina State University(北卡罗来纳州立大学计算机科学系);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
针对边缘设备Transformer训练的内存瓶颈,提出基于张量压缩的FPGA加速器,通过双向收缩流和片上内存实现端到端训练,内存减少30-51倍,能耗降低3.6倍。
2025-08-06 cs.AR cs.CL cs.LG
A simple connection from loss flatness to compressed neural representations
Department of Applied Mathematics(应用数学系);Computational Neuroscience Center(计算神经科学中心);University of Washington(华盛顿大学);Technion, Israel Institute of Technology(技术离子以色列理工学院)
本文通过引入局部体积比、最大局部敏感度和局部维度等度量,揭示了损失平坦性与神经表示压缩之间的关系,为理解锐度与泛化能力的关系提供了新的理论框架。
2026-02-22 cs.AI cs.LG
RWKV-edge: Deeply Compressed RWKV for Resource-Constrained Devices
University of Virginia(弗吉尼亚大学)
针对RWKV大语言模型参数量高难以在资源受限设备部署的问题,提出适配其架构的架构优化+训练后压缩组合方案,实现3.4-5倍内存压缩且精度损失极小,比同精度Transformer模型内存占用低4倍。
2025-10-28 cs.LG cs.PF
Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Salesforce AI(Salesforce人工智能研究院)
本文提出在预训练语言模型隐藏层间插入随机自编码器生成多视图压缩表示,以缓解低资源微调中的过拟合问题,并在推理时移除自编码器,从而在不增加推理开销的情况下提升多种低资源NLP任务性能。
2023-05-26 cs.AI cs.CL cs.LG
Structural Sensitivity in Compressed Transformers: Relative Error Propagation and Layer Removal
Indian Institute of Information Technology Allahabad, India(阿利哈巴德信息技术学院,印度);National Institute of Electronics(电子研究所);Indian Institute of Technology Patna, India(帕纳印度理工学院,印度);Indian Institute of Information Technology Kalyani, India(卡里尼信息技术学院,印度)
研究压缩变换器时,误差在层间累积机制及层移除策略,通过rho指标分析误差传播,发现早期层压缩影响更大,提出基于rho的层移除方法,结合两种标准提升性能,提供无训练的压缩决策工具。
2026-05-07 cs.AI cs.CL cs.LG
T2CI-GAN: Text to Compressed Image generation using Generative Adversarial Network
IIIT Allahabad(阿拉哈巴德印度信息技术学院);Vignan University(维甘大学)
近年来,为视觉数据生成文本描述的问题得到了研究的关注。与此相反,从文本描述生成视觉数据的问题仍然非常具有挑战性,因为它需要结合自然语言处理(NLP)和计算机视觉技术。现有的方法利用生成对抗网络(GANs),并从文本描述中生成未压缩的图像。然而,在实践中,大多数视觉数据是以压缩表示的方式处理和传输的。因此,所提出的工作尝试使用深度卷积GANs(DCGANs)以压缩表示形式直接生成视觉数据,以实现存储和计算效率。我们提出了GAN模型,用于从文本生成压缩图像。第一个模型直接用JPEG压缩的DCT图像(压缩域)训练,以从文本描述生成压缩图像。第二个模型使用RGB图像(像素域)进行训练,以从文本描述生成JPEG压缩DCT表示。在开源基准数据集Oxford-102 Flower图像上使用RGB和JPEG压缩版本对所提出的模型进行了测试,并在JPEG压缩域中实现了最先进的性能。该代码将在接受论文后在GitHub上公开发布。
2022-10-01 cs.AI cs.CV cs.LG
Neural Machine Translation with 4-Bit Precision and Beyond
University of Edinburgh(爱丁堡大学)
神经机器翻译(NMT)是资源密集型的。我们设计了一个量化过程,以压缩NMT模型更好地为有限的硬件能力的设备。由于大多数神经网络参数接近于零,我们采用对数量化代替定点量化。然而,我们发现偏置项不太适合对数量化,但注意到它们只占模型的一小部分,因此我们将其保留为未压缩。我们还建议在重新训练过程中使用错误反馈机制,以将压缩模型作为陈旧梯度保留。我们的经验表明,基于Transformer或RNN架构的NMT模型可以压缩到4位精度,而不会出现任何明显的质量下降。模型可以被压缩到二进制精度,尽管质量较低。与Transformer相比,RNN架构似乎对量化更鲁棒。
2019-09-20 cs.CL cs.LG
TimeCapsule: Solving the Jigsaw Puzzle of Long-Term Time Series Forecasting with Compressed Predictive Representations
Hefei Institutes of Physical Science(合肥物理科学研究院);University of Science and Technology of China(中国科学技术大学)
TimeCapsule通过统一冗余减少和多尺度建模思想,将时间序列建模为3D张量并采用模式乘积压缩,结合JEPA内部预测,在LTSF基准上实现最先进性能。
2025-05-23 cs.AI cs.LG eess.SP
Unified Scaling Laws for Compressed Representations
ISTA
本文提出统一的标度律框架,通过基于拟合随机高斯数据能力的“容量”度量,在理论和实验上预测并比较稀疏、量化及稀疏量化等压缩表示下的模型参数效率与精度潜力。
2025-06-02 cs.CL cs.LG
SceneTok: A Compressed, Diffusable Token Space for 3D Scenes
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
SceneTok通过压缩且可差分的无结构标记空间,实现了高效且高质量的3D场景重建与生成。
2026-02-26 cs.AI cs.CV cs.LG
Exploring Compressed Image Representation as a Perceptual Proxy: A Study
National Taiwan University(国立台湾大学)
本文提出将图像压缩的分析变换与物体分类联合训练,证明压缩潜在表示可作为感知代理,在无需额外VGG网络的情况下有效预测人类感知距离并服务于多种图像任务。
2024-01-14 cs.CV cs.LG eess.IV
Learning compressed representations of blood samples time series with missing data
UiT the Arctic University of Norway(挪威北极大学)
随时间收集的临床测量结果自然表示为多变量时间序列(MTS),其中通常包含缺失数据。自动编码器可以学习MTS的低维向量表示,其保留重要的数据特征,但不能显式地处理丢失的数据。在这项工作中,我们提出了一个新的框架,结合了自动编码器的时间序列聚类内核(TCK),内核,占MTS中的缺失模式。通过内核对齐,我们将TCK纳入自动编码器中,以在存在丢失数据的情况下改进学习的表示。我们认为MTS的分类问题与缺失值,代表血液样本的手术部位感染的患者。使用我们的方法,而不是使用标准的自动编码器,我们学习可以更好地分类的低维表示。
2017-10-20 cs.LG cs.NE stat.ML
Learning Hybrid Representation by Robust Dictionary Learning in Factorized Compressed Space
Department of Computer Science, University of Georgia(佐治亚大学计算机科学系)
在本文中,我们研究了鲁棒的字典学习(DL)发现混合显着的低秩和稀疏表示在一个分解压缩空间。提出了一种联合鲁棒因子分解和投影字典学习(J-RFDL)模型。J-RFDL的设置旨在通过增强对数据中的离群值和噪声的鲁棒性来改善数据表示,更准确地编码重建误差,并获得具有准确重建能力的混合显著系数。具体地说,J-RFDL在分解的压缩空间中执行DL的鲁棒表示,以消除噪声和离群值对结果的负面影响,这也可以使DL过程高效。为了使编码过程对数据中的噪声具有鲁棒性,J-RFDL显然使用了稀疏L2,1-范数,通过强制重构误差的行为零,可以潜在地最小化因子分解和重构误差。为了提供具有良好结构的显着系数以很好地重构给定数据,J-RFDL通过合成字典对嵌入系数施加联合低秩和稀疏约束。基于混合显着系数,我们还扩展了J-RFDL用于联合分类,提出了一种判别式J-RFDL模型,该模型通过联合最小化分类误差来提高学习系数的判别能力。在公共数据集上进行的大量实验表明,我们的配方可以提供优于其他最先进方法的性能。
2019-12-26 cs.LG stat.ML
Training Transformers for KV Cache Compressibility
University of Oxford(牛津大学);Technion – Israel Institute of Technology(技术ion理工学院);AITHYRA;NVIDIA
本文提出KV-CAT训练方法,通过训练时的KV稀疏化策略,引导模型学习可压缩的表示,提升下游压缩方法的质量-预算权衡。
2026-05-12 cs.LG
CoDiCodec: Unifying Continuous and Discrete Compressed Representations of Audio
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories, Paris(索尼计算机科学实验室(巴黎))
本文提出 CoDiCodec 音频自编码器,通过 FSQ 和 FSQ-dropout 技术从同一模型同时生成连续嵌入与离散 token,支持自回归与并行解码,在相似比特率下实现了优于现有方法的音频重建质量,统一了连续与离散生成建模范式。
2025-09-11 cs.AI cs.LG cs.SD
Motion Planning in Compressed Representation Spaces
MIT LIDS(麻省理工学院信息与决策系统实验室)
提出一种生成式框架,通过高压缩率自编码器学习离散层级化潜在空间,并在其中直接搜索进行运动规划,兼顾灵活性与效率,无需任务特定训练。
2026-07-01 cs.AI cs.LG cs.RO
Do Compressed Representations Generalize Better?
Sharif University of Technology(谢里夫理工大学)
机器学习中研究最多的问题之一是找到保证学习算法泛化的合理约束。这些约束通常表示为对目标的一些简单性假设。例如,在Vapnik-Chervonenkis(VC)理论中,可能假设的空间被认为具有有限的VC维度。在本文中,对输入变量$X$的熵$H(X)$的约束作为一个简单的假设进行了研究。证明了实现$ε$ - $δ$可能近似正确(PAC)假设的样本复杂度受$\frac{2^{ \left.6H(X)\middle/ε\right.}+\log{\frac{1}δ}}{ε^2}$的限制,该限制急剧上升到$\frac{1}{ε^2}$因子。此外,它表明,如果一个特征学习过程是用来学习压缩表示从数据集,这个界限不再存在。这些发现对信息瓶颈(IB)理论具有重要意义,该理论曾被用来解释深度神经网络(DNN)的泛化能力,但研究人员目前正在讨论其适用性。特别地,这是对先前的启发式的严格证明,即压缩表示以指数方式更容易学习。然而,我们的分析指出了两个因素,阻止了IB,在其目前的形式,适用于研究神经网络。首先,样本复杂度对$\frac{1}ε$的指数依赖性,当$ε$较小时,这会导致实际应用中边界的显著影响。其次,我们的分析表明,基于输入压缩的参数本质上不足以解释DNN等方法的泛化,其中特征也是使用可用数据学习的。
2020-01-02 cs.AI cs.IT cs.LG
Learning Compressed Sentence Representations for On-Device Text Processing
Duke University(杜克大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
在大量文本语料库上训练的句子的向量表示被广泛用作各种NLP问题中的通用句子嵌入。学习的表示通常被假设为连续的和实值的,从而导致大的存储器占用和缓慢的检索速度,这阻碍了它们对低资源(存储器和计算)平台(诸如移动设备)的适用性。在本文中,我们提出了四种不同的策略来转换连续和通用的句子嵌入到一个二进制化的形式,同时保留其丰富的语义信息。在广泛的下游任务,二进制化的句子嵌入被证明是降低性能只有约2%,相对于他们的连续同行,同时减少了超过98%的存储需求的方法进行评估。此外,通过学习的二进制表示,可以通过简单地计算它们的汉明距离来评估两个句子的语义相关性,与连续嵌入之间的内积运算相比,这是计算效率更高的。详细的分析和实例研究进一步验证了所提方法的有效性。
2019-06-19 cs.CL cs.LG
CLAD: Efficient Log Anomaly Detection Directly on Compressed Representations
Guangzhou University(广州大学)
CLAD是首个在压缩字节流上直接进行日志异常检测的深度学习框架,通过稀疏字节模式和多尺度偏差提取,实现高效检测并提升F1分数至0.9909。
2026-04-14 cs.DB cs.LG
Exploiting Richness of Learned Compressed Representation of Images for Semantic Segmentation
Indian Institute of Technology Kharagpur(印度理工学院卡拉格布尔分校);Intel Technology India Pvt. Ltd.(英特尔技术印度私人有限公司)
提出基于学习的压缩Codec,直接利用压缩表示进行语义分割,在Cityscapes数据集上实现66倍压缩且保持较高分割精度,降低计算开销。
2023-07-27 cs.CV cs.LG eess.IV
Compressed Predictive Information Coding
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校)
无监督学习在人工智能、机器学习和神经科学等领域发挥着重要作用。与静态数据相比,动态数据的低维结构提取方法相对滞后。我们开发了一种新的信息理论框架,压缩预测信息编码(CPIC),从动态数据中提取有用的表示。CPIC选择性地将过去(输入)投影到线性子空间中,该线性子空间预测从未来(输出)投影的压缩数据。我们的框架的关键见解是通过最小化压缩复杂性和最大化潜在空间中的预测信息来学习表示。我们推导出变的CPIC损失的潜在空间,以捕捉信息,最大限度地预测。利用互信息的边界,我们的变分边界是易于处理的。我们发现,在编码器中引入随机性鲁棒有助于更好的表示。此外,变分方法在互信息估计中的性能优于高斯假设下的估计。我们证明了CPIC能够恢复低信噪比的噪声动力系统的潜在空间,并提取预测神经科学数据中外源变量的特征。
2022-03-03 cs.IT cs.LG math.IT
Exact semantic readout from compressed vector representations
Center for Possible Minds(可能心智中心);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本研究刻画了压缩向量表示支持精确线性或仿射语义读出的条件,提出行空间秩条件,并通过实验表明预训练嵌入仅可分而不可精确仿射恢复,但监督转导训练可达到精确恢复。
2026-09-17 cs.CL cs.LG cs.LO
Compressed models are NOT miniature versions of large models
Indian Institute of Technology Guwahati(印度古瓦哈蒂理工学院)
本文质疑压缩模型是大型模型微型版本的普遍假设,通过比较预测误差、数据表示、数据分布和对抗攻击脆弱性四个特征,发现压缩模型与大型模型及彼此间均存在显著差异,并指出其替代带来的副作用。
2024-07-18 cs.IR cs.LG
Transformer-F: A Transformer network with effective methods for learning universal sentence representation
Beijing University of Posts and Telecommunications(北京邮电大学)
Transformer模型广泛用于自然语言处理中的句子表示。然而,以前的基于transformer的模型集中在功能词,在大多数情况下,具有有限的意义,只能提取高层次的语义抽象特征。本文介绍了两种提高Transformers性能的方法。我们通过将词性权重向量与相关系数相乘来计算注意力得分,这有助于提取更实际意义的单词。权值向量由输入文本序列根据词性的重要性得到。此外,我们融合了每一层的特征,使句子表示结果更加全面和准确。在实验中,我们证明了我们的模型Transformer-F在三个标准文本分类数据集上的有效性。实验结果表明,我们提出的模型显着提高文本分类的性能相比,基线模型。具体来说,我们在简单任务上获得了比普通Transformer 5.28%的相对改进。
2021-07-02 cs.CL cs.LG
SINR: Sparsity Driven Compressed Implicit Neural Representations
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出SINR,一种利用字典内高维稀疏编码压缩隐式神经表示权重的算法,无需学习或传输字典原子,可集成于现有压缩技术,显著降低存储需求并保持高质量解码。
2025-03-25 cs.CV cs.LG
Learning Directly from Grammar Compressed Text
NEC Corporation(日本电气公司);RIKEN Center for Advanced Intelligence Project (RIKEN AIP)(理化学研究所先进智能项目中心)
使用大量文本数据的神经网络已经成功地应用于各种任务。虽然大量文本数据通常使用语法压缩等技术进行压缩,但几乎所有以前的机器学习方法都假设已经解压缩的序列数据作为其输入。在本文中,我们提出了一种方法,直接应用神经序列模型的语法压缩算法压缩的文本数据,而无需解压缩。为了对压缩规则中出现的唯一符号进行编码,我们引入了作曲家模块来将符号增量编码为矢量表示。通过在真实数据集上的实验,我们经验性地表明,该建议模型可以在保持适度性能的同时实现内存和计算效率。
2020-02-28 cs.CL cs.LG stat.ML