Compressed Concatenation of Small Embedding Models
University of Passau(巴伐利亚大学)
针对小型嵌入模型性能不足的问题,提出级联多个小模型并结合MRL损失训练的轻量解码器降维的方法,在MTEB子集上以48倍压缩比恢复89%性能,且级联更多模型可提升压缩鲁棒性。
2025-10-06 cs.LG
Compressed Video Aggregator: Content-driven Module for Efficient Micro-Video Recommendation
University of Tulsa(塔尔萨大学);Amazon(亚马逊);University of Arizona(亚利桑那大学);Visa
本文提出压缩视频聚合器(CVA),通过解耦视频信息与偏好学习,利用冻结的VFM嵌入进行聚合,生成紧凑的视频嵌入以提升推荐效果。实验显示,通过CLIP重新选择关键帧可显著减少训练时间和GPU内存消耗,并提升所有方法的性能。
2026-07-30 cs.AI cs.LG
Efficiently Editing Mixture-of-Experts Models with Compressed Experts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
针对MoE模型激活专家存在冗余的问题,提出用轻量压缩专家替代辅助激活专家的方法,可在保留90%以上性能的同时减少超30%激活参数、节省20%推理成本,助力资源受限场景部署。
2025-09-03 cs.AI cs.LG
ProtFlow: Fast Protein Sequence Design via Flow Matching on Compressed Protein Language Model Embeddings
Zhejiang University(浙江大学)
针对蛋白质序列设计中现有深度生成方法存在的推理效率低、建模空间大等问题,提出基于流匹配的ProtFlow框架,通过压缩蛋白质语言模型嵌入的潜空间实现快速设计,在多任务中优于特定方法。
2025-04-15 cs.AI cs.LG q-bio.BM
Using Holographically Compressed Embeddings in Question Answering
Middle Tennessee State University(中田纳西州立大学)
词向量表示是深度学习自然语言处理模型的核心。这些向量的许多形式,称为嵌入,存在,包括word2vec和GloVe。嵌入在大型语料库上进行训练,并在上下文中学习单词的用法,捕获单词之间的语义关系。然而,来自这样的训练的语义处于不同单词(称为单词类型)的级别,并且当例如单词类型可以是名词或动词时可能是模糊的。在问答中,词性和命名实体类型很重要,但在神经模型中编码这些属性会扩大输入的大小。这项研究采用全息压缩预训练的嵌入,代表一个令牌,它的词性,和命名实体类型,在相同的维度,只代表令牌。在修改的问答循环深度学习网络中的实现表明,语义关系得到了保留,并产生了强大的性能。
2020-07-14 cs.CL cs.LG
Intermittent Inference with Nonuniformly Compressed Multi-Exit Neural Network for Energy Harvesting Powered Devices
University of Pittsburgh(匹兹堡大学);University of Notre Dame(圣母大学)
这项工作的目的是通过将轻量级DNN部署到能量收集(EH)供电的设备上,为EH供电的设备实现持久的、事件驱动的感知和决策能力。然而,收集的能量通常很弱且不可预测,即使是轻量级DNN也需要多个电源周期才能完成一个推理。为了消除为一个推理积累能量的无限期长时间等待并优化准确性,我们开发了一种功率跟踪感知和出口引导的网络压缩算法,以压缩和部署多出口神经网络到EH供电的微控制器(MCU),并在执行期间根据可用能量选择出口。实验结果表明,优越的准确性和延迟相比,国家的最先进的技术。
2020-07-23 cs.LG stat.ML
Open-TQ-Metal: Fused Compressed-Domain Attention for Long-Context LLM Inference on Apple Silicon
Apple Silicon
Open-TQ-Metal在Apple Silicon上实现了首个融合压缩域注意力的实现,使Llama 3.1 70B在单台64GB Mac上实现128K上下文推理,通过量化KV缓存和自定义Metal计算着色器提升了推理效率和内存利用率。
2026-04-18 cs.LG
Diffusion Generative Models Meet Compressed Sensing, with Applications to Imaging and Finance
Department of Industrial Engineering and Operations Research, Columbia University(工业工程与运筹学系,哥伦比亚大学);Department of Statistics, Columbia University(统计系,哥伦比亚大学)
本文提出 CSDM,将压缩感知与潜空间扩散模型结合以加速训练与推理,并在图像及金融时间序列数据集上验证其可证明的更快收敛。
2025-09-28 cs.AI cs.LG stat.ML
Learnable Embedding Space for Efficient Neural Architecture Compression
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法来增量学习嵌入空间域的网络架构,使仔细选择的架构进行评估,在压缩架构搜索。给定一个教师网络,我们使用贝叶斯优化(BO)搜索一个压缩的网络架构,并在我们提出的嵌入空间上定义一个核函数来选择用于评估的架构。我们证明了我们的搜索算法可以显著优于各种基线方法,例如随机搜索和强化学习(Ashok et al.,2018年)。通过我们的方法发现的压缩架构也优于最先进的手动设计的紧凑架构ShuffleNet(Zhang等人,2018年)。我们还证明了学习的嵌入空间可以转移到新的架构搜索设置,例如更大的教师网络或不同架构家族中的教师网络,而无需任何训练。代码可在此处公开获取:https://github.com/Friedrich1006/ESNAC。
2019-04-25 cs.CV cs.LG
On the Acceleration of Deep Neural Network Inference using Quantized Compressed Sensing
Artificial Intelligence Research Lab(人工智能研究实验室);Fit-For-Purpose Technologies
在资源有限的设备上加速深度神经网络(DNN)推理是确保更广泛和更具包容性的采用的最重要障碍之一。为了缓解这一问题,DNN二进制量化用于更快的卷积和内存节省是最有前途的策略之一,尽管其准确性严重下降。因此,本文提出了一种新的基于量化压缩感知(QCS)的二进制量化函数。理论上的争论推测,我们的建议保留了标准方法的实际好处,同时减少了量化误差和精度下降。
2021-08-23 cs.LG cs.NA cs.NE
Self-Indexing KVCache: Predicting Sparse Attention from Compressed Keys
本文提出自索引KV缓存方法,通过1位符号向量量化统一压缩与检索,减少内存开销并提升大模型推理效率。
2026-03-15 cs.AI cs.LG
ETHEREAL: Energy-efficient and High-throughput Inference using Compressed Tsetlin Machine
Institute for Clarity in Documentation(文档清晰研究所);Newcastle University(纽卡斯尔大学)
针对Tsetlin机(TM)中文字被同一类正负子句抵消的特性,提出ETHEREAL压缩方法,通过迭代排除自动机状态稀疏逻辑模式,在8个TinyML数据集上实现模型大小减少87.54%、推理能耗和时间较BNNs降一个数量级、内存小于RFs且精度损失小。
2025-02-08 cs.LG
CoDiCodec: Unifying Continuous and Discrete Compressed Representations of Audio
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories, Paris(索尼计算机科学实验室(巴黎))
本文提出 CoDiCodec 音频自编码器,通过 FSQ 和 FSQ-dropout 技术从同一模型同时生成连续嵌入与离散 token,支持自回归与并行解码,在相似比特率下实现了优于现有方法的音频重建质量,统一了连续与离散生成建模范式。
2025-09-11 cs.AI cs.LG cs.SD
Learning Compressed Sentence Representations for On-Device Text Processing
Duke University(杜克大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
在大量文本语料库上训练的句子的向量表示被广泛用作各种NLP问题中的通用句子嵌入。学习的表示通常被假设为连续的和实值的,从而导致大的存储器占用和缓慢的检索速度,这阻碍了它们对低资源(存储器和计算)平台(诸如移动设备)的适用性。在本文中,我们提出了四种不同的策略来转换连续和通用的句子嵌入到一个二进制化的形式,同时保留其丰富的语义信息。在广泛的下游任务,二进制化的句子嵌入被证明是降低性能只有约2%,相对于他们的连续同行,同时减少了超过98%的存储需求的方法进行评估。此外,通过学习的二进制表示,可以通过简单地计算它们的汉明距离来评估两个句子的语义相关性,与连续嵌入之间的内积运算相比,这是计算效率更高的。详细的分析和实例研究进一步验证了所提方法的有效性。
2019-06-19 cs.CL cs.LG
On the transferability of Sparse Autoencoders for interpreting compressed models
Department of Computer Science and Engineering(计算机科学与工程系)
本文研究稀疏自编码器在压缩模型上的可迁移性,发现原始模型训练的SAE可直接解释压缩模型,且剪枝原始SAE即可达到重新训练的效果,从而大幅降低训练成本。
2025-07-21 cs.AI cs.LG
Compressed Diffusion
Yale University(耶鲁大学);Utah State University(犹他州立大学);Université de Montréal(蒙特利尔大学)
扩散映射是一种常用的基于核的流形学习方法,它可以揭示数据中的内在结构并将其嵌入低维。然而,与大多数内核方法一样,它的实现需要大量的计算负载,在数据点的数量上达到立方复杂度。这限制了它在现代数据分析中的可用性。在这里,我们提出了一种新的方法来计算的扩散几何,相关的嵌入,从数据区域之间的压缩扩散过程,而不是数据点。我们的构造是基于先前提出的基于测量的高斯相关(MGC)内核,鲁棒地捕获数据点周围的局部几何形状的适应。我们使用这个MGC内核有效地压缩扩散关系从逐点到数据区域分辨率。最后,数据区域的谱嵌入提供用于内插和近似数据的逐点扩散映射嵌入的坐标。我们分析了我们的构造与扩散映射的原始扩散几何之间的理论联系,并展示了我们的方法在分析大数据集时的实用性,在这种情况下,它优于竞争方法。
2019-06-10 cs.LG stat.ML
The trade-offs of model size in large recommendation models : A 10000 $\times$ compressed criteo-tb DLRM model (100 GB parameters to mere 10MB)
Rice University(莱斯大学);ThirdAI Corp.(ThirdAI公司)
嵌入式表主导了工业规模的推荐模型大小,使用高达TB的内存。一个流行的、最大的关于推荐数据的公开可用的机器学习MLPerf基准测试是一个深度学习推荐模型(DLRM),它是在TB级点击数据上训练的。它包含100 GB的嵌入式内存(25+十亿个参数)。DLRM由于其庞大的规模和相关的数据量,在训练、部署推理方面面临困难,并且由于大型嵌入表而面临内存瓶颈。本文分析和广泛评估了一个通用的参数共享设置(PSS)压缩DLRM模型。我们展示了理论上的可学习的内存要求实现$(1 \pm ε)$近似的嵌入表。我们的界限表明,指数较少的参数足以达到良好的精度。为此,我们展示了一个PSS DLRM达到10000 $\times$压缩criteo-tb,而不损失质量。然而,这种压缩是有警告的。它需要多4.5 $\times$次迭代才能达到相同的饱和质量。本文认为,这种权衡需要更多的调查,因为它可能是非常有利的。利用压缩模型的小尺寸,我们在训练延迟方面显示了4.3 $\times$的改进,从而导致类似的总体训练时间。因此,在小型DLRM模型的系统优势与较慢收敛之间的权衡中,我们表明规模倾向于拥有较小的DLRM模型,从而导致更快的推理,更容易的部署和类似的训练时间。
2022-07-21 cs.IR cs.LG
Graph Inference Representation: Learning Graph Positional Embeddings with Anchor Path Encoding
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecom Research Institute(中国电信研究院)
结合图结构信息的学习节点表示有利于图上的广泛任务。大多数现有的图神经网络(GNN)在捕获给定节点的位置信息方面具有有限的能力。利用选定锚点定位节点的想法已经被利用,但主要依赖于距离信息的显式标记。在这里,我们提出了图推理表示(GIR),一个基于锚点的GNN模型编码与每个节点的预选锚点相关的路径信息。在GIR及其核心变体上,从理论和实验上研究了获得位置感知嵌入的能力。此外,GIR和典型的GNN之间的互补性被证明。我们表明,GIR在位置感知场景中表现出色,并且通过融合GIR嵌入可以提高典型GNN的性能。
2021-06-12 cs.AI cs.LG
On Geodesic Distances and Contextual Embedding Compression for Text Classification
University of Washington(华盛顿大学)
在一些内存受限的设置中,如物联网设备和网络数据管道,具有较小的上下文嵌入可能是有利的。我们调查的效果投影上下文嵌入数据(BERT)到一个流形上,并使用非线性降维技术来压缩这些嵌入。特别是,我们提出了一种新型的后处理方法,应用Isomap和PCA的组合。我们发现,测地线距离估计,估计黎曼流形上的最短路径,从Isomap的k-最近邻图支撑的压缩嵌入的性能,可与原来的BERT嵌入。在一个数据集上,我们发现,尽管降维了12倍,但在下游分类任务中,压缩嵌入的性能在原始BERT嵌入的0.1%以内。此外,我们发现,这种方法的效果特别好的任务依赖于句法数据,线性降维相比。这些结果表明,一种新的几何方法,以实现低维的文本嵌入从现有的Transformers和铺平道路的数据特定的和特定于应用程序的嵌入压缩的承诺。
2021-04-22 cs.CL cs.LG
PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference
Independent Researcher(独立研究者)
PolyKV通过非对称压缩技术实现多个并发推理代理共享单一KV缓存池,提升内存效率并减少推理延迟。
2026-04-27 cs.CL cs.DC cs.LG
APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs
NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China(清华大学);Department of CS&T, Central South University, Changsha, China(中南大学);BUPT, Beijing, China(北京邮电大学);Pattern Recognition Center, WeChat AI, Tencent Inc.(腾讯人工智能研究院)
APB通过多主机近似注意力与跨GPU传递压缩上下文块,同时减少计算和增强并行性,实现长上下文推理预填充速度的大幅提升。
2025-05-26 cs.CL cs.LG
Analogical Inference for Multi-Relational Embeddings
Carnegie Mellon University(卡内基梅隆大学)
大规模多关系嵌入是指学习大型知识图谱中实体和关系的潜在表示的任务。一个有效的和可扩展的解决方案,这个问题是基于知识的推理在广泛的应用中的真正成功的关键。本文提出了一种新的框架,优化潜在的表示方面的\textit{analogical}属性的嵌入式实体和关系。通过以可微的方式制定学习目标,我们的模型具有理论能力和计算可扩展性,并且在基准数据集上显著优于大量代表性基线方法。此外,该模型提供了一个优雅的统一的几个著名的方法在多关系嵌入,这可以被证明是我们的框架的特殊实例。
2017-07-06 cs.AI cs.CL cs.LG
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah(犹他大学)
词嵌入带有来自它们所训练的文本的刻板内涵,这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制,用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断,通过偏见缓解策略静态词嵌入(GloVe)。此外,我们表明,性别偏见,这些技术扩展到语境化嵌入时,选择性地只适用于静态组件的语境化嵌入(ELMo,BERT)。
2019-11-26 cs.CL cs.LG
Membership Inference on Word Embedding and Beyond
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
在文本处理上下文中,大多数ML模型都建立在词嵌入上。这些嵌入本身是在一些数据集上训练的,这些数据集可能包含敏感数据。在某些情况下,这种训练是独立完成的,在其他情况下,它作为训练更大的特定于任务的模型的一部分而发生。在任何一种情况下,考虑基于嵌入层的成员推断攻击作为理解敏感信息泄漏的方式是有意义的。但是,有些令人惊讶的是,对词嵌入的成员推断攻击及其在使用这些嵌入的其他自然语言处理(NLP)任务中的影响仍然相对未被探索。在这项工作中,我们表明在现实的假设下,词嵌入很容易受到黑盒成员推断攻击。此外,我们还证明了这种泄漏在其他两个主要的NLP应用程序中仍然存在:分类和文本生成,即使嵌入层没有暴露给攻击者。我们表明,我们的MI攻击实现了高的攻击精度对分类器模型和基于LSTM的语言模型。事实上,我们的攻击是对文本生成模型的更便宜的成员推断攻击,它不需要目标模型的知识或任何昂贵的文本生成模型训练作为影子模型。
2021-06-21 cs.AI cs.CL cs.CR
Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Salesforce AI(Salesforce人工智能研究院)
本文提出在预训练语言模型隐藏层间插入随机自编码器生成多视图压缩表示,以缓解低资源微调中的过拟合问题,并在推理时移除自编码器,从而在不增加推理开销的情况下提升多种低资源NLP任务性能。
2023-05-26 cs.AI cs.CL cs.LG
When Dimensionality Hurts: The Role of LLM Embedding Compression for Noisy Regression Tasks
University of Oxford(牛津大学)
本文研究LLM嵌入压缩在不同信噪比回归任务中的作用,发现自编码器压缩嵌入可缓解过拟合并提升金融收益预测等噪声任务性能,但在高因果依赖任务中会降低性能,表明情感等可解释压缩表示的成功可能源于正则化效应。
2025-02-04 cs.CE cs.CL cs.LG
Celty: SpMSpV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference
Yale University(耶鲁大学);University of Southern California(南加州大学)
针对双稀疏LLM推理中spMspV workload处理低效问题,提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构,实现最高5.3倍加速。
2026-09-09 cs.AR cs.LG
Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt
Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学);ETH Zürich(苏黎世联邦理工学院)
本文提出软提示学习方法,通过让压缩模型参与提示学习,显著提升8倍压缩LLaMA-7B的性能,并实现提示跨数据集、任务和压缩级别的迁移,优化精度-效率权衡。
2023-10-10 cs.CL cs.LG
Random Offset Block Embedding Array (ROBE) for CriteoTB Benchmark MLPerf DLRM Model : 1000$\times$ Compression and 3.1$\times$ Faster Inference
Rice University(莱斯大学)
推荐数据的深度学习是近年来最普遍和最具挑战性的人工智能工作负载之一。最先进的推荐模型是与GPT-3和Switch Transformer等相匹配的最大模型之一。深度学习推荐模型(DLRM)的挑战来自于学习每个分类标记的密集嵌入。工业规模模型中的这些嵌入表可能高达数百TB。如此大的模型会带来过多的工程挑战,更不用说高昂的通信开销,以及较慢的训练和推理时间。其中,较慢的推理时间直接影响用户体验。DLRM的模型压缩正在获得越来越多的关注,社区最近展示了令人印象深刻的压缩结果。在本文中,我们提出了随机偏移块嵌入数组(ROBE)作为一个低内存替代嵌入表,提供了数量级的减少内存使用,同时保持准确性和提高执行速度。ROBE是一种简单的基本方法,可以提高缓存性能和随机哈希的方差,这本身就可以独立感兴趣。我们证明,我们可以成功地训练DLRM模型具有相同的精度,而使用$1000 \times$更少的内存。$1000\times$压缩模型直接导致更快的推理,而无需任何工程工作。特别是,我们表明,我们可以训练DLRM模型使用ROBE阵列的大小为100 MB的一个GPU上实现AUC为0.8025或更高的官方MLPerf CriteoTB基准DLRM模型的100 GB的要求,同时实现约$3.1\times$(209\%)的推理吞吐量的改善。
2022-01-22 cs.AI cs.IR cs.LG
User-Level Membership Inference Attack against Metric Embedding Learning
Zhejiang University(浙江大学);University of California(加利福尼亚大学)
成员推断(MI)确定样本是否是受害者模型训练集的一部分。MI攻击的最新发展集中在记录级别的成员推断,这限制了它们在许多现实世界中的应用。例如,在人员重新识别任务中,攻击者(或调查者)感兴趣的是确定用户的图像是否在训练期间被使用。但是,攻击者可能无法访问确切的训练图像。在本文中,我们开发了一个用户级的MI攻击,其目标是找到是否有任何样本从目标用户已被使用在训练过程中,即使没有确切的训练样本是可供攻击者。我们专注于度量嵌入学习,因为它在个人重新识别中占据主导地位,其中用户级MI攻击更明智。我们对几个数据集进行了广泛的评估,并表明我们的方法在用户级MI任务上实现了高精度。
2022-04-25 cs.AI cs.CR cs.LG
Large-Scale Privacy-Preserving Network Embedding against Private Link Inference Attacks
Shanghai University of Finance and Economics(上海财经大学);Peking University(北京大学);Beihang University(北京航空航天大学)
网络嵌入通过低维信息向量表示网络节点。虽然它通常对各种下游任务有效,但它可能会泄露网络的一些私有信息,例如隐藏的私有链接。在这项工作中,我们解决了一个新的问题,保护隐私的网络嵌入对私人链接推理攻击。基本上,我们建议通过添加或删除链接来扰动原始网络,并期望在扰动后的网络上生成的嵌入可以泄漏很少的私有链接信息,但对各种下游任务具有很高的实用性。为了实现这一目标,我们首先提出了一般的测量,以量化隐私增益和效用损失所产生的候选网络扰动,然后我们设计了一个PPNE框架,以确定最佳的扰动解决方案与最佳的隐私效用权衡迭代的方式。此外,我们提出了许多技术来加速PPNE,并确保其可扩展性。例如,由于包括DeepWalk和LINE在内的skip-gram嵌入方法可以被视为具有封闭形式嵌入结果的矩阵分解,因此我们设计了有效的隐私增益和效用损失近似方法,以避免在每次迭代中对每个候选网络扰动进行重复耗时的嵌入训练。在真实网络数据集(多达数百万个节点)上的实验验证了PPNE通过牺牲更少的效用和获得更高的隐私保护来优于基线。
2022-05-28 cs.AI cs.LG cs.SI
Compressed Deep Networks: Goodbye SVD, Hello Robust Low-Rank Approximation
University of Haifa(海法大学);Samsung Research Israel(三星研究院以色列分部)
用于压缩神经网络的常见技术是计算对应于全连接层(或嵌入层)的矩阵$A\in\mathbb{R}^{n\times d}$的$k$ -秩$\ell_2$近似$A_{k,2}$。这里,$d$是该层中神经元的数量,$n$是下一层中的数量,$A_{k,2}$可以存储在$O((n+d)k)$存储器中而不是$O(nd)$中。该$\ell_2$近似最小化秩为$k$的每个矩阵$A_{k,2}\in\mathbb{R}^{n\times d}$中的矩阵$A - A_{k,2}$中的每个条目的$p=2$的幂的总和。虽然它可以通过SVD有效地计算,但已知$\ell_2$近似对离群值(“遥远”行)非常敏感。因此,机器学习使用例如Lasso回归、$\ell_1$ -正则化和使用$\ell_1$ -范数的$\ell_1$ -SVM。本文建议用$\ell_p$代替$k$ -秩$\ell_2$近似,对$p\in [1,2]$ .然后,我们提供实用和可证明的近似算法来计算它的任何$p\geq1$,基于现代技术的计算几何。在GLUE基准上压缩BERT、DistilBERT、XLNet和RoBERTa的大量实验结果证实了这一理论优势。例如,我们的方法实现了RoBERTa的嵌入层的$28\%$压缩,与使用现有的$\ell_2$近似的$11\%$下降相比,在GLUE中的所有任务的平均准确度中只有$0.63\%$添加剂下降(…
2020-09-26 cs.AI cs.LG stat.ML
Attacking Compressed Vision Transformers
New York University(纽约大学)
视觉Transformer因其卓越的性能而越来越多地嵌入到工业系统中,但其内存和功耗要求使得将其部署到边缘设备成为一项具有挑战性的任务。因此,模型压缩技术现在被广泛用于在边缘设备上部署模型,因为它们降低了资源需求并使模型推理非常快速和高效。但是,从安全角度来看,它们的可靠性和鲁棒性是安全关键型应用程序中的另一个主要问题。对抗攻击就像ML算法的光学错觉,它们会严重影响模型的准确性和可靠性。在这项工作中,我们研究了SOTA视觉Transformer模型中对抗样本在3个SOTA压缩版本中的可转移性,并推断出不同压缩技术对对抗攻击的影响。
2022-09-28 cs.CV cs.LG
Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference
The University of Sydney(悉尼大学);CSIRO(澳大利亚联邦科学与工业研究组织);NVIDIA(英伟达)
在无似然设置的可能性评估是棘手的,近似贝叶斯计算(ABC)解决了艰巨的推理任务,发现合理的参数解释的观察模拟程序。然而,它们需要大量的模拟调用。重要的是,决定模拟差异度量的超参数至关重要地平衡了推理精度和样本效率,但很难调整。在本文中,我们提出了内核嵌入似然自由推理(KELFI),一个整体框架,自动学习模型超参数,以提高推理精度有限的模拟预算。通过利用条件均值嵌入的似然平滑性,我们非参数地近似似然和后验作为代理密度,并从封闭形式的后验均值嵌入中采样,其超参数在其近似边缘似然下学习。我们的模块化框架在生态学中具有挑战性的推理问题上表现出更高的准确性和效率。
2019-03-03 cs.LG stat.ML
Structural Dropout for Model Width Compression
Princeton University(普林斯顿大学)
已知现有的ML模型高度过度参数化,并且使用的资源远远超过给定任务所需的资源。先前的工作已经探索了离线压缩模型,例如通过将知识从较大的模型中提取到更小的模型中。这对于压缩是有效的,但是没有给出测量模型可以被压缩多少的经验方法,并且需要对每个压缩的模型进行额外的训练。我们提出了一种方法,只需要一个单一的训练会话的原始模型和一组压缩模型。所提出的方法是一种“结构性”的丢弃,它修剪了随机选择的索引上方隐藏状态中的所有元素,迫使模型学习其特征的重要性排序。在学习了这种排序之后,在推理时,不重要的特征可以被修剪,同时保持最大的准确性,从而显着减少参数大小。在这项工作中,我们专注于全连接层的结构丢弃,但这个概念可以应用于具有无序特征的任何类型的层,例如卷积层或注意力层。结构丢弃不需要额外的修剪/重新训练,但需要对每个可能的隐藏大小进行额外的验证。在推理时,非专家可以在大量高度压缩的模型与更精确的模型之间选择最适合其需求的内存与准确性权衡。
2022-05-13 cs.LG
AQUATIC-Diff: Additive Quantization for Truly Tiny Compressed Diffusion Models
Nanyang Technological University(南洋理工大学)
本文提出 AQUATIC-Diff,将基于码本的加性向量量化用于扩散模型压缩,在 LDM-4/ImageNet 极低位宽设置下刷新 Pareto 前沿,并通过通用高效内核实现 FLOPs 节省。
2025-06-09 cs.LG
Alignment and stability of embeddings: measurement and inference improvement
Boğaziçi University(博阿齐奇大学);IMT Atlantique(大西洋国立高等工业技术与矿业学校);DSI Global Services(DSI全球服务公司)
表示学习(RL)方法学习对象的潜在嵌入,其中信息通过距离保留。由于距离对于某些线性变换是不变的,因此可以获得不同的嵌入,同时保留相同的信息。在动态系统中,嵌入的时间差异可以通过系统的稳定性或由于任意变换而导致的嵌入的不对准来解释。在文献中,嵌入对齐没有被正式定义,理论探讨,或经验分析。在这里,我们探索嵌入对齐及其部分,提供第一个正式的定义,提出新的指标来衡量对齐和稳定性,并通过合成实验显示其适用性。真实世界的实验表明,静态和动态RL方法都容易产生错位嵌入,这种错位会影响动态网络推理任务的性能。通过确保对齐,预测精度在静态RL方法中提高了90%,在动态RL方法中提高了40%。
2021-01-18 cs.LG cs.SI
Subdomain-aware representation compression for pretrained image embeddings
本文研究利用PCA和LDA等降维技术对预训练图像嵌入进行子域感知压缩,在提升空间与计算效率的同时提高准确率,并验证了压缩表示的迁移学习能力。
2026-09-18 cs.LG
Enabling Federated Inference via Unsupervised Consensus Embedding
School of Engineering, Institute of Science Tokyo(东京科学研究院工程学院);Research & Development Group, Hitachi Ltd.(日立株式会社研发部)
本文提出CE-FI框架,通过共识嵌入层和协作输出层实现无需共享模型参数或原始输入的联邦推断,实验表明其在图像分类任务中优于单独推断并在非IID条件下表现优异。
2026-05-07 cs.LG
Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks
单词表示是几乎所有高级自然语言处理(NLP)应用程序(如文本挖掘,问答和文本摘要等)的核心组件。在过去的二十年中,人们进行了大量的研究,以提出一个单一的模型来解决所有主要的NLP任务。目前的主要问题是,不同的NLP任务有太多的选择。因此,对于NLP从业者来说,选择正确的模型本身就成了一个挑战。因此,结合多个预训练的词嵌入并形成Meta嵌入已成为改进处理NLP任务的可行方法。Meta嵌入学习是从给定的一组预先训练的输入词嵌入中产生单个词嵌入的过程。在本文中,我们建议使用来自少数最先进(SOTA)模型的Meta Embedding来有效地处理主流NLP任务,如分类,语义相关性和文本相似性。我们比较了集成和动态变量,以确定一个有效的方法。所获得的结果表明,即使是最好的国家的最先进的模型可以更好。从而向我们展示了元嵌入可以通过利用几个单独表示的力量来用于几个NLP任务。
2020-12-01 cs.AI cs.CL cs.IR
An Overview of Causal Inference using Kernel Embeddings
University of Adelaide(阿德莱德大学)
本文综述了核嵌入方法在因果推断领域的应用,介绍其通过将概率测度映射到RKHS实现灵活分布表示,为解决观测数据的因果识别与效应估计等问题提供鲁棒非参数框架。
2024-10-30 cs.LG stat.ME stat.ML
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong(香港城市大学)
词嵌入已经成为自然语言处理的关键,因为它提高了各种任务的经验表现。然而,最近的研究发现,性别偏见是纳入神经词嵌入,下游任务,依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法,这些方法主要集中在减少与性别方向相关的性别偏见,并未能减少词嵌入关系中呈现的性别偏见。在本文中,我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系,利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Compressed Context Memory For Online Language Model Interaction
Seoul National University(首尔大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出一种压缩上下文记忆系统,通过轻量级条件LoRA在推理时持续压缩注意力键/值对,以5倍更小的记忆大小达到全上下文模型性能,并适用于无限长度的流式场景。
2024-02-06 cs.CL cs.LG
Fantastic Embeddings and How to Align Them: Zero-Shot Inference in a Multi-Shop Scenario
Bocconi University(博科尼大学);Coveo Labs(Coveo实验室);Coveo(Coveo公司)
本文解决了利用多个嵌入空间进行多商店个性化的挑战,证明了zero-shot推理是可能的,通过将购物意图从一个网站转移到另一个网站,而无需人工干预。我们详细介绍了一个机器学习管道,首先在商店内进行训练和优化嵌入,并通过额外的定性见解来支持定量结果。然后,我们转向更困难的任务,即在商店之间使用学习到的嵌入:如果来自不同商店的产品位于同一个向量空间中,则用户意图-由该空间中的区域表示-可以以zero-shot方式在网站之间传输。我们提出了无监督和有监督的方法,并对它们进行了基准测试,以在嵌入空间之间“旅行”,每种方法都有自己的数据量和质量假设。我们表明,zero-shot个性化确实是可能的规模通过测试共享嵌入空间与两个下游任务,事件预测和类型提前建议。最后,我们策划了一个跨商店匿名嵌入数据集,以促进对这一重要业务场景的包容性讨论。
2020-07-20 cs.IR cs.LG
Hamming Sentence Embeddings for Information Retrieval
在检索应用中,二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构,这是通过最小化重建误差训练。而不是采用原来的实值嵌入,我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中,我们表明,我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入(Sent 2 Vec,InferSent,手套-BoW),在压缩比高达256:1。我们进一步证明了我们的模型强烈地去相关输入特征,并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Adversarial Privacy Preserving Graph Embedding against Inference Attack
University of Electronic Science and Technology of China(电子科技大学);Georgia State University(佐治亚州立大学)
最近,物联网(IoT)、移动设备、社交媒体等的普及为图形数据开辟了大量来源。图嵌入已被证明是非常有用的学习低维特征表示从图结构化数据。这些特征表示可用于从节点分类到链接预测的各种预测任务。然而,现有的图嵌入方法没有考虑用户的隐私,以防止推理攻击。也就是说,攻击者可以通过分析从图嵌入算法学习的节点表示来推断用户的敏感信息。在本文中,我们提出了对抗隐私图嵌入(APGE),这是一个图对抗训练框架,它集成了解开和清除机制,以从学习的节点表示中删除用户的隐私信息。该方法保留了图的结构信息和效用属性,同时隐藏了用户的私有属性,避免了推理攻击。在真实世界的图数据集上进行的大量实验表明,与最先进的算法相比,APGE具有更好的性能。我们的源代码可以在https://github.com/uJ62JHD/Privacy-Preserving-Social-Network-Embedding上找到。
2020-08-30 cs.CR cs.LG stat.ML
Embedding Compression for Efficient Re-Identification
Modern Intelligence(现代智能公司);UC San Diego(加州大学圣地亚哥分校)
本文针对重识别系统存储嵌入规模受限的问题,评测了量化感知训练及三种降维方法,实现高达96倍压缩且性能损失极小,表明高维空间利用不足,为系统能力提升开辟了新方向。
2024-05-23 cs.CV cs.LG
LoMA: Lossless Compressed Memory Attention
Deepglint Inc.(深格灵公司);Peking University(北京大学)
LoMA通过训练与生成算法实现KV缓存无损压缩,在单次推理中降低长上下文LLM的内存与计算开销。
2024-02-04 cs.CL cs.LG
Proxy Compression for Language Modeling
University of Hong Kong(香港大学)
本文提出代理压缩方法,通过联合训练原始字节序列和压缩视图,提升语言模型训练效率,并在代码建模中显著优于纯字节级基线。
2026-05-14 cs.CL cs.LG
Spatio-Temporal Pruning for Compressed Spiking Large Language Models
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对脉冲大语言模型的高效部署问题,提出联合空间剪枝、时间剪枝、极端量化与知识蒸馏的压缩框架,并在 GLUE 上验证其可降低计算量与延迟。
2025-08-23 cs.ET cs.LG cs.NE
Optimizing Likelihood-free Inference using Self-supervised Neural Symmetry Embeddings
Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions (IAIFI)(人工智能与基础相互作用研究所(IAIFI));University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
本研究提出一种通过自监督神经对称嵌入优化无似然推断的方法,利用对称数据增强的自监督联合嵌入学习物理对称性,结合归一化流实现参数推断,在两个物理问题上验证了其更快收敛、参数更少的优势。
2023-12-11 astro-ph.IM cs.LG
Conditional Distribution Compression via the Kernel Conditional Mean Embedding
School of Mathematics University of Bristol(数学系 伯明翰大学);Mathematical Institute University of Oxford(数学研究所 奥克斯福德大学)
本文提出ACKH和ACKIP方法,通过线性时间贪心算法压缩条件分布,实验表明其在条件分布压缩任务中优于联合分布压缩和贪心选择方法。
2026-01-16 cs.LG stat.CO stat.ME
AMES: A Differentiable Embedding Space Selection Framework for Latent Graph Inference
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本文提出AMES框架,通过反向传播为潜图推断可微地选择最佳嵌入空间,在五个基准数据集上取得优异性能,并提供可解释性方法以定量比较不同嵌入空间的贡献。
2023-11-20 cs.LG cs.SI stat.ML
Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
由于数据中复杂的依赖关系,对物理、社会和信息科学中产生的关系数据进行有效建模具有挑战性。在这项工作中,我们建立了半隐式图变分自动编码器,以捕获低维图潜在表示中的高阶统计量。我们将双曲几何在潜在的空间,通过庞加莱嵌入有效地表示图形表现出层次结构。为了解决经典变分推理中的朴素后验潜在分布假设,我们使用半隐式分层变分贝叶斯来隐式捕获给定图形数据的后验,这些数据可能表现出重尾,多模式,偏斜和高度相关的潜在结构。我们表明,现有的半隐式变分推理的目标可证明减少信息中观察到的图。基于这一观察,我们估计并添加一个额外的互信息项的半隐式变分推理学习目标,以捕捉丰富的相关性之间产生的输入和潜在的空间。我们表明,将此正则化项与庞加莱嵌入结合使用,可以提高学习的高级表示的质量,并实现更灵活和更忠实的图形建模。我们的实验表明,我们的方法优于现有的图形变分自动编码器在欧几里德和双曲空间的边缘链接预测和节点分类。
2021-03-10 cs.LG stat.ML