Asymmetric Impurity Functions, Class Weighting, and Optimal Splits for Binary Classification Trees
University of California(加利福尼亚大学)
我们研究如何不对称的杂质函数影响选择最佳的节点分裂时,成长的决策树的二进制分类。特别是,我们放松了通常的公理的杂质函数,并显示如何倾斜的杂质函数的偏见最佳分裂到一个特定的类分离点时,分裂一个节点。我们给出了这个概念的严格定义,然后给出了一个必要和充分条件,这样的偏见成立。我们还表明,类加权的技术是等效于应用一个特定的变换的杂质函数,并将所有这些概念联系在一起的一类杂质函数,包括熵和基尼杂质。我们还简要地讨论了成本不敏感的杂质函数,并给出了这样的功能的一个特征。
2019-04-29 cs.LG stat.ML
Bayes-optimal Hierarchical Classification over Asymmetric Tree-Distance Loss
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Microsoft Research(微软研究院)
层次分类是一种有监督的多类分类问题,它是在按层次结构组织的类标签集合上进行的。在这份报告中,我们研究的工作Ramaswamy等。在对称树距离损失上的分层分类。我们扩展了非对称树距离损失的层次分类算法的一致性。我们设计了一个$\mathcal{O}(nk\log{}n)$算法来寻找贝叶斯最优分类的k元树作为一个层次。我们表明,在合理的假设下,非对称损失函数,贝叶斯最优分类在这种非对称损失可以找到$\mathcal{O}(k\log{}n)$。我们利用这一洞察力,并试图扩展Ova级联算法\citet{ramaswamy2015convex}的分层分类的不对称损失。
2018-02-17 cs.AI cs.LG
Text Ranking and Classification using Data Compression
Meta Platforms Inc(Meta平台公司)
一种众所周知但很少使用的文本分类方法使用条件熵估计,该估计是使用数据压缩工具计算的。从压缩大小导出的文本亲和度分数可用于分类和排名任务,但其成功与否取决于所使用的压缩工具。我们使用Zstandard压缩器,并以几种方式加强这些想法,称之为语言无关技术Zest。在应用中,这种方法简化了配置,避免了仔细的特征提取和大型ML模型。我们的消融研究证实了我们引入的个体增强的价值。我们表明,Zest可以补充生产中特定语言的多维内容嵌入并与之竞争,但无法在公共数据集上优于其他计数方法。
2021-12-07 cs.LG
Bridging Cost-sensitive and Neyman-Pearson Paradigms for Asymmetric Binary Classification
Rutgers, The State University of New Jersey(罗格斯新泽西州立大学);University of South California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校)
非对称二进制分类问题,其中的第一类和第二类错误具有不相等的严重性,是普遍存在的在现实世界中的应用。为了处理这种不对称性,研究人员开发了成本敏感范式和奈曼-皮尔森范式来训练分类器,以控制更严重类型的分类错误,例如第一类错误。成本敏感的范式被广泛使用,并有直接的实现,不需要样本分裂,但是,它需要一个明确的规格的成本的第一和第二类错误,一个悬而未决的问题是什么规格可以保证高概率控制人口第一类错误。相比之下,Neyman-Pearson范式可以训练分类器以实现对总体第一类错误的高概率控制,但它依赖于减少有效训练样本量的样本分裂。由于两种范式具有互补性,因此将它们的优势结合起来构建量词是合理的。在这项工作中,我们第一次研究了两种范式之间的方法学联系,我们开发了TUBE-CS算法,从控制人口第一类错误的角度来弥合这两种范式。
2020-12-29 cs.LG stat.ML
Beyond Student: An Asymmetric Network for Neural Network Inheritance
Zhejiang University(浙江大学);Shanghai University of Finance and Economics(上海金融学院);Swansea University(斯旺西大学)
InherNet通过非对称低秩分解和SVD初始化,实现比传统学生网络更高效的神经网络继承,提升模型压缩性能。
2026-02-11 cs.LG
Multimodal deep learning approach for joint EEG-EMG data compression and classification
University of British Columbia(不列颠哥伦比亚大学)
在本文中,我们提出了一个联合的压缩和分类方法的EEG和EMG信号使用深度学习的方法。具体来说,我们建立我们的系统的基础上,深度自动编码器架构,其设计不仅提取判别特征的多模态数据表示,但也重建数据的潜在表示使用编码器-解码器层。由于自动编码器可以被看作是一种压缩方法,我们将其扩展到在编码器层处理多模态数据,在解码器层重建和检索。我们通过实验结果表明,利用多模态数据intercorellation和intracorellation 1)显着减少信号失真,特别是对于高压缩水平2)实现更好的准确性,在分类EEG和EMG信号记录和标记根据志愿者的情绪。
2017-03-27 cs.LG
Classification with Asymmetric Label Noise: Consistency and Maximal Denoising
Universität Potsdam(波茨坦大学);University of Michigan(密歇根大学)
在许多现实世界的分类问题中,训练样本的标签是随机损坏的。大多数以前的理论工作分类与标签噪声假设这两个类是可分离的,标签噪声是独立的真正的类标签,或每个类的噪声比例是已知的。本文给出了真类条件分布可识别的充分必要条件。这些条件比前面分析的条件弱,并且允许类是不可分离的,并且噪声水平是不对称的和未知的。这些条件基本上说明了大多数观察到的标签是正确的,并且真正的类条件分布是“相互不可约的”,我们引入的一个概念限制了两个分布的相似性。对于任何标签噪声问题,有一个唯一的一对真正的类条件分布满足所提出的条件,我们认为,这对在一定意义上对应于最大的去噪观察到的分布。我们的研究结果是促进连接到“混合比例估计”,这是一个分布,存在于另一个估计的最大比例的问题。我们建立了一个新的混合比例估计的收敛速度的结果,并将其应用于获得基于代理损失最小化的判别规则的一致性。基准数据和核粒子分类问题的实验结果表明,我们的方法的有效性。
2016-08-05 cs.LG stat.ML
Robust support vector model based on bounded asymmetric elastic net loss for binary classification
本文提出了一种有界非对称弹性网络损失函数,结合支持向量机形成BAEN-SVM,有效处理噪声数据并解决传统SVM的几何不合理性,理论证明其鲁棒性和泛化能力。
2026-04-08 cs.LG stat.ML
Asymmetric Learned Image Compression with Multi-Scale Residual Block, Importance Map, and Post-Quantization Filtering
Simon Fraser University(西蒙弗雷泽大学);Google Inc.(谷歌公司)
近年来,基于深度学习的图像压缩取得了显著的进展,在主观指标和更具挑战性的客观指标上都取得了比最新的传统方法H. 266/VVC更好的率失真(R-D)性能。然而,一个主要的问题是,许多领先的学习计划不能保持良好的性能和复杂性之间的权衡。在本文中,我们提出了一个高效和有效的图像编码框架,它实现了类似的R-D性能,比现有技术的复杂度低。首先,我们开发了一种改进的多尺度残差块(MSRB),可以扩大接收域,更容易获得全局信息。它可以进一步捕获和减少潜在表征的空间相关性。其次,引入了一种更先进的重要性映射网络,以自适应地将比特分配到图像的不同区域。第三,在视频编码的采样自适应偏移(SAO)滤波器的启发下,我们应用了一个二维后量化滤波器(PQF)来减少量化误差。另外,我们还发现编码器和解码器的复杂度对图像压缩性能的影响是不同的。基于这一观察,我们设计了一个非对称的范例,其中编码器采用三个阶段的MSRB,以提高学习能力,而解码器只需要一个阶段的MSRB,以产生令人满意的重建,从而降低解码的复杂度,而不重复性能。实验结果表明,与现有方法相比,该方法的编解码时间提高了约17倍,而在Kodak和Tecnick数据集上的R-D性能仅降低了不到1%,仍优于H.266/VVC(4:4:4)等基于学习的方法.我们的源代码可在https://github.com/fengyurenpingsheng上公开获取。
2022-06-21 cs.IT cs.LG eess.IV
Learning, compression, and leakage: Minimising classification error via meta-universal compression principles
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
学习和压缩是由识别和利用统计数据的共同目标驱动的,这为这些领域之间的合作打开了大门。一组有前途的压缩技术的学习场景是归一化最大似然(NML)编码,它提供了强有力的保证,压缩小数据集-相比之下,更流行的估计,其保证只在渐近极限。在这里,我们考虑一个基于NML的决策策略的监督分类问题,并表明它达到启发式PAC学习时,适用于各种各样的模型。此外,我们表明,我们的方法的误分类率是上限的最大泄漏,最近提出的度量,以量化潜在的数据泄漏在隐私敏感的情况下。
2021-01-31 cs.IT cs.LG math.IT
A Benchmark Study of Neural Network Compression Methods for Hyperspectral Image Classification
Department of Computer and Information Science, Temple University, Philadelphia, USA(计算机与信息科学系,特拉华大学,费城,美国)
本研究评估了三种神经网络压缩方法在高光谱图像分类中的性能,发现压缩技术能有效降低模型规模和计算成本,同时保持分类性能。
2026-03-05 cs.CV cs.LG
The Effects of Spectral Dimensionality Reduction on Hyperspectral Pixel Classification: A Case Study
University of Ontario Institute of Technology(安大略理工大学);University of Toronto(多伦多大学)
本文提出了一个系统的研究高光谱像元降维对像元分类任务的影响。我们使用五种降维方法- PCA,KPCA,ICA,AE和DAE -压缩301维高光谱像素。压缩像素随后用于执行像素分类。像素分类精度与压缩方法、压缩率和重建误差一起提供了一个新的镜头来研究压缩方法对像素分类任务的适用性。我们使用三个高分辨率的高光谱图像数据集,代表三种常见的景观类型(即城市,过渡郊区和森林)收集的遥感和空间生态系统建模实验室的多伦多大学。我们发现,PCA,KPCA和ICA后更大的信号重建能力,然而,当压缩率超过90%,这些方法显示较低的分类得分。AE和DAE方法在95%的压缩率下具有较好的分类精度,但当压缩率接近97%时,其性能下降。我们的研究结果表明,在设计高光谱像素分类流水线时,压缩方法和压缩率都是重要的考虑因素。
2022-01-27 cs.CV cs.LG eess.IV
Text Classification with Compression Algorithms
这项工作涉及的SVM核方法在文本分类任务的比较。特别是我定义了一个核函数,估计两个对象之间的相似性计算其压缩长度。事实上,压缩算法可以检测文本字符串中任意长的依赖关系。数据文本矢量化在特征提取中丢失了信息,并且对文本语言高度敏感。此外,这些方法与语言无关,不需要文本预处理。此外,在某些情况下,在数据集(Web-KB,20 ng和Reuters-21578)上计算的准确性大于高斯,线性和多项式内核。该方法的局限性表现为Gram矩阵的计算时间复杂度和非文本数据集上非常差的性能。
2012-10-29 cs.LG
Bottom-up Hierarchical Classification Using Confusion-based Logit Compression
Ohio State University(俄亥俄州立大学);AFRL/RYAP(美国空军研究实验室/赖特-帕特森空军基地研究部)
在这项工作中,我们提出了一种方法来有效地计算标签后验的基本平面分类器中存在的几个验证的例子内自自底向上的【形】的分层推理框架。独立的验证集(不用于训练基本分类器)对于后验估计是优选的,以避免过拟合基本分类器,然而,小的验证集限制了可以有效使用的特征的数量。我们提出了一个简单的,但强大的,logit向量压缩方法的基础上广义logits和标签混淆的任务标签后验估计的上下文中的分层分类。在多个大小的验证集上提供了与其他压缩技术的广泛比较实验,并与相关的分层分类方法进行了比较。所提出的方法缓解了没有足够的验证实例进行可靠的后验估计的问题,同时保持强大的分层分类性能。
2021-10-05 cs.CV cs.LG
MetaSort: An Accelerated Approach for Non-uniform Compression and Few-shot Classification of Neural Spike Waveforms
University of Southampton(南安普顿大学)
MetaSort通过结合自适应穿越算法和元转移学习,实现神经尖峰波形的高效非均匀压缩与少样本分类。
2026-03-08 cs.LG eess.SP
Statistically-Lossless Quantization of Large Language Models
ETH Zürich(苏黎世联邦理工学院);Red Hat AI(红帽人工智能部门);ISTA(奥地利科学技术研究所)
本文提出统计无损压缩的中间路径,定义任务无损与分布无损的量化标准,证明对称与非对称量化的方差差异,通过SLQ方法实现大语言模型的任务无损、分布无损压缩及1.7-3.7倍推理加速。
2026-08-11 cs.LG
Asymmetric Polynomial Loss For Multi-Label Classification
Shanghai Jiao Tong University(上海交通大学)
本文提出非对称多项式损失APL,通过泰勒展开改进BCE损失系数并结合非对称聚焦机制,缓解多标签分类中正负样本不平衡问题,在多个任务上无需额外训练负担即可稳定提升性能。
2023-04-10 cs.AI cs.LG
Credal Classification based on AODE and compression coefficients
IDSIA Istituto Dalle Molle di Studi sull’Intelligenza Artificiale(达勒·莫勒人工智能研究所)
贝叶斯模型平均(Bayesian model averaging,BMA)是一种对备选模型进行平均的方法;然而,它通常过度集中在单个最可能的模型周围,因此只能实现次优的分类性能。基于压缩的方法(Boulle,2007)克服了这个问题,通过对模型的后验概率应用对数平滑来对不同模型进行平均。这种方法在应用于朴素贝叶斯分类器的集成时表现出了优异的性能。AODE是另一种高性能模型的集合(Webb,2005),基于非朴素分类器(称为SPODE)的集合,其概率预测通过简单的算术平均值进行聚合。聚合的SPODE通过BMA,而不是通过算术平均恶化的性能,相反,我们聚合的SPODE通过压缩系数,我们表明,所得的分类器获得了轻微的,但一致的改善AODE。然而,在任何贝叶斯模型集合中的一个重要问题是在选择模型之前的任意性。我们解决这个问题的范式的信用分类,即通过替代的唯一先验与一组先验。当考虑不同的先验时,信用分类器自动识别先验依赖的实例,即最可能的类变化的实例;在这些情况下,信用分类器通过返回一组类而不是单个类来保持可靠性。因此,我们开发的credal版本的BMA为基础的和压缩为基础的合奏SPODE,取代了一组先验模型的单一先验。实验表明,这两个信用分类器提供更高的分类可靠性比他们确定的同行,而且压缩的信用分类器相比,毫不逊色于以前的信用分类。
2012-03-27 cs.LG
EGC2: Enhanced Graph Classification with Easy Graph Compression
Zhejiang University of Technology(浙江工业大学);Hangzhou Dianzi University(杭州电子科技大学)
图分类是网络分析中的关键问题。网络面临着潜在的安全威胁,如对抗攻击。一些防御方法可能会权衡算法的复杂性以获得鲁棒性,例如对抗性训练,而其他方法可能会权衡干净的示例性能,例如基于平滑的防御。大多数遭受高复杂性或低可转移性。为了解决这个问题,我们提出了EGC2,一个增强的图分类模型,易于图压缩。EGC2通过构造特征图和改进节点级表示的聚合来捕获不同节点的特征之间的关系。为了实现应用于图分类模型的低复杂度防御,EGC2利用基于中心的边缘重要性索引来压缩图,过滤掉输入图中的平凡结构和对抗性扰动,从而提高模型的鲁棒性。在10个基准数据集上的实验表明,所提出的特征读出和图压缩机制增强了多个基本模型的鲁棒性,从而在准确性和对各种对抗攻击的鲁棒性方面具有最先进的性能。
2023-02-05 cs.GR cs.LG
CDC: Classification Driven Compression for Bandwidth Efficient Edge-Cloud Collaborative Deep Learning
Imperial College London(帝国理工学院)
新兴的边缘云协作深度学习(DL)范式旨在提高实际DL实现在云带宽消耗、响应延迟和数据隐私保护方面的性能。专注于基于DNN的分类器的带宽高效的边缘云协作训练,我们提出了CDC,一个分类驱动压缩框架,可以减少带宽消耗,同时保持边缘云协作DL的分类准确性。具体来说,为了减少带宽消耗,对于资源有限的边缘服务器,我们开发了一个轻量级的自动编码器,具有分类指导,用于压缩和分类驱动的特征保留,这允许边缘只上传原始数据的潜在代码,以便在云上进行准确的全局训练。此外,我们设计了一个可调量化方案自适应追求带宽消耗和分类精度之间的权衡在不同的网络条件下,只有微调是需要快速的压缩比调整。大量的实验结果表明,与使用原始数据的DNN训练相比,CDC消耗的带宽减少了14.9倍,准确率损失不超过1.06%,与使用无指导的AE压缩数据的DNN训练相比,CDC引入了至少100%的准确率损失。
2020-05-04 cs.CV cs.DC cs.LG
Supervised Texture Classification Using a Novel Compression-Based Similarity Measure
基于像素的监督纹理分类通常在特征空间中进行。我们建议在(DIS)相似性空间中通过引入新的基于压缩的(DIS)相似性度量来执行此任务。该方法利用二维的MPEG-1编码器,考虑了图像中像素的空间局部性和连通性。所提出的配方已经精心设计的MPEG编码器功能的基础上。为此,通过设计,它只使用P帧编码来找到补丁/图像之间的(不)相似性。我们表明,建议的措施工作正常的小和大的补丁大小。实验结果表明,该方法显着提高了监督基于像素的纹理分类Brodatz和室外图像的性能相比,其他压缩为基础的相异性措施,以及在特征空间中进行的方法。与竞争对手相比,它还将计算速度提高了约40%。
2013-11-26 cs.CV cs.LG
Adversarially Robust and Explainable Model Compression with On-Device Personalization for Text Classification
Wayne State University(韦恩州立大学)
由于移动设备的计算能力不断提高以及计算机视觉(CV)、自然语言处理(NLP)和物联网(IoT)中的应用数量不断增加,设备上深度神经网络(DNN)最近获得了更多的关注。不幸的是,为CV任务设计的现有高效卷积神经网络(CNN)架构并不直接适用于NLP任务,而小型递归神经网络(RNN)架构主要是为物联网应用设计的。在NLP应用中,尽管模型压缩在设备上文本分类中取得了初步成功,但至少有三个主要挑战尚未解决:对抗鲁棒性,可解释性和个性化。在这里,我们试图通过设计一个新的训练计划,模型压缩和对抗性的鲁棒性,包括可解释的特征映射目标,知识蒸馏目标,和对抗性的鲁棒性目标的优化来解决这些挑战。通过微调使用设备上的私有训练数据来个性化所得到的压缩模型。我们进行了大量的实验,将我们的方法与紧凑的RNN(例如,FastGRNN)和压缩RNN(例如,PRADO)架构在自然和对抗性NLP测试设置。
2021-01-20 cs.LG
Online Embedding Compression for Text Classification using Low Rank Matrix Factorization
Amazon Alexa AI(亚马逊Alexa人工智能);Amazon Search Technologies(亚马逊搜索技术);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种在线词嵌入压缩方法,利用低秩矩阵分解在训练过程中压缩词嵌入层,从而减少NLP模型的内存瓶颈,同时在下游任务中通过重新训练恢复精度,实验证明该方法在句子分类任务中实现了90%的压缩率,并优于固定点量化等其他方法。
2018-11-01 cs.CL cs.LG cs.NA
Observer Dependent Lossy Image Compression
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
深度神经网络最近在图像压缩方面取得了进展,并超过了许多传统的压缩算法。这种网络的训练涉及仔细权衡潜在表示的熵与重建质量。术语质量关键取决于图像的观察者,在绝大多数文献中,观察者被假定为人类。在本文中,我们的目标是超越这种压缩质量的概念,同时考虑人类的视觉感知和图像分类。为此,我们使用了一个家庭的损失函数,允许优化深度图像压缩取决于观察者和人类感知的视觉质量和分类精度之间的插值,使一个更统一的观点图像压缩。我们广泛的实验表明,使用感知损失函数训练压缩系统保持分类精度比传统的编解码器,如BPG,而不需要重新训练的压缩图像上的分类。例如,将ImageNet压缩到0.25 bpp只会使Inception-ResNet分类准确率降低2%。同时,当使用人性化的损失函数时,相同的压缩系统在MS-SSIM方面实现了有竞争力的性能。通过结合这两个目标函数,我们表明,在人类视觉系统和分类精度之间的压缩质量有一个显着的权衡。
2020-11-02 cs.CV cs.LG eess.IV
A Deep Learning-based Compression and Classification Technique for Whole Slide Histopathology Images
Anglia Ruskin University(安格利亚鲁斯金大学);Silicon Institute of Technology(硅谷技术学院)
本文提出一种基于自编码器的监督压缩方法,用于全切片组织病理学图像,通过保留语义表示实现高效压缩,并验证了压缩图像在分类任务中的良好性能。
2023-05-11 cs.CV cs.LG eess.IV
Scalable Model Compression by Entropy Penalized Reparameterization
Princeton University(普林斯顿大学);Google Research(谷歌研究院);University of Maryland, College Park(马里兰大学帕克分校)
我们描述了一个简单而通用的神经网络权重压缩方法,其中网络参数(权重和偏差)表示在一个“潜在”的空间,相当于一个重新参数化。这个空间配备了一个学习的概率模型,用于在训练期间对参数表示施加熵惩罚,并在训练后使用简单的算术编码器压缩表示。分类精度和模型压缩性联合最大化,由超参数指定的比特率-精度权衡。我们使用六种不同的模型架构在MNIST,CIFAR-10和ImageNet分类基准上评估了该方法。我们的研究结果表明,国家的最先进的模型压缩可以实现在一个可扩展的和一般的方式,而不需要复杂的程序,如多阶段的训练。
2020-02-16 cs.CV cs.LG stat.ML
AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference
The Pennsylvania State University(宾夕法尼亚州立大学)
针对视觉和文本令牌在预填充与解码阶段的不同特性,提出非对称剪枝方法AsymVLM,通过视觉令牌的激进剪枝和文本令牌的基于阈值的驱逐,实现高达54%的FLOPs节省并在文档和图表理解任务上提升2-3%的准确率。
2026-05-28 cs.LG
A Compression Based Classification Framework Using Symbolic Dynamics of Chaotic Maps
Department of Computer Science and Information Systems (CSIS)(计算机科学与信息系统系);Adjunct Faculty, Consciousness Studies Programme, National Institute of Advanced Studies, IISc Campus, Bengaluru, 560012, Karnataka, India(意识研究项目兼职教员,国家高级研究院,IISc校区,班加罗尔,560012,卡纳塔克邦,印度)
本文提出一种基于符号动力学和数据压缩的分类框架,利用混沌映射生成符号序列,并通过符号转移概率构建类特定概率模型,以实现高效符号编码的分类。
2026-03-25 cs.LG
Guided Quantum Compression for High Dimensional Data Classification
Institute for Particle Physics and Astrophysics, ETH Zurich(苏黎世联邦理工学院粒子物理与天体物理研究所);European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Institute for Quantum Electronics, ETH Zurich(苏黎世联邦理工学院量子电子学研究所)
本文提出引导量子压缩模型,将经典降维与量子分类统一为端到端架构,并在LHC Higgs玻色子识别任务中优于传统量子方法及仅用运动学变量的深度学习基准。
2024-12-10 cs.LG hep-ex quant-ph
Perturbation of Deep Autoencoder Weights for Model Compression and Classification of Tabular Data
Tennessee State University(田纳西州立大学)
完全连接的深度神经网络(DNN)通常包括冗余权重,导致过拟合和高内存需求。此外,DNN的性能经常受到表格数据分类中传统机器学习模型的挑战。在本文中,我们提出了DNN权重的周期性扰动(修剪和再生),特别是在深度自动编码器的自监督预训练阶段。在下游分类任务中,所提出的权重扰动策略在六个表格数据集中的四个中优于辍学学习。与dropout或我们的权重扰动例程相比,在相同的预训练阶段对权重进行L1或L2正则化会导致分类性能较差。与dropout学习不同,所提出的权重扰动例程还在六个表格数据集上实现了15%到40%的稀疏性,用于压缩深度预训练模型。我们的实验表明,当完全连接的DNN失败时,具有权重扰动或丢弃的预训练深度自动编码器可以在表格数据分类中优于传统的机器学习。然而,当表格数据集包含不相关的变量时,传统的机器学习模型似乎优于任何深度模型。因此,深度模型的成功可以归因于现实世界数据集中不可避免地存在相关变量。
2022-05-17 cs.AI cs.LG cs.NE
Deep Selector-JPEG: Adaptive JPEG Image Compression for Computer Vision in Image classification with Human Vision Criteria
University of Waterloo(滑铁卢大学)
由于存储/带宽资源有限,使用深度神经网络(DNN)的计算机视觉(CV)应用的输入图像通常使用针对人类视觉(HV)定制的JPEG进行编码。本文介绍了Deep Selector-JPEG,一种自适应JPEG压缩方法,其目标是图像分类,同时满足HV标准。对于每个图像,深度选择器-JPEG自适应地选择质量因子(QF)来压缩图像,使得可以在各种DNN分类器的一组图像上实现压缩比(CR)和DNN分类器准确度(速率-准确度性能)之间的良好折衷,同时这种压缩图像的MS-SSIM以高概率大于由HV预定的阈值。深度选择器-JPEG是通过轻量级或重量级选择器架构设计的。实验结果表明,与相同CR下的JPEG相比,Deep Selector-JPEG在所有测试的DNN分类器的ImageNet验证集上实现了更好的速率精度性能,在相同CR下的分类精度提高了0.2%到1%,同时满足HV约束。Deep Selector-JPEG也可以在更高的CR下粗略地提供原始分类精度。
2023-02-19 cs.CV cs.LG cs.MM
AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
Budapest University of Technology and Economics(布达佩斯技术与经济大学);HUN-REN-BME Information Systems Research Group(HUN-REN-BME信息系统研究组);CUJO LLC(CUJO有限责任公司)
本文提出基于自编码器的IP流记录压缩方法AutoFlow,在实现1.313倍数据缩减的同时保持99.27%的多类流量分类准确率,有效提升了网络监控的存储与处理效率。
2025-01-31 cs.LG cs.NI
Efficient classification using parallel and scalable compressed model and Its application on intrusion detection
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院);School of Software Microelectronics, Peking University(北京大学软件与微电子学院)
为了实现入侵检测中的高效分类,提出了一种水平压缩和垂直压缩相结合的压缩模型。水平压缩采用OneR算法,垂直压缩采用仿射传播算法,从大量的训练数据中选择具有代表性的小样本。为了能够在计算上压缩具有可伸缩性的更大容量的训练数据,然后针对上述模型压缩过程的每个步骤实现并评估基于MapReduce的并行化方法,可以直接使用常见但有效的分类方法。在KDD 99和CMDC 2012两个公开的入侵检测数据集上的实验应用研究表明,基于压缩模型的分类方法可以有效地将检测速度提高184倍,最重要的是,其代价是平均精度差异小于1%.
2014-05-14 cs.CR cs.LG
A$_3$B$_2$: Adaptive Asymmetric Adapter for Alleviating Branch Bias in Vision-Language Image Classification with Few-Shot Learning
Zhejiang University(浙江大学);Swansea University(斯旺西大学)
本文提出A₃B₂适配器,通过引入不确定性感知适配器阻尼机制,缓解少样本学习中的分支偏差问题,实验表明其在多个数据集上优于现有基线方法。
2026-05-15 cs.CV cs.LG
On Geodesic Distances and Contextual Embedding Compression for Text Classification
University of Washington(华盛顿大学)
在一些内存受限的设置中,如物联网设备和网络数据管道,具有较小的上下文嵌入可能是有利的。我们调查的效果投影上下文嵌入数据(BERT)到一个流形上,并使用非线性降维技术来压缩这些嵌入。特别是,我们提出了一种新型的后处理方法,应用Isomap和PCA的组合。我们发现,测地线距离估计,估计黎曼流形上的最短路径,从Isomap的k-最近邻图支撑的压缩嵌入的性能,可与原来的BERT嵌入。在一个数据集上,我们发现,尽管降维了12倍,但在下游分类任务中,压缩嵌入的性能在原始BERT嵌入的0.1%以内。此外,我们发现,这种方法的效果特别好的任务依赖于句法数据,线性降维相比。这些结果表明,一种新的几何方法,以实现低维的文本嵌入从现有的Transformers和铺平道路的数据特定的和特定于应用程序的嵌入压缩的承诺。
2021-04-22 cs.CL cs.LG
C$^2$SP-Net: Joint Compression and Classification Network for Epilepsy Seizure Prediction
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
脑机接口技术的最新发展使癫痫发作预测成为可能。然而,由于带宽和计算资源的限制,传感器和处理设备之间的大量电生理信号的通信和相关计算成为癫痫发作预测系统的两个主要瓶颈,特别是对于可穿戴和植入式医疗设备。虽然可以采用压缩感知(CS)来压缩信号以降低通信带宽要求,但是在信号可以用于癫痫发作预测之前,它需要复杂的重构过程。在本文中,我们提出了C $^2$ SP-Net,用单个神经网络联合解决压缩、预测和重建问题。一个即插即用的传感器内压缩矩阵的构建,以减少传输带宽的要求。压缩的信号可以用于癫痫发作预测,而无需额外的重建步骤。原始信号的重建也可以以高保真度进行。预测精度,灵敏度,错误预测率,和重建质量的建议框架下的各种压缩比进行评估。实验结果表明,我们的模型优于竞争国家的最先进的基线在预测精度的大幅度提高。特别是,我们提出的方法产生的预测精度的平均损失为0.35%,压缩比范围从1/2到1/16。
2022-05-27 cs.AI cs.LG
Correlation Clustering with Asymmetric Classification Errors
University of Chicago(芝加哥大学);Northwestern University(西北大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
在相关聚类问题中,我们给出了一个加权图$G$,它的边被二元分类器标记为“相似”或“不相似”。我们的目标是产生一个聚类,最大限度地减少权重的“分歧”:权重的“相似”的边缘跨集群和集群内的“不相似”的边缘。我们研究的相关聚类问题,在以下假设:每个“相似”的边缘$e$有重量$\mathbf{w}_e\in[α\mathbf{w}, \mathbf{w}]$和每个“不相似”的边缘$e$有重量$\mathbf{w}_e\geq α\mathbf{w}$(其中$α\leq 1$和$\mathbf{w}>0$是一个缩放参数)。给出了该问题的一个$(3 + 2 \log_e (1/α))$近似算法。该假设很好地描述了分类错误不对称时的情况。此外,我们还证明了$Ω(\log 1/α)$的一个渐近匹配的线性规划完整性缺口。
2021-08-11 cs.DS cs.LG
The Tiny Time-series Transformer: Low-latency High-throughput Classification of Astronomical Transients using Deep Model Compression
University College London(伦敦大学学院);Université Paris-Saclay(巴黎萨克雷大学);The Alan Turing Institute(艾伦·图灵研究所)
天文学的一个新的黄金时代即将到来,由数据主导。大型天文调查正在以前所未有的速度传播信息,这要求机器学习作为现代科学管道中的关键组成部分来处理大量数据。即将到来的空间和时间遗产调查(LSST)的维拉C。鲁宾天文台将提高时域天文学的大数据标准,预计每晚将发出1000万次警报,并在调查的整个生命周期内生成许多PB的数据。对于时间紧迫的事件,需要快速有效的分类算法,这些算法可以实时操作,但又可靠和准确,因为在这些事件中,可以寻求额外的资源进行后续分析。为了处理这些数据,最先进的深度学习架构以及利用现代硬件加速器的工具是必不可少的。我们展示了如何使用现代深度压缩方法可以实现模型大小的$18\times$减少,同时保持分类性能。我们还表明,除了深度压缩技术,仔细选择文件格式可以提高推理延迟,从而提高警报的吞吐量,在本地处理的顺序为$8\times$,并在现场生产环境中的$5\times$。为了在现场环境中测试这一点,我们将原始时间序列Transformer的优化版本t2部署到FINK的社区警报经纪系统中,对真实的Zwicky Transient Facility(ZTF)警报数据进行分析,并将吞吐量性能与FINK中存在的其他科学模块进行比较。本文所示的结果强调了时间序列Transformer在LSST规模及以上的实时分类中的适用性,并引入了深度模型压缩作为改进深度学习模型的部署能力和可扩展推理…
2023-03-15 astro-ph.IM cs.LG
Nuclear Segmentation and Classification: On Color & Compression Generalization
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所);University Hospitals Coventry & Warwickshire(考文垂与沃里克郡大学医院)
自从数字和计算病理学作为一个领域引入以来,算法临床应用中的主要问题之一就是很难很好地推广到训练数据分布之外的示例。现有的工作,以解决这两个病理和自然图像几乎完全集中在分类任务。我们探索并评估了7个表现最好的核分割和分类模型的鲁棒性,这些模型来自迄今为止针对该问题的最大计算病理学挑战,即CoNIC挑战。我们证明,现有的国家的最先进的(SoTA)模型是强大的压缩文物,但遭受显着的性能降低时,在颜色域的移位。我们发现,使用染色归一化来解决域移位问题可能对模型性能有害。另一方面,神经风格转移是更一致的,在提高测试性能时,提出了大的颜色变化在野外。
2023-01-09 cs.CV cs.LG eess.IV
Asymmetric Loss For Multi-Label Classification
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
在典型的多标签设置中,图片平均包含很少的正面标签和许多负面标签。这种正负不平衡主导了优化过程,并可能导致在训练过程中对正标签的梯度强调不足,从而导致准确性差。在本文中,我们介绍了一种新的非对称损失(“ASL”),它对正样本和负样本的操作不同。该损失使得能够动态地降低权重和硬阈值容易的负样本,同时还丢弃可能被错误标记的样本。我们演示了ASL如何平衡不同样本的概率,以及如何将这种平衡转化为更好的mAP分数。通过ASL,我们在多个流行的多标签数据集上获得了最先进的结果:MS-COCO,Pascal-VOC,NUS-WIDE和Open Images。我们还证明了ASL适用于其他任务,如单标签分类和目标检测。ASL是有效的,易于实施,并且不会增加培训时间或复杂性。可在https://github.com/Alibaba-MIIL/ASL上获得实现。
2021-07-29 cs.CV cs.LG
BiGain: Unified Token Compression for Joint Generation and Classification
VILA Lab, MBZUAI(MBZUAI视觉实验室);North Carolina State University(北卡罗来纳州立大学)
BiGain通过频率分离技术,实现生成与分类的统一标记压缩,提升扩散模型的加速性能和分类准确率,同时保持生成质量。
2026-03-12 cs.CV cs.LG
A study of the effect of JPG compression on adversarial images
University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
已知神经网络图像分类器易受对抗性图像的攻击,即,自然图像已经通过对抗性扰动进行了修改,该对抗性扰动被专门设计为人类无法感知,但仍然欺骗了分类器。对抗性图像不仅可以很容易地生成,而且这些图像对于在不相交的数据子集或不同架构上训练的网络通常是对抗性的。对抗性图像代表了潜在的安全风险以及严重的机器学习挑战-很明显,脆弱的神经网络感知图像与人类非常不同。注意到,几乎每一个图像分类数据集是由JPG图像,我们评估的效果JPG压缩的分类对抗图像。对于小幅度的快速梯度符号扰动,我们发现JPG压缩通常在很大程度上逆转了分类精度的下降,但并不总是如此。随着扰动幅度的增加,单独的JPG再压缩不足以逆转这种影响。
2016-08-02 cs.CV cs.LG
Deep-Learned Compression for Radio-Frequency Signal Classification
Rowan University(罗文大学)
针对射频数据传输的带宽与延迟问题,提出基于学习向量量化的深度学习压缩模型HQARF,评估其对6类调制信号分类AI性能的影响。
2024-03-05 cs.LG cs.NI eess.SP
Going Beyond Classification Accuracy Metrics in Model Compression
NVIDIA(英伟达);TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Utah(犹他大学)
随着边缘计算设备的兴起,部署节能和资源高效模型的需求越来越大。大量的研究致力于开发方法,可以大大减少模型的大小,而不影响标准指标,如top-1的准确性。然而,这些修剪方法往往会导致其他指标(如跨类公平性和可解释性)的显著不匹配。为了克服这种偏差,我们提出了一种新的多部分损失函数的启发知识蒸馏文献。通过大量的实验,我们证明了我们的方法在不同的压缩算法,架构,任务以及数据集的有效性。特别是,我们获得了压缩模型和参考模型之间的预测不匹配数量的最多$4.1\times$减少,以及在参考模型做出正确预测的情况下最多$5.7\times$减少;所有这些都不改变压缩算法,并且对损失函数进行微小修改。此外,我们还展示了如何在模型的预测之间引入简单的对齐,从而自然地提高了其他指标的对齐,包括公平性和属性。因此,我们的框架可以作为一个简单的即插即用组件的压缩算法在未来。
2021-06-14 cs.AI cs.CV cs.LG
Tiny, Hardware-Independent, Compression-based Classification
Institute for Experiential AI, Northeastern University, Boston, United States(体验人工智能研究所,东北大学,波士顿,美国);Department of Computer Science, Umeå University, Umeå, Sweden(计算机科学系,乌梅拉大学,乌梅拉,瑞典)
本文提出基于压缩的距离度量方法,用于在客户端设备上高效进行分类,实现高准确率的同时降低计算成本。
2026-03-06 cs.CR cs.LG
Learned Point Cloud Compression for Classification
Simon Fraser University(西蒙弗雷泽大学)
本文提出一种基于PointNet、专用于点云分类任务的轻量编解码器,在ModelNet40上相比非专用编解码器降低94% BD-bitrate,并给出两种低资源编码器配置,在极少计算开销下保持高压缩性能。
2023-08-11 cs.CV cs.LG eess.IV
Reduced storage direct tensor ring decomposition for convolutional neural networks compression
Wroclaw University of Science and Technology(弗罗茨瓦夫科技大学)
本文提出基于降存储直接张量环分解(RSDTR)的低秩CNN压缩方法,通过更灵活的循环模式置换实现高参数与FLOPS压缩率,并在CIFAR-10和ImageNet上验证其优于现有方法。
2024-08-05 cs.CV cs.LG
A 1Mb mixed-precision quantized encoder for image classification and patch-based compression
CEA-LETI;University Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出一种1Mb可重构混合精度ASIC编码器,通过权重/激活量化、结构化剪枝、量化均衡与位移归一化,在CIFAR-10上达到87.5%准确率并支持低块效应的逐块图像压缩。
2025-01-09 cs.CV cs.LG eess.IV
Image Compression and Classification Using Qubits and Quantum Deep Learning
Department of Computer Science(计算机科学系);Stanford University(斯坦福大学)
最近的工作表明,量子机器学习技术可以用于经典的图像分类,通过编码的图像在量子态和使用量子神经网络进行推理。然而,此类工作仅限于非常小的输入图像,最多4 x 4,这是不现实的,甚至无法由人类准确标记。使用更大的输入图像的主要困难在于,迄今为止提出的编码方案需要比物理上可实现的更多的量子位。我们提出了一个框架来分类较大的,现实的图像使用量子系统。我们的方法依赖于一种新的编码机制,该机制将图像嵌入量子态中,同时需要比先前工作更少的量子比特。我们的框架能够对比以前可能的更大的图像进行分类,对于个人笔记本电脑上的MNIST数据集,最大可达16 x 16,并且获得了与具有相同数量的可学习参数的经典神经网络相当的准确性。我们还提出了一种技术,用于进一步减少表示图像所需的量子位的数量,这可能会导致以牺牲最终性能为代价的更容易的物理实现。我们的工作使量子机器学习和分类的经典数据集的尺寸,以前是棘手的物理可实现的量子计算机或经典模拟
2021-10-08 cs.LG eess.IV quant-ph
VAE-based Feature Disentanglement for Data Augmentation and Compression in Generalized GNSS Interference Classification
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
本文提出基于变分自编码器特征解耦的方法,通过低维潜在表示插值实现数据压缩与增强,在四个GNSS干扰数据集上达到最高99.92%的分类准确率和512至8192倍的压缩率。
2025-04-14 cs.AI cs.IT cs.LG
Cross-Domain Lossy Compression via Constrained Minimum Entropy Coupling
School of Electrical Engineering(电气工程学院);Computer Science Oregon State University Corvallis, OR, 97331 Email(计算机科学,俄勒冈州立大学,科瓦利斯,OR,97331 邮箱);Computer Science, Oregon State University, Corvallis, OR, 97331(计算机科学,俄勒冈州立大学,科瓦利斯,OR,97331)
本文研究了通过最小熵耦合(MEC)进行跨领域损失压缩,考虑了率和分类约束。采用基于信息的客观函数,最大化源与重建之间的耦合强度,而非最小化样本失真。针对伯努利源,推导了有无分类约束的闭式表达式,并实现了一个神经恢复框架,实验表明增加可用率可提升分类准确性和重建信息性。
2026-05-11 cs.IT cs.LG math.IT
Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
本文提出一种基于LZW压缩和标签互信息精炼的轻量级监督字典学习框架,用于文本分类,在有限词汇数据集上以约10%参数量接近顶尖模型性能,并引入IPAR度量评估信息论表现。
2024-04-28 cs.CL cs.LG eess.SP
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
脉冲神经网络(Spiking neural networks,SNNs)作为一种脑启发模型,具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而,神经形态数据集,如N-MNIST,CIFAR 10-DVS,DVS 128-gesture,需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类,这导致高训练和推理延迟。在这项工作中,我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流,以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性,我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发(Leaky Integrate-and-Fire,LIF)算法,以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST,CIFAR 10-DVS,DVS 128手势数据集的事件流分类任务。实验结果表明,我们提出的方法优于国家的最先进的精度几乎所有的数据集,使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE