RIPML: A Restricted Isometry Property based Approach to Multilabel Learning
Yahoo! Research(雅虎研究院);Airbnb(爱彼迎)
具有大量标签、特征和数据点的多标签学习问题最近引起了人们极大的兴趣。这些问题的一个反复出现的主题是,与标签的总数相比,在任何给定的数据点中只有少数标签是活动的。然而,只有少数现有的工作直接利用这种固有的极端稀疏的标签空间。通过限制等距性质(RIP),满足许多随机集成,我们提出了一种新的多标签学习过程称为RIPML。在训练阶段,在RIPML中,标签被投影到一个随机的低维子空间上,然后在这个子空间中解决一个最小二乘问题。通过基于k-最近邻(kNN)的方法进行推断。我们证明了RIPML的有效性进行广泛的模拟和比较结果与最先进的线性降维为基础的方法。
2017-02-16 cs.IR cs.LG stat.ML
A Unified Framework for Multiclass and Multilabel Support Vector Machines
University of Florida(佛罗里达大学)
我们提出了一种新的多类和多标签支持向量机(SVMs)的综合制定。已经提出了许多方法来将原始的二进制SVM扩展到多类SVM。然而,它的直接扩展到一个统一的多标签SVM还没有得到广泛的研究。我们提出了一个简单的扩展支持向量机,以应付在一个统一的框架内的多类和多标签分类问题。我们的框架偏离了传统的软间隔SVM框架,其直接对立的结构。在我们的公式中,特定于类的权重向量(法向量)是通过最大化它们相对于原点的余量来学习的,并且当它们太接近原点时会惩罚模式。因此,每个权重向量选择相对于该原点的方向和幅度,以使其最好地表示属于其相应类别的模式。类之间的对立引入到制定通过最小化成对的权重向量的内积。我们还扩展了我们的框架,以应付通过标准再生核希尔伯特空间(RKHS)的非线性可分性。与原点密切相关的偏差需要在原始特征空间和Hilbert空间中适当处理。我们可以灵活地将约束纳入公式(如果它们更好地反映了底层几何结构),并提高分类器的性能。为此,解决了具体问题和技术性问题,如RKHS的起源。结果表明,多类和多标签分类问题的竞争力的分类。
2020-03-25 cs.LG stat.ML
Fast Label Embeddings for Extremely Large Output Spaces
Microsoft Cloud Information Services Lab(微软云信息服务实验室)
许多现代多类和多标签问题的特点是越来越大的输出空间。对于这些问题,标签嵌入已被证明是一个有用的原语,可以提高计算和统计效率。在这项工作中,我们利用秩约束估计和低维标签嵌入之间的对应关系,揭示了一个快速的标签嵌入算法,该算法适用于多类和多标签设置。其结果是偏最小二乘的随机算法,其运行时间比朴素算法快。我们展示了我们的技术在两个大规模的公共数据集,从大规模层次文本挑战和开放目录项目,在那里我们获得了最先进的结果。
2015-03-30 cs.LG
Unbiased Loss Functions for Multilabel Classification with Missing Labels
Aalto University(阿尔托大学)
本文考虑了二进制和多标签分类问题的设置标签丢失独立和已知的速率。标签缺失是极端多标签分类(XMC)任务中普遍存在的现象,例如将维基百科文章与数十万可能标签中的一小部分进行匹配,其中没有人工注释者可能检查所有阴性样本的有效性。由于这个原因,倾向评分精度--在已知噪声模型下对k处精度的无偏估计--已经成为XMC中的标准度量之一。很少有方法在训练阶段就考虑到这个问题,并且所有方法都限于损失函数,这些损失函数可以分解为每个单独标签的贡献之和。一个典型的训练方法是将多标签问题简化为一系列二进制或多类问题,并且已经表明,如果代理任务应该是一致的以优化召回率,则所得到的损失函数在标签上不可分解。因此,本文推导出了不同的多标号约简,包括不可分解的多标号约简的唯一无偏估计。这些估计遭受增加的方差,并可能导致不适定的优化问题,我们通过切换到凸上界解决。理论上的考虑进一步补充的实验研究表明,切换到无偏估计显着改变的偏差方差权衡,因此可能需要更强的正则化,这在某些情况下可以否定无偏估计的好处。
2021-09-23 cs.LG stat.ML
A Hierarchical Spectral Method for Extreme Classification
Microsoft(微软)
极端分类问题是多类和多标签分类问题,其中输出的数量如此之大,以至于直接的策略在统计上和计算上都不可行。处理计算负担的一种策略是通过输出空间的树分解。虽然这通常会导致训练和推理随输出数量呈次线性扩展,但它也会导致统计性能降低。在这项工作中,我们确定了树分解方法的两个缺点,并描述了两个启发式缓解。我们组成这些特征值技术构建的树。最终的结果是一个计算效率高的算法,提供了良好的统计性能的几个极端的数据集。
2016-02-04 cs.LG stat.ML
ICXML: An In-Context Learning Framework for Zero-Shot Extreme Multi-Label Classification
Center for Intelligent Information Retrieval(智能信息检索中心);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对零样本极端多标签分类任务标签空间过大难以应用上下文学习的问题,提出两阶段框架ICXML,先生成候选标签缩小搜索空间再重排序,在两个公开基准上取得SOTA结果。
2024-04-15 cs.CL cs.LG
A Unified Algebraic Framework for Classification Performance Evaluation
Universidade Federal do ABC (UFABC)(巴西联邦大学ABC分校)
提出统一代数框架评估分类性能,涵盖多种设置。以二值指示矩阵表示标签,结合三种聚合算子,可自动扩展二值性能度量到所有设置,还适应多种情况,建立了理论结果并经实证验证。
2026-08-26 cs.AI cs.LG
On Controllable Sparse Alternatives to Softmax
IBM Research(IBM研究院);IIT Madras(印度理工学院马德拉斯分校)
将n维向量转换为n个对象上的概率分布是许多机器学习任务中常用的组件,如多类分类,多标签分类,注意力机制等。为此,已经提出了几种概率映射函数,并在文献中使用,如softmax,sum-normalization,softmax和sparsemax,但人们对它们之间的关系知之甚少。此外,上述公式都没有提供对稀疏度的显式控制。为了解决这个问题,我们开发了一个统一的框架,包括所有这些配方的特殊情况。这个框架确保了简单的封闭形式的解决方案和存在的子梯度适合通过反向传播学习。在这个框架内,我们提出了两个新的稀疏配方,sparsegen-lin和sparsehourglass,试图提供一个控制所需的稀疏程度。我们进一步开发了新的凸损失函数,有助于诱导上述配方在多标签分类设置的行为,表现出更好的性能。我们还实证表明,所提出的配方,当用于计算注意力权重,实现更好的或类似的性能标准seq 2seq任务,如神经机器翻译和抽象总结。
2018-10-30 cs.CL cs.LG stat.ML
Labels in Extremes: How Well Calibrated are Extreme Multi-label Classifiers?
Aalto University(阿尔托大学);University of Bath(巴斯大学)
本文系统评估极端多标签分类器的概率校准,提出calibration@k度量,并证明等渗回归可在不损失精度下提升校准。
2024-11-06 cs.LG
Text classification based on ensemble extreme learning machine
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences(中国科学院重庆绿色智能技术研究院);The University of Edinburgh(爱丁堡大学)
在本文中,我们提出了一种新的方法,基于成本敏感的集成加权极端学习机,我们称之为AE 1-WELM。我们将这种方法应用于文本分类。AE 1-WELM是一种包含平衡和不平衡多重分类的文本分类算法。加权ELM对不同类别的样本赋予不同的权重,在一定程度上提高了分类精度,但加权ELM只考虑了不同类别样本之间的差异,而忽略了同一类别样本之间的差异。通过样本信息熵度量文档的重要性,并根据文档的重要性生成代价敏感矩阵和代价敏感因子,将代价敏感加权ELM无缝嵌入AdaBoost. M1框架中。向量空间模型(VSM)文本表示方法维数高、特征稀疏,增加了ELM的负担。为了克服这个问题,我们开发了一个文本分类框架相结合的词向量和AE 1-WELM。实验结果表明,该方法为文本分类提供了一种准确、可靠、有效的解决方案。
2018-05-10 cs.AI cs.CL cs.IR
Extreme Classification in Log Memory using Count-Min Sketch: A Case Study of Amazon Search with 50M Products
Rice University(莱斯大学);MIT(麻省理工学院);Amazon Search(亚马逊搜索)
在过去的十年中,许多人工智能的硬任务,特别是在NLP中,可以自然地建模为极端分类问题,从而提高精度。然而,由于最后一层的内存爆炸,这种模型的训练成本过高。例如,本文中感兴趣的数据集的合理softmax层可以轻松达到远远超过1000亿个参数(>400 GB内存)。为了缓解这个问题,我们提出了通过哈希的合并平均分类器(MACH),这是一种通用的K分类算法,其中内存可证明为O(logK),而无需对类进行任何强假设。MACH是一个巧妙的伪装的count-min sketch结构,它使用通用哈希将大量类别的分类减少到少数具有少量(恒定)类别的并行和独立分类任务。MACH自然提供了一种零通信模型并行技术。我们用6个数据集进行了实验;一些是多类的,一些是多标签的,并且在各自的最先进的基线上显示出一致的改进。特别是,我们在从亚马逊搜索引擎采样的私有产品搜索数据集上训练了一个端到端的深度分类器,该数据集包含7000万个查询和4946万个产品。MACH的性能远远优于商业搜索引擎上部署的最先进的极端分类模型:Parabel和密集嵌入模型。我们最大的模型有64亿个参数,在一台p3.16x机器上训练不到35小时。我们的训练时间比最佳基线快7- 10倍,内存占用比最佳基线小2- 4倍。这个训练时间也明显低于Google的混合专家模型(MoE)语言模型在类似模型大小和硬件上报告的时间。
2019-10-28 cs.DS cs.IR cs.LG
PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Illinois Institute of Technology(伊利诺伊大学香槟分校)
提出PTQ1.61,首次实现大语言模型权重1.61比特量化,通过结构化掩码和块级缩放优化,并引入量化预处理范式,在极低比特量化中达到最先进性能。
2025-08-06 cs.AI cs.LG
Extreme Learning Machine with Local Connections
Dalian University of Technology(大连理工大学)
研究了极限学习机(ELM)输入隐权值的稀疏化问题。对于普通的前向神经网络,稀疏化通常是通过在网络的学习过程中引入某种正则化技术来实现的。但这种策略不能应用于ELM,因为ELM的输入隐藏权重应该是随机选择的,而不是学习的。为此,我们提出了一种改进的ELM,称为ELM-LC(ELM与本地连接),这是专为稀疏的输入隐藏权重如下:隐节点和输入节点分别分为几个相应的组,输入节点组是完全连接到其对应的隐节点组,但不连接到任何其他的隐节点组。与通常的ELM一样,隐输入权重随机给定,隐输出权重通过最小二乘学习获得。在一些基准问题的数值模拟中,新的ELM-CL表现优于传统的ELM。
2018-01-22 cs.AI cs.LG stat.ML
Output-weighted and relative entropy loss functions for deep learning precursors of extreme events
Massachusetts Institute of Technology(麻省理工学院)
许多科学和工程问题需要精确的动力系统模型与罕见和极端事件。这些问题对数据驱动的建模提出了挑战性的任务,许多幼稚的机器学习方法无法预测或准确量化这些事件。这种困难的一个原因是,根据定义,具有极端事件的系统产生不平衡的数据集,并且标准损失函数容易忽略罕见事件。也就是说,用于训练模型的拟合优度的度量不是为了确保罕见事件的准确性而设计的。这项工作旨在提高极端事件的回归模型的性能,考虑损失函数,旨在突出离群值。我们提出了一种新的损失函数,调整后的输出加权损失,并扩大适用性的相对熵为基础的损失函数的低维输出系统。所提出的功能进行了测试,使用几种情况下的动力系统表现出极端事件,并显着提高极端事件的预测精度。
2021-12-01 cs.LG cs.NA math.NA
Rough extreme learning machine: a new classification method based on uncertainty measure
Dalian University of Technology(大连理工大学)
极限学习机(ELM)是一种新的单隐层反馈神经网络。输入层的权值和隐层神经元的偏置是随机产生的,输出层的权值可以解析确定。ELM在大量的分类任务中取得了良好的效果。提出了一种新的极限学习机-粗糙极限学习机(RELM)。RELM利用粗糙集将数据划分为上近似集和下近似集,利用这两个近似集分别训练上近似神经元和下近似神经元。此外,在该算法中执行属性约简,以去除冗余属性。实验结果表明,与比较算法相比,RELM在大多数情况下都能获得更好的分类精度和可重复性,RELM既保持了速度快的优势,又能有效应对高维数据的分类任务。
2018-03-10 cs.AI cs.LG stat.ML
Learning from Polar Representation: An Extreme-Adaptive Model for Long-Term Time Series Forecasting
Santa Clara University(圣克拉拉大学);Santa Clara Valley Water District(圣克拉拉谷水区)
针对水文长期径流量预测中长程依赖捕捉与极端值建模的双重挑战,提出融合极坐标表示学习的DAN模型,通过多损失机制、高斯混合建模等方法提升极端事件鲁棒性,在四个真实数据集上性能优于现有方法。
2023-12-16 cs.AI cs.LG
Revisiting the Vector Space Model: Sparse Weighted Nearest-Neighbor Method for Extreme Multi-Label Classification
Graduate School of Keio University(庆应义塾大学研究生院);Keio University(庆应义塾大学)
近年来,机器学习在信息检索(IR)中发挥了重要作用。例如,在搜索引擎中,接受查询关键字,并按照与给定查询的相关性顺序返回文档;这可以被视为机器学习中的多标签排名问题。通常,候选文档的数量非常大(从几千到几百万);因此,分类器必须处理许多标签。这个问题被称为极端多标签分类(XMLC)。在本文中,我们提出了一种新的方法XMLC称为稀疏加权最近邻方法。这种技术可以作为最先进的(SOTA)一对休息的线性分类器非常稀疏的数据集的快速实现。此外,我们表明,分类器可以写为一个稀疏的推广的代表定理与线性内核。此外,我们的方法可以被看作是在IR中使用的向量空间模型。最后,我们表明,稀疏加权最近邻方法可以处理数据点在XMLC数据集上的实时与SOTA模型的性能相当,具有单线程和更小的存储空间。特别是,我们的方法在具有300万个标签的数据集上表现出优于SOTA模型的性能。
2018-02-12 cs.LG stat.ML
Superiorities of Deep Extreme Learning Machines against Convolutional Neural Networks
Iskenderun Technical University(伊斯肯德伦技术大学)
深度学习(DL)是用于人工智能的机器学习过程,其通过增加神经元大小和隐藏层的数量来详细分析输入数据。深度学习随着图形处理单元能力的共同改进而流行。每层和隐层神经元大小的增加与分类器模型的计算时间和训练速度直接相关。分类参数,包括神经元的权重,输出权重,和偏见需要进行优化,以获得最佳的模型。大多数流行的DL算法需要很长的训练时间来优化特征学习过程和反向传播训练过程的参数。减少训练时间和提供实时决策系统是新方法的基本焦点。深度极限学习机器(Deep Extreme Learning Machines,简称DEEP ELM)分类器模型是解决快速分类问题的最快、最有效的方法之一。本文讨论了Deep ELM模型及其优缺点,以及基于卷积神经网络的深度学习算法更适合于分类器的问题。
2021-01-21 cs.AI cs.LG
Improving probabilistic forecasts of extreme wind speeds by training statistical post-processing models with weighted scoring rules
Department of Mathematics and Statistics(数学与统计学系);University of Exeter(埃克塞特大学);Met Office(英国气象局)
本研究提出使用阈值加权连续分级概率分数(twCRPS)训练集合模型输出统计(EMOS)模型,以改进极端风速的概率预测,并通过加权训练和线性混合缓解分布主体与尾部性能之间的权衡。
2025-03-28 cs.LG stat.AP
Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting
National University of Singapore(新加坡国立大学);University of California, Davis(加州大学戴维斯分校);University of Southern California(美国南加州大学)
本文提出一种协方差感知的GRPO方法,通过高斯核动态降低极端令牌更新权重,以平衡探索与利用,提升大语言模型推理性能并稳定熵。
2026-05-12 cs.AI cs.CL cs.LG
Cloud Computing Energy Consumption Prediction Based on Kernel Extreme Learning Machine Algorithm Improved by Vector Weighted Average Algorithm
Microsoft(微软);University of California(加利福尼亚大学)
针对云计算能耗预测挑战,本研究提出VWAA-KELM模型,通过结合向量加权平均算法与核极限学习机动态调整特征权重并优化核函数,显著提升了预测精度与泛化能力,为云数据中心及IoT领域的实时能源管理提供了高效可扩展方案。
2025-07-10 cs.LG cs.PF
A study on effectiveness of extreme learning machine
China Jiliang University(中国计量大学)
极限学习机(ELM),由Huang等人提出,提出了一种单隐层前馈神经网络的学习算法。然而,由于输入权值和偏置的随机选择,ELM算法有时会使SLFN的隐层输出矩阵H不满列秩,从而降低了ELM的有效性。本文讨论了ELM算法的有效性,提出了一种改进算法EELM,该算法在计算输出权值之前,对输入权值和偏置进行了适当的选择,从理论上保证了H的列满秩。这在一定程度上提高了网络的学习率(测试精度、预测精度、学习时间)和鲁棒性。基于基准函数逼近和实际问题(包括分类和回归应用)的实验结果表明,EELM具有良好的性能。
2014-09-13 cs.LG cs.NE
BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
Nanjing University of Science and Technology(南京理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Huawei(华为)
研究大语言模型部署时的压缩问题,提出BiSCo-LLM框架,通过将局部权重块映射到超球面二值化、编码重建误差、进行类别恢复蒸馏及设置保护通道路径等方法,实现极低比特权重压缩并减少存储开销。
2026-07-10 cs.LG
Backward-Forward Algorithm: An Improvement towards Extreme Learning Machine
National Institute of Technology Rourkela(鲁尔克拉国家理工学院)
极限学习机需要大量的隐层节点来对给定的训练数据集推广单个隐层神经网络。需要更多的隐藏节点表明,神经网络是记忆而不是概括模型。因此,这里描述了一种监督学习方法,该方法使用Moore-Penrose近似来确定两个时期(即,向后传递和向前传递)中的输入权重和输出权重。所提出的技术在所需的迭代方面优于反向传播方法,并且在泛化所需的隐藏单元的数量方面优于极端学习机。
2019-10-07 cs.CV cs.LG
Robust Tracking via Weighted Online Extreme Learning Machine
Liaoning Normal University(辽宁师范大学);Dalian Maritime University(大连海事大学)
基于极限学习机的跟踪方法是一种高效、有效的方法。ELM在隐层中随机生成输入权值和偏置,然后通过将迭代求解简化为线性方程组问题来计算和计算输出权值。因此,ELM在跟踪中具有令人满意的分类性能和快速的训练时间。然而,原有的ELM方法存在分类分布不均衡的问题,目标对象少导致欠拟合,背景样本多导致过拟合。更糟糕的是,它降低了跟踪的鲁棒性在特殊条件下,包括遮挡,照明等,为了解决上述问题,在本文中,我们提出了一个强大的跟踪算法。首先,在原ELM中引入局部权重矩阵,即根据当前帧的数据分布动态生成局部权重矩阵,以平衡经验风险和结构风险,充分学习目标对象,提高分类性能。其次,我们将其改进为增量学习方法,保证跟踪的实时性和高效性。最后,利用遗忘因子增强了分类分布随时间变化的鲁棒性。同时,我们提出了一种新的优化方法,以获得最佳的样本作为目标对象,这避免了跟踪漂移所造成的噪声样本。因此,我们的跟踪方法可以充分学习目标对象和背景信息,以提高跟踪性能,并在20个具有不同属性(包括光照,遮挡,变形等)的挑战图像序列中进行评估,其在有效性和鲁棒性方面实现了比几种现有技术方法更好的性能。
2018-07-26 cs.LG stat.ML
Extreme Model Compression with Structured Sparsity at Low Precision
McGill University(麦吉尔大学);Palona AI;MBZUAI
针对深度神经网络因大尺寸和高计算成本难以在资源受限设备运行的问题,提出统一框架SLOPE,结合结构化稀疏性与低比特量化,通过训练时正则化策略提升性能,在多任务中优于现有方法且实现显著压缩。
2025-11-11 cs.AI cs.CV cs.LG
ExCP: Extreme LLM Checkpoint Compression via Weight-Momentum Joint Shrinking
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Science and Technology of China(中国科学技术大学)
针对 LLM 训练检查点存储开销问题,提出 ExCP 框架,通过相邻残差、权重-动量联合收缩和非均匀量化实现近无损极致压缩。
2024-06-17 cs.LG
Effective Non-Random Extreme Learning Machine
针对传统极限学习机(ELM)架构设计难、对隐藏层权重随机初始化敏感的问题,提出融入信号处理基函数与投影概念的ENR-ELM算法,含近似与增量两个版本,实验验证其在保持预测性能的同时解决了传统ELM的缺陷。
2025-07-30 cs.LG stat.ML
ELMO: Efficiency via Low-precision and Peak Memory Optimization in Large Output Spaces
Department of Computer Science, Aalto University, Espoo, Finland(艾尔沃斯大学计算机科学系);Department of Computer Science, University of Bath, Bath, UK(巴斯大学计算机科学系)
针对极限多标签分类中线性分类头导致的内存与计算瓶颈,提出纯低精度训练框架ELMO,利用Float8、Kahan求和及梯度融合分块技术,在保持准确率的同时大幅降低GPU内存占用。
2025-10-13 cs.CL cs.IR cs.LG
Extreme Dimension Reduction for Handling Covariate Shift
MIT(麻省理工学院);Duke University(杜克大学)
在协变量偏移学习场景中,训练协变量分布和测试协变量分布不同,因此预测变量在训练分布和测试分布上的平均损失也不同。在这项工作中,我们探讨了潜在的极端降维,即非常低的尺寸,在提高性能的重要性加权方法处理协变量偏移的转变,这失败的高维由于潜在的高训练/测试协变量的分歧和无法准确地估计所需的密度比。我们首先制定和解决一个问题,优化线性子空间的预测效用和训练/测试发散的组合。将其应用于模拟和真实数据,我们表明极端的降维有时会有帮助,但并不总是,由于降维引入的偏见。
2018-03-12 cs.AI cs.LG stat.ML
Training with Quantization Noise for Extreme Model Compression
Facebook AI Research(Facebook人工智能研究院);LORIA(洛里亚计算机科学实验室);Univ Lyon(里昂大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS de Lyon(里昂高等师范学校);UCB Lyon 1(里昂第一大学);LIP UMR 5668(里昂第一大学计算机科学实验室)
我们解决了生产紧凑模型的问题,最大限度地提高了给定模型尺寸的准确性。标准的解决方案是使用量化感知训练来训练网络,其中权重在训练期间被量化,并且梯度使用直通估计来近似。在本文中,我们将这种方法扩展到int 8定点量化之外,使用极端压缩方法,其中STE引入的近似是严重的,例如乘积量化。我们的建议是在每次转发过程中只使用一个不同的随机权重子集,允许无偏梯度流过其他权重。通过控制噪声量及其形式,可以实现极端的压缩率,同时保持原始模型的性能。因此,我们在自然语言处理和图像分类中建立了新的最先进的准确性和模型大小之间的妥协。例如,将我们的方法应用于最先进的Transformer和ConvNet架构,我们可以通过将RoBERTa压缩到14 MB来实现MNLI的82.5%准确度,并通过将EfficientNet-B3压缩到3.3 MB来实现ImageNet的80.0 top-1准确度。
2021-02-28 cs.LG stat.ML
Speech Emotion Recognition Using Deep Sparse Auto-Encoder Extreme Learning Machine with a New Weighting Scheme and Spectro-Temporal Features Along with Classical Feature Selection and A New Quantum-Inspired Dimension Reduction Method
Razi University(拉齐大学)
情感计算在人机关系中占有重要地位。本文提出了一种基于语音信号的语音情感识别系统。该系统包括三个阶段:特征提取,特征选择,最后特征分类。在第一阶段中,使用诸如韵律、频谱和频谱-时间特征的新的和不同的特征的组合从语音信号和声门波形信号两者中提取长期统计特征的复杂集合。SER系统的挑战之一是区分相关的情绪。这些特征是语音情感的良好鉴别器,并且增加了SER识别相似和不同情感的能力。这种具有大量维度的特征向量自然具有冗余性。在第二阶段,使用经典的特征选择技术以及一个新的量子启发的技术,以减少特征向量的维数,减少了特征向量的维数。在第三阶段中,通过加权深度稀疏极端学习机(ELM)分类器对优化的特征向量进行分类。分类器进行分类在三个步骤:稀疏随机特征学习,正交随机投影使用奇异值分解(SVD)技术,并在最后一步使用广义吉洪诺夫正则化技术的判别分类。此外,许多现有的情感数据集遭受的问题,数据分布不平衡,这反过来又增加了分类错误,降低系统性能。本文还提出了一种新的加权方法来处理类不平衡,这是比现有的加权方法更有效。所提出的方法进行了评估三个标准的情感数据库。
2021-11-13 cs.LG cs.SD eess.AS
Federated Learning with Extremely Noisy Clients via Negative Distillation
Xiamen University(厦门大学);Hong Kong Baptist University(香港浸会大学)
本文针对联邦学习中客户端标签噪声比例极高的问题,提出负蒸馏方法FedNed,通过识别噪声客户端并利用其作为“坏教师”进行知识蒸馏,同时结合伪标签逐步提升模型可信度,实验表明其性能优于现有基线。
2024-02-23 cs.LG
Evolutionary Extreme Learning Machine of ab-initio Energy Landscapes for Crystal Structure Prediction using Manta Ray Optimization with Levy Flight
Hamlyn Centre for Robotic Surgery, Imperial College London (ICL)(机器人手术哈姆林中心,伦敦帝国理工学院)
本文提出了一种改进的Manta Ray优化算法结合Levy飞行用于训练极值学习机,以预测二元系统中未弛豫和弛豫形成能化合物相对于基态晶格结构的纯组分相对能量。
2026-05-16 cs.AI cs.LG cs.NE
Spectral Stability of Pseudoinverse-Based Extreme Learning Machine
Institute for Artificial Intelligence, VNU University of Engineering and Technology(人工智能研究所,越南工程与技术大学)
研究基于伪逆的极限学习机的谱稳定性,通过分析最小奇异值和条件数来探讨其稳定性,比较基于奇异值分解和迭代超幂方法,实验表明病态条件下基于奇异值分解的方法更可靠,揭示ELM稳定性由隐藏层矩阵奇异值结构决定。
2026-07-10 cs.LG math.SP
ReFine: Boosting Time Series Prediction of Extreme Events by Reweighting and Fine-tuning
Florida International University(佛罗里达国际大学)
针对极端事件罕见且属于分布外数据导致预测困难的问题,提出模型无关的重加权与微调策略,利用元学习动态优化惩罚权重并微调模型,显著提升了时间序列预测的准确性。
2024-09-21 cs.LG
A locally time-invariant metric for climate model ensemble predictions of extreme risk
University of Cambridge(剑桥大学);Monumo
本文提出一种局部时间不变的模型评估方法,用于改进气候模型集合对极端事件的模拟评估,并在内罗毕等九个城市验证了其在极端高温天数预测中的表现。
2023-04-18 cs.LG physics.ao-ph
Unbiased Loss Functions for Extreme Classification With Missing Labels
Aalto University(阿尔托大学);IIT, Kanpur(印度理工学院坎普尔分校)
极端多标签分类(XMC)的目标是从一个非常大的可能标签集合中用一小部分相关标签来标记一个实例。除了大量的训练实例、特征和标签所带来的计算负担之外,XMC中的问题还面临着两个统计挑战,(i)大量的“尾部标签”--那些很少出现的标签,以及(ii)丢失的标签,因为几乎不可能手动将每个相关标签分配给实例。在这项工作中,我们推导出一个无偏估计量的损失函数,分解标签的一般制定,然后推断的形式,常用的损失函数,如铰链和平方铰链损失和二进制交叉熵损失。我们表明,派生的无偏估计量,在适当的加权因子的形式,可以很容易地纳入国家的最先进的极端分类算法,从而扩展到数据集与数十万个标签。然而,根据经验,我们发现了一个稍微改变的版本,它为尾部标签提供了更多的相对权重,从而表现得更好。我们怀疑这是由于数据集中的标签不平衡,我们的理论推导估计量没有明确解决这一问题。在XMC的基准数据集上,最小化所提出的损失函数导致了对现有方法的显着改进(在某些情况下高达20%)。
2020-07-01 cs.LG stat.ML
Speeding-up One-vs-All Training for Extreme Classification via Smart Initialization
Aalto University(阿尔托大学)
在本文中,我们表明,一个简单的,数据依赖的方式设置的初始向量可以用来大大加快训练的线性一对所有(OVA)分类器在极端多标签分类(XMC)。从三个目标的角度讨论了初始权值的选取问题。我们希望在权重空间的一个区域中开始,a)具有低损失值,b)有利于二阶优化,c)可以快速执行共轭梯度(CG)计算。对于边际损失,这样的初始化是通过选择初始向量来实现的,这样它就可以将所有正(与标签相关)实例的平均值与所有负实例的平均值分开-这两个量可以快速计算出XMC中发生的高度不平衡的二进制问题。我们展示了$\approx 3\times$在各种XMC数据集上使用平方铰链损失进行训练的加速。这部分来自于由于开始更接近解决方案而需要执行的迭代次数减少,部分来自于允许在CG步骤中忽略容易的负面的隐式负面挖掘效果。由于优化问题的凸性质,在分类精度没有任何退化的情况下实现了加速。
2021-09-27 cs.LG
Frequency Shift Physics-Informed Extreme Learning Machine for Solving High-Frequency Partial Differential Equations
School of Mathematics and Statistics, Northwestern Polytechnical University(西北工业大学数学与统计学院);College of Science, Shijiazhuang University(石家庄学院理学院);Department of Engineering Mechanics, Northwestern Polytechnical University(西北工业大学工程力学系);Department of Aeronautical Engineering, Northwestern Polytechnical University(西北工业大学航空工程系);MIIT Key Laboratory of Dynamics and Control of Complex Systems, Northwestern Polytechnical University(西北工业大学工信部复杂系统动力学与控制重点实验室)
提出频移物理信息极限学习机(FS-PIELM),通过平移权重分布均值而非缩放方差来缓解谱偏差,在七个基准问题上相比现有方法精度提升1至近5个数量级。
2026-07-03 cs.LG
CRVQ: Channel-Relaxed Vector Quantization for Extreme Compression of LLMs
Research Center for Social Computing and Interactive Robotics (SCIR)(社会计算与交互机器人研究中心);Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型低计算成本部署需求,提出通道松弛向量量化(CRVQ)技术,通过关键权重通道筛选重排与扩展码本松弛约束,在2比特以下PTQ基线上提升38.9%性能,支持近乎无损1比特压缩并提供灵活部署选项。
2025-02-19 cs.CL cs.LG
Progressive Weight Pruning of Deep Neural Networks using ADMM
Syracuse University(雪城大学);Northeastern University(东北大学);George Mason University(乔治梅森大学);MIT-IBM Watson AI Lab, IBM Research(IBM研究院MIT-IBM沃森人工智能实验室)
深度神经网络(DNN)虽然在许多领域实现了人类水平的性能,但具有非常大的模型大小,这阻碍了它们在边缘计算设备上的更广泛应用。已经对DNN模型压缩或修剪进行了广泛的研究工作。然而,大多数以前的工作采取启发式的方法。本文提出了一种基于ADMM(Alternating Direction Method of Multipliers,交替方向乘法)的渐进式权重剪枝方法,该方法是处理具有潜在组合约束的非凸优化问题的一种强有力的技术。该方法受动态规划的启发,通过使用具有中等剪枝率的部分剪枝,达到了极高的剪枝率。因此,它解决了精度下降和收敛时间长的问题时,追求极高的剪枝率。它对ImageNet数据集的剪枝率高达34倍,对MNIST数据集的剪枝率高达167倍,显著高于文献工作所达到的剪枝率。在相同的迭代次数下,该方法具有更快的收敛速度和更高的压缩比。代码和修剪的DNN模型在链接bit.ly/2zxdlss中发布
2018-11-04 cs.CV cs.LG cs.NE