Layerwise Decoupling for Stable Structured Sparsification of Fully Connected Layers
The University of Scranton(斯克兰顿大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
提出一种逐层解耦的结构化稀疏化方法,通过提取两层子网络并施加组惩罚,实现更稳健的剪枝,具有更宽的正则化范围和更低的过度剪枝率。
2026-09-21 cs.LG stat.ML
decoupleQ: Towards 2-bit Post-Training Uniform Quantization via decoupling Parameters into Integer and Floating Points
ByteDance(字节跳动)
本文提出decoupleQ,通过将模型参数解耦为整数和浮点数,将量化转化为约束优化问题,实现2比特均匀量化,在字节跳动大型语音模型上达到接近fp16/bf16的精度。
2024-04-19 cs.LG
Federated Two Stage Decoupling With Adaptive Personalization Layers
Jiangnan University(江南大学)
提出两阶段解耦联邦学习算法FedTSDP,通过双重客户端聚类、Hopkins修正抽样确定聚类时机及自适应个性化层调整,有效应对数据异构性,在IID和非IID场景下表现可靠。
2023-12-31 cs.AI cs.LG
Graph Decoupling Attention Markov Networks for Semi-supervised Graph Node Classification
Fudan University(复旦大学);University of Sydney(悉尼大学)
图神经网络(GNN)在图节点分类任务中已经普遍存在。大多数GNN方法通过聚集其邻居的信息来迭代地更新节点嵌入。然而,他们经常遭受负面的干扰,由于边缘连接节点与不同的标签。减轻这种负面干扰的一种方法是使用注意力来学习聚合的权重,但目前基于注意力的GNN只考虑特征相似性,并且缺乏监督。在本文中,我们考虑了图节点的标签依赖,并提出了一个解耦的注意力机制学习硬和软的注意力。通过对具有较少类间边的精细图结构的标签学习硬注意力,从而减少聚集的负干扰。软注意力的目的是学习基于特征的聚合权重,以增强消息传递过程中的信息增益。特别是,我们制定我们的模型下EM框架,学习的注意是用来指导标签传播的M-步骤和特征传播的E-步骤,分别。在六个著名的基准图数据集上进行了大量的实验,以验证所提出的方法的有效性。
2022-02-01 cs.AI cs.LG
Revisiting Random Weight Perturbation for Efficiently Improving Generalization
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学)
本文重新审视随机权重扰动(RWP),从泛化与收敛权衡及扰动生成两方面改进RWP,在大规模问题上以更高效率取得与SAM相当或更优的泛化性能。
2024-03-30 cs.LG
Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks
Technical University of Denmark(丹麦技术大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出通过解耦特征提取层与分类层的训练,并在分类阶段引入高斯先验和变分训练,在保持准确率的同时显著改善过度参数化深度神经网络的校准性能。
2024-05-06 cs.LG stat.ML
Trainable Weight Averaging: Accelerating Training and Improving Generalization
Shanghai Jiao Tong University(上海交通大学);KU Leuven(鲁汶大学);National Taiwan University(台湾大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对现有权重平均方法依赖预设加权方案的局限性,提出可训练权重平均(TWA)方法,通过降维子空间学习最优加权系数,结合分布式训练框架提升效率,在泛化性能和训练加速上优于SWA,适用于多种场景。
2025-02-10 cs.LG
Improving Ensemble Distillation With Weight Averaging and Diversifying Perturbation
Korea Advanced Institute of Science and Technology(韩国科学技术院);Naver;AITRICS
深度神经网络的集合已经表现出优越的性能,但它们沉重的计算成本阻碍了它们在资源有限的环境中的应用。它激励将知识从集合教师提取到更小的学生网络中,对于这种集合提取有两个重要的设计选择:1)如何构建学生网络,以及2)在训练期间应该显示哪些数据。在本文中,我们提出了一种加权平均技术,其中具有多个子网络的学生被训练以吸收合奏教师的功能多样性,但随后这些子网络被适当地平均用于推理,从而提供了一个没有额外推理成本的单个学生网络。我们还提出了一个扰动策略,寻求输入,教师的diligence可以更好地转移到学生。结合这两个,我们的方法显着改善了以前的方法对各种图像分类任务。
2022-06-30 cs.LG
Robustly Optimized Deep Feature Decoupling Network for Fatty Liver Diseases Detection
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院);Department of Computer and Information Technology, Purdue University(普渡大学计算机与信息技术系);School of Computer Science, Chengdu University of Information Technology(成都信息工程大学计算机学院);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
本文提出结合特征解耦与自适应对抗训练的深度学习框架,通过迭代压缩解耦器分离脂肪肝超声图像特征并平衡对抗强度,有效消除分类器识别弱点,将准确率提升至82.95%。
2024-06-25 cs.CV cs.LG eess.IV
Improving Label Assignments Learning by Dynamic Sample Dropout Combined with Layer-wise Optimization in Speech Separation
Rutgers University(罗格斯大学);Amazon(亚马逊)
针对语音分离中PIT存在的标签分配频繁切换和层解耦问题,提出动态样本丢弃(DSD)与逐层优化(LO)相结合的训练策略,有效提升了模型性能且无需额外训练成本。
2023-11-20 cs.LG cs.SD eess.AS
Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core
本文提出'数字代谢'假说,通过再生反学习解耦逻辑与事实,实现纯神经逻辑核心,提升模型推理能力并减少幻觉。
2026-01-15 cs.AI cs.LG
Metis-SPECS: Decoupling Multimodal Learning via Self-distilled Preference-based Cold Start
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS);Meituan(美团)
Metis-SPECS通过基于偏好的自我蒸馏冷启动框架解耦多模态学习,提升泛化能力和下游RL表现。
2026-01-30 cs.AI cs.CL cs.CV
Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights
University of Edinburgh(爱丁堡大学)
在没有大型标记数据集的情况下,自监督学习技术可以通过从未标记数据中学习有用的表示来提高性能,这些数据通常更容易获得。然而,在未标记的集合和下游目标问题数据之间通常存在域转移。我们表明,通过学习贝叶斯实例权重的未标记的数据,我们可以提高下游的分类精度,优先考虑最有用的实例。此外,我们还证明了通过丢弃不必要的数据点可以减少训练时间。我们的方法BetaDataWeighter使用STL-10和Visual Decathlon上流行的自监督旋转预测任务进行评估。我们比较相关的实例加权方案,手工设计的算法和元学习,以及传统的自监督学习。BetaDataWeighter在数据集上实现了最高的平均准确度和排名,在STL-10上,它可以修剪高达78%的未标记图像,而不会显著降低准确度,相应地减少了50%以上的训练时间。
2020-06-22 cs.LG stat.ML
Beyond Simple Averaging: Improving NLP Ensemble Performance with Topological-Data-Analysis-Based Weighting
Institute for Information Transmission Problems(信息传输问题研究所);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Sber(俄罗斯联邦储蓄银行)
针对NLP集成模型简单平均忽略模型差异的问题,提出基于拓扑数据分析(TDA)距离度量的加权方法,结合模型个体性能与相似性,提升了文本分类准确率与不确定性估计质量。
2025-01-28 cs.CL cs.LG
Improving Robustness with Adaptive Weight Decay
Apple(苹果公司)
本文提出自适应权重衰减方法,根据分类损失与正则化损失的更新强度在训练中动态调整权重衰减超参数,在不增加数据的情况下显著提升对抗鲁棒性并缓解鲁棒过拟合。
2023-12-02 cs.CV cs.LG
Improving Axial-Attention Network Classification via Cross-Channel Weight Sharing
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
近年来,超复杂启发的神经网络(HCNN)已被用于改进深度学习架构,因为它们能够实现基于通道的权重共享,将颜色视为单个实体,并提高层内的表示一致性。本文描述的工作研究了用其代表性相干变体替换轴向注意力网络中的现有层的效果,以评估对图像分类的效果。我们对网络的主干、瓶颈层和完全连接的后端进行了实验,将它们替换为代表性一致的变体。这些不同的修改导致了新的架构,这些架构都提高了ImageNet300k分类数据集的准确性。我们用于比较的基线网络是原始的实值ResNet,原始的四元数值ResNet和轴向注意力ResNet。由于无论网络的哪一部分被修改,都观察到改进,因此有希望这种技术通常可用于提高大类网络的分类准确性。
2023-01-12 cs.CV cs.LG
Improving Convergence for Quantum Variational Classifiers using Weight Re-Mapping
LMU Munich(慕尼黑大学)
近年来,量子机器学习在变分量子线路(VQC)的使用方面已经有了实质性的增长。VQC受到人工神经网络的启发,人工神经网络作为大规模参数化函数逼近器在广泛的AI任务中实现了卓越的性能。VQC已经展示了有希望的结果,例如,通过利用量子计算中可用的更鲁棒的算法工具箱,在泛化和对训练的更少参数的需求方面。VQC的可训练参数或权重通常用作旋转门中的角度,并且当前基于梯度的训练方法没有考虑到这一点。我们引入了VQC的权重重新映射,将权重明确地映射到长度为$2π$的区间,从传统的ML中汲取灵感,其中数据重新缩放或归一化技术在许多情况下都表现出了巨大的好处。我们采用了一组五个函数,并使用变分分类器作为示例在Iris和Wine数据集上对其进行评估。我们的实验表明,权重重新映射可以提高收敛在所有测试设置。此外,我们能够证明权重重新映射通过$10\%$提高了Wine数据集的测试准确性,而不是使用未修改的权重。
2023-02-15 cs.LG quant-ph
Improving Generalization of Pre-trained Language Models via Stochastic Weight Averaging
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Université de Montréal(蒙特利尔大学);University of Waterloo(滑铁卢大学)
知识蒸馏(KD)是一种常用的技术,用于提高下游任务上紧凑的预训练语言模型(PLM)的泛化能力。然而,这种方法会给每个新数据集带来额外的训练负担。或者,人们可以直接致力于改进紧凑模型的优化过程,以获得更好的泛化能力。最近的工作观察到,平坦的局部最小值与更好的推广。在这项工作中,我们适应随机加权平均(SWA),一种方法,鼓励收敛到一个平坦的最小值,微调PLM。我们对各种NLP任务(文本分类,问答和生成)和不同的模型架构进行了广泛的实验,并证明了我们的自适应提高了泛化能力,而无需额外的计算成本。此外,我们观察到,这种简单的优化技术是能够优于国家的最先进的KD方法紧凑的模型。
2022-12-16 cs.CL cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University(莫纳什大学);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移(例如3对3或5对6多代理游戏)。在本文中,我们首次尝试探索一个通用的多智能体强化学习管道,设计一个单一的架构,以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同,我们利用一个基于transformer的模型来生成一个灵活的策略,通过将策略分布与相互交织的输入观察解耦,并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比,该模型进一步放宽了对行为的限制,使多Agent任务的决策过程更具有可解释性,称为通用策略解耦Transformer(UPDeT)。UPDeT足够通用,可以插入任何多智能体强化学习管道,并为它们提供强大的泛化能力,使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明,所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果,在性能和训练速度(快10倍)方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Google LLC(谷歌公司);Shenzhen International Center for Industrial and Applied Mathematics(深圳国际工业与应用数学中心);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出一种多项式预条件子权重参数化方法(PC层),通过低阶多项式预条件重塑权重矩阵奇异值谱,确保LLM训练中权重条件稳定,且训练后无推理开销,在Llama-1B预训练中优于标准Transformer。
2026-06-04 cs.AI cs.LG
Improving Generalization by Controlling Label-Noise Information in Neural Network Weights
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
在存在噪声或不正确的标签的情况下,神经网络具有不期望的记住关于噪声的信息的倾向。标准的正则化技术,如dropout、权重衰减或数据增强有时会有所帮助,但不能防止这种行为。如果将神经网络的权值看作是依赖于训练数据和随机性的随机变量,那么记忆的信息量可以用权值和给定输入的所有训练标签的向量$I(w ; \mathbf{y} \mid \mathbf{x})$之间的香农互信息来量化。我们表明,对于任何训练算法,这一项的低值对应于标签噪声记忆的减少和更好的泛化范围。为了获得这些低值,我们提出了采用辅助网络的训练算法,该辅助网络在不访问标签的情况下预测分类器最后几层的梯度。我们说明了我们的方法对MNIST,CIFAR-10和CIFAR-100的版本与各种噪声模型损坏的有效性,并在一个大规模的数据集Clothing 1 M有噪声标签。
2020-11-20 cs.LG stat.ML
Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty
Ant Group(蚂蚁集团)
联邦学习(FL)近年来受到越来越多的关注。作为一种保护隐私的协作学习范式,它可以实现更广泛的应用,特别是对于计算机视觉和自然语言处理任务。然而,迄今为止,联邦学习在关系数据上的研究有限,即知识图谱(KG)。在这项工作中,我们提出了一个修改后的版本的图神经网络算法,在不同的参与者进行联合建模的KG。具体来说,为了解决固有的数据异构性问题和算法收敛效率低下,我们提出了一种新的优化算法,命名为FedAlign,1)最佳运输(OT)的客户端个性化和2)重量约束,以加快收敛。在几个广泛使用的数据集上进行了大量的实验。实验结果表明,我们提出的方法优于最先进的FL方法,如FedAVG和FedProx,具有更好的收敛性。
2020-11-23 cs.AI cs.LG
Improving Model Training by Periodic Sampling over Weight Distributions
LG Advanced AI Lab(LG高级人工智能实验室);Sanat Clara, CA, USA(美国加利福尼亚州圣克拉拉)
在本文中,我们探讨了围绕模型权重的周期性采样的技术,这些技术为各种视觉问题(分类,检测,分割)提供了梯度更新方法(香草\acs{SGD},动量,亚当)的收敛性改进。重要的是,我们的算法提供了更好,更快,更强大的收敛和训练性能,而计算时间只有轻微的增加。我们的技术是独立的神经网络模型,梯度优化方法或现有的最佳训练策略,并收敛在一个不太稳定的方式与性能改进,近似单调。我们进行了各种实验来量化这些改进,并确定这些技术可能更有用的场景。
2020-03-19 cs.CV cs.LG stat.ML
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
本文提出通过分析神经网络内部权重信号,改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
Weighted Patterns as a Tool for Improving the Hopfield Model
Scientific Research Institute for System Analysis Russian Academy of Sciences(俄罗斯科学院系统分析科学研究所)
我们推广的标准Hopfield模型的情况下,当一个权重被分配给每个输入模式。权重可以解释为网络输入处模式出现的频率。在统计物理方法的框架下,我们得到了鞍点方程,使我们能够检查网络的记忆。在不等权重的情况下,我们的模型不会由于内存溢出而导致内存的灾难性破坏(这是标准Hopfield模型的典型特征)。真实记忆仅由权重超过由权重分布确定的临界值的模式组成。我们得到的算法,使我们能够找到这个临界值的任意分布的权重,并详细分析了一些特定的权重分布。它示出的记忆减少的情况下相比,标准的Hopfield模型。然而,在我们的模型中,网络可以在线学习,而不会对记忆造成灾难性的破坏。
2012-05-04 cond-mat.dis-nn cs.LG cs.NE
Weight Concentration Regularization for Improving Pruning Robustness Under High Sparsity
University of Southern California(美国南加州大学);Inha University(inha大学)
本文提出权重集中正则化(WCR),通过放大少量参数的幅度并驱动其余参数趋近于零,提高模型在高稀疏度下的剪枝鲁棒性,通过在LLM微调、图像分类和医学分割中的实验验证了其有效性。
2026-05-15 cs.AI cs.LG
Improving Scheduled Sampling with Elastic Weight Consolidation for Neural Machine Translation
University of Cambridge(剑桥大学)
尽管在许多序列到序列任务中表现出色,但使用最大似然估计训练的自回归模型存在暴露偏差,即训练期间使用的地面实况前缀与推理时使用的模型生成的前缀之间的差异。预定采样是一种简单且经验上成功的方法,它通过将模型生成的前缀纳入训练来解决这个问题。然而,有人认为这是一个不一致的训练目标,导致模型完全忽略前缀。在本文中,我们进行了系统的实验,发现定时采样,虽然它改善了暴露偏差,通过增加模型对输入序列的依赖,在推理时的前缀是正确的,灾难性遗忘的一种形式时的性能。我们建议使用弹性权重合并来更好地平衡减轻暴露偏差与保留性能。在四个IWITAL '14和WMT'14翻译数据集上的实验表明,我们的方法消除了灾难性遗忘,并显着优于最大似然估计和预定的采样基线。
2023-01-10 cs.CL cs.LG
Improving Adversarial Robustness in Weight-quantized Neural Networks
Duke University(杜克大学);Cadence Design Systems, Inc.(楷登电子设计系统公司)
如今,神经网络变得越来越深入,计算密集度越来越高。量化是在硬件平台上部署神经网络并以可忽略的性能损失节省计算成本的有用技术。然而,最近的研究表明,神经网络模型,无论是全精度还是量化的,都容易受到对抗攻击的攻击。在这项工作中,我们分析了对抗和量化损失,然后引入标准来评估它们。我们提出了一种基于边界的再训练方法,以减轻对抗和量化损失,并采用非线性映射方法来抵御白盒梯度的对抗攻击。评估表明,我们的方法可以更好地恢复量化后的准确性比其他基线方法的黑盒和白盒对抗攻击。研究结果还表明,对抗性训练存在量化损失,与其他训练方法不能很好地配合。
2021-01-23 cs.CR cs.LG
SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks
Seoul National University(首尔国立大学)
设计具有良好泛化能力的深度神经网络(DNN)是一个复杂的过程,特别是当权重严重量化时。模型平均是实现DNN良好泛化能力的一种很有前途的方法,特别是当用于训练的损失表面包含许多尖锐的极小值时。我们提出了一种新的量化神经网络优化方法,随机量化加权平均(SQWA),设计低精度DNN具有良好的泛化能力,使用模型平均。所提出的方法包括(1)浮点模型训练,(2)权重的直接量化,(3)在具有循环学习率的再训练期间捕获多个低精度模型,(4)平均捕获的模型,以及(5)重新量化平均模型并以低学习率对其进行微调。此外,我们提出了一个损失可视化技术的量化权重域,以清楚地阐明所提出的方法的行为。可视化结果表明,一个量化DNN(QDNN)与所提出的方法优化位于中心附近的平坦的最小值的损失表面。通过SQWA训练,我们在CIFAR-100和ImageNet数据集上获得了2位QDNN的最新结果。虽然我们只采用了一个统一的量化方案,在VLSI或低精度神经处理单元的实现,实现的性能超过了以前的研究采用非均匀量化。
2020-02-02 cs.LG stat.ML
Decoupling Representation Learning from Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
为了克服图像深度强化学习(RL)中奖励驱动特征学习的局限性,我们提出了将表示学习与策略学习解耦。为此,我们引入了一个新的无监督学习(UL)任务,称为增强时间对比度(ATC),它训练卷积编码器将由短时间差分离的观测对关联起来,在图像增强下并使用对比损失。在在线RL实验中,我们表明,在大多数环境中,专门使用ATC训练编码器匹配或优于端到端RL。此外,我们通过在专家演示中预训练编码器并在RL代理中使用它们(权重冻结)来对几种领先的UL算法进行基准测试;我们发现使用ATC训练的编码器的代理优于所有其他代理。我们还对来自多个环境的数据进行训练多任务编码器,并对不同的下游RL任务进行泛化。最后,我们切除ATC的组件,并引入一个新的数据增强,以便在RL需要增强时能够从预先训练的编码器中重放(压缩)潜像。我们的实验涵盖了DeepMind Control、DeepMind Lab和Atari中视觉上不同的RL基准测试,我们的完整代码可在https://github.com/astooke/rlpyt/tree/master/rlpyt/ul上获得。
2021-05-16 cs.AI cs.CV cs.LG
Mitigating Backdoors via Decoy Shortcuts and Knowledge Decoupling
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本研究提出TR防御方法,通过蜜罐捷径捕获后门知识,结合知识解耦策略与自动捷径生成,在四个基准数据集和五个模型架构上有效缓解多种后门攻击,同时保留良性性能。
2026-08-04 cs.CV cs.LG
Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出RetroPrompt,通过构建开卷知识库并在输入、训练和推理中引入检索机制,将知识从记忆中解耦,从而在少样本和零样本场景下提升模型泛化能力并减少对记忆的依赖。
2023-09-19 cs.AI cs.CL cs.IR
Lattice Recurrent Unit: Improving Convergence and Statistical Efficiency for Sequence Modeling
Carnegie Mellon University(卡内基梅隆大学)
递归神经网络在序列建模方面取得了显着的成功。然而,资源不足的情况仍然对这些模式的普遍性产生不利影响。我们引入了一个新的模型家族,称为格递归单元(LRU),以解决在有限资源下学习深度多层递归模型的挑战。LRU模型通过在单元内部创建不同的(但耦合的)信息流来实现这一目标:沿着时间维度的第一个流和沿着深度维度的第二个流。它还提供了一个对称的信息如何可以流动的水平和垂直。我们分析了我们的LRU模型的三个不同的组件:复位门,更新门和投影状态解耦的效果。我们评估这个家庭的新LRU模型的计算收敛速度和统计效率。我们的实验在四个公开的数据集上进行,与Grid-LSTM和递归高速公路网络进行比较。我们的研究结果表明,LRU具有更好的经验计算收敛速度和统计效率值,以及学习更准确的语言模型。
2017-11-22 cs.AI cs.LG cs.NE
Improving Hyperparameter Optimization with Checkpointed Model Weights
NVIDIA(英伟达)
提出Forecasting Model Search (FMS)方法,利用记录的检查点权重通过高斯过程深度核代理模型指导超参数选择,提升HPO效率。
2024-06-26 cs.AI cs.LG stat.ML
A2Q+: Improving Accumulator-Aware Weight Quantization
AMD SW Technology Team(AMD软件技术团队);AMD Research and Advanced Development(AMD研究与高级开发)
本文针对 A2Q 约束过强和初始化次优的问题,提出改进界、浮点检查点初始化与权重归一化结合的 A2Q+,显著优化累加器位宽和准确率的权衡。
2024-01-19 cs.AR cs.LG cs.PF
Improving EEG based Continuous Speech Recognition
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们介绍了各种技术,以提高性能的脑电图(EEG)特征为基础的连续语音识别(CSR)系统。实现了一个基于连接主义时态分类(CTC)的自动语音识别(ASR)系统。我们引入了一些技术,用更有意义的权重而不是随机权重来初始化CTC模型的编码器中的递归层的权重,并且我们使用外部语言模型来改进解码时的波束搜索。本文最后研究了从脑电特征中预测发音特征的问题。
2019-12-24 cs.LG cs.SD eess.AS