Exploring napping paradigm for Recurrent Spiking Neural Networks
The Norwegian University of Life Sciences（挪威生命科学大学）；Østfold University of Applied Sciences（东福尔应用科学大学）
本文提出受生物启发的“打盹”微睡眠范式（比例权重缩放加随机膜噪声），在无监督循环SNN上验证其能匹配权重归一化的精度，同时降低模型复杂度并增强表示结构。
2026-09-15 cs.LG
Experimenting with Normalization Layers in Federated Learning on non-IID scenarios
University of Turin（都灵大学）；Leonardo S.p.A.（莱昂纳多股份公司）
训练深度学习（DL）模型需要大型、高质量的数据集，通常由来自不同机构的数据组成。联邦学习（FL）已经成为一种通过迭代地全局聚合本地训练模型来采用来自不同机构的协作训练的数据集的隐私保护池化的方法。FL的一个关键性能挑战是在联邦参与者之间不独立且相同分布（非IID）的数据集上操作。尽管这种脆弱性无法消除，但可以通过两个超参数的适当优化来揭穿：层归一化方法和协作频率选择。在这项工作中，我们对五个不同的归一化层进行了基准测试，用于训练神经网络（NN），两个非IID数据偏斜家族和两个数据集。结果表明，广泛用于集中式DL的批量归一化不是FL的最佳选择，而组和层归一化始终优于批量归一化。类似地，频繁的模型聚合降低了收敛速度和模式质量。
2023-03-19 cs.AI cs.DC cs.LG
Exploring Transfer Learning on Face Recognition of Dark Skinned, Low Quality and Low Resource Face Data
Mekelle University（默克莱大学）
有一个很大的差异，在色调的肤色之间的深色和浅色皮肤的人。尽管如此，大多数人脸识别任务几乎所有经典的最先进的模型都是在包含绝大多数浅肤色人脸图像的数据集上训练的。为深色皮肤的人脸收集大量数据并从头开始训练模型是乏味的。在本文中，我们将迁移学习应用于VGGFace，以检查它如何识别深色皮肤的主要是埃塞俄比亚人的面孔。数据集质量低，资源少。我们的实验结果显示了95%以上的准确率，这表明迁移学习在这样的设置工作。
2021-01-03 cs.CV cs.LG
MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention
Huawei Technologies Co., Ltd.（华为技术有限公司）
针对基于扩散的视频生成模型中注意力二次成本的瓶颈，提出MXAttention框架，通过引入通用最优缩放和预归一化量化组件，缩小了MXFP4与FP16的成像质量差距，提升了帧级相似度，且性能与强大基线竞争。
2026-07-28 cs.AI cs.CV cs.LG
Exploring and Exploiting Hubness Priors for High-Quality GAN Latent Sampling
Cardiff University（卡迪夫大学）
尽管对生成对抗网络（GANs）进行了广泛的研究，但如何从其潜在空间中可靠地采样高质量图像仍然是一个未充分探索的话题。在本文中，我们提出了一种新的GAN潜在的抽样方法，通过探索和利用的hubness先验GAN潜在的分布。我们的关键见解是，GAN潜在空间的高维性将不可避免地导致中心潜在空间的出现，这些中心潜在空间通常具有比潜在空间中的其他潜在空间大得多的采样密度。因此，这些中心潜伏期得到了更好的训练，从而为高质量图像的合成做出了更多贡献。与后验“樱桃采摘”不同，我们的方法是高效的，因为它是一种先验方法，在合成图像之前识别高质量的潜伏期。此外，我们还证明了著名的纯经验截断技巧是对中心潜伏期的中心聚类效应的一种朴素近似，这不仅揭示了截断技巧的基本原理，也表明了我们方法的优越性和基础性.大量的实验结果证明了该方法的有效性。
2022-06-13 cs.CV cs.LG
On the Effects of Batch and Weight Normalization in Generative Adversarial Networks
University of Southern California（南加州大学）；Pinscreen；USC Institute for Creative Technologies（南加州大学创新技术研究院）
生成对抗网络（GANs）是一种高效的无监督学习框架，可以生成非常清晰的数据，即使是具有复杂、高度多峰分布的图像。然而，众所周知，GANs非常难以训练，存在模式崩溃和干扰视觉伪影等问题。批量归一化（BN）技术已被引入到解决的训练。虽然BN在开始时加速了训练，但我们的实验表明，BN的使用可能不稳定，并对训练模型的质量产生负面影响。BN和许多其他最近的计划，以改善GAN培训的评估是阻碍了缺乏一个有效的客观质量措施的GAN模型。为了解决这些问题，我们首先引入了一种用于GAN训练的权重归一化（WN）方法，该方法显着提高了生成样本的稳定性，效率和质量。为了进行系统的评估，我们在测试集上引入平方欧几里德重建误差作为新的客观度量，以评估生成样本的速度，稳定性和质量方面的训练性能。我们在常用数据集（CelebA，LSUN bedroom和CIFAR-10）上使用标准DCGAN架构进行的实验表明，对于GANs，使用WN进行训练通常优于BN，重建的均方损失降低了10%，并且比BN获得了更好的定性结果。我们进一步证明了WN在用CelebA数据集训练的21层ResNet上的稳定性。本文的代码可在https://github.com/stormraiser/gan-weightnorm-resnet上获得
2017-12-04 cs.CV cs.LG stat.ML
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Exploring Precision and Recall to assess the quality and diversity of LLMs
Miles（迈尔斯机构）；Université Paris-Dauphine（巴黎多芬大学）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；LAMSADE（巴黎多芬大学计算机科学与决策实验室）；Sorbonne Université（索邦大学）；ISIR（智能与机器人系统研究所）
本文提出将Precision和Recall指标引入LLMs文本生成评估，无需对齐语料库即可细致评估生成文本的质量与多样性，揭示了模型微调时两者的权衡，扩展了基于分布的NLP评估工具包。
2024-06-04 cs.CL cs.LG
Exploring Story Generation with Multi-task Objectives in Variational Autoencoders
The University of Melbourne（墨尔本大学）
GPT-2经常被应用于故事生成模型，因为它提供了强大的生成能力。然而，它仍然无法产生一致的故事，缺乏多样性。当前的故事生成模型利用GPT-2中的情节或常识等附加信息来指导生成过程。这些方法专注于提高故事的生成质量，而我们的工作则着眼于质量和多样性。我们探索结合BERT和GPT-2构建一个变分自编码器（VAE），并通过添加额外的目标来学习全局特征，如故事主题和话语关系。我们的评估表明，我们增强的VAE可以提供更好的质量和多样性的权衡，产生更少的重复故事内容，并学习更多的信息潜变量。
2021-11-15 cs.CL cs.LG
Exploring the Effect of Sparse Recovery on the Quality of Image Superresolution
Fresno City College（弗雷斯诺城市学院）
本文研究稀疏恢复算法选择对基于耦合字典的图像超分辨率重建质量的影响，并通过实验寻找最佳稀疏恢复算法。
2023-08-04 cs.CV cs.LG eess.IV
Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）；Tetras AI（Tetras人工智能公司）
用户生成内容（UGC）视频的快速增长要求开发有效的视频质量评估（VQA）算法。然而，UGC-VQA问题的目标仍然是模糊的，可以从两个角度来看：技术的角度来看，测量失真的感知;和美学的角度来看，这涉及到对内容的偏好和推荐。为了了解这两个角度如何影响UGC-VQA中的整体主观意见，我们进行了一项大规模的主观研究，以收集人类对视频整体质量的意见，以及从美学和技术角度的看法。收集的视频质量数据库（DIVIDE-3 k）证实，人们对UGC视频的质量意见普遍且不可避免地受到美学和技术角度的影响。有鉴于此，我们提出了解纠缠客观视频质量评估器（DOVER）学习的UGC视频质量的基础上的两个角度。DOVER在UGC-VQA中以非常高的效率证明了最先进的性能。在DIVIDE-3 k中，我们进一步提出了DOVER++，这是第一种从单一美学或技术角度提供可靠清晰的质量评估的方法。代码请访问https://github.com/VQAssessment/DOVER。
2023-03-07 cs.CV cs.LG cs.MM
Exploring Semantic Variations in GAN Latent Spaces via Matrix Factorization
Innopolis University（Innopolis大学）；University of Hull（赫尔大学）
本文通过矩阵分解探索GAN潜在空间的语义变化，发现GANSpace方法虽能生成高质量图像操作但存在高度纠缠，用ICA替换PCA可提升操作质量与分离度，且GAN规模影响图像质量但不改变基本控制方向的存在。
2023-05-23 cs.CV cs.LG
Pattern or Artifact? Interactively Exploring Embedding Quality with TRACE
Ghent University（根特大学）；VIB-UGent Center for Inflammation Research（VIB-根特大学炎症研究中心）
该研究提出可视化工具TRACE，通过可扩展流水线计算局部与全局嵌入质量，搭配交互式浏览器界面辅助评估二维降维嵌入的质量，帮助用户选择适配的降维方法。
2024-06-18 cs.GR cs.HC cs.LG
RUSOpt: Robotic UltraSound Probe Normalization with Bayesian Optimization for In-plane and Out-plane Scanning
IIT, Goa（果阿印度理工学院）；Purdue University（普渡大学）；Indian Institute of Technology (IIT), Delhi（德里印度理工学院）
针对自主机器人超声系统图像质量受探头朝向影响的问题，提出基于贝叶斯优化的探头法向校准方法RUSOpt，结合力测量与力学原理构建目标函数并加入正则化处理噪声，经体模与仿真验证角度误差低，可高效提升成像质量。
2023-10-05 cs.LG cs.RO
AirFlow: Context Preserving and Multi-Rate State Modeling for Air Quality Forecasting
School of Software Technology, Zhejiang University（浙江大学软件学院）
AirFlow是一种基于站点多元观测的双流空气质量预测框架，通过统计引导归一化路由和分层双流状态模型，在36项指标中获34项最优，参数与计算开销低，性能优于现有方法。
2026-08-11 cs.AI cs.CE cs.LG
Exploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce Context
LIA, Avignon Université（阿维尼翁大学计算机科学与人工智能实验室）；Aix-Marseille Univ, LPL, CNRS（艾克斯-马赛大学、言语与语言实验室、法国国家科学研究中心）；IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3（图卢兹大学、法国国家科学研究中心、图卢兹国立理工学院、图卢兹第三大学、图卢兹计算机科学研究所）；IUC Toulouse, CHU Toulouse（图卢兹大学癌症研究所、图卢兹大学中心医院）；Laboratoire de NeuroPsychoLinguistique, UR 4156, Université de Toulouse（图卢兹大学神经心理语言学实验室）
本文提出在数据稀缺条件下利用ASR驱动的预训练Wav2Vec2在音频层面进行病理语音质量评估，在HNC数据集上仅用95个样本即取得优于现有方法的结果，揭示了ASR与语音质量评估之间的强相关性。
2024-03-29 cs.CL cs.LG cs.SD
Local Normalization Distortion and the Thermodynamic Formalism of Decoding Strategies for Large Language Models
Department of Mathematics, University of Manchester（曼彻斯特大学数学系）；Innovation Lab, Featurespace（Featurespace创新实验室）
本文用遍历理论统一解码算法为平衡态，揭示局部归一化失真为根本缺陷并量化其影响，为解码设计与机器文本检测提供理论指导。
2025-09-09 cs.CL cs.LG math.DS
Exploring Compressed Image Representation as a Perceptual Proxy: A Study
National Taiwan University（国立台湾大学）
本文提出将图像压缩的分析变换与物体分类联合训练，证明压缩潜在表示可作为感知代理，在无需额外VGG网络的情况下有效预测人类感知距离并服务于多种图像任务。
2024-01-14 cs.CV cs.LG eess.IV
Exploring Quality and Generalizability in Parameterized Neural Audio Effects
Belmont University（贝尔蒙特大学）
深度神经网络在音乐音频信号处理应用中表现出了希望，通常超过了先前的方法，特别是作为波形域中的端到端模型。然而，迄今为止的结果往往受到低采样率、噪声、信号类型的窄域和/或缺乏参数化控制（即“旋钮”）的限制，使得它们仍然缺乏对专业音频工程工作流程的适用性。这项工作扩展了先前发表的关于通过深度神经网络对与音乐制作相关的非线性时间相关信号处理效果进行建模的研究，其中包括模拟您在模拟设备上看到的参数化设置的能力，其目标是最终产生商业上可行的高质量音频，即16位分辨率下的44.1 kHz采样率。本文中的结果突出了通过架构和优化变化对这些效果进行建模的进展，从而提高计算效率，降低信噪比，并扩展到更多种类的非线性音频效果。为了达到这些目的，所采用的策略涉及三管齐下的方法：模型的速度，模型的准确性和模型的概括性。除了数据集操作之外，大多数方法在原始模型的输出精度上都有边际或没有增加。我们发现，限制数据集的音频内容，例如仅使用单个乐器的数据集，与在更一般的数据集上训练的模型相比，模型的准确性得到了显着提高。
2020-06-10 cs.LG cs.SD eess.AS
