JANUS: Structured Bidirectional Generation for Guaranteed Constraints and Analytical Uncertainty
Université Laval(拉瓦尔大学)
JANUS通过结构化双向生成方法,实现了对约束和不确定性的高效处理,解决了合成数据生成中的四重困境。
2026-03-04 cs.AI cs.LG
Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler
Central South University(中南大学);Tongji University(同济大学)
本文提出SA-Roundtrip深度生成先验,结合自注意力双向GAN学习数据内在维度,并在低维潜在空间用HMC-pCN算法进行贝叶斯推断,在CT重建实验中优于现有方法并实现精确不确定性量化。
2023-10-24 cs.AI cs.LG math.PR
Vector Quantized-Elites: Unsupervised and Problem-Agnostic Quality-Diversity Optimization
Computational Intelligence Laboratory (CILab), Department of Mathematics, University of Patras(数学系计算智能实验室(CILab),帕特拉大学);Laboratory of Automation and Robotics (LAR) in the Department of Electrical & Computer Engineering, University of Patras(电气与计算机工程系自动化与机器人实验室(LAR),帕特拉大学)
VQ-Elites通过无监督学习构建结构化行为空间,实现灵活且任务无关的质量-多样性优化。
2025-11-19 cs.AI cs.LG cs.NE
FlowBind: Efficient Any-to-Any Generation with Bidirectional Flows
KAIST(韩国科学技术院)
本文提出FlowBind框架,通过共享潜在空间和双向流实现高效任意模态生成,减少数据和计算成本,实验显示生成质量与传统方法相当。
2026-04-12 cs.LG
Improved BiGAN training with marginal likelihood equalization
Max Planck Institute for Intelligence Systems(马克斯·普朗克智能系统研究所);University Carlos III in Madrid(马德里卡洛斯三世大学);Swiss Data Science Center (ETH Zürich)(瑞士数据科学中心(苏黎世联邦理工学院))
我们提出了一种新的训练方法来提高生成对抗网络(GANs)的性能,特别是双向GANs。首先,我们强制要求逆推理网络的经验分布与先验分布相匹配,这有利于生成器网络在所见样本上的再现性。第二,我们发现样本的边际对数似然性表明某种类型的样本严重高估。为了解决这个问题,我们提出了训练的双向GAN使用非均匀抽样的小批量选择,从而提高质量和品种的定量测量和目测产生的样品。我们用著名的CIFAR10,Fashion MNIST和CelebA数据集来说明我们的新程序。
2020-05-23 cs.CV cs.LG stat.ML
Bidirectional Information Flow (BIF) - A Sample Efficient Hierarchical Gaussian Process for Bayesian Optimization
Polytechnique Montréal(蒙特利尔理工学院);Mila - Québec Artificial Intelligence Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能 chair)
本文提出双向信息流(BIF)框架,通过在分层高斯过程的父子模型间建立双向信息交换,提升贝叶斯优化的样本效率与收敛速度,并在神经刺激优化任务中显著优于传统H-GP方法。
2026-11-16 cs.LG
Lossy Image Compression with Quantized Hierarchical VAEs
Nanjing University(南京大学);Purdue University(普渡大学)
最近的研究表明,变分自编码器(VAE)和率失真理论之间有很强的理论联系。受此启发,我们从生成式建模的角度考虑有损图像压缩问题。从最初为数据(图像)分布建模而设计的ResNet VAE开始,我们使用量化感知的后验和先验来重新设计其潜变量模型,从而在测试时实现轻松的量化和熵编码。随着改进的神经网络架构,我们提出了一个强大而有效的模型,优于以前的方法对自然图像的有损压缩。我们的模型以从粗到细的方式压缩图像,并支持并行编码和解码,从而在GPU上快速执行。代码可在https://github.com/duanzhiihao/lossy-vae上获得。
2023-03-25 cs.CV cs.LG eess.IV
On the Role of Bidirectionality in Language Model Pre-Training
Meta AI
先前关于语言模型预训练的工作已经探索了不同的架构和学习目标,但是数据、超参数和评估的差异使得原则性的比较变得困难。在这项工作中,我们专注于双向性作为一个关键因素,区分现有的方法,并提出了一个全面的研究,它的作用下一个令牌预测,文本填充,zero-shot启动和微调。我们提出了一个新的框架,概括了以前的方法,包括全单向模型,如GPT,全双向模型,如BERT,和混合模型,如CM3和前缀LM。我们的框架区分了两个双向性概念(双向上下文和双向注意),并允许我们分别控制它们。我们发现,最佳配置在很大程度上取决于应用程序(例如,双向注意对于微调和填充是有益的,但是对于下一个标记预测和zero-shot启动是有害的)。我们训练了多达6.7 B个参数的模型,并找到了在规模上保持一致的差异。虽然以前的缩放工作主要集中在从左到右的自回归模型上,但我们的研究结果表明,这种方法有一些权衡,开发非常大的双向模型可能是值得的。
2022-10-26 cs.AI cs.CL cs.LG
Improving Online Reinforcement Learning via Bidirectional Behavior Prior Distillation
Tongji University(同济大学);Shanghai University of Engineering Science(上海工程技术大学)
本文提出双向行为先验蒸馏(B2PD)算法,利用动作价值先验引导CVAE生成高价值行为支持集并蒸馏到智能体,以缓解在线强化学习中的评论家误差放大,显著提升样本效率和策略稳定性。
2026-09-18 cs.LG
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(台湾大学)
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究,第一次,研究了性能的语音增强(语音处理中的回归任务)使用一种新的指数只有浮点量化神经网络(EOFP-QNN)。EOFP-QNN由两个阶段组成:尾数量化和指数量化。在尾数量化阶段,EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段,参数的指数部分被进一步量化,而不会导致任何额外的性能下降。我们评估了两种类型的神经网络,即双向长短期记忆(BLSTM)和全卷积神经网络(FCN),在语音增强任务的建议EOFP量化技术。实验结果表明,在保持语音增强效果的同时,量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%,大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
Enhancing Channel Estimation in Quantized Systems with a Generative Prior
School of Computation, Information and Technology, Technical University of Munich(慕尼黑工业大学计算、信息与技术学院)
本文提出利用高斯混合模型作为生成先验,结合EM算法增强一比特量化系统中的信道估计,并通过MAP推断提供辅助信息,显著优于现有方法。
2024-04-26 cs.IT cs.LG eess.SP
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
Purdue University(普渡大学);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
提出SQS统一框架,通过贝叶斯变分学习结合尖峰-平板先验和高斯混合模型,实现神经网络同步剪枝与低位量化,在保持性能的同时获得更高压缩率。
2026-09-09 cs.AI cs.LG
L-Verse: Bidirectional Generation Between Image and Text
LG AI Research(LG人工智能研究院)
除了学习自然语言的长距离交互之外,Transformers正以其强大的功能和可扩展性成为许多视觉任务的事实标准。特别是对于图像和文本之间的跨模态任务,矢量量化变分自编码器(VQ-VAE)被广泛用于将原始RGB图像转化为特征向量序列。为了更好地利用图像和文本之间的相关性,我们提出了L-Verse,这是一种由特征增强变分自编码器(AugVAE)和双向自回归Transformer(BiART)组成的新架构,用于图像到文本和文本到图像的生成。我们的AugVAE在ImageNet 1 K验证集上展示了最先进的重建性能,以及对野外未见过图像的鲁棒性。与其他模型不同,BiART可以区分作为条件参考的图像(或文本)和生成目标。L-Verse可以直接用于图像到文本或文本到图像的生成,而无需任何微调或额外的目标检测框架。在定量和定性实验中,L-Verse在MS-COCO标题的图像到文本和文本到图像生成方面都显示出令人印象深刻的结果。我们进一步评估了L-Verse架构在概念字幕上的可扩展性,并给出了一般领域双向视觉语言表示学习的初步结果。
2022-04-06 cs.CL cs.CV cs.LG
Vector-Quantized Discrete Latent Factors Meet Financial Priors: Dynamic Cross-Sectional Stock Ranking Prediction for Portfolio Construction
RiskX;Hanyang University(翰阳大学)
本文提出PRISM-VQ模型,结合专家先验因子和向量量化离散潜在因子,通过结构条件混合专家生成时间变化因子载荷,提升横截面股票收益预测和投资组合表现。
2026-05-13 cs.CE cs.LG q-fin.ST
A Physics Prior-Guided Dual-Stream Attention Network for Motion Prediction of Elastic Bragg Breakwaters
Shandong University of Science and Technology(山东科技大学);Shandong Provincial Key Laboratory of Reliability and Intelligent Protection for Marine Engineering Equipment(山东省海洋工程装备可靠性与智能防护重点实验室)
针对弹性布拉格防波堤运动预测中传统模型泛化不足的问题,提出物理先验引导的双流注意力网络PhysAttnNet,融合衰减自注意力与相位差交叉注意力,采用混合时频损失训练,显著提升预测精度与跨场景鲁棒性。
2025-10-16 cs.LG
Quantized Compressed Sensing with Score-based Generative Models
The University of Tokyo(东京大学);Institute for Physics of Intelligence(智能物理研究所)
我们考虑的一般问题,从嘈杂的量化测量恢复高维信号。量化,特别是粗量化,如1位符号测量,导致严重的信息丢失,因此,未知信号的良好的先验知识有助于准确的恢复。基于分数的生成模型(SGM,也称为扩散模型)在捕获自然信号的丰富结构方面的能力,超越了简单的稀疏性,我们提出了一种无监督的数据驱动方法,称为带SGM的量化压缩感知(QCS-SGM),其中先验分布由预先训练的SGM建模。为了进行后验抽样,退火的伪似然得分称为噪声扰动伪似然得分,并结合SGM的先验得分。所提出的QCS-SGM适用于任意数量的量化比特。在多种基线数据集上的实验表明,所提出的QCS-SGM显着优于现有的国家的最先进的算法,由一个大的利润率为分布和分布外的样本。此外,作为一种后验抽样方法,QCS-SGM可以很容易地用于获得重建结果的置信区间或不确定性估计。该代码可在https://github.com/mengxiangming/QCS-SGM上获得。
2023-02-20 cs.IT cs.LG eess.SP
DeepFPC: Deep Unfolding of a Fixed-Point Continuation Algorithm for Sparse Signal Recovery from Quantized Measurements
Shenzhen University(深圳大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
我们提出了DeepFPC,这是一种新型的深度神经网络,通过展开具有单侧l1范数的定点连续算法(FPC-l1)的迭代来设计,该算法已被提出用于解决1位压缩感知问题。该网络架构类似于深度残差学习的网络架构,并结合了关于信号结构的先验知识(即,稀疏性),从而通过设计提供可解释性。一旦DeepFPC得到正确的训练,稀疏信号就可以从量化的测量中快速准确地恢复。该模型在到达方向(DOA)估计的任务进行评估,并表现出优于国家的最先进的算法,即迭代FPC-L1算法和1位MUSIC方法。
2019-12-04 cs.LG eess.SP stat.ML
State-Space Models for Tabular Prior-Data Fitted Networks
L3S Research Center, Leibniz University Hannover, Hannover, Germany(L3S研究所以及汉诺威莱布尼茨大学);University of Applied Sciences Rosenheim, Rosenheim, Germany(罗斯海姆应用科学大学);Technical University of Munich, Munich, Germany(慕尼黑技术大学)
本文提出使用双向线性时间结构状态空间模型Hydra替代Transformer,以减少顺序依赖性并提升表格数据预训练模型的预测性能。
2025-12-11 cs.LG
Quantized Memory-Augmented Neural Networks
Seoul National University(首尔大学)
记忆增强神经网络(MANN)是指一类配备有外部记忆的神经网络模型(如神经图灵机和记忆网络)。这些神经网络在学习长期依赖性方面优于传统的递归神经网络(RNN),使它们能够解决有趣的人工智能任务,否则很难解决。本文研究了人工神经网络的量化问题。当我们在资源有限的嵌入式系统上部署深度模型时,量化是有效的。此外,量化可以大大减少推理过程的能量消耗。这些好处证明了量化多层感知器,卷积网络和RNN的最新发展。然而,没有先前的工作已经报道了成功的量子化的人。本文的深入分析揭示了其他网络量化中没有出现的各种挑战。如果不适当地解决它们,量化的MANN通常会遭受过度的量化误差,这导致性能下降。在本文中,我们确定内存寻址(具体来说,基于内容的寻址)的性能下降的主要原因,并提出了一个强大的量化方法的人工神经网络来解决的挑战。在我们的实验中,与浮点实现相比,我们使用8位定点和二进制量化实现了22倍的计算能量增益。在bAbI数据集上测量,与使用传统技术量化的MANN相比,所得到的模型,称为量化MANN(Q-MANN),分别用8位定点和二进制量化将出错率提高了46%和30%。
2017-11-10 cs.LG stat.ML
Unleashing Transformers: Parallel Token Prediction with Discrete Absorbing Diffusion for Fast High-Resolution Image Generation from Vector-Quantized Codes
Durham University(杜伦大学)
虽然扩散概率模型可以生成高质量的图像内容,但在生成高分辨率图像及其相关的高计算要求方面仍然存在关键限制。最近的矢量量化图像模型已经克服了图像分辨率的这一限制,但速度非常慢,而且是单向的,因为它们通过从先验的逐元素自回归采样来生成令牌。相比之下,在本文中,我们提出了一种新的离散扩散概率模型之前,通过使用无约束的Transformer架构作为骨干,使并行预测的矢量量化令牌。在训练过程中,令牌以顺序不可知的方式随机屏蔽,并且Transformer学习预测原始令牌。矢量量化令牌预测的这种并行性反过来又促进了以计算费用的一小部分无条件地生成全球一致的高分辨率和多样化的图像。通过这种方式,我们可以生成超过原始训练集样本的图像分辨率,同时额外提供每个图像的似然估计(与生成对抗方法不同)。我们的方法在密度方面实现了最先进的结果(LSUN卧室:1.51; LSUN教堂:1.12; FFHQ:1.20)和覆盖范围(LSUN卧室:0.83; LSUN教堂:0.73; FFHQ:0.80),并在FID上具有竞争力(LSUN卧室:3.64; LSUN教堂:4.07; FFHQ:6.11),同时在计算和减少训练集要求方面提供优势。
2021-11-24 cs.CV cs.LG
Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings
York University(约克大学)
Twitter是一个网络应用程序,扮演着在线社交网络和微博的双重角色。Twitter的流行和开放结构吸引了大量的自动化程序,被称为机器人。合法机器人生成大量良性上下文内容,即,tweets提供新闻和更新提要,而恶意机器人则传播垃圾邮件或恶意内容。为了帮助人类用户识别他们正在与谁交互,本文重点关注Twitter上的人类和垃圾邮件账户的分类,通过采用递归神经网络,特别是双向长短期记忆(BiLSTM),有效地捕获推文的特征。据我们所知,我们的工作是第一个开发具有词嵌入的递归神经模型,以区分Twitter机器人和人类帐户,不需要事先了解或假设用户的个人资料,友谊网络或目标帐户的历史行为。此外,我们的模型不需要任何手工制作的功能。初步的模拟结果非常令人鼓舞。在cresci-2017数据集上的实验表明,与现有的最先进的机器人检测系统相比,我们的方法可以实现具有竞争力的性能。
2020-02-03 cs.CL cs.CR cs.LG
Learning a bidirectional mapping between human whole-body motion and natural language using deep recurrent neural networks
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
将人的全身运动和自然语言联系起来对于生成观察到的人类行为的语义表示以及基于自然语言输入的机器人行为的生成具有极大的兴趣。虽然在这一领域已经有大量的研究,但目前存在的大多数方法都需要运动的符号表示(例如,以运动基元的形式),这必须先验定义或需要复杂的分割算法。相比之下,神经网络领域的最新进展,特别是深度学习,表明可以端到端学习的子符号表示通常优于更传统的方法,例如机器翻译。在本文中,我们提出了一种生成模型,该模型使用深度循环神经网络(RNN)和序列到序列学习来学习人体全身运动和自然语言之间的双向映射。我们的方法不需要任何分割或手动特征工程,并学习分布式表示,这是共享的所有运动和描述。我们评估我们的方法对2,846人全身运动和6,187自然语言的描述,从KIT运动语言数据集。我们的研究结果清楚地表明了所提出的模型的有效性:我们表明,我们的模型生成各种各样的现实运动,只有从其描述的形式,一个单一的句子。相反,我们的模型也能够生成正确的和详细的自然语言的描述,从人类的运动。
2018-08-02 cs.CL cs.LG cs.RO
Bidirectional Graph Reasoning Network for Panoptic Segmentation
Sun Yat-sen University(中山大学);DarkMatter AI Research(DarkMatter人工智能研究)
最近的研究全景分割诉诸于一个单一的端到端的网络,结合实例分割和语义分割的任务。然而,以前的模型只统一了两个相关的任务在架构层面上通过一个多分支计划或揭示了它们之间的潜在的相关性,通过单向的特征融合,这忽略了显式的语义和共生关系的对象和背景。背景信息对目标的识别和定位至关重要,而包含目标的细节对背景场景的分析至关重要。因此,本文研究了在全景分割任务中,如何对目标和背景之间的相关性进行显式建模,以实现对图像的整体理解。我们引入了一个双向图推理网络(BGRNet),它将图结构融入到传统的全景分割网络中,以挖掘前景事物和背景事物类内部和之间的模块内和模块间关系。特别是,BGRNet首先在实例和语义分割分支中构建图像特定的图,分别在建议级别和类级别实现灵活的推理。为了建立独立分支之间的相关性,并充分利用事物和东西之间的互补关系,我们提出了一个双向图连接模块,以可学习的方式在分支之间传播信息。实验结果证明了我们的BGRNet的优越性,它在具有挑战性的COCO和ADE 20 K全景分割基准上实现了最先进的性能。
2020-04-14 cs.CV cs.LG eess.IV
Remaining Useful Life Estimation of Hard Disk Drives using Bidirectional LSTM Networks
Murray State University(默里州立大学);Manipal Institute of Technology(曼尼帕尔理工学院)
物理和云存储服务由功能和可靠的大容量存储系统提供良好的服务。最近的观察指出,硬盘可靠性是包含大量存储设备(如HDD)的数据中心中最紧迫的可靠性问题之一。在这方面,早期检测磁盘级别即将发生的故障有助于减少系统停机时间并减少运营损失,从而使主动健康监控成为此类设置中AIOps的优先事项。在这项工作中,我们介绍的方法提取有意义的属性与操作失败和预处理的高度不平衡的健康统计数据的后续预测任务,使用数据驱动的方法。我们使用具有多日回顾期的双向LSTM来学习健康指标的时间进展,并将其与普通LSTM和随机森林模型进行比较,以提出几个关键指标,这些指标在一些严格定义的操作约束下确定了我们模型的有用性和优越性。例如,使用15天的回顾期,考虑到故障前60天的测试数据,我们的方法可以预测磁盘故障的发生,准确率为96.4%。这有助于提前提醒运营维护人员潜在的缓解需求。此外,我们的模型报告了0.12的平均绝对误差预测故障提前60天,在最近的文献中的最先进的。
2021-09-11 cs.LG
RTMol: Rethinking Molecule-text Alignment in a Round-trip View
RTMol通过自监督环形学习统一分子描述与文本生成,提升双向对齐性能47%,建立联合分子-文本理解生成范式。
2025-11-21 cs.AI cs.LG q-bio.BM
Pseudo-Siamese Network for Planning in Target-Oriented Proactive Dialogues
School of Computer Science and Technology(计算机科学与技术学院)
本文提出了一种面向目标的主动对话规划方法,通过FF-BPSN网络实现对话路径规划,提升目标导向型主动对话系统的有效性。
2026-04-04 cs.AI cs.CL cs.LG
QCM-SGM+: Improved Quantized Compressed Sensing With Score-Based Generative Models
Zhejiang University(浙江大学);The University of Tokyo(东京大学)
针对量化压缩感知中QCS-SGM算法仅适用于行正交感知矩阵的局限,提出QCS-SGM+变体,通过贝叶斯推断和期望传播计算似然分数,有效处理一般感知矩阵并显著提升恢复性能。
2024-01-08 cs.IT cs.LG eess.SP
Gossiped and Quantized Online Multi-Kernel Learning
Center for Pervasive Communications & Computing(普适通信与计算中心);University of California, Irvine(加州大学欧文分校)
针对非完全连通网络下的在线多核学习场景,提出带量化通信的gossip算法,证明其能达到次线性遗憾,并用真实数据集实验验证了结论。
2023-04-28 cs.LG eess.SP math.OC
Quantized Proximal Averaging Network for Analysis Sparse Coding
Indian Institute of Science(印度科学学院)
我们解决了分析稀疏编码问题,考虑到凸和非凸稀疏促进处罚的组合。多罚制定的结果在一个迭代算法,涉及近似平均。然后,我们将迭代算法展开为一个可训练的网络,便于学习稀疏性先验。我们还考虑了网络权重的量化。量化使神经网络在推理期间的内存和计算方面都变得高效,并且还使它们与低精度硬件部署兼容。我们的学习算法基于ADAM优化器的变体,其中量化器是前向传递的一部分,并且在对高精度权重进行簿记的同时,对损失函数的梯度进行对应于量化权重的评估。我们展示了压缩图像恢复和磁共振图像重建的应用程序。所提出的方法提供了优越的重建精度和质量比国家的最先进的展开技术和性能退化是最小的,即使当权重受到极端量化。
2021-05-13 cs.CV cs.LG
Bayesian Federated Learning over Wireless Networks
POSTECH(浦项科技大学);Hanyang University(汉阳大学);Weizmann Institute of Science(魏茨曼科学研究所)
联邦学习是一种隐私保护和分布式训练方法,使用存储在本地设备上的异构数据集。无线网络上的联合学习需要在服务器处聚合本地计算的梯度,其中移动设备通过异构通信链路发送统计上不同的梯度信息。本文提出了一种贝叶斯联邦学习(BFL)算法,在最小化均方误差(MSE)的意义下,最佳地聚集异构量化梯度信息。BFL的思想是通过联合利用i)局部梯度的先验分布、ii)梯度量化器函数和iii)信道分布来在服务器处聚合一位量化的局部梯度。随着移动设备数量的增加,实现BFL需要很高的通信和计算成本。为了解决这个问题,我们还提出了一个有效的修改BFL算法称为可扩展BFL(SBFL)。在SBFL中,我们假设局部梯度上的简化分布。每个移动终端发送其一比特量化局部梯度以及表示该分布的两个标量参数。然后,服务器聚合噪声和褪色的量化梯度以最小化MSE。我们提供了一类非凸损失函数的SBFL的收敛性分析。我们的分析阐明了如何通信信道的参数和梯度先验影响收敛。从模拟中,我们证明了SBFL大大优于传统的符号随机梯度下降算法时,训练和测试神经网络在异构无线网络上使用MNIST数据集。
2020-12-31 cs.LG eess.SP
On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks
Virginia Tech(弗吉尼亚理工大学);Ericsson Research(爱立信研究院);Technology Innovation Institute(技术创新研究院);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
在无线网络上使用资源受限的设备部署联邦学习(FL)需要在准确性、能效和精度之间取得平衡。FL上的现有技术通常需要设备使用32位精度水平的数据表示来训练深度神经网络(DNN)以提高准确度。然而,这样的算法对于资源受限的设备是不切实际的,因为DNN可能需要执行数百万个操作。因此,具有高精度水平的训练DNN会导致FL的高能量成本。在本文中,提出了一种量化FL框架,该框架表示在本地训练和上行链路传输中具有有限精度水平的数据。这里,通过使用量化的神经网络(QNN)来捕获有限的精度水平,该量化的神经网络以固定精度格式对权重和激活进行量化。在所考虑的FL模型中,每个设备训练其QNN并将量化的训练结果发送到基站。能量模型的本地培训和传输的量化严格推导。一个能量最小化的问题制定的精度水平,同时确保收敛。为了解决这个问题,我们首先解析推导FL收敛速度,并使用线搜索方法。仿真结果表明,我们的FL框架可以减少高达53%的能源消耗相比,一个标准的FL模型。研究结果还揭示了在无线网络上FL的精度,能量和准确性之间的权衡。
2023-02-03 cs.LG cs.NI