Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Atypon Systems(Atypon系统公司)
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示,并且文档嵌入模型学习文档的类似表示。另一方面,主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处,我们提出了一种统一的算法,称为神经嵌入分配(NEA),它通过学习神经嵌入来模仿主题模型,将主题模型解构为单词,主题,文档,作者等的可解释向量空间嵌入。我们展示了NEA的LDA,作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性,并实现了更好的性能与嵌入相比,几个国家的最先进的模型。此外,我们证明,使用NEA平滑的主题,提高了一致性分数超过原来的主题模型时,主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Trajectory-Aware Best-Arm Identification for Local Search Allocation in Bayesian Optimization and Beyond
Fujitsu Limited(富士通有限公司)
提出一种结合最佳臂识别与信任区域贝叶斯优化的轨迹感知框架,通过预测局部优化器最终性能并逐步淘汰次优候选,加速多模态函数全局优化。
2026-10-06 cs.LG
Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks
University of Pennsylvania(宾夕法尼亚大学);Intel Corporation(英特尔公司)
研究了自由空间光前传网络中的最优资源分配问题。最优分配最大化平均加权和容量受功率限制和数据拥塞约束。基于链路的瞬时信道状态信息(CSI),考虑自适应功率分配和节点选择。通过参数化的资源分配政策,我们制定的问题作为一个无监督的统计学习问题。我们认为图形神经网络(GNN)的政策参数化,利用FSO网络结构与小规模的训练参数。GNN保持与网络中的资源分配策略的置换等方差相匹配的置换等方差。原始-对偶学习算法的开发训练的GNN在无模型的方式,其中的知识系统模型是不需要的。数值模拟显示GNN相对于具有相等功率分配和随机节点选择的基线策略的强大性能。
2020-06-26 cs.LG eess.SP
Power Allocation for Wireless Federated Learning using Graph Neural Networks
Army Research Office(陆军研究办公室)
我们提出了一个数据驱动的方法,在干扰受限的无线网络的背景下,联邦学习(FL)的功率分配。功率策略的设计是为了在通信约束下最大化FL过程中传输的信息,最终目标是提高全局FL模型的训练精度和效率。所提出的功率分配策略使用图卷积网络参数化,并通过原始-对偶算法解决相关的约束优化问题。数值实验表明,该方法在传输成功率和FL全局性能方面都优于三种基线方法。
2022-04-04 cs.LG cs.NI eess.SP
Optimizing Job Allocation using Reinforcement Learning with Graph Neural Networks
EPFL(洛桑联邦理工学院)
针对复杂调度中的作业分配问题,提出结合强化学习与图神经网络的方法,通过试错交互学习自适应策略并利用图结构数据,无需人工标注,在合成与真实数据上优于基线算法,有效优化作业分配。
2025-01-31 cs.LG
Feature extraction using Latent Dirichlet Allocation and Neural Networks: A case study on movie synopses
University of Macedonia(马其顿大学)
特征提取在机器学习领域得到了越来越多的关注,因为为了从大数据中检测模式、提取信息或预测未来的观察结果,信息特征的迫切性至关重要。提取特征的过程与降维高度相关,因为它意味着将数据从稀疏的高维空间转换为更高级别的有意义的抽象。本文采用神经网络进行分布式段落表示,并采用潜在狄利克雷分配来捕获段落向量的更高层次特征。虽然分布式段落表示的神经网络被认为是提取段落向量的最新技术,我们表明,一个快速的主题分析模型,如潜在的狄利克雷分配也可以提供有意义的功能。我们在CMU电影摘要语料库上评估了这两种方法,CMU电影摘要语料库是从维基百科中提取的25,203部电影情节摘要的集合。最后,对于这两种方法,我们使用K-最近邻来发现相似的电影,并使用T-分布随机邻居嵌入来描绘上下文相似性。这些相似性,表示为电影距离,可以用于电影推荐。将该方法的推荐电影与IMDB中使用协同过滤推荐方法的推荐电影进行比较,以表明我们的两个模型可以构成替代或补充的推荐方法。
2016-04-05 cs.AI cs.CL cs.IR
Graph Neural Network-based Resource Allocation Strategies for Multi-Object Spectroscopy
Center for Statistics and Machine Learning, Princeton University(普林斯顿大学统计与机器学习中心)
资源分配问题通常用线性规划技术来处理。但是,实验科学和观测科学中的许多具体分配问题不能或不应该用线性目标函数的形式来表示。即使目标是线性的,其参数也可能事先不知道,因为它们取决于要确定分配的实验的结果。为了解决这些挑战,我们提出了一个二分图神经网络架构的可训练的资源分配策略。值项和约束项形成两组图节点,这两组图节点由对应于可能分配的边连接。GNN根据模拟或过去发生的问题进行训练,以最大化任何用户提供的、科学动机的目标函数,并通过不可行性惩罚进行增强。可行性违反的量可以相对于系统中的任何可用松弛来调整。我们应用这种方法来优化高度复用的斯巴鲁Prime Focus摄谱仪仪器的天文目标选择策略,在那里它显示出优于直接梯度下降优化的结果,并扩展了目前采用的使用线性目标函数的求解器的能力。这种方法的发展使分配策略的快速调整和部署、分配模式的统计分析以及资源分配问题的完全可区分的、科学驱动的解决方案成为可能。
2021-09-29 astro-ph.IM cs.LG
Efficient power allocation using graph neural networks and deep algorithm unfolding
Rice University(莱斯大学);US Army’s CCDC Army Research Laboratory(美国陆军CCDC陆军研究实验室)
研究了单跳自组织无线网络中的最优功率分配问题。在解决这个问题,我们提出了一个混合神经架构的启发,算法展开的迭代加权最小均方误差(WMMSE)的方法,我们表示为展开WMMSE(UWMMSE)。UWMMSE中的可学习权重使用图神经网络(GNNs)进行参数化,其中时变基础图由无线网络中的衰落干扰系数给出。这些GNN通过基于功率分配问题的多个实例的梯度下降方法进行训练。一旦训练,UWMMSE实现的性能相当的WMMSE,同时显着降低计算复杂度。通过数值实验说明了这种现象,以及对不同密度和大小的无线网络的鲁棒性和推广。
2020-11-18 cs.LG eess.SP
Unsupervised Resource Allocation with Graph Neural Networks
Princeton University(普林斯顿大学);Fermilab(费米实验室)
我们提出了一种方法,通过学习如何在无监督的方式分配资源,以最大限度地提高全球的效用函数。我们希望分配目标之间的相互作用是重要的,因此建议学习奖励结构的GNN接近最优的分配政策。通过放松资源约束,我们可以采用基于梯度的优化,而不是更标准的进化算法。我们的算法的动机是在现代天文学的一个问题,其中一个需要选择有限的初始信息的基础上,在$10^9$星系,其详细的测量将导致最佳的推断宇宙的组成。我们的技术提供了一种灵活的学习分配策略的方法,只需要感兴趣的物理和测量过程的前向模拟器。我们预计,我们的技术也将在一系列的资源分配问题的应用。
2021-06-17 astro-ph.CO astro-ph.IM cs.AI
The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search
National Engineering Research Center for Software Engineering, Peking University(北京大学国家软件工程研究中心);Peking University(北京大学);Tencent(腾讯)
该研究针对RAG的证据利用测量与上下文预算分配瓶颈,提出因果留一法探针与闭环次模调度器,实现组合召回率提升16.7-20.5个百分点,确立顺序反馈驱动编排为生成式搜索的范式。
2026-08-25 cs.CL cs.IR cs.LG
Graph Neural Network-Based Bandwidth Allocation for Secure Wireless Communications
School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
本文设计图神经网络优化多用户安全通信的带宽分配,提出用户调度算法满足保密速率约束,相比迭代搜索在相近保密速率下大幅降低计算复杂度,并对窃听信道不确定性更鲁棒。
2023-12-13 cs.CR cs.IT cs.LG
LCA: Loss Change Allocation for Neural Network Training
Uber AI(优步人工智能);Uber(优步)
神经网络得到了广泛的应用,但人们对其训练、表示和操作的许多方面都知之甚少。特别是,我们对训练过程的看法是有限的,单个标量损失是这个高维动态过程中最常见的视口。我们提出了一个新的训练窗口,称为损失变化分配(LCA),其中网络损失变化的信用被保守地划分为参数。该测量通过使用龙格-库塔积分器沿着训练轨迹分解近似路径积分的分量来完成。这个丰富的视图显示了哪些参数负责减少或增加训练过程中的损失,或者哪些参数分别“帮助”或“伤害”网络的学习。LCA可以在训练迭代上和/或在神经元、通道或层上被求和以用于越来越粗糙的视图。这种新的测量设备产生了一些关于培训的见解。(1)我们发现,在任何给定的迭代过程中,只有超过50%的参数有帮助。(2)一些整个层整体上受到伤害,平均相对于训练梯度移动,我们假设这种现象可能是由于振荡训练过程中的相位滞后。(3)最后,学习的增量以同步的方式跨层进行,通常在相同的迭代中达到峰值。
2020-03-03 cs.LG stat.ML
The Anatomy of Implicit Bias: Information Allocation in Neural Network Training
State Key Laboratory of Robotics and Systems, Harbin Institute of Technology Shenzhen(机器人系统国家重点实验室(哈尔滨工业大学深圳))
该论文从信息分配动态角度出发,将优化器隐含偏差解释为权重与偏差类参数路径间训练信号的相对分配,通过连续预处理指数\(p\)描述调整,分析其在训练中的形成机制,揭示此相对更新分配对参数轨迹和泛化行为的影响。
2026-07-13 cs.LG
Universal Adversarial Attacks on Neural Networks for Power Allocation in a Massive MIMO System
Universidad de Zaragoza(萨拉戈萨大学);Linköping University(林雪平大学)
深度学习(DL)架构已经成功地用于包括无线系统的许多应用中。然而,它们已被证明容易受到对抗攻击的影响。我们分析了基于DL的模型的回归问题的上下文中的下行链路功率分配在大规模的多输入多输出系统,并提出了通用的对抗扰动(UAP)制作方法的白盒和黑盒攻击。我们对所考虑应用程序的白盒和黑盒攻击的UAP性能进行了基准测试,并表明对抗成功率分别可以达到60%和40%。与传统的白盒攻击相比,提出的基于UAP的攻击是一种更实用和现实的方法。
2021-10-10 cs.CR cs.IT cs.LG
Stable Memory Allocation in the Hippocampus: Fundamental Limits and Neural Realization
Peking University(北京大学)
海马被认为是大脑中的记忆分配器,其机制尚未完全阐明。在Valiant的类神经元模型中,海马体被描述为一个随机连接的图,其上的计算将输入映射到一组具有稳定大小的激活的类神经元。Valiant提出了海马电路成为稳定的记忆分配器(SMA)的三个要求:稳定性,连续性和正交性。根据Valiant的模型,海马体中SMA的功能对于皮层内的进一步计算至关重要。在本文中,我们把这些要求的记忆功能严格的数学公式,并引入容量的概念,基于错误的分配的概率。我们证明了SMA的容量和错误概率的基本限制,在数据独立和数据依赖的设置。我们还建立了一个稳定的内存分配器,可以通过神经回路实现的例子。理论界和仿真结果表明,神经SMA功能良好。
2016-12-14 cs.DS cs.LG cs.NE
D2D Power Allocation via Quantum Graph Neural Network
IITP(Institute of Information & Coummunications Technology Planning & Evaluation)-ITRC(Information Technology Research Center)(信息与通信技术规划与评估研究所-信息技术研究中心)
本文提出了一种基于量子图神经网络的D2D功率分配方法,利用参数化量子电路实现高效资源管理,相比经典方法具有更少的参数和更高的并行性。
2025-11-22 cs.LG
Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback
Technische Universität Berlin(柏林工业大学)
研究强化学习训练后计算资源分配问题,引入浮点运算核算框架,通过LoRA适配的Qwen2.5策略发现条件分配前沿,揭示模型选择与训练分配关联及奖励系统对核算影响,提出RACE协议,建议相关论文报告总浮点运算及计算分配方式。
2026-07-16 cs.CL cs.LG
Graph Neural Networks for Resource Allocation in Multi-Channel Wireless Networks
Department of Electrical and Electronic Engineering, University of Melbourne, Australia(墨尔本大学电子与电气工程系);School of Information Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen, China(哈尔滨工业大学(深圳)信息科学与技术学院)
本文提出图神经网络方法JCPGNN-M,通过拉格朗日框架与GNN结合迭代求解多信道无线网络中的联合信道与功率分配问题,在提升数据速率的同时显著降低推理时间并具备良好泛化能力。
2025-06-04 cs.LG eess.SP
GNN-Based Joint Channel and Power Allocation in Heterogeneous Wireless Networks
University of Melbourne(墨尔本大学)
本文提出JCPGNN,将异构无线网络建模为异构图,通过共享消息计算层和两个任务特定层联合优化信道与功率分配,在保证性能的同时提升计算效率。
2024-07-28 cs.IT cs.LG cs.NI
Graph Neural Network Aided Deep Reinforcement Learning for Resource Allocation in Dynamic Terahertz UAV Networks
Terahertz Wireless Communications (TWC) Laboratory, Shanghai Jiao Tong University(太赫兹无线通信实验室,上海交通大学);Cooperative Medianet Innovation Center (CMIC), School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(协同中继网络创新中心,信息科学与电子工程学院,上海交通大学)
本文提出GLOVE算法,将图神经网络与深度强化学习结合,通过自节点特征强调和多任务协同训练,解决动态太赫兹无人机网络中功率与天线阵列的联合资源分配问题,在资源效率和时延上优于基准方法并保持零丢包。
2025-05-08 cs.LG
Every Rollout Counts: Optimal Resource Allocation for Efficient Test-Time Scaling
School of Computer Science, Beijing Institute of Technology(计算机学院,北京理工大学);Xiaohongshu Inc(小红书公司)
该研究将测试时搜索建模为固定 rollout 预算下的资源分配问题,提出可证明最优的方向级分配方法 DORA,并在多个数学推理基准上以同等算力取得最优准确率。
2025-10-20 cs.AI cs.LG
Task-Aware QUBO Allocation for Mixed-Precision Quantization
Innopolis University(因诺波利斯大学);Q Deep;Moscow Independent Research Institute of Artificial Intelligence (MIRAI)(莫斯科独立人工智能研究院(MIRAI));Sirius University of Science and Technology(天狼星科技大学)
提出混合QUBO框架,结合任务敏感性与滤波器交互进行结构化剪枝,通过二分搜索控制基数,并采用QUBO-张量列细化优化掩码,在SIDD去噪任务上超越基线。
2026-09-24 cs.CV cs.LG
Network Aware Compute and Memory Allocation in Optically Composable Data Centres with Deep Reinforcement Learning and Graph Neural Networks
University College London(伦敦大学学院)
资源分散的数据中心架构有望在数据中心内远程汇集资源,从而为日益重要的基础设施即服务业务提供更大的灵活性和资源效率。这可以通过在数据中心网络(DCN)中使用光路交换骨干来实现;提供所需的带宽和延迟保证,以确保在非本地资源池中运行应用程序时的可靠性能。但是,在这种情况下的资源分配要求将服务器级\emph{and}和网络级资源共同分配给请求。这个问题的在线性质和潜在的组合复杂性,以及DCN拓扑的典型规模,使得精确的解决方案是不可能的,并且基于启发式的解决方案是次优的或非直观的设计。我们证明,\emph{deep reinforcement learning},其中的政策是由\emph{graph neural network}建模,可以用来学习有效的\emph{network-aware}和\emph{topologically-scalable}分配政策端到端。与用于网络感知资源分配的最先进的启发式相比,该方法实现了高达$20\%$的更高的接受率;可以在$10^2\times$可用网络资源较少的情况下实现与最佳性能启发式相同的接受率,并且当直接应用于(无需进一步训练)具有比训练期间看到的拓扑更多的服务器的DCN拓扑时,可以保持全面的性能。
2022-10-26 cs.AI cs.LG cs.NI
Improving Spatial Allocation for Energy System Coupling with Graph Neural Networks
Institute for Automation and Applied Informatics (IAI)(自动化与应用信息研究所)
本文提出利用自监督异构图神经网络改进能源系统耦合空间分配,通过整合地理特征生成物理意义的权重,提升传统Voronoi方法的精度和可扩展性。
2026-03-19 cs.LG cs.SY eess.SY
MODRL-TA:A Multi-Objective Deep Reinforcement Learning Framework for Traffic Allocation in E-Commerce Search
针对电商搜索流量分配中多目标平衡与冷启动难题,提出多目标深度强化学习框架MODRL-TA,结合多目标Q学习、决策融合算法与渐进式数据增强,有效提升长期价值并已成功在线部署。
2024-07-22 cs.IR cs.LG
Control Allocation in Neural Network Optimization: Joint Affine Control of Weight and Bias Updates
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
该研究针对IMDb数据集训练BERT-mini,对比不同谱优化方法,提出的联合正则化逆方法可提升测试准确率、降低损失,是仅权重谱优化的小幅但一致的扩展。
2026-08-25 cs.LG
ScaleBITS: Scalable Bitwidth Search for Hardware-Aligned Mixed-Precision LLMs
University of California, Los Angeles(加州大学洛杉矶分校);Meta Superintelligence Labs, Meta Platforms, Inc.(Meta超智能实验室);Meta Platforms, Inc.(Meta公司)
ScaleBITS通过硬件对齐的块级权重分区和约束优化方法,实现高效混合精度量化,提升低比特下的模型性能。
2026-02-06 cs.AI cs.LG
Generalizable Collaborative Search-and-Capture in Cluttered Environments via Path-Guided MAPPO and Directional Frontier Allocation
Department of Automation, Central South University, Changsha, China(自动化系,中南大学,长沙,中国)
本文提出 PGF-MAPPO 方法,通过路径引导的 MAPPO 和方向性前沿分配,在 cluttered 环境中实现高效的协作搜索与捕获,展示了出色的泛化能力和性能优势。
2025-12-10 cs.LG cs.MA cs.RO
Graph Neural Networks for Power Allocation in Wireless Networks with Full Duplex Nodes
University of Melbourne(墨尔本大学)
针对含全双工节点的无线网络功率分配非凸难题,提出新型图表示法并设计F-GNN模型分配发射功率以最大化吞吐量,在显著减少计算时间的同时实现了性能与复杂度的优异权衡。
2024-01-08 cs.IT cs.LG cs.NI
Combination of Convolutional Neural Network and Gated Recurrent Unit for Energy Aware Resource Allocation
Ayandegan Institute of Higher Education(阿扬德甘高等教育学院);Islamic Azad University(伊斯兰阿扎德大学)
云计算服务模式已经经历了快速的增长,并且低效率的资源使用被认为是云数据中心高能耗的最大原因之一。旨在减少能耗的云数据中心中的资源分配已经使用虚拟机(VM)的实时迁移及其合并到少量物理机(PM)中来进行。然而,选择适当的VM进行迁移是一个重要的挑战。为了解决这个问题,可以根据用户请求的模式将VM分类为对延迟敏感或不敏感的类别,然后可以选择合适的VM进行迁移。在本文中,卷积神经网络(CNN)和门控递归单元(GRU)的组合用于Microsoft Azure数据集中的VM分类。由于该数据集中的大多数VM都被标记为对延迟不敏感,因此迁移该组中的更多VM不仅可以降低能耗,还可以减少违反服务水平协议(SLA)的情况。实证结果表明,该模型的预测准确率为95.18,明显优于其他模型。
2021-06-23 cs.DC cs.LG cs.NI
Memory Planning for Deep Neural Networks
The University of Chicago(芝加哥大学)
我们在大规模系统的背景下研究DNN在推理过程中的内存分配模式。我们观察到,这样的内存分配模式,在多线程的上下文中,受到高延迟,由于\texttt{mutex}争用系统内存分配器。由于这种\texttt{mutex}争用而引起的延迟在面向用户的服务中产生不期望的瓶颈。因此,我们提出了一个“记忆”为基础的技术,\texttt{MemoMalloc},优化整体延迟,只有适度增加峰值内存使用。具体来说,我们的技术包括一个运行时组件,它捕获所有的分配,并唯一地将它们与他们的高层次的源操作,和一个静态分析组件,它构建了一个有效的分配“计划”。我们在PyTorch深度学习框架中实现了\texttt{MemoMalloc},并在各种DNN架构上评估了内存消耗和执行性能。我们发现,\texttt{MemoMalloc}优于最先进的通用内存分配器,相对于DNN推理延迟,高达40%。
2022-02-23 cs.LG cs.PF
MAGNNET: Multi-Agent Graph Neural Network-based Efficient Task Allocation for Autonomous Vehicles with Deep Reinforcement Learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
提出MAGNNET框架,融合GNN、CTDE与定制PPO实现UAV/UGV去中心化任务分配,在冲突规避、可扩展性和动态任务响应上表现优异。
2025-02-20 cs.LG cs.MA cs.RO
Accelerating Graph Neural Networks via Edge Pruning for Power Allocation in Wireless Networks
University of Melbourne(墨尔本大学)
本文首次提出基于邻居的阈值方法对图神经网络进行边剪枝,用于解决无线网络中的功率分配问题,在保持性能和泛化能力的同时,将时间复杂度从O(|V|^2)降至O(|V|)。
2024-06-03 cs.IT cs.LG cs.NI
Neural Payoff Machines: Predicting Fair and Stable Payoff Allocations Among Team Members
Radboud University(拉德堡德大学);DeepMind(深度思维);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
在许多多智能体环境中,参与者可以组成团队,以实现可能远远超过其个人能力的集体成果。衡量代理人的相对贡献并为他们分配促进长期合作的奖励份额是一项艰巨的任务。合作博弈论提供了解决方案的概念,确定分配方案,如Shapley值,公平地反映了个人对团队或核心绩效的贡献,这减少了代理人放弃团队的动机。这些方法的应用包括确定有影响力的特征和分担合资企业或团队组建的成本。不幸的是,使用这些解决方案需要解决计算障碍,因为它们很难计算,即使在受限的设置中。在这项工作中,我们展示了如何合作博弈论的解决方案可以通过训练神经网络提出公平和稳定的收益分配,提炼成一个学习模型。我们表明,我们的方法创建的模型可以推广到远离训练分布的游戏,并且可以预测比训练期间观察到的更多玩家的解决方案。我们的框架的一个重要应用是可解释的AI:我们的方法可以用于在许多情况下加速Shapley值计算。
2022-08-18 cs.AI cs.GT cs.LG
Towards Efficient and Accurate Spiking Neural Networks via Adaptive Bit Allocation
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences(认知与决策智能复杂系统重点实验室,自动化研究所,中国科学院);School of Future Technology, University of Chinese Academy of Sciences(未来技术学院,中国科学院大学);China Electric Power Research Institute Co., Ltd(中国电力科学研究院有限公司)
本文提出自适应位分配策略,通过改进神经元和机制优化,提升SNN的效率和精度,实现在ImageNet上2.69%的精度提升和4.16倍更低的比特预算。
2025-11-30 cs.AI cs.CV cs.LG
Sampling Luck Masquerades as Allocation Gain: Auditing Test-Time Budget Allocation for Neural Combinatorial Optimization
Hankuk University of Foreign Studies(韩国外国语大学)
该研究审计神经组合优化测试时预算分配的增益,发现样本内存在幻象增益,样本外消失,而分布偏移下分配可提升性能,还提供校正流程并发布相关数据代码。
2026-11-18 cs.AI cs.LG math.OC
Deep Learning for Radio Resource Allocation in Multi-Cell Networks
University of Manitoba(曼尼托巴大学);York University(约克大学)
新兴5G和超5G(B5 G)无线网络的复杂性和异构性增加,将需要从传统的资源分配机制进行范式转变。深度学习(DL)是一种强大的工具,可以通过训练多层神经网络,使用网络数据对资源管理算法进行建模,从而无需进行密集的在线计算即可获得资源分配决策,而在线计算是解决资源分配问题所必需的。在此背景下,本文着重于应用DL来获得多小区网络中的无线电资源分配问题的解决方案。从作为DL模型的深度神经网络(DNN)、相关DNN架构和数据训练过程的简要概述开始,我们提供了在无线电资源分配的上下文中应用DL的现有技术水平的概述。在目标、投入/产出、学习和数据培训方法方面进行了定性比较。然后,我们提出了一个监督DL模型来解决多小区网络中的子带和功率分配问题。使用遗传算法产生的数据,我们首先训练模型,然后测试所提出的模型在预测资源分配解决方案的准确性。仿真结果表明,训练后的DL模型能够提供所需的最优解的时间为86.3%。
2018-08-02 cs.LG cs.NI eess.SP
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research(新加坡科技研究局资讯通信研究院);College of Computer Science, Sichuan University(四川大学计算机学院);Nanyang Technological University(南洋理工大学)
由于深度神经网络(DNN)通常被过度参数化并且具有数百万个权重参数,因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的,例如,智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小,其中关键是找到合适的压缩分配(例如,修剪稀疏性和量化码本)。现有的解决方案以迭代/手动的方式获得压缩分配,同时微调压缩模型,因此存在效率问题。与现有技术不同的是,本文提出了一种新的单次剪枝量化(OPQ)算法,该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间,压缩模块是固定的,并且仅更新权重参数。据我们所知,OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作,而无需在微调阶段进行任何复杂的迭代/手动优化。此外,我们提出了一个统一的信道级量化方法,强制每一层的所有通道共享一个共同的码本,这导致低比特率分配,而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明,与现有技术相比,我们的方法提高了准确性和训练效率,同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
Parameter Optimization with Conscious Allocation (POCA)
Arizona State University(亚利桑那州立大学)
本文提出POCA,一种基于超带的自适应预算分配算法,通过贝叶斯采样优化超参数,实验证明其在玩具函数和深度神经网络上比现有方法更快找到强配置。
2023-12-29 cs.LG stat.ML
Test-Time Scaling for Scientific Equation Discovery
Peking University(北京大学)
本文将测试时缩放(TTS)应用于开放场景的自动方程发现,建模迭代搜索过程并在固定预算下对比控制器,发现搜索宽度是主导分配参数,为缩放LLM基方程发现提供了核心思路。
2026-09-01 cs.AI cs.CL cs.LG
Stochastic Layer-Wise Precision in Deep Neural Networks
NVIDIA(英伟达);University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Canadian Institute for Advanced Research(加拿大高等研究院)
已经提出了低精度权重、激活和梯度作为提高深度神经网络的计算效率和存储器占用的方式。最近,低精度网络甚至显示出对对抗攻击更强大。然而,低精度DNN的典型实现在网络的所有层上使用统一的精度。在这项工作中,我们探讨了在网络中异构分配精度是否会提高性能,并介绍了一种学习方案,其中DNN随机数通过学习探索多个精度配置。这允许网络学习最佳精度配置。我们在MNIST和ILSVRC 12上训练的卷积神经网络上表明,即使这些网络分别学习均匀或接近均匀的分配策略,随机精度也会导致良好的正则化效果,从而提高泛化能力。
2018-07-03 cs.LG stat.ML
From Radiologist Report to Image Label: Assessing Latent Dirichlet Allocation in Training Neural Networks for Orthopedic Radiograph Classification
Karolinska Institute(卡罗林斯卡学院)
本研究评估了利用LDA从放射科报告生成标签并训练ANN分类骨科X光片的方法,发现LDA虽不适合高精度生成标签,但ANN仍能高精度学习部分图像特征。
2024-08-22 cs.AI cs.CV cs.LG
A Scalable Neural Network for DSIC Affine Maximizer Auction Design
Peking University(北京大学)
本文提出AMenuNet,一种基于神经网络的仿射最大化拍卖设计方法,通过从投标人和物品表示生成AMA参数与候选分配,在保证DSIC和个体理性的同时提升可扩展性,并在多种多物品拍卖设置中取得优于基线的收益表现。
2024-01-17 cs.AI cs.GT cs.LG
Hyperparameter Optimization via Budget Allocation in Lipschitz Spaces
Google Research(谷歌研究);Institute for Research in Fundamental Sciences(基础科学研究院);Sharif University of Technology(谢里夫理工大学)
针对模型选择与调优中需评估大量中间模型且真实性能未知的问题,本文将有限预算的最优探索形式化为Lipschitz空间上的未知值函数预算分配问题。
2026-11-19 cs.LG
Graph Neural Networks for Resource Allocation in Interference-limited Multi-Channel Wireless Networks with QoS Constraints
Department of Electrical and Electronic Engineering, University of Melbourne, Australia(墨尔本大学电子与电气工程系);School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)信息科学与技术学院);School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
针对无线网络中QoS约束的资源分配问题,提出结合GNN与拉格朗日原始-对偶优化的JCPGNN-M算法,实现高效多信道分配并保证收敛,性能媲美eWMMSE且推理更快、泛化更强。
2025-09-08 cs.LG eess.SP
Computing Systemic Risk Measures with Graph Neural Networks
本文扩展系统性风险度量至图结构金融网络,提出用置换等变神经网络(GNNs和(X)PENNs)逼近最优救助分配,实验证明其优于基准方法。
2025-10-14 cs.LG q-fin.CP q-fin.MF
Noise Scheduling as Information-Guided Allocation in Diffusion Training
Tilburg University & JADS(蒂尔堡大学及JADS);Sony AI(索尼人工智能);University of Cambridge(剑桥大学);Radboud University(拉德堡德大学);Sony Group Corporation(索尼集团公司)
提出InfoNoise,一种在线自适应噪声调度方法,通过估计条件熵率剖面动态调整训练噪声分布,以优化去噪任务中的信息增益,在图像、DNA和语言生成等任务中达到或超越基线,并节省高达3倍训练计算量。
2026-05-27 cs.AI cs.CV cs.IT
Learn to Optimize Resource Allocation under QoS Constraint of AR
School of Electronics and Information Engineering(电子信息工程学院)
本文提出一种基于深度神经网络的学习方法,在满足AR服务质量约束的前提下优化资源分配,有效降低传输功率。
2025-09-21 cs.LG
Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc Wireless Networks
University of Pennsylvania(宾夕法尼亚大学);Intel Labs(英特尔实验室)
我们考虑异步无线网络环境下的最优资源分配问题。在没有明确模型知识的情况下,设计了一种基于聚合图神经网络(Agg-GNNs)的无监督学习方法。根据每个网络节点上的本地化聚合信息结构,该方法可以在本地实现的同时全局地和异步地学习。我们捕捉到的激活模式建模为每个节点的特性和训练基于策略的资源分配方法的复杂性。我们还提出了一个置换不变性的属性,这表明训练的Agg-GNN的可转移性。最后,我们通过数值模拟与基线方法相比,验证了我们的策略。
2020-11-05 cs.LG cs.NI eess.SP
Graph Neural Networks and Deep Reinforcement Learning Based Resource Allocation for V2X Communications
School of Internet of Things Engineering, Jiangnan University(江南大学物联网工程学院);Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学电子工程系、北京信息科学与技术国家研究中心);State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University(西安电子科技大学信息与通信系统国家重点实验室及电信工程学院);Department of Electronic Engineering, Shanghai Jiao Tong University(上海交通大学电子工程系);School of Engineering, University of Kent(肯特大学工程学院);Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)(香港科技大学电子与计算机工程系)
针对车联网中C-V2X通信的资源分配需求,提出融合GNN与DRL的方法,通过动态图与GraphSAGE模型兼顾V2V通信成功率与V2I链路速率,支持分布式部署,提升了智能体决策质量。
2025-06-16 cs.LG cs.NI
Adversarial Deep Learning for Online Resource Allocation
The University of Hong Kong(香港大学)
在线算法是算法设计的一个重要分支。设计具有有限竞争比(就最坏情况性能而言)的在线算法可能很难,并且通常依赖于特定于问题的假设。受生成对抗网络(GAN)的对抗训练以及在线算法的竞争率基于最坏情况输入的事实的启发,我们采用深度神经网络从头开始学习资源分配和定价问题的在线算法,目标是离线最佳和学习的在线算法之间的性能差距可以最小化最坏情况输入。具体来说,我们利用两个神经网络分别作为算法和对手,让他们玩一个零和游戏,与对手负责产生最坏情况的输入,而算法学习的基础上提供的输入对手的最佳策略。为了确保算法网络更好地收敛(到所需的在线算法),我们提出了一种新的每轮更新方法来处理顺序决策,以打破不同轮之间的复杂依赖关系,从而可以对每个可能的动作进行更新,而不仅仅是采样动作。据我们所知,我们的工作是第一次使用深度神经网络从最坏情况性能保证的角度设计在线算法。实证研究表明,我们的更新方法确保收敛到纳什均衡和学习算法优于国家的最先进的在线算法在各种设置。
2021-11-19 cs.AI cs.LG
Stability Analysis of Unfolded WMMSE for Power Allocation
Rice University(莱斯大学)
功率分配是无线网络中的基本问题之一,各种各样的算法从不同的角度解决这个问题。这些算法中的一个共同点是它们依赖于信道状态的估计,由于硬件缺陷、噪声反馈系统以及环境和对抗干扰,信道状态的估计可能是不准确的。因此,至关重要的是,这些算法的输出功率分配相对于输入扰动是稳定的,在一定程度上,在输出中的变化是有界的输入中的有界变化。在本文中,我们专注于UWMMSE -一个现代算法,利用图神经网络-,并说明其稳定性添加输入扰动的有界能量通过理论分析和实证验证。
2022-01-09 cs.LG eess.SP
The Influence of Neural Networks on Hydropower Plant Management in Agriculture: Addressing Challenges and Exploring Untapped Opportunities
Centre of Mathematics (CMAT), University of Minho(米尼奥大学数学中心);Department of Mechanical Engineering (Section of Mathematics) - FEUP, University of Porto(波尔图大学工程学院机械工程系(数学分部))
本文关注水电站管理中发电与农业灌溉用水的冲突,提出Agriculture Conscious Hydropower Plant Management框架及相关监管措施,以在保障农业用水的同时提升神经网络决策的透明度与水资源分配的平衡性。
2023-11-22 cs.LG math.OC
Cooperating Graph Neural Networks with Deep Reinforcement Learning for Vaccine Prioritization
Purdue University(普渡大学)
本研究提出结合图神经网络与深度强化学习的疫苗优先分配框架,通过Trans-vaccine-SEIR模型整合流动性异质性,在微观层面优化分配,减少7%-10%感染和死亡,并发现公共交通限制策略更有效。
2023-05-09 cs.AI cs.LG q-bio.PE