BOute: Cost-Efficient LLM Serving with Heterogeneous LLMs and GPUs via Multi-Objective Bayesian Optimization
University of Cambridge(剑桥大学);Shanghai Jiao Tong University(上海交通大学)
BOute通过多目标贝叶斯优化实现高效LLM服务,优化路由和部署策略以提升成本效率。
2026-02-11 cs.DC
Hyper Heterogeneous Cloud-based IMS Software Architecture: A Proof-of-Concept and Empirical Analysis
由3GPP定义的IP多媒体子系统(IMS)主要由电话供应商在供应商专用硬件上开发和部署。网络功能虚拟化(NFV)技术的最新进展为虚拟化硬件和电话功能弹性铺平了道路。因此,电信供应商已经开始接受云作为部署平台,通常选择特权虚拟化平台。运营商希望在其现有的IT云平台上部署电信功能。实现这种灵活性需要电信供应商采用允许在许多云平台甚至异构云平台上部署的软件架构。我们提出了一个分布式软件架构,使一个单一的软件版本部署在多个云平台,从而允许基于解决方案的部署。我们还提出了一个原型,我们开发的研究这种架构的特点。
2015-09-18 cs.DC
Resource-aware Sub-network Allocation for Heterogeneous Decentralized Learning
KTH Royal Institute of Technology(皇家理工学院)
针对同步去中心化学习受系统异质性限制的问题,提出RASA-DL框架,通过二分搜索分配实现资源感知子网络部署,在不同异质性下提升了精度-延迟权衡表现。
2026-10-16 cs.DC
nncase: An End-to-End Compiler for Efficient LLM Deployment on Heterogeneous Storage Architectures
nncase通过端到端编译框架实现高效大语言模型部署,整合三个核心模块提升异构存储架构下的性能表现。
2025-12-25 cs.DC cs.LG
Atlas: Optimizing Deployment of Compound AI Workflows on Heterogeneous Clusters
TU Wien(维也纳工业大学)
Atlas是优化复合AI工作流部署的框架,通过马尔可夫准确性预测器(MAP)实现高效准确性估计,在满足SLO的同时,可降低部署成本并提升计划排序准确性。
2026-09-07 cs.AI cs.DC
ClusterSlice: A Zero-touch Deployment Platform for the Edge Cloud Continuum
ClusterSlice是一个开源零接触部署平台,通过声明式切片定义和按需基础设施,支持多异构域上的可组合Kubernetes部署及实验自动化,简化边缘云连续体的部署流程。
2024-03-16 cs.DC cs.NI
FLASH 1.0: A Software Framework for Rapid Parallel Deployment and Enhancing Host Code Portability in Heterogeneous Computing
本文提出 FLASH 1.0 框架,通过硬件无关前端接口和代码组织分离实现异构计算中主机代码的高可移植性与快速并行部署,实验表明可实现高达 99.72% 的代码可移植性和 4 倍代码缩减。
2023-07-05 cs.DC
Watt Counts: Energy-Aware Benchmark for Sustainable LLM Inference on Heterogeneous GPU Architectures
Zurich University of Applied Sciences(苏黎世应用科技大学)
本文提出Watt Counts基准,通过50个LLM在10种GPU上的5000+实验数据,研究异构GPU架构下LLM推理的能耗优化,证明硬件选择对能效至关重要,展示在服务器场景下可降低能耗70%,在批处理场景下降低20%。
2026-04-10 cs.AI cs.DC
FogMQ: A Message Broker System for Enabling Distributed, Internet-Scale IoT Applications over Heterogeneous Cloud Platforms
由于大量地理上分布的设备通过消息代理进行通信,传统消息代理会出现过度的尾端到端延迟。另一方面,无代理消息传送系统虽然确保低延迟,但高度依赖于直接设备到设备(D2D)通信技术的限制,并且不能很好地扩展,因为大量资源有限的设备交换消息。在本文中,我们提出了FogMQ,一个基于云的消息代理系统,克服了传统系统的局限性,使自主发现,自我部署,并在异构云平台上的消息代理的在线迁移。对于每个设备,FogMQ都提供了一个高容量的设备克隆服务,可以订阅设备消息。克隆有助于在资源丰富的云计算节点中进行近边缘数据分析。FogMQ中的克隆应用了Flock,这是一种模拟群集行为的算法,允许克隆以分布式方式动态选择并自主迁移到不同的异构云平台。
2016-10-03 cs.DC cs.NI
From PyTorch to the NPU: LLM-Agent-Driven Model Conversion Across Heterogeneous Inference Runtimes
National Cheng Kung University(国立成功大学);Qualcomm Technologies, Inc.(高通技术有限公司)
本文提出一种 LLM 智能体驱动的方法,将 PyTorch 模型自动转换为多个异构推理运行时(如 OpenVINO、RKNN、TensorRT、ONNX Runtime)的可执行推理,通过分阶段验证和领域知识注入,实现 FP16 精度部署,并提供了多运行时部署的工程实践经验。
2026-09-24 cs.DC cs.SE
MaGNAS: A Mapping-Aware Graph Neural Architecture Search Framework for Heterogeneous MPSoC Deployment
University of California Irvine(加州大学欧文分校);Université Polytechnique Hauts-de-France(上法兰西综合理工大学)
提出 MaGNAS 映射感知图神经架构搜索框架,通过双层进化搜索联合优化视觉 GNN 架构与异构 MPSoC 映射,在 Xavier AGX 上显著降低延迟和能耗且准确率损失极小。
2023-07-16 cs.CV cs.DC cs.LG
High-Throughput LLM inference on Heterogeneous Clusters
Huawei Technologies Co., Ltd(华为技术有限公司)
针对异构集群上LLM推理的配置优化和请求调度问题,提出通过建模与穷举搜索优化部署配置,并设计考虑实例处理能力的调度机制,实验显示吞吐量提升122.5%和33.6%。
2025-04-18 cs.AI cs.DC
CIR: Lightweight Container Image for Cross-Platform Deployment
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出CIR轻量级容器镜像,通过延迟构建方法和新镜像格式,实现跨平台部署,减少镜像大小和部署时间。
2026-04-12 cs.DC
Disaggregated Prefill and Decoding Inference System for Large Language Model Serving on Multi-Vendor GPUs
ZTE Corporation(中兴通讯)
针对多厂商异构 GPU 上 LLM 的 Prefill 与 Decode 混合推理问题,设计分离式推理系统、兼容传输模块及并行策略与实例分配联合优化算法,以低成本获得最优部署。
2025-09-28 cs.DC
Edge AI Deployment Beyond Models: A BSP-Aware Systems Framework for Industrial Embedded Platforms
Advantech Industrial Computing India Pvt. Ltd.(Advantech印度工业计算有限公司)
提出一个五层BSP感知系统框架,将边缘AI部署视为系统工程问题,解决工业嵌入式平台中模型与硬件、BSP、运行时等环节的集成挑战,提升可复现性、可诊断性、持续吞吐量和现场可靠性。
2026-04-20 cs.AI cs.DC
DHLP 1&2: Giraph based distributed label propagation algorithms on heterogeneous drug-related networks
背景与目的:异构复杂网络是由不同类型的节点和边组成的大型图。从这些网络中提取知识是复杂的。此外,这些网络的规模正在稳步扩大。因此,需要可扩展的方法。方法:介绍了两种适用于异构网络的分布式标签传播算法DHLP-1和DHLP-2。生物网络是异质复杂网络的一种。作为一个案例研究,我们已经测量了我们提出的DHLP-1和DHLP-2算法在由药物,疾病和靶标组成的生物网络上的效率。我们在这个网络中研究的主题是药物重新定位,但我们的算法可以用作生物网络以外的异构网络的一般方法。结果:我们比较了所提出的算法与类似的非分布式版本,即MINProp和Heter-LP。实验结果表明,该算法在运行时间和准确性方面具有良好的性能。
2020-06-20 cs.DC
E2LLM: Towards Efficient LLM Serving in Heterogeneous Edge/Fog Environments
University of California, Berkeley(加州大学伯克利分校)
提出E2LLM框架,通过复制模型到多设备组并采用模型并行,结合遗传算法聚类和动态规划分区,在资源受限的异构边缘/雾环境中实现高效LLM部署,相比Splitwise基线在高需求下平均等待时间降低50%以上。
2026-08-25 cs.AI cs.DC
A heterogeneous many-core platform for experiments on scalable custom interconnects and management of fault and critical events, applied to many-process applications: Vol. II, 2012 technical report
这是计划收集的四个年度卷的第二个,描述了部署一个异构的众核平台的实验可扩展的自定义互连和管理故障和关键事件,适用于多进程应用程序。这卷包括几个主题,其中:1-一个系统的认识故障和关键事件(命名为LO |FA| MO)在实验性异构众核硬件平台上的集成与测试:2.基于APEnet+自定义互连的实验性异构众核硬件平台QUoNG的集成与测试:3.采用ASIP技术设计软件可编程分布式网络处理器架构(DNP); 4-在28 nm FPGA上设计新一代DNP的初始阶段。这些开发是在EURETILE欧洲项目的框架内根据第247846号赠款协议进行的。
2013-07-04 cs.DC
Designing a Resource Broker for Heterogeneous Grids
网格提供了对异构资源和服务(如多个组织拥有的计算机、网络和存储)的统一访问。然而,这样的动态环境对应用程序组合和部署提出了许多挑战。在本文中,我们提出了Gridbus网格资源代理的设计,允许用户创建应用程序,并通过不同的接口指定不同的目标,而不必处理网格基础设施的复杂性。我们提出了独特的要求,激励我们的设计,并讨论如何提供灵活性,在扩展的代理的功能,以支持不同的低层次的中间件和用户界面。我们评估不同的工作配置文件和网格中间件的经纪人,并得出结论,从我们的开发经验的教训。
2007-02-24 cs.DC cs.SE