KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap
机构 * Advanced Micro Devices Inc.(超威半导体公司)
AI总结 KOSMOS是自调度持久内核库,融合Transformer层通信与计算,在AMD GPU上使Megatron-LM等模型的端到端训练提速1.10-1.83倍。
Comments 39 pages, 9 figures
大厂专区
机构 * Advanced Micro Devices Inc.(超威半导体公司)
AI总结 KOSMOS是自调度持久内核库,融合Transformer层通信与计算,在AMD GPU上使Megatron-LM等模型的端到端训练提速1.10-1.83倍。
Comments 39 pages, 9 figures
机构 * Advanced Micro Devices, Inc.(超威半导体)
AI总结 该研究提出一种轻量级通用MLP神经纹理超分辨率方法,无需逐资产训练,可实时提升低分辨率纹理的感知质量,优于分析式超分辨率方法。
用于计算的调度数据:AMD GPU上LLM训练的分层数据流水线
机构 * Advanced Micro Devices, Inc.(超威半导体公司)
AI总结 本文针对AMD GPU上LLM训练的等待时间瓶颈,利用TDM、转置加载、SDMA、RDMA等硬件特性实现分层数据流水线,提升计算利用率并获得多倍加速,相关实现已开源。
机构 * Advanced Micro Devices Inc(超威半导体) ; Broadcom Inc(博通) ; OpenAI OpCo LLC(OpenAI运营公司) ; NVIDIA Corp(英伟达) ; Intel Corp(英特尔) ; Microsoft Corp(微软)
AI总结 提出一种面向大规模AI/ML训练的开放生产级传输协议MRC,通过扩展RoCEv2实现逐包多路径、发送端拥塞控制及快速丢包恢复,增强以太网可靠性。
ROCm InferaSim:降低大语言模型(LLM)服务的试错成本并部署最优配置
机构 * Advanced Micro Devices Inc. (AMD)(超威半导体公司(AMD))
AI总结 ROCm InferaSim通过少量锚点测量结合分析缩放,可高效预测LLM服务性能,大幅降低试错成本,能快速找到接近最优的部署配置。
Comments 37 pages, 11 figures
基于Aries实验框架重新思考智能体服务系统的AI云基础设施
机构 * NTU Singapore(南洋理工大学) ; AWS(亚马逊网络服务) ; Microsoft(微软) ; AMD(超威半导体) ; Ant Group(蚂蚁集团) ; NCSpeech(新加坡国立大学语音实验室) ; Imperial College London(帝国理工学院) ; University of Edinburgh(爱丁堡大学)
AI总结 该研究针对自主智能体对传统LLM服务的挑战,提出Aries全栈实验框架,通过实验揭示服务系统的关键瓶颈,探讨智能体原生服务系统的设计愿景。
PRISM-BENCH:超越最终答案准确率的基于视觉语言模型的 grounded 与忠实多模态推理诊断
机构 * Advanced Micro Devices, Inc.(超威半导体公司) ; University of Toronto(多伦多大学)
AI总结 PRISM-BENCH基准通过专家整理的多模态推理问题及推理轨迹,提出感知探针、轨迹对齐和CORE指标,诊断视觉语言模型的 grounded 与忠实推理,发现前沿模型85%失败源于感知错误,最佳系统落后人类18.4个百分点。
Comments Accepted as a poster at the NeurIPS 2026 Workshop on Grounded and Faithful Vision-Language Models for Real-World Deployment (VLM4RWD). 18 pages, 10 figures, 7 tables. Dataset: https://huggingface.co/datasets/vanshbhatia/PRISM-BENCH
Waypoint:针对CPU的通用矩阵乘法(GEMM)的分析建模
机构 * Advanced Micro Devices, Inc.(超威半导体公司)
AI总结 Waypoint是针对CPU的GEMM分析模型,可自动识别最优分块大小,构建的OPAM库实现与顶尖GEMM库相当的性能,助力CPU上LLM推理获1.36-1.98倍加速。
以MXFP4格式训练MoE大语言模型:我们如何缩小与BF16的差距
机构 * Advanced Micro Devices, Inc.(超威半导体公司)
AI总结 本研究提出ALTO训练方案,结合多种量化技术与去振荡方案,在MXFP4格式下训练200亿参数MoE LLM,大幅缩小了与BF16的性能差距,降低了FP4的收敛开销。
机构 * AMD Silo AI ; Odia Generative AI(奥里亚生成式人工智能)
AI总结 本文提出基于RAG的AI辅导工具Acharya 2.0,为印地语学生提供学业辅导,解决低资源语言RAG应用不足的问题,助力教育公平。
机构 * Advanced Micro Devices, Inc. (AMD)(超威半导体公司(AMD))
AI总结 针对现有LLM深度剪枝方法忽略层贡献异质性的问题,提出可解释多目标进化搜索框架SliMOO,通过任务-层重要性图与NSGA-II搜索,在Llama-3.1、Qwen3上实现更优多任务权衡。
机构 * AMD
AI总结 提出PiSO算法,利用校准数据精确高效地计算逐通道最优量化尺度,并扩展到分组量化,在Llama和Qwen模型上显著提升困惑度和零样本准确率。
Comments 9 pages excluding references and appendix, 39 pages total, 2 figures in the main text, 3 tables in the main text
机构 * Santa Fe Institute, New Mexico, USA(圣菲研究所) ; Sandia National Laboratories, New Mexico, USA(桑迪亚国家实验室) ; Advanced Micro Devices Inc., Texas, USA(先进微器件公司)
AI总结 本文研究了AI模型在不同模态下进行抽象推理的能力,发现其在文本和视觉模态中的表现存在显著差异,表明仅依赖准确率评估抽象推理能力存在偏差。
Comments NeurIPS 2026 Track on Evaluations and Datasets
面向硬件多样性的架构设计:Meta针对AMD GPU高性能AI训练的端到端协同设计
机构 * Meta ; AMD
AI总结 Meta针对异构硬件集群中AMD GPU性能可移植性问题,提出三项协同设计原则,实现推荐模型训练吞吐量最高1.5倍提升,相关成果已上游至开源PyTorch等生态。
Comments 16 pages, 21 figures, 6 tables. To appear in the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026)
机构 * Coburg University of Applied Sciences and Arts(科堡应用科学与艺术大学) ; AMD(超威半导体)
AI总结 针对计算机图形学中单位四元数的压缩需求,提出带优化 warp 函数的无穷范数参数化方法,在多图形应用中验证其误差小、存储效率高且解压成本低的优势。
机构 * Advanced Micro Devices Inc. (AMD)(超威半导体) ; University of Waterloo(滑铁卢大学)
AI总结 本文提出无需构建长上下文草稿模型,通过冻结短上下文草稿模型并采用两种推理时机制,可使其在4k至200万令牌场景下保持加速效果,且成本仅为短长度下的0.16倍。
机构 * Iowa State University(爱荷华州立大学) ; Maro Systems(Maro系统) ; University of California, Berkeley(加州大学伯克利分校) ; AMD
AI总结 CRAFT通过在隐藏表示上学习低秩干预,避免更新模型权重,通过输出分布分歧路由任务、KL散度正则化和合并干预,减少遗忘并提升性能。
Comments 21 pages
机构 * University of Maryland (UMD)(马里兰大学) ; Advanced Micro Devices, Inc. (AMD)(超威半导体有限公司)
AI总结 Arcalis通过轻量级近缓存硬件引擎加速RPC,实现端到端加速和高吞吐量,降低微架构开销。
Comments 14 pages, 26 figures
机构 * University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Advanced Micro Devices(超威半导体) ; University of Warwick(华威大学) ; University of Surrey(萨里大学)
AI总结 本研究提出计算响应型数据选择(CRDS)原则,通过监督微调(SFT)Qwen3-8B等模型的计算响应示例,提升了推理模型对测试时计算的利用率,在多推理预算及模型上均优于非CR训练。
机构 * Advanced Micro Devices, Inc.(超威半导体有限公司)
AI总结 本文提出Primus Projection,通过混合投影引擎与Primus Tuning Agent实现分布式LLM训练配置的自动调优,在多款模型与GPU上验证,可高效找到高吞吐量配置,比参考方案提升27%且耗时短。
Comments Accepted at NeurIPS 2026. 22 pages, 8 figures, 25 tables
机构 * AMD(超威半导体)
AI总结 本文针对多GPU通信优化的兼容性问题,提出API级内存模型,在rocSHMEM中实现后,可通过缓存旁路优化使三类通信工作负载性能提升最高达2.48倍。
机构 * Advanced Micro Devices Inc. (AMD)(超威半导体公司(AMD)) ; Cornell University(康奈尔大学)
AI总结 该研究针对端侧小型语言模型,提出结合计时模型与张量敏感度的上下文感知精度调度方法,在延迟或准确率预算下优化权重精度分配,经笔记本GPU实验验证了其有效性。
精度的代价:面向混合精度大语言模型(LLM)服务的校准成本模型
机构 * Advanced Micro Devices Inc. (AMD)(超威半导体公司(AMD)) ; Cornell University(康奈尔大学)
AI总结 该研究针对混合精度LLM服务的速度-精度权衡问题,构建了考虑计算、权重加载、KV缓存等绑定资源的校准成本模型,将其作为预测器和分配器,通过动态规划选择配置并在三类硬件上验证了效果。
机构 * AIC-Toronto, Samsung Electronics(AIC-多伦多,三星电子) ; AMD(超威半导体公司) ; University of Toronto(多伦多大学) ; Vector Institute(向量研究所) ; York University(约克大学)
AI总结 针对扩散模型图像超分辨率的文本幻觉问题,提出TGSR框架,通过选择性控制抑制文本区域幻觉,提升文本识别精度且不降低感知质量。
Comments 22 pages, 9 figures, 12 tables
机构 * University of Waterloo(滑铁卢大学) ; AMD(超威半导体) ; NVIDIA(英伟达) ; Georgia Tech(佐治亚理工学院)
AI总结 本文提出传输程序,一种独立于目标的抽象,用于精确捕捉传输协议对相关传输事件的反应,实现高性能传输栈的可移植性和可扩展性。
机构 * Advanced Micro Devices Inc. (AMD)(超威半导体公司(AMD))
AI总结 Zebra3D是一种分层稀疏-线性混合注意力框架,无需从头训练即可提升预训练3D基础模型的效率,在高注意力稀疏度下实现了高效3D重建,加速比最高达7.1倍,性能接近密集模型。
Comments 37 pages, 12 figures, 22 tables
CORAL-KV:用于自回归视频KV缓存的紧凑跨层预测与残差编码
机构 * Advanced Micro Devices Inc. (AMD)(超威半导体公司) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
AI总结 该研究针对自回归视频扩散模型的KV缓存内存瓶颈,提出Coral-KV跨层预测残差编码框架,在HY-WorldPlay、MAGI-1等数据集上相比QVG系列方法,实现了PSNR提升与缓存内存减少的双重效果,还降低了时间不连续性。
机构 * AMD Silo AI ; AstraZeneca(阿斯利康)
AI总结 本研究提出开放模块化智能体MAGI,用于协调分子设计工具,在真实药物发现项目中,其性能受限于预测模型的适用性,而非生成路径。
Avatar-Forever:用于高质量实时无限虚拟形象的解耦并行训练
机构 * The Hong Kong Polytechnic University(香港理工大学) ; ByteDance(字节跳动) ; AMD(超威半导体公司)
AI总结 Avatar-Forever是一种解耦并行训练框架,通过双分支设计与ForeverCache机制,在单张H100 GPU上实现27.2 FPS的768x512音频驱动无限虚拟形象生成,保障质量与效率,推进稳定数字人研究。
机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) ; School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院) ; Advanced Micro Devices, Inc.(超威半导体公司)
AI总结 针对 LLM 三值化受权重和激活异常值影响的问题,本文提出可学习缩放与偏移的 DLT 及基于余弦相似度互信息的 OFF 蒸馏,TernaryLLM 在 LLaMA-3 等基准上显著优于现有低比特方法。
Journal ref Machine Intelligence Research (2026)