语言大模型 / LLM

DWDP: Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72

DWDP：分布式权重数据并行用于NVL72上的高性能LLM推理

Wanqian Li, Jintao Peng, Zongfei Jing, Tianyu Zhang, Ze Long, Xianjie Qiao, Xiaoming Chen, Dongxu Yang, Kefeng Duan, June Yang

机构 * NVIDIA 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出DWDP，一种无需层间同步的分布式权重数据并行策略，通过跨peer GPU卸载MoE权重和按需获取缺失专家，提升LLM推理性能，实测在8K输入和1K输出序列长度下，端到端TPS/GPU提升8.8%。

Comments Technical Report. 17 pages. 8 figures

Efficient LLM-based Advertising via Model Compression and Parallel Verification

通过模型压缩和并行验证实现高效的LLM广告

Wenxin Dong, Chang Gao, Guanghui Yu, Xuewu Jiao, Mingqing Hu, Qiang Fu, Peng Xu, Penghui Wei, Hui Xu, Yue Xing, Shuanglong Li, Lin Liu

机构 * Baidu Inc.（百度公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Efficient Generative Targeting框架，结合自适应分组量化、层适应性分层稀疏化和前缀树并行验证，提升LLM推理效率并保持生成质量，实验显示在真实广告场景中实现显著加速且质量损失可控。

Comments 10 pages, 7 figures, industry paper

Ada-MK: Adaptive MegaKernel Optimization via Automated DAG-based Search for LLM Inference

Ada-MK: 通过基于DAG的自动搜索实现适应性MegaKernel优化以用于LLM推理

Wenxin Dong, Mingqing Hu, Guanghui Yu, Qiang Fu, Peng Xu, Hui Xu, Yue Xing, Xuewu Jiao, Shuanglong Li, Lin Liu

机构 * Baidu Inc.（百度公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Ada-MK，通过基于DAG的自动搜索优化MegaKernel，减少共享内存峰值使用50%，消除运行时分支，提升LLM推理吞吐量和效率。

Comments 10 pages, 8 figures

GELATO: Generative Entropy- and Lyapunov-based Adaptive Token Offloading for Device-Edge Speculative LLM Inference

GELATO：生成熵和李雅普诺夫基于的自适应令牌卸载用于设备-边缘推测LLM推理

Zengzipeng Tang, Yuxuan Sun, Wei Chen, Jianwen Ding, Bo Ai

机构 * School of Electronic and Information Engineering, Beijing Jiaotong University, Beijing 100044, China（北京交通大学电子与信息工程学院，北京，100044，中国） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出GELATO框架，通过生成熵和李雅普诺夫方法优化设备-边缘协同推测LLM推理中的令牌卸载，提升吞吐量并降低能耗，优于现有方法。

Comments This work has been submitted to the IEEE for possible publication

Toward General and Robust LLM-enhanced Text-attributed Graph Learning

迈向通用且稳健的LLM增强型文本属性图学习

Zihao Zhang, Xunkai Li, Rong-Hua Li, Zhenjun Li, Bing Zhou, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） ； Shenzhen Institute of Technology（深圳理工大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出UltraTAG框架，解决LLM与GNN交互中的统一优化问题，并通过UltraTAG-S应对现实中的文本和边稀疏性问题，实验表明其在不同稀疏度下均表现优异。

Different Prompts, Different Ranks: Prompt-aware Dynamic Rank Selection for SVD-based LLM Compression

不同提示，不同秩：基于SVD的LLM压缩的提示感知动态秩选择

Hengyi Zhu, Zhendong Mi, Grace Li Zhang, Shaoyi Huang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Technical University of Darmstadt（达姆施塔特技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出PARSE框架，通过提示感知的动态秩选择提升SVD压缩LLM的效率与性能，实现任务准确率提升10%及推理速度提升。

ToolScope: Enhancing LLM Agent Tool Use through Tool Merging and Context-Aware Filtering

ToolScope: 通过工具合并和上下文感知过滤增强LLM代理的工具使用

Marianne Menglin Liu, Daniel Garcia, Fjona Parllaku, Vikas Upadhyay, Syed Fahad Allam Shah, Dan Roth

机构 * Oracle AI 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ToolScope通过自动校正的工具合并和上下文感知检索提升LLM代理的工具选择准确性，实验表明在三个顶级LLM和开源基准上提升了8.38%至38.6%的准确率。

Comments ACL Main Conference 2026

Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM

从输入侧最小化模态差距：你的语音大语言模型可以成为具有语调意识的文本大语言模型

Wenqian Cui, Xiao-Hui Li, Daxin Tan, Qiyong Zheng, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huawei Technologies（华为技术） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；SLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出TextPro-SLM，通过改进语音输入使其更接近具有语调意识的文本大语言模型，从而有效减少模态差距，实验表明其在3B和7B规模下表现最佳，且数据效率高。

Comments Work in progress

New Bounds for Zarankiewicz Numbers via Reinforced LLM Evolutionary Search

通过强化LLM进化搜索获得Zarankiewicz数的新界

Jay Bhan, Nicole Nobili, Patrick Langer

机构 * Massachusetts Institute of Technology（麻省理工学院） ； ETH Zürich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文首次确定三个Zarankiewicz数的精确值，并通过强化LLM进化搜索方法为41个数建立下界，展示了LLM引导的进化搜索在数学研究中的潜力。

Comments *Jay Bhan and Nicole Nobili contributed equally to this work as first authors, and their order was determined via coin flip

P3-LLM: An Integrated NPU-PIM Accelerator for Edge LLM Inference Using Hybrid Numerical Formats

P3-LLM：一种用于边缘LLM推理的NPU-PIM集成加速器，采用混合数值格式

Yuzong Chen, Chao Fang, Xilai Dai, Yuheng Wu, Thierry Tambe, Marian Verhelst, Mohamed S. Abdelfattah

机构 * Department of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程系） ； EAST-MICAS, KU Leuven（KU莱顿大学EAST-MICAS） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出P3-LLM，通过混合精度量化和PIM架构设计，提升边缘LLM推理效率，实现4.9倍以上的加速效果。

Comments Accepted to the 53rd IEEE/ACM International Symposium on Computer Architecture (ISCA), 2026

RHyVE: Competence-Aware Verification and Phase-Aware Deployment for LLM-Generated Reward Hypotheses

RHyVE：基于能力的验证与阶段感知部署用于LLM生成的奖励假说

Feiyu Wu, Xu Zheng, Zhuocheng Wang, Yi ming Dai, Hui Li

机构 * School of Cyber Engineering, Xidian University（西安电子科技大学电子工程学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究提出RHyVE框架，通过能力感知验证和阶段感知部署提升LLM生成奖励假说的可靠性，实验显示在低能力阶段奖励排名不可靠，但经过任务依赖阈值后变得有效。

UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction

UAF：面向全双工语音交互的统一音频前端LLM

Yadong Li, Guoxin Wu, Haiping Hou, Biye Li

机构 * Alibaba Inc.（阿里巴巴公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出UAF，一种统一音频前端LLM，通过将多种语音前端任务统一为序列预测问题，提升全双工语音交互的响应速度和中断准确性。

NeuronMLP: Efficient LLM Inference via Singular Value Decomposition Compression and Tiling on AWS Trainium

NeuronMLP：通过AWS Trainium上的奇异值分解压缩和分块实现高效的LLM推理

Dinghong Song, Jierui Xu, Weichu Yang, Pengfei Su, Dong Li

机构 * University of California, Merced USA ； University of Wisconsin, Madison USA ； Yotta Labs \& University of California, Merced USA ； University of California, Merced ； University of Wisconsin, Madison ； Yotta Labs \& University of California, Merced 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出NeuronMLP，基于奇异值分解压缩和分块技术优化AWS Trainium上的LLM推理，通过定制化技术减少数据移动，提升SRAM带宽，实现1.35倍的内核加速和1.21倍的端到端推理加速。

Comments 12 pages, 8 figures

LLM-guided phase diagram construction through high-throughput experimentation

通过高通量实验构建LLM引导的相图

Ryo Tamura, Haruhiko Morito, Yuna Oikawa, Guillaume Deffrennes, Shoichi Matsuda, Naruki Yoshikawa, Tomoaki Takayama, Taichi Abe, Koji Tsuda, Kei Terayama

机构 * Center for Basic Research on Materials（材料基础研究中心） ； National Institute for Materials Science（国家材料科学研究所） ； Graduate School of Frontier Sciences（前沿科学研究生院） ； The University of Tokyo（东京大学） ； RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心） ； Core Facility Center（核心设施中心） ； Tohoku University（东北大学） ； Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； CNRS（法国国家科学研究中心） ； Grenoble INP（格勒诺布尔INP） ； SIMaP ； Center for Green Research on Energy and Environmental Materials（能源与环境材料绿色研究中心） ； Nara Institute of Science and Technology（奈良科学技术大学） ； Research Center for Structural Materials（结构材料研究中心） ； Graduate School of Medical Life Science（医学生命科学研究生院） ； Tokyo Institute of Technology（东京技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究LLM在构建多组分合金相图中的应用，通过高通量实验和X射线衍射分析，展示了LLM在实验规划中的互补优势，验证了其在相图构建中的潜力。

Comments 39 pages

NameBERT: Scaling Name-Based Nationality Classification with LLM-Augmented Open Academic Data

NameBERT: 通过LLM增强的开放学术数据扩展基于名称的国籍分类

Cong Ming, Ruixin Shi, Yifan Hu

机构 * Northeastern University, United States（美国东北大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出NameBERT，利用LLM增强开放学术数据构建大规模名称-国籍数据集，通过生成低资源国家名称提升分类性能，实现高效且准确的国籍分类。

Comments 12 pages, 3 figures, 8 tables; accepted at the 39th Canadian Conference on Artificial Intelligence (Canadian AI 2026)

Journal ref Proceedings of Machine Learning Research 318 (2026)

Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey

动态模型路由与级联用于高效LLM推理：综述

Yasmin Moslem, John D. Kelleher

机构 * ADAPT Centre（ADAPT中心） ； School of Computer Science & Statistics（计算机科学与统计学学院） ； Trinity College Dublin（都柏林三一学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文综述了多LLM路由与级联方法，分析了不同路由范式及关键权衡，提出框架揭示路由系统在决策时机、信息使用和计算方式上的特性，强调实际系统常整合多种范式以优化性能。

Comments Work funded by ADAPT Centre, Trinity College Dublin, and Huawei Ireland

Breaking Validity-Induced Boundaries to Expand Algorithm Search Space: A Two-Stage AST-Based Operator for LLM-Driven Automated Heuristic Evolution

突破有效性诱导边界以扩展算法搜索空间：一种基于AST的双阶段算子用于LLM驱动的自动启发式进化

Sun Shengming, Shi Jialong

机构 * School of Mathematics and Statistics, Xi'an Jiaotong University（西安交通大学数学与统计学学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种双阶段基于AST的算子，通过生成无效结构并利用LLM修复，提升LLM驱动自动启发式进化算法的搜索能力，在TSP和OBP上验证了其优化性能和收敛速度的提升。

Comments 7 pages, 2 figures

HYPERHEURIST: A Simulated Annealing-Based Control Framework for LLM-Driven Code Generation in Optimized Hardware Design

HYPERHEURIST：一种基于模拟退火的控制框架，用于优化硬件设计中的LLM驱动代码生成

Shiva Ahir, Prajna Bhat, Alex Doboli

机构 * Department of ECE（电子工程系） ； Stony Brook University（石溪大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出HYPERHEURIST框架，通过模拟退火方法提升LLM生成RTL设计的稳定性与重复性，兼顾功能正确性和PPA优化。

Comments 8 pages, 2 figures, 5 tables. Accepted at IJCNN 2026

Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines

Scepsy：利用聚合LLM管道服务代理工作流

Marcel Wagenländer, Otto White, Britannio Jarrett, Pedro Silvestre, Yanda Tao, Guo Li, Huanzhou Zhu, Llúis Vilanova, Peter Pietzuch

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Scepsy通过聚合LLM管道高效调度多LLM代理工作流，实现高吞吐量和低延迟，相比独立优化或用户指定分配的系统，吞吐量提升2.4倍，延迟降低27倍。

Disentangle-then-Refine: LLM-Guided Decoupling and Structure-Aware Refinement for Graph Contrastive Learning

解耦后再细化：基于LLM的解耦与结构感知细化用于图对比学习

Zhaoxing Li, Hai-Feng Zhang, Xiaoming Zhang

机构 * Institute of Physical Science and Information Technology（物理科学与信息技术研究院） ； School of Mathematical Sciences（数学科学学院） ； Qinghai Institute of Science and Technology Information（青海科学技术信息研究院） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SDM-SCR框架，通过LLM解耦任务相关信号与噪声，并利用结构感知细化消除幻觉，提升图对比学习的准确性和效率。

Comments Accept in ICME 2026

MCP-Flow: Facilitating LLM Agents to Master Real-World, Diverse and Scaling MCP Tools

MCP-Flow：帮助LLM代理掌握现实世界、多样且可扩展的MCP工具

Wenhao Wang, Peizhi Niu, Zhao Xu, Zhaoyu Chen, Jian Du, Yaxin Du, Xianghe Pang, Keduan Huang, Yanfeng Wang, Qiang Yan, Siheng Chen

机构 * TikTok ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MCP-Flow通过自动化流程提升LLM在现实世界MCP环境中的能力，通过大规模服务器发现、数据合成和模型训练，生成高质量指令-功能调用对和轨迹，推动代理任务性能提升。

Comments ACL 2026 Main, Camera Ready

Vec-LUT: Vector Table Lookup for Parallel Ultra-Low-Bit LLM Inference on Edge Devices

Vec-LUT：用于边缘设备上并行超低比特LLM推理的向量表查找

Xiangyu Li, Chengyu Yin, Weijun Wang, Jianyu Wei, Ting Cao, Yunxin Liu

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； Beijing Jiaotong University（北京交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Vec-LUT，通过统一表查找和缓存感知流查找技术，提升边缘设备上超低比特LLM推理效率，实验显示性能提升达4.2倍。

Comments MobiSys 2026

SEPTQ: A Simple and Effective Post-Training Quantization Paradigm for Large Language Models

SEPTQ：一种用于大型语言模型的简单且有效的后训练量化范式

Han Liu, Haotian Gao, Xiaotong Zhang, Changya Li, Feng Zhang, Wei Wang, Fenglong Ma, Hong Yu

机构 * Dalian University of Technology（大连理工大学） ； Peking University（北京大学） ； Shenzhen MSU-BIT University（深圳北理莫斯科大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；分类 cs.CL

AI总结 SEPTQ提出了一种简化后训练量化流程的方法，通过重要性评分和静态全局确定量化位置，提升低比特量化下的性能。

Comments Accepted to KDD 2025. 12 pages, 10 figures

LLM-ODE: Data-driven Discovery of Dynamical Systems with Large Language Models

LLM-ODE：利用大语言模型发现动态系统的数据驱动方法

Amirmohammad Ziaei Bideh, Jonathan Gryak

机构 * The Graduate Center, CUNY（纽约市立大学研究生中心） ； Queens College and The Graduate Center, CUNY（纽约市立大学皇后学院与研究生中心） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出LLM-ODE框架，利用大语言模型指导符号进化，提升动态系统方程发现的效率和准确性。

LUT-LLM: Efficient Large Language Model Inference with Memory-based Computations on FPGAs

LUT-LLM: 通过FPGA上的基于内存的计算实现高效的大型语言模型推断

Zifan He, Shengyu Ye, Rui Ma, Yang Wang, Jason Cong

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出LUT-LLM，首个利用基于内存计算的FPGA加速器，通过向量量化部署10亿参数语言模型，提升FPGA效率以竞争GPU性能。

Comments Extended, 11 pages, FCCM 2026

FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression

FLAT-LLM: 细粒度低秩激活空间变换用于大语言模型压缩

Jiayi Tian, Ryan Solgi, Jinming Lu, Yifan Yang, Hai Li, Zheng Zhang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 FLAT-LLM通过细粒度低秩激活空间变换实现大语言模型的高效结构压缩，无需训练即可完成权重压缩和校准，提升推理效率与性能。

Benford's Law as a Distributional Prior for Post-Training Quantization of Large Language Models

本福特定律作为大语言模型后训练量化中的分布性先验

Arthur Negrão, Pedro Silva, Vander L. S. Freitas, Gladston Moreira, Eduardo Luz

机构 * Postgraduate Program in Computer Science, Federal University of Ouro Preto（计算机科学硕士课程，联邦大学奥鲁普里托） ； Computing Department, Federal University of Ouro Preto（计算部门，联邦大学奥鲁普里托） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title)；small language model(abstract)

AI总结 本福特定律用于大语言模型后训练量化，通过非均匀量化器提升压缩效果，减少困惑度并保持竞争力。

Guardrails for trust, safety, and ethical development and deployment of Large Language Models (LLM)

大型语言模型（LLM）的信任、安全与伦理发展和部署的防护措施

Anjanava Biswas, Wrick Talukdar

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种灵活自适应序列机制，结合信任和安全模块，用于实现大型语言模型开发和部署的安全防护。

Journal ref Journal Of Science & Technology, Vol. 4 No. 6 (2023), 55-82

SLAM-LLM: A Modular, Open-Source Multimodal Large Language Model Framework and Best Practice for Speech, Language, Audio and Music Processing

SLAM-LLM: 一种模块化、开源的多模态大语言模型框架及语音、语言、音频和音乐处理的最佳实践

Ziyang Ma, Guanrou Yang, Wenxi Chen, Zhifu Gao, Yexing Du, Xiquan Li, Zhisheng Zheng, Haina Zhu, Jianheng Zhuo, Zheshu Song, Ruiyang Xu, Tiranrui Wang, Yifan Yang, Yanqiao Zhu, Zhikang Niu, Liumeng Xue, Yinghao Ma, Ruibin Yuan, Shiliang Zhang, Kai Yu, Eng Siong Chng, Xie Chen

机构 * X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院，人工智能教育部重点实验室，上海交通大学） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Peng Cheng Laboratory（鹏城实验室） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Tianjin University（天津大学） ； Hong Kong University of Science and Technology（香港科学大学） ； Queen Mary University of London（伦敦玛丽女王大学） ； Nanyang Technological University（南洋理工大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 SLAM-LLM是一种开源多模态大语言模型框架，专注于语音、语言、音频和音乐处理，提供模块化配置和高性能检查点以加速研究开发。

Comments Published in IEEE Journal of Selected Topics in Signal Processing (JSTSP)

Adaptive Layer-Wise Transformations for Post-Training Quantization of Large Language Models

自适应层级变换用于大语言模型的后训练量化

Cuong Pham, Hoang Anh Dung, Cuong C. Nguyen, Trung Le, Gustavo Carneiro, Jianfei Cai, Thanh-Toan Do

机构 * Department of Data Science and AI, Monash University, Australia（墨尔本大学数据科学与人工智能系） ； Centre for Vision, Speech and Signal Processing, University of Surrey, UK（萨里大学视觉、语音和信号处理中心） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title)；LLM(abstract)

AI总结 本文提出自适应层级变换方法，通过优化每层变换类型，提升大语言模型在低比特量化下的性能。