arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 22280 信号源:cs.CL, cs.AI, cs.LG

1. 效率与部署 22280 篇

2604.24162 2026-07-31 cs.CR cs.AI 版本更新 92%

Defusing the Trigger: Tail-Risk-Informed Attention Rebalancing for LLM Backdoor Mitigation

解除触发器:通过尾风险内在几何平滑实现的插件式防御方法用于后门LLM

Kaisheng Fan, Yishu Gao, Xunzhu Tang, Tegawendé F. Bissyandé, Weizhe Zhang

机构 * School of Cyber Science and Technology(网络安全科学与技术学院) Harbin Institute of Technology(哈尔滨工业大学) Peng Cheng Laboratory(鹏城实验室) University of Luxembourg(卢森堡大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出TIGS方法,通过在推理时进行内容感知的尾风险筛查和内在几何平滑,有效抑制后门攻击,同时保持推理稳定性和语义一致性,适用于多种架构的LLM。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26571 2026-07-30 cs.LG cs.SE 新提交 92%

From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs

从Token到瓦时:现代GPU上大语言模型(LLM)推理的分析式能耗估算

Tina Vartziotis, Rodopi Kosteli, Elli Vartziotis, George Dasoulas, Michael Keckeisen, Konstantinos Skianis, Sotirios Kotsopoulos, Francesca Dominici

机构 * National Technical University of Athens(雅典国家技术大学) Harvard University(哈佛大学) TWT GmbH Science & Innovation(TWT有限责任公司科学与创新部) NIKI Ltd Digital Engineering(尼基数字工程有限公司) University of Ioannina(约阿尼纳大学) National and Kapodistrian University of Athens(雅典国立卡波迪斯特里亚大学) Massachusetts Institute of Technology(麻省理工学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 该研究提出一种无需直接测量的GPU级LLM推理能耗分析估算方法,适用于模型比较、绿色编码分析及设计时评估。

Comments 20 pages, 3 figures, 6 tables. Accepted for oral presentation at the GREEN-AI Workshop, co-located with ECML-PKDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.07246 2026-07-30 cs.CL 版本更新 92%

Ensembling LLM-Induced Decision Trees for Explainable and Robust Error Detection

集成LLM诱导决策树用于可解释和鲁棒的错误检测

Mengqi Wang, Jianwei Wang, Qing Liu, Xiwei Xu, Zhenchang Xing, Liming Zhu, Michael Bain, Wenjie Zhang

机构 * UNSW Sydney(新南威尔士大学悉尼分校) Data61, CSIRO(Data61, 澳大利亚联邦科学与工业研究组织)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出集成LLM诱导决策树的方法,用于可解释和鲁棒的错误检测,通过多棵树集成提升检测准确性与鲁棒性。

Comments 15 pages, 7 figures. Accepted at KDD 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19387 2026-07-15 cs.SE cs.AI 版本更新 92%

Interpretable and Verifiable Hardware Generation with LLM-Driven Stepwise Refinement

可解释且可验证的硬件生成:基于LLM驱动的逐步细化

You Li, Samuel Mandell, David Z. Pan

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) Fudan University(复旦大学) USA(美国)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出结合LLM创造力与形式化方法可解释性的硬件生成框架,通过迭代应用变换规则将设计规范转换为正确性有保证的RTL程序。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.07066 2026-07-14 cs.AI 版本更新 92%

2.5-D Decomposition for LLM-Based Spatial Construction

基于2.5-D分解的LLM空间构建

Paul Whitten, Li-Jen Chen, Sharath Baddam

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出了一种基于2.5-D分解的神经符号管道,通过让LLM在二维水平面上规划,同时确定性执行器计算垂直放置,从而消除一类错误,提升了空间构建的准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.01143 2026-07-14 cs.AI 版本更新 92%

A Low-Latency Fraud Detection Layer for Detecting Adversarial Interaction Patterns in LLM-Powered Agents

面向LLM代理的低延迟欺诈检测层:用于检测对抗性交互模式

Sheldon Yu, Yingcheng Sun, Hanqing Guo, Qianqian Tong

机构 * University of California, San Diego(加州大学圣地亚哥分校) Indiana University Bloomington(印第安纳大学布卢明顿分校)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出一种低延迟欺诈检测机制,通过交互轨迹的结构化运行时特征检测对抗性交互模式,采用轻量模型实现实时部署,实验表明交互层面行为检测应成为LLM代理部署时的核心防护措施。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17267 2026-07-13 cs.AI stat.AP 版本更新 92%

Rectification Difficulty and Optimal Sample Allocation in LLM-Augmented Surveys

LLM增强调查中的校正难度与最优样本分配

Zikun Ye, Hema Yoganarasimhan

机构 * Michael G. Foster School of Business, University of Washington(华盛顿大学Michael G. Foster商学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文研究在LLM预测可用时如何分配人类样本以提高估计效率,提出校正难度分析、最优分配规则及元学习方法,通过实验证明其在不同领域和LLM上的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29251 2026-07-09 cs.AI q-fin.CP 版本更新 92%

When Summaries Distort Decisions: Information Fidelity in LLM-Compressed Financial Analysis

当摘要扭曲决策:LLM压缩财务分析中的信息保真度

Hoyoung Lee, Suhwan Park, Seunghan Lee, Jun Seo, Jaehoon Lee, Sungdong Yoo, Minjae Kim, CheolWon Na, Zhangyang Wang, Zach Golkhou, Minkyu Kim, Sotirios Sabanis, Alejandro Lopez-Lira, Dhagash Mehta, Soonyoung Lee, Chanyeol Choi, Wonbin Ahn, Yongjae Lee

机构 * UNIST(全纳科学技术大学) LG AI Research(LG人工智能研究) Sungkyunkwan University(成均馆大学) University of Texas at Austin(德克萨斯大学奥斯汀分校) J.P. Morgan Chase(摩根大通) State Street(州立银行) University of Edinburgh(爱丁堡大学) University of Florida(佛罗里达大学) BlackRock(黑石) LinqAlpha

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 研究LLM压缩财务信息时因丢失决策相关上下文导致投资判断改变的问题,提出通过生成多个候选压缩并审计分歧的代理上下文压缩方法。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.11021 2026-07-08 cs.LG 版本更新 92%

Leech Lattice Vector Quantization for Efficient LLM Compression

Leech晶格向量量化用于高效的LLM压缩

Tycho F. A. van der Ouderaa, Mart van Baalen, Paul Whatmough, Markus Nagel

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出Leech晶格向量量化方法,通过高维晶格结构实现高效LLM压缩,优于现有量化方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23370 2026-07-03 cs.CR cs.LG cs.OS 新提交 92%

FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation

FlexServe: 一种面向移动设备的快速安全LLM服务系统,具有灵活的资源隔离

Yinpeng Wu, Yitong Chen, Lixiang Wang, Jinyu Gu, Zhichao Hua, Yubin Xia

机构 * Institute of Parallel and Distributed Systems(并行与分布式系统研究所)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 针对移动设备上LLM推理中TrustZone资源隔离不灵活和安全管理低效的问题,提出FlexServe系统,通过解耦安全资源的访问权限与管理权限,实现快速安全的推理,平均TTFT加速比达10.05倍。

Comments Repeated paper uploading due to mistakes. See arXiv:2603.09046

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.09046 2026-07-03 cs.CR cs.LG cs.OS 版本更新 92%

FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation

FlexServe: 一种适用于移动设备的高效且安全的LLM服务系统,具有灵活的资源隔离

Yinpeng Wu, Yitong Chen, Lixiang Wang, Jinyu Gu, Zhichao Hua, Yubin Xia

机构 * Institute of Parallel and Distributed Systems(并行与分布式系统研究所)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出FlexServe,一种适用于移动设备的高效且安全的LLM服务系统,通过灵活的资源隔离机制提升推理速度和安全性,采用多模型调度器优化多模型工作流,实验显示在TTFT和多模型工作流中均取得显著加速效果。

Comments 13 pages, 11 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26666 2026-07-02 cs.LG 新提交 92%

PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs

PersistentKV: 面向商用GPU上长上下文LLM服务的页面感知解码调度

Muhammad Ahmed

机构 * Muhammad Ahmed(穆罕默德·阿赫姆)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 针对长上下文LLM服务中KV缓存移动成为瓶颈的问题,提出PersistentKV引擎,通过页面感知调度和分组查询注意力优化解码,在RTX 3060上实现1.06-1.40倍吞吐提升。

Comments 7 pages, 3 tables; workshop paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.10540 2026-07-02 cs.LG 版本更新 92%

FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data

FusionFactory: 融合多LLM日志数据中的大语言模型能力

Tao Feng, Haozhen Zhang, Zijie Lei, Pengrui Han, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jiaxuan You

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Nanyang Technological University(南洋理工大学) Meta Monetization AI(Meta 变现人工智能) NVIDIA(英伟达)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出FusionFactory框架,通过查询级、思维级和模型级融合策略,利用多LLM日志数据提升模型性能,在14个基准测试中均优于最佳单模型。

Journal ref TMLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31635 2026-07-01 eess.SY cs.AI cs.MA cs.SY 新提交 92%

A Tutorial on Autonomous Fault-Tolerant Control Using Knowledge-Grounded LLM Agents

基于知识接地LLM代理的自主容错控制教程

Javal Vyas, Milapji Singh Gill, Artan Markaj, Felix Gehlhoff, Mehmet Mercangöz

机构 * Autonomous Industrial Systems Laboratory, Imperial College London(帝国理工学院自主工业系统实验室) Institute of Automation Technology, Helmut Schmidt University(赫尔穆特·施密特大学自动化技术研究所)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出利用LLM代理作为约束监督规划器,通过外部验证器确保安全,辅助过程工厂故障恢复决策,并提供了可执行的Python环境。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.08187 2026-07-01 cs.AI 版本更新 92%

Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression

利用同质性感知的结构和语义文本属性图压缩提升LLM推理能力

Zijun Di, Bin Lu, Huquan Kang, Luoyi Fu, Jiaxin Ding, Xiaoying Gan, Lei Zhou, Xinbing Wang

机构 * Shanghai Jiao Tong University(上海交通大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出HS2C框架,通过结构熵最小化进行全局层次划分以识别同质社区,并利用检测到的结构同质性指导LLM进行差异化语义聚合,在10个节点级和7个图级基准上同时提升压缩率和推理精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.17188 2026-07-01 cs.NI cs.AI cs.CR 版本更新 92%

LLM-Aided Joint Secrecy Precoding and Trajectory for RSMA-Based Heterogeneous UAV Networks

基于RSMA的异构无人机网络中LLM辅助的联合保密预编码与轨迹设计

Lijie Zheng, Ji He, Shih Yu Chang, Yulong Shen

机构 * School of Computer Science and Technology, Xidian University(西安电子科技大学计算机科学与技术学院) Department of Applied Data Science, San Jose State University(圣何塞州立大学应用数据科学系)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对RSMA异构无人机网络中的安全通信问题,提出分层优化框架:内层用SDR-S2DC算法求解固定位置下的保密预编码,外层用LLM引导的多智能体强化学习优化轨迹,实现保密速率与能效的权衡。

Comments Submitted to IEEE Transactions on Mobile Computing

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29113 2026-06-30 cs.GT cs.AI cs.MA 92%

LLM Semantic Signaling Game and Mechanism Design: Systematic Blindness, Awareness Shaping, and Mindset Dynamics

LLM语义信号博弈与机制设计:系统性盲区、意识塑造与心态动力学

Quanyan Zhu

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出语义信号博弈框架,通过意识依赖评分机制建模LLM中介的交互,结合高斯近似与完美贝叶斯纳什均衡分析策略行为,并设计机制塑造意识、惩罚欺骗以诱导良性均衡,实验验证了意识排序效应与对抗心态动力学。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29054 2026-06-30 cs.LG 92%

When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation

何时共形风险控制能认证LLM输出?界限、不可能性与结构化生成的自适应

Varun Kotte

机构 * Independent Researcher(独立研究者)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文研究共形风险控制(CRC)对结构化LLM输出的认证条件,证明不可能性结果并给出可行性检验,通过Hoeffding、Bernstein和e-CRC界限的层次化认证提升效率,并验证自适应共形推理(ACI)在跨数据集漂移下的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22327 2026-06-25 cs.AI 新提交 92%

Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice

面向LLM服务的几何感知在线调度:从理论界到系统实践

Li Kong, Qi Qi, Yinyu Ye, Zijie Zhou

机构 * Gaoling School of Artificial Intelligence(人工智能学院) Renmin University of China(中国人民大学) Department of Management Science and Engineering(管理科学与工程系) Stanford University(斯坦福大学) Department of Industrial Engineering and Decision Analytics(工业工程与决策分析系) HKUST(香港科技大学)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对LLM推理中KV缓存动态内存占用问题,提出Smallest Volume First (SVF)算法,通过几何感知调度优化性能,理论证明将竞争比从48降至5,并在vLLM中实现即插即用,显著降低平均和尾部延迟。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.23132 2026-06-25 cs.CR cs.AI 版本更新 92%

Verifiable Manifest Signing and Transparency Enforcement for Secure MCP-Based LLM Pipelines

可验证的清单签名与透明度强制:面向基于MCP的安全LLM流水线

Saeid Jamshidi, Kawser Wazed Nafi, Arghavan Moradi Dakhel, Foutse Khomh, Mohammad Hamdaqa

机构 * SWAT Laboratory, Polytechnique Montréal(SWAT实验室,蒙特利尔理工学院) SæT Laboratory, Polytechnique Montréal(SæT实验室,蒙特利尔理工学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对MCP协议缺乏工具清单认证的问题,提出清单级强制层,通过策略验证、新鲜度检查、数字签名、执行前验证和Merkle透明度日志,实现低开销、可追溯的LLM工具调用安全控制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24747 2026-06-24 cs.AI cs.CE 新提交 92%

Scaling Laws for Task-Specific LLM Distillation

任务特定LLM蒸馏的缩放定律

Lavinia Ghita, Dhruv Desai, Ioana Boier

机构 * NVIDIA(英伟达)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文推导了领域特定LLM压缩的经验缩放定律,通过定量金融领域的实验,比较了基于logit和LoRA的蒸馏方法,并引入混合思维链监督损失,揭示了监督格式对领域知识与通用知识权衡的关键作用。

Comments 24 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22179 2026-06-23 cs.CL 新提交 92%

The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

黑盒LLM分类中的分数粒度差距:置信度构建的比较研究

Ao Sun, Tian Sun, Jiaxing Geng

机构 * institutetext: 1 1(机构1) institutetext: 2 2(机构2) institutetext: 3 3(机构3)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究黑盒LLM分类中置信度分数的粒度差距,比较七种构建方法,发现单次口头置信度排名良好但取值有限,多查询聚合可帮助弱模型但可能降低强模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18272 2026-06-19 cs.NI cs.AI cs.SY eess.SY 新提交 92%

Mitigating Anchoring Bias in LLM-Based Agents for Energy-Efficient 6G Autonomous Networks

缓解基于LLM的智能体在节能6G自主网络中的锚定偏差

Hatim Chergui, Claudia Carballo González, Farhad Rezazadeh, Merouane Debbah

机构 * i2CAT Foundation(i2CAT基金会) Universitat Politècnica de Catalunya(政治技术大学) Research Institute for Digital Future(数字未来研究院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出一种基于截断三参数威布尔分布的随机锚定策略,缓解LLM智能体在6G网络切片中的锚定偏差,结合CVaR数字孪生保障SLA尾延迟,实现高达25%的节能。

Comments 7 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26557 2026-06-18 cs.CL 版本更新 92%

MemBoost: A Memory-Boosted Framework for Cost-Aware LLM Inference

MemBoost:一种面向成本感知的LLM推理的内存增强框架

Joris Köster, Zixuan Liu, Siavash Khajavi, Zizhan Zheng

机构 * University of Cambridge(剑桥大学) ETH Zurich(苏黎世联邦理工学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出MemBoost框架,通过轻量模型重用历史答案和检索支持信息,并选择性将困难查询路由到强模型,以降低LLM推理成本,同时保持回答质量。

Comments ICML MemFM 2026 Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17683 2026-06-17 cs.CL cs.PL 新提交 92%

Bridging Functional Correctness and Runtime Efficiency Gaps in LLM-Based Code Translation

弥合基于LLM的代码翻译中的功能正确性与运行时效率差距

Longhui Zhang, Jiahao Wang, Chenhao Hu, Bingyu Liang, Jing Li, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳))

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出SwiftTrans框架,通过多视角探索和差异感知选择两阶段,利用并行上下文学习和差异比较,同时提升LLM代码翻译的正确性和运行时效率。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.02721 2026-06-17 cs.SE cs.AI cs.PL 版本更新 92%

Blueprint First, Model Second: A Framework for Deterministic LLM Workflow

蓝图优先,模型其次:确定性LLM工作流框架

Libin Qiu, Yuhang Ye, Zhirong Gao, Xide Zou, Junfu Chen, Ziming Gui, Weizhi Huang, Xiaobo Xue, Wenkai Qiu, Kun Zhao

机构 * Alibaba(阿里巴巴)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出“蓝图优先,模型其次”框架,通过将工作流逻辑解耦为源代码蓝图并由确定性引擎执行,LLM仅处理子任务,在TravelPlanner上最终通过率提升97.6%,约束违反减少96.0%。

Comments 12 pages, 7 figures, 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15508 2026-06-16 cs.AI 新提交 92%

ToolMenuBench: Benchmarking Tool-Menu Filtering Strategies for Reliable and Efficient LLM Agents

ToolMenuBench: 用于可靠高效LLM智能体的工具菜单过滤策略基准测试

Rahul Suresh Babu, Laxmipriya Ganesh Iyer

机构 * Independent Researcher(独立研究者) United States of America(美国)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出ToolMenuBench基准,评估多步LLM智能体中工具菜单构建策略,发现因果最小工具过滤在任务成功率、令牌使用和风险暴露间取得最佳平衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11244 2026-06-11 cs.AR cs.AI 新提交 92%

SPEAR: A System for Post-Quantization Error-Adaptive Recovery Enabling Efficient Low-Bit LLM Serving

SPEAR: 一种后量化误差自适应恢复系统,实现高效低比特LLM服务

Hongyuan Liu, Yawei Li, Zhiqiang Que, Qinli Yang, Junming Shao, Guosheng Hu

机构 * University of Electronic Science and Technology of China(电子科学与技术大学) University of Bristol(布里斯托大学) ETH Zurich(苏黎世联邦理工学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对低比特量化导致LLM质量下降的问题,提出SPEAR系统,通过输入感知的门控误差补偿器(EC)选择性修正高误差层,结合自适应内核融合调度和SLO感知调度器,在<1%内存开销下恢复W4与FP16之间56-75%的困惑度差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21824 2026-06-11 cs.LG cs.DC 92%

DASH: Deterministic Attention Scheduling for High-throughput Reproducible LLM Training

DASH:确定性注意力调度用于高吞吐量可重复LLM训练

Xinwei Qiang, Hongmin Chen, Shixuan Sun, Jingwen Leng, Xin Liu, Minyi Guo

机构 * School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院) ByteDance Seed(字节跳动种子) Zhiyuan College, Shanghai Jiao Tong University(上海交通大学智源学院)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出DASH算法,通过优化计算和梯度缩减阶段调度,解决确定性注意力训练中的性能损失问题,提升LLM训练效率。

Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.10286 2026-06-10 cs.AI 新提交 92%

Sim2Schedule: A Simulator-Guided LLM Framework for Autonomous Open-Pit Mine Scheduling

Sim2Schedule: 一种模拟器引导的LLM框架用于自主露天矿调度

Mustavi Ibne Masum, Thiago Eustaquio Alves de Oliveira, Mahzabeen Emu

机构 * Department of Computer Science, Lakehead University(湖头大学计算机科学系) Quantum Communications and Computing Research Center and Department of Electrical and Computer Engineering, Memorial University of Newfoundland(新斯科舍纪念大学量子通信与计算研究中心及电气与计算机工程系) Department of Electrical and Computer Engineering, Memorial University of Newfoundland(新斯科舍纪念大学电气与计算机工程系)

专题命中 效率与部署 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出模拟器引导的LLM框架,将地质约束编码到动作生成中,零样本生成可解释调度方案,在保持线性计算时间下恢复MILP最优NPV的94%-99%。

详情

展开后加载摘要…

URL PDF HTML 收藏