语言大模型 / LLM

Reversing Large Language Models for Efficient Training and Fine-Tuning

反向大型语言模型以实现高效的训练和微调

Eshed Gal, Moshe Eliasof, Javier Turek, Uri Ascher, Eran Treister, Eldad Haber

机构 * Department of Computer Science, University of British Columbia（计算机科学系，不列颠哥伦比亚大学） ； Department of Computer Science, Ben Gurion University（计算机科学系，本· Gurion大学） ； EarthDynamics AI ； Department of Earth, Ocean and Atmospheric Sciences, University of British Columbia（地球、海洋和大气科学系，不列颠哥伦比亚大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 本研究提出可逆架构以高效训练和微调LLM，通过时间可逆动力学减少内存消耗，提升吞吐量，并通过微调将现有模型转换为可逆架构。

LLM-SrcLog: Towards Proactive and Unified Log Template Extraction via Large Language Models

LLM-SrcLog: 通过大语言模型实现前瞻性与统一的日志模板提取

Jiaqi Sun, Wei Li, Heng Zhang, Chutong Ding, Shiyou Qian, Jian Cao, Guangtao Xue

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title)；language model(title)

AI总结 LLM-SrcLog通过结合源代码分析与大语言模型，实现前瞻性日志模板提取，提升解析效率和准确性。

Responsible LLM Deployment for High-Stake Decisions by Decentralized Technologies and Human-AI Interactions

通过去中心化技术和人机交互实现高风险决策的负责任LLM部署

Swati Sachan, Theo Miller, Mai Phuong Nguyen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出通过去中心化技术和人机交互实现LLM在高风险决策中的负责任部署，通过多次迭代评估不确定样本并确保解释的稳定性，以提高安全性和责任追溯能力。

Comments IEEE International Conference on Human-Machine Systems, 2025

David vs. Goliath: Can Small Models Win Big with Agentic AI in Hardware Design?

大卫与歌利亚：小型模型能否通过代理AI在硬件设计中胜出？

Shashwat Shankar, Subhranshu Pandey, Innocent Dengkhw Mochahari, Bhabesh Mali, Animesh Basak Chowdhury, Sukanta Bhattacharjee, Chandan Karfa

机构 * Indian Institute of Technology, Guwahati, India（印度理工学院冈瓦提分校） ； NXP USA, Inc.（NXP美国公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本研究探讨小型语言模型结合代理AI在硬件设计中的应用，证明其在成本效率和性能上的优势。

Toward Sustainability-Aware LLM Inference on Edge Clusters

迈向可持续的边缘集群大语言模型推理

Kolichala Rajashekar, Nafiseh Sharghivand, Radu Prodan, Reza Farahani

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种针对边缘集群的可持续大语言模型推理方法，通过碳和延迟感知的路由策略平衡推理延迟和碳足迹。

Comments 4 pages, 5 figures, 3 tables, conference paper

PennyCoder: Efficient Domain-Specific LLMs for PennyLane-Based Quantum Code Generation

PennyCoder: 用于PennyLane量子代码生成的高效领域特定LLM

Abdul Basit, Minghao Shao, Muhammad Haider Asif, Nouhaila Innan, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 PennyCoder是一种针对PennyLane量子编程的高效领域特定LLM，通过本地部署和低秩适应技术提升量子代码生成的准确性和效率。

Comments 6 pages, 5 figures, 3 tables, paper accepted to QCE 2025

Journal ref 2025 IEEE International Conference on Quantum Computing and Engineering (QCE), Albuquerque, NM, USA

OsmT: Bridging OpenStreetMap Queries and Natural Language with Open-source Tag-aware Language Models

OsmT: 通过开源标签感知语言模型连接OpenStreetMap查询与自然语言

Zhuoyue Wan, Wentao Hu, Chen Jason Zhang, Yuanfeng Song, Shuaimin Li, Ruiqiang Xiao, Xiao-Yong Wei, Raymond Chi-Wing Wong

机构 * The Hong Kong Polytechnic University（香港理工大学） ； WeBank ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 OsmT通过开源标签感知语言模型连接自然语言与OpenStreetMap查询，提升查询生成和解释的准确性与可访问性。

Comments 42nd IEEE International Conference on Data Engineering (ICDE)

Training Foundation Models on a Full-Stack AMD Platform: Compute, Networking, and System Design

在全栈AMD平台上训练基础模型：计算、网络和系统设计

Quentin Anthony, Yury Tokpanov, Skyler Szot, Srivatsan Rajagopal, Praneeth Medepalli, Anna Golubeva, Vasu Shyam, Robert Washbourne, Rishi Iyer, Ansh Chaurasia, Tomas Figliolia, Xiao Yang, Abhinav Sarje, Drew Thorstensen, Amartey Pearson, Zack Grossbart, Jason van Patten, Emad Barsoum, Zhenyu Gu, Yao Fu, Beren Millidge

机构 * IBM 纠错

专题命中 效率与部署 ：foundation model(title)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了在AMD全栈平台上训练大规模混合专家模型的方法，展示了ZAYA1模型在预训练中的性能表现。

AdmTree: Compressing Lengthy Context with Adaptive Semantic Trees

AdmTree: 通过自适应语义树压缩长上下文

Yangning Li, Shaoshen Chen, Yinghui Li, Yankai Chen, Hai-Tao Zheng, Hui Wang, Wenhao Jiang, Philip S. Yu

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 AdmTree通过自适应语义树实现高效上下文压缩，保留高语义保真度并减少计算开销。

Comments NeurIPS 2025

RoCo: Role-Based LLMs Collaboration for Automatic Heuristic Design

RoCo：基于角色的LLM协作用于自动启发式设计

Jiawei Xu, Feng-Feng Wei, Wei-Neng Chen

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RoCo通过多角色协作提升自动启发式设计的多样性和质量，实现高绩效的组合优化解决方案。

The Initialization Determines Whether In-Context Learning Is Gradient Descent

初始化决定了上下文学习是否是梯度下降

Shifeng Xie, Rui Yuan, Simone Rossi, Thomas Hannagan

机构 * Telecom Paris Institut Polytechnique de Paris（巴黎理工电信学院） ； Lexsi Labs（Lexsi实验室） ； EURECOM ； Stellantis 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了初始化对上下文学习是否等同于梯度下降的影响，提出yq-LSA方法改进了多头LSA的性能，并在回归任务和语义相似性任务中验证了其有效性。

FlashFormer: Whole-Model Kernels for Efficient Low-Batch Inference

FlashFormer: 整体模型内核用于高效低批次推理

Aniruddha Nrusimha, William Brandon, Mayank Mishra, Yikang Shen, Rameswar Panda, Jonathan Ragan-Kelley, Yoon Kim

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 FlashFormer通过将Transformer前向传递融合为单个内核，实现大语言模型低批次推理的高效加速。

Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems

基于上下文的混合专家推理在支持CXL的GPU-NDP系统中

Zehao Fan, Zhenyu Liu, Yunzhen Liu, Yayue Hou, Hadjer Benmeziane, Kaoutar El Maghraoui, Liu Liu

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； IBM Research Europe（IBM欧洲研究院） ； IBM T. J. Watson Research Center（IBM托马斯·贾诺斯·沃森研究中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种基于上下文的混合专家推理系统，利用CXL-NDP减少内存传输成本，提升解码吞吐量8.7倍，精度仅下降0.13%。

Sharp Eyes and Memory for VideoLLMs: Information-Aware Visual Token Pruning for Efficient and Reliable VideoLLM Reasoning

锐眼与记忆：视频大语言模型的信息感知视觉标记修剪方法

Jialong Qin, Xin Zou, Di Lu, Yibo Yan, Xuming Hu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SharpV通过自适应视觉标记修剪和键值缓存修剪，提升视频大语言模型的效率与可靠性，是首个无需暴露注意力分数的两阶段修剪框架。

Comments The 40th Annual AAAI Conference on Artificial Intelligence (AAAI-26) Poster

Reflection Removal through Efficient Adaptation of Diffusion Transformers

通过高效适应扩散变换器实现反射去除

Daniyar Zakarin, Thiemo Wandel, Anton Obukhov, Dengxin Dai

机构 * ETH Zürich（苏黎世联邦理工学院） ； HUAWEI Bayer Lab（华为拜耳实验室） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于扩散变换器的高效反射去除方法，通过物理驱动的数据合成和LoRA适应，实现了高保真的反射去除性能。

Large Speech Model Enabled Semantic Communication

基于大语音模型的语义通信

Yun Tian, Zhijin Qin, Guocheng Lv, Ye Jin, Kaibin Huang, Zhu Han

机构 * School of Electronics, Peking University（北京大学电子学院） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系） ； Department of Computer Science and Engineering, Kyung Hee University（庆熙大学计算机科学与工程系） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出基于大语音模型的语义通信系统，利用Mimi编解码器和LoRA微调技术，实现适应性压缩与鲁棒传输，支持低带宽下的高质量语音传输。

Comments 15 pages, 9 figures

Towards 6G Native-AI Edge Networks: A Semantic-Aware and Agentic Intelligence Paradigm

迈向6G原生AI边缘网络：一种语义感知和代理智能范式

Chenyuan Feng, Anbang Zhang, Geyong Min, Yongming Huang, Tony Q. S. Quek, Xiaohu You

机构 * College of Computer Science, University of Exeter, Exeter, U.K.（埃克塞特大学计算机科学学院） ； Sony China Research Laboratory, Beijing, China（索尼中国研究实验室） ； School of Information Science and Engineering, Southeast University, Nanjing, China（东南大学信息科学与工程学院） ； Purple Mountain Laboratories, Nanjing, China（紫金山实验室） ； Information System Technology and Design Pillar, Singapore University of Technology and Design, Singapore（新加坡科技设计大学信息系统技术与设计支柱） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出语义感知和代理智能范式，旨在通过统一分类法和促进技术推动6G原生AI边缘网络的发展。

Comments submitted to Digital Communications and Networks

LiteVGGT: Boosting Vanilla VGGT via Geometry-aware Cached Token Merging

LiteVGGT: 通过几何感知的缓存标记合并提升基础VGGT

Zhijian Shu, Cheng Lin, Tao Xie, Wei Yin, Ben Li, Zhiyuan Pu, Weize Li, Yao Yao, Xun Cao, Xiaoyang Guo, Xiao-Xiao Long

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） ； Horizon Robotics ； Nanjing University（南京大学） ； Zhejiang University（浙江大学） ； Macau University of Science and Technology（澳门科技大学） ； TARS Robotics ； China Mobile Zijin Innovation Institute（中国移动吉林创新研究院） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 LiteVGGT通过几何感知的缓存标记合并提升基础VGGT的效率，实现10倍加速和内存减少，适用于大规模3D重建场景。

Adaptive Optics-Enhanced Michelson Interferometer for Spectroscopy of Narrow-Band Light Sources

自适应光学增强的米歇尔逊干涉仪用于窄带光源光谱学

Jesneil Lauren Lewis, Ayan Banerjee

专题命中 效率与部署 ：SLM(abstract)

AI总结 利用自适应光学增强的米歇尔逊干涉仪，通过条纹图案实现快速单次快照窄带光源光谱学，提升光谱分析效率与精度。

Comments 6 pages, 7 figures

MelTok: 2D Tokenization for Single-Codebook Audio Compression

MelTok：单代码本音频压缩的2D分token化

Jingyi Li, Zhiyuan Zhao, Zhisheng Zhang, Yunfei Liu, Lijian Lin, Ye Zhu, Jiahao Wu, Qiuqiang Kong, Yu Li

机构 * International Digital Economy Academy (IDEA)（国际数字经济学院） ； Chinese University of Hong Kong（香港中文大学） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生学院） 纠错

专题命中 效率与部署 ：language model(abstract)

AI总结 MelTok通过二维分token化和基于分token的vocoder，实现单代码本下的高效音频压缩与高质量重建。

Comments 11 pages, 6 figures