语言大模型 / LLM

An Empirical Study on Low-Code Programming using Traditional vs Large Language Model Support

基于传统与大语言模型支持的低代码编程实证研究

Yongkun Liu, Jiachi Chen, Tingting Bi, John Grundy, Yanlin Wang, Jianxing Yu, Ting Chen, Yutian Tang, Zibin Zheng

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 本研究通过实证分析比较了传统与基于大语言模型的低代码编程方法在应用中的差异及影响。

LAET: A Layer-wise Adaptive Ensemble Tuning Framework for Pretrained Language Models

LAET: 一种用于预训练语言模型的分层自适应集成调优框架

Jawad Ibn Ahad, Muhammad Rafsan Kabir, Robin Krambroeckers, Sifat Momen, Nabeel Mohammed, Shafin Rahman

机构 * Artificial Intelligence Department, RobotBulls Labs（人工智能部门，RobotBulls实验室） ； Machine Intelligence Lab (MILab), North South University（机器智能实验室（MILab），北南大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 LAET提出了一种分层自适应集成调优框架，通过选择性微调预训练语言模型的关键层，以提高金融NLP任务的性能并降低计算成本。

A Hybrid Approach for EMF Code Generation:Code Templates Meet Large Language Models

一种混合方法用于EMF代码生成：代码模板与大型语言模型的结合

Xiao He, Ru Chen, Zeqing Zhang, Yanling Wang, Qiuyan Dong

专题命中 效率与部署 ：large language model(title)；language model(title)；LLM(abstract)

AI总结 本文提出iEcoreGen，结合EMF和LLM，通过模板生成初始代码并利用LLM完善方法，提升代码生成效率与准确性。

When Forgetting Builds Reliability: LLM Unlearning for Reliable Hardware Code Generation

当遗忘构建可靠性：用于可靠硬件代码生成的LLM去学习

Yiwen Liang, Qiufeng Li, Shikai Wang, Weidong Cao

机构 * Department of ECE, The George Washington University（电子工程系，乔治·华盛顿大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种针对LLM硬件代码生成的去学习框架，通过语法保持策略和细粒度损失机制有效去除不良知识，提升代码生成的可靠性。

LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference

LMCache: 一种高效的键值缓存层用于企业级大语言模型推理

Yuhan Liu, Yihua Cheng, Jiayi Yao, Yuwei An, Xiaokun Chen, Shaoting Feng, Yuyang Huang, Samuel Shen, Rui Zhang, Kuntai Du, Junchen Jiang

机构 * Tensormesh Inc.（Tensormesh公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LMCache是一种高效的键值缓存解决方案，通过优化数据移动和模块化设计，提升大语言模型推理的性能和可扩展性。

LLM-NAS: LLM-driven Hardware-Aware Neural Architecture Search

LLM-NAS: 基于大语言模型的硬件感知神经架构搜索

Hengyi Zhu, Grace Li Zhang, Shaoyi Huang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Technical University of Darmstadt（达姆施塔特技术大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 LLM-NAS通过引入复杂度驱动的分区引擎、架构提示共进化操作符和零成本预测器，实现高精度低延迟的神经架构搜索，显著降低搜索成本。

MOSS: Efficient and Accurate FP8 LLM Training with Microscaling and Automatic Scaling

MOSS：基于微缩和自动缩放的高效准确FP8大语言模型训练

Yu Zhang, Hui-Ling Zhen, Mingxuan Yuan, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MOSS通过微缩和自动缩放技术，实现高效准确的FP8大语言模型训练，提升训练吞吐量34%。

Efficient Text Classification with Conformal In-Context Learning

高效文本分类中的符合性上下文学习

Ippokratis Pantelidis, Korbinian Randl, Aron Henriksson

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出CICLe框架，通过结合轻量级分类器与符合性预测，提升文本分类效率，减少样本和提示长度，尤其在高类别不平衡任务中表现优异。

Comments 10 pages, 4 tables, 2 figures

SQ-format: A Unified Sparse-Quantized Hardware-friendly Data Format for LLMs

SQ-format: 一种统一的稀疏量化硬件友好数据格式用于大语言模型

Ruixuan Huang, Hao Zeng, Hantao Huang, Jinyuan Shi, Minghui Yu, Ian En-Hsu Yen, Shuai Wang

机构 * HKUST（香港科技大学） ； Moffett AI ； ByteDance Seed（字节跳动种子） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出SQ-format，一种统一的稀疏量化数据格式，旨在提升大语言模型在精度与效率之间的平衡，通过硬件友好设计实现性能与吞吐量的帕累托改进。

RevoNAD: Reflective Evolutionary Exploration for Neural Architecture Design

RevoNAD：基于反射的进化探索用于神经架构设计

Gyusam Chang, Jeongyoon Yoon, Shin han yi, JaeHyeok Lee, Sujin Jang, Sangpil Kim

机构 * Korea University（韩国大学） ； Samsung AI Center（三星人工智能中心） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 RevoNAD通过多轮多专家共识、自适应反射探索和帕累托引导的进化选择，实现了基于LLM的神经架构设计的高效优化与可靠生成。

Semore: VLM-guided Enhanced Semantic Motion Representations for Visual Reinforcement Learning

Semore：基于VLM的增强语义运动表示用于视觉强化学习

Wentao Wang, Chunyang Liu, Kehua Sheng, Bo Zhang, Yan Wang

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Semore通过结合VLM和CLIP实现高效的视觉强化学习，提升语义和运动表示的融合能力。

Reinforce-Ada: An Adaptive Sampling Framework under Non-linear RL Objectives

Reinforce-Ada: 非线性强化学习目标下的自适应采样框架

Wei Xiong, Chenlu Ye, Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian, Nan Jiang, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Reinforce-Ada通过自适应采样框架提升大语言模型在非线性强化学习目标下的推理性能，有效恢复丢失信号并加速收敛。

Comments 27 pages, 10 figures

LA-RL: Language Action-guided Reinforcement Learning with Safety Guarantees for Autonomous Highway Driving

LA-RL: 基于语言动作引导的安全强化学习用于自动驾驶高速公路驾驶

Yiming Shu, Jiahui Xu, Jiwei Tang, Ruiyang Gao, Chen Sun

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LA-RL通过整合大语言模型的语义推理和改进的安全层，提升自动驾驶高速公路驾驶的效率与安全性。

Synthesizing Performance Constraints for Evaluating and Improving Code Efficiency

为评估和提升代码效率合成性能约束

Jun Yang, Cheng-Chi Wang, Bogdan Alexandru Stoica, Kexin Pei

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 WEDGE通过生成性能压力输入，提升代码优化效果，释放PERFFORGE测试以评估未来高效代码生成方法。

Comments Accepted by Neurips 2025 (main poster)

Towards Data-efficient Customer Intent Recognition with Prompt-based Learning Paradigm

基于提示学习范式的高效客户意图识别

Hengyu Luo, Peng Liu, Stefan Esping

机构 * University of Helsinki（赫尔辛基大学） ； Ingka Group, IKEA（英格卡集团） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于提示学习的高效客户意图识别方法，通过减少数据依赖提升小型语言模型的识别性能。

Rethinking Sparse Autoencoders: Select-and-Project for Fairness and Control from Encoder Features Alone

重新思考稀疏自编码器：仅从编码器特征中进行选择和投影以实现公平性与控制

Antonio Bărbălau, Cristian Daniel Păduraru, Teodor Poncu, Alexandru Tifrea, Elena Burceanu

机构 * Bitdefender ； University Politehnica of Bucharest（巴特亚大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于编码器特征的选择和投影框架，通过改进公平性和可控性，提升模型在视觉语言和大语言模型中的表现。

Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings

层次Mamba与双曲几何：一种新的结构语言嵌入范式

Sarang Patil, Ashish Parmanand Pandey, Ioannis Koutis, Mengjia Xu

机构 * New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出层次Mamba结合双曲几何，以学习具有层次意识的语言嵌入，提升复杂层次推理能力。

Comments 10 pages, 3 figures

KQ-SVD: Compressing the KV Cache with Provable Guarantees on Attention Fidelity

KQ-SVD：通过可证明的注意力保真度保障压缩KV缓存

Damien Lesens, Beheshteh T. Rakhshan, Guillaume Rabusseau

机构 * ENS de Lyon（里昂高等师范学院） ； DIRO, Université de Montréal（蒙特利尔大学DIRO中心） ； Mila（Mila人工智能研究所） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 KQ-SVD通过最优低秩分解提升KV缓存压缩的注意力保真度，实验证明其在LLaMA和Mistral模型中表现优异。

Bita: A Conversational Assistant for Fairness Testing

Bita：一个用于公平性测试的对话助手

Keeryn Johnson, Cleyton Magalhaes, Ronnie de Souza Santos

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 Bita是一个基于大型语言模型的对话助手，旨在通过公平性视角帮助软件测试人员检测偏见、评估测试计划并生成公平性导向的测试章程，提供可重复的公平性测试解决方案。

Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment

Evo-1：轻量级视觉-语言-动作模型，保持语义对齐

Tao Lin, Yilei Zhong, Yuxin Du, Jingjing Zhang, Jiting Liu, Yinxinyu Chen, Encheng Gu, Ziyan Liu, Hongyi Cai, Yanwen Zou, Lixing Zou, Zhaoye Zhou, Gen Li, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； EvoMind Tech（EvoMind科技） ； IAAR-Shanghai（IAAR-上海） ； SII ； Carnegie Mellon University（卡内基梅隆大学） ； University of Cambridge（剑桥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：language model(abstract)；pretraining(abstract)

AI总结 Evo-1是一种轻量级的视觉-语言-动作模型，通过减少计算并保持语义对齐，实现了高效的部署和强大的性能。

Comments Github: https://github.com/MINT-SJTU/Evo-1

Adaptive Chain-of-Focus Reasoning via Dynamic Visual Search and Zooming for Efficient VLMs

基于动态视觉搜索和缩放的自适应聚焦推理方法用于高效VLMs

Xintong Zhang, Zhi Gao, Bofei Zhang, Pengxiang Li, Xiaowen Zhang, Yang Liu, Tao Yuan, Yuwei Wu, Yunde Jia, Song-Chun Zhu, Qing Li

机构 * organization= School of Computer Science \& Technology, Beijing Institute of Technology , city= Beijing , country= China ； organization= State Key Laboratory of General Artificial Intelligence, BIGAI , city= Beijing , country= China ； organization= School of Intelligence Science ； Technology, Peking University , city= Beijing , country= China ； organization= Guangdong Laboratory of Machine Perception ； Intelligent Computing, Shenzhen MSU--BIT University , city= Shenzhen , country= China ； organization= Department of Automation, Tsinghua University , city= Beijing , country= China 纠错

专题命中 效率与部署 ：language model(abstract)；SFT(abstract)

AI总结 本文提出基于动态视觉搜索和缩放的自适应聚焦推理方法，提升VLMs的多模态推理效率和实际应用效果。

Comments https://github.com/xtong-zhang/Chain-of-Focus

Rethinking Infrared Small Target Detection: A Foundation-Driven Efficient Paradigm

重新思考红外小目标检测：一种基础驱动的高效范式

Chuang Yu, Jinmiao Zhao, Yunpeng Liu, Yaokun Li, Xiujun Shu, Yuanhao Feng, Bo Wang, Yimian Dai, Xiangyu Yue

机构 * Key Laboratory of Opto-Electronic Information Processing, Chinese Academy of Sciences（光电信息处理重点实验室，中国科学院） ； Shenyang Institute of Automation, Chinese Academy of Sciences（沈阳自动化研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Sun Yat-sen University（中山大学） ； Tencent（腾讯） ； Nankai University（南开大学） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） 纠错

专题命中 效率与部署 ：foundation model(abstract)

AI总结 本文提出FDEP范式，通过基础模型冻结表示与任务特征融合，提升红外小目标检测精度，构建综合评估指标，实现多数据集SOTA性能。

Readout noise of digital frequency multiplexed TES detectors for CUPID

CUPID数字频率复用TES探测器的读出噪声

Michel Adamič, Joseph Camilleri, Chiara Capelli, Matt Dobbs, Tucker Elleflot, Yury G. Kolomensky, Daniel Mayer, Joshua Montgomery, Valentine Novosad, Vivek Singh, Graeme Smecher, Aritoki Suzuki, Bradford Welliver

专题命中 效率与部署 ：prompting(abstract)

AI总结 CUPID实验采用新型高频复用TES读出系统，通过优化SQUID参数和减少导线电容以降低读出噪声，满足高能分辨要求。

Comments 8 pages, 8 figures. Presented at the IEEE SORMA West 2025, accepted for publication in IEEE Transactions on Nuclear Science

Journal ref IEEE Transactions on Nuclear Science