语言大模型 / LLM

It Takes a Good Model to Train a Good Model: Generalized Gaussian Priors for Optimized LLMs

要训练一个好的模型，需要一个好的模型：通用高斯先验用于优化的大型语言模型

Jun Wu, Patrick Huang, Jiangtao Wen, Yuxing Han

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Electrical and Computer Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系） ； Computer Science, New York University Shanghai（纽约大学上海分校计算机科学系） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于广义高斯分布的初始化和训练方法，通过减少冗余和通信开销，提升大型语言模型的训练效率和性能。

RangeSAM: On the Potential of Visual Foundation Models for Range-View represented LiDAR segmentation

RangeSAM: 视觉基础模型在基于视距表示的激光雷达分割中的潜力

Paul Julius Kühn, Duc Anh Nguyen, Arjan Kuijper, Saptarshi Neil Sinha

专题命中 效率与部署 ：foundation model(title,abstract)

AI总结 RangeSAM利用视觉基础模型SAM2改进基于视距的激光雷达分割，通过高效2D特征提取和定制架构优化，实现高效的3D分割性能。

Joint Post-Training Quantization of Vision Transformers with Learned Prompt-Guided Data Generation

面向图像分类的视觉变换器联合后训练量化框架

Shile Li, Markus Karmann, Onay Urfalioglu

机构 * vivo Tech Research GmbH（vivo科技研究有限公司） 纠错

专题命中 效率与部署 ：post-training(title,abstract)

AI总结 本文提出一种无标注数据的视觉变换器联合后训练量化方法，实现低比特下的高精度，并引入无数据校准策略提升边缘部署效率。

Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control

迈向大规模预训练与高效微调之间的人形机器人控制的桥梁

Weidong Huang, Zhehan Li, Hangxin Liu, Biao Hou, Yao Su, Jingwen Zhang

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； School of Artificial Intelligence, Xidian University（人工智能学院，西安电子科技大学） 纠错

专题命中 效率与部署 ：pretraining(title,abstract)

AI总结 本文提出了一种结合大规模预训练与高效微调的方法，利用SAC实现人形机器人零样本部署，并通过基于模型的方法提升适应效率。

Comments ICLR 2026

AttestLLM: Efficient Attestation Framework for Billion-scale On-device LLMs

AttestLLM: 亿级参数本地设备LLM的高效认证框架

Ruisi Zhang, Yifei Zhao, Neusha Javidnia, Mengxin Zheng, Farinaz Koushanfar

机构 * University of Central Florida（佛罗里达中央大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AttestLLM通过算法/软件/硬件协同设计，为本地设备LLM提供高效认证框架，确保模型合法性并抵御替换和伪造攻击。

Comments accept to DAC 2026

TxRay: Agentic Postmortem of Live Blockchain Attacks

TxRay：活区块链攻击的代理事后分析

Ziyue Wang, Jiangshan Yu, Kaihua Qin, Dawn Song, Arthur Gervais, Liyi Zhou

机构 * Decentralized Intelligence AG（去中心化智能AG） ； The University of Sydney（悉尼大学） ； University of Warwick（沃里克大学） ； University of California, Berkeley（加州大学伯克利分校） ； University College London（伦敦大学学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TxRay通过代理系统利用LLM和工具调用，从有限证据中重建活区块链攻击，生成可执行的PoC并验证根本原因，提升攻击分析效率和覆盖范围。

Comments 24 pages, 8 figures

Powering Up Zeroth-Order Training via Subspace Gradient Orthogonalization

通过子空间梯度正交化提升零阶训练

Yicheng Lang, Changsheng Wang, Yihua Zhang, Mingyi Hong, Zheng Zhang, Wotao Yin, Sijia Liu

机构 * Michigan State University（密歇根州立大学） ； University of Minnesota（明尼苏达大学） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； DAMO Academy, Alibaba Group US（阿里巴巴集团美国达摩院） ； IBM Research, USA（美国IBM研究院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出ZO-Muon方法，通过子空间梯度正交化提升零阶训练的精度和效率，显著加速收敛并实现准确性和查询效率的双赢。

Test-Time Training Provably Improves Transformers as In-context Learners

测试时训练可证明地提高变换器作为上下文学习者

Halil Alperen Gozeten, M. Emrullah Ildiz, Xuechen Zhang, Mahdi Soltanolkotabi, Marco Mondelli, Samet Oymak

专题命中 效率与部署 ：language model(abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 测试时训练通过调整模型权重提升变换器在上下文学习中的性能，减少样本需求并提高推理效率。

Comments Accepted at ICML 2025

(PASS) Visual Prompt Locates Good Structure Sparsity through a Recurrent HyperNetwork

(PASS) 通过递归超网络利用视觉提示定位良好的结构稀疏性

Tianjin Huang, Fang Meng, Li Shen, Fan Liu, Yulong Pei, Mykola Pechenizkiy, Shiwei Liu, Tianlong Chen

机构 * University of Exeter（埃克塞特大学） ； Eindhoven University of Technology（埃因霍温理工大学） ； University of liverpool（利物浦大学） ； Sun Yat-sen University（中山大学） ； Hohai University（河海大学） ； UNC-Chapel Hill（北卡罗来纳大学夏洛特分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出PASS算法，通过视觉提示和网络权重统计，递归生成层间通道稀疏性，提升模型效率和准确率。

Comments Under review

PositionOCR: Augmenting Positional Awareness in Multi-Modal Models via Hybrid Specialist Integration

PositionOCR: 通过混合专家整合增强多模态模型的位置意识

Chen Duan, Zhentao Guo, Pei Fu, Zining Wang, Kai Zhou, Pengfei Yan

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 PositionOCR通过整合文本定位专家与LLM的上下文能力，提升多模态模型在文本定位和定位任务中的位置准确性。

Project Hermes: A Model-Agnostic Validation Layer for Wearable Health Prediction Systems

Project Hermes: 一种面向可穿戴健康预测系统的模型无关验证层

Richik Chakraborty

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 Project Hermes通过模型无关的验证层，有效降低健康预测系统的假阳性率，提升临床信号的验证准确性。

ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting

ReAttn：通过注意力重新加权改进基于注意力的重排序

Yuxing Tian, Fengran Mo, Weixu Zhang, Yiyan Qi, Jian-Yun Nie

机构 * University of Montreal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； MILA（蒙特利尔人工智能实验室） ； International Digital Economy Academy（国际数字经济学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ReAttn通过注意力重新加权策略，改进基于注意力的重排序方法，减少词法偏差并提升重排序效果。

Comments Accepted by EACL2026

Ada-RS: Adaptive Rejection Sampling for Selective Thinking

Ada-RS: 选择性思维的自适应拒绝采样

Yirou Ge, Yixi Li, Alec Chiu, Shivani Shekhar, Zijie Pan, Avinash Thangali, Yun-Shiuan Chuang, Chaitanya Kulkarni, Uma Kona, Linsey Pang, Prakhar Mehrotra

机构 * PayPal AI 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Ada-RS通过自适应拒绝采样提升LLMs在延迟敏感场景下的推理效率与准确性。

Virtual Parameter Sharpening: Dynamic Low-Rank Perturbations for Inference-Time Reasoning Enhancement

虚拟参数锐化：用于推理时间推理增强的动态低秩扰动

Saba Kublashvili

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 虚拟参数锐化通过动态低秩扰动提升大语言模型推理能力，实现测试时间适应与高效推理增强。

GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression

GRASP: 用自适应奇异参数替代冗余层以实现高效模型压缩

Kainan Liu, Yong Zhang, Ning Cheng, Zhitao Li, Shaojun Wang, Jing Xiao

机构 * Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 GRASP通过自适应奇异参数替代冗余层，实现高效模型压缩并保持高性能。

Comments EMNLP 2025(Main)

ConfSpec: Efficient Step-Level Speculative Reasoning via Confidence-Gated Verification

ConfSpec：通过置信度门控验证实现高效的步骤级推测推理

Siran Liu, Cyril Y. He

机构 * Peking University（北京大学） ； ScitiX AI 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ConfSpec通过置信度门控验证框架，在保持准确性的同时，实现高效步骤级推测推理，达到2.24倍的端到端加速。

Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

大型语言模型和视觉语言模型是否共享神经元进行推理？证据和跨模态转移的机制

Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了大型语言模型和视觉语言模型在推理过程中共享神经元的现象，提出SNRF框架实现低秩融合，提升多模态推理性能。

MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE

MoNE: 用轻量级新手替代冗余专家实现MoE的结构化剪枝

Geng Zhang, Yuxuan Han, Yuxuan Lou, Yiqi Zhang, Wangbo Zhao, Yang You

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MoNE通过用轻量级新手替代冗余专家，实现高效且稳健的MoE结构化剪枝，显著提升模型压缩效果。

Comments Accepted by ICLR 2026

AuditoryHuM: Auditory Scene Label Generation and Clustering using Human-MLLM Collaboration

AuditoryHuM: 利用人机协同生成和聚类听觉场景标签

Henry Zhong, Jörg M. Buchholz, Julian Maclaren, Simon Carlile, Richard F. Lyon

机构 * Australian Hearing Hub, Macquarie University, Sydney, Australia（澳大利亚听力中心、麦觉里大学、悉尼、澳大利亚） ； Google Research Australia, Sydney, Australia（谷歌澳大利亚研究、悉尼、澳大利亚） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 AuditoryHuM通过人机协同方法实现听觉场景标签的自动生成与聚类，提供了一种高效且低成本的标准化分类解决方案，适用于边缘设备部署。

CREM: Compression-Driven Representation Enhancement for Multimodal Retrieval and Comprehension

CREM: 为多模态检索与理解的压缩驱动表示增强

Lihao Liu, Yan Wang, Biao Yang, Da Li, Jiangxia Cao, Yuxiao Luo, Xiang Chen, Xiangyu Wu, Wei Yuan, Fan Yang, Guiguang Ding, Tingting Gao, Guorui Zhou

机构 * Tsinghua University（清华大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 CREM通过压缩驱动的表示增强方法，在提升多模态检索性能的同时保持生成能力，实现生成与嵌入任务的统一优化。

Social Media Feed Elicitation

社交媒体信息流引导

Lindsay Popowski, Xiyuan Wu, Charlotte Zhu, Tiziano Piccardi, Michael S. Bernstein

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

AI总结 本文提出信息流引导访谈方法，帮助用户更有效地创建自定义社交媒体信息流，提升用户对信息流的控制能力。

Comments 28 pages, 8 figures. Awaiting final approval for CHI 2026 (ACM CHI conference on Human Factors in Computing Systems)

CMT: Mid-Training for Efficient Learning of Consistency, Mean Flow, and Flow Map Models

CMT：中期训练用于高效学习一致性、均流和流映射模型

Zheyuan Hu, Chieh-Hsin Lai, Yuki Mitsufuji, Stefano Ermon

机构 * Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 CMT通过中期训练方法，实现流映射模型高效稳定训练，显著提升生成质量并减少训练成本。

Comments ICLR 2026. Code available at https://github.com/sony/cmt

vCache: Verified Semantic Prompt Caching

vCache: 验证的语义提示缓存

Luis Gaspar Schroeder, Aditya Desai, Alejandro Cuadron, Kyle Chu, Shu Liu, Mark Zhao, Stephan Krusche, Alfons Kemper, Matei Zaharia, Joseph E. Gonzalez

机构 * University of California, Berkeley（加州大学伯克利分校） ； Technical University of Munich（慕尼黑技术大学） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 vCache是一种具有用户定义误差率保证的验证语义缓存，通过在线学习算法动态优化阈值，实现更高的缓存命中率和更低的错误率。

Comments ICLR 2026 (accepted)

ISO-Bench: Can Coding Agents Optimize Real-World Inference Workloads?

ISO-Bench: 编码代理能否优化现实世界的推理工作负载？

Ayush Nangia, Shikhar Mishra, Aman Gokrani, Paras Chopra

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

AI总结 ISO-Bench通过结合硬指标和软指标评估编码代理在现实世界推理优化任务中的能力，发现无单一代理占优，且模型与支架均影响性能。

Leap+Verify: Regime-Adaptive Speculative Weight Prediction for Accelerating Neural Network Training

Leap+Verify: 适应性预测权重以加速神经网络训练

Jeremy McEntire

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

AI总结 Leap+Verify通过适应性预测权重加速神经网络训练，利用激活空间余弦相似性划分训练阶段，验证预测后提升训练效率。

Comments 18 pages, 5 tables. Code and data available at https://github.com/jmcentire/leap-verify

TwinVLA: Data-Efficient Bimanual Manipulation with Twin Single-Arm Vision-Language-Action Models

TwinVLA: 通过双单臂视觉-语言-动作模型实现数据高效的双臂操作

Hokyun Im, Euijin Jeong, Andrey Kolobov, Jianlong Fu, Youngwoon Lee

机构 * Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.LG

AI总结 TwinVLA通过模块化组合预训练的单臂视觉-语言-动作模型，实现了高效双臂操作，无需额外双臂数据训练。

Comments Accepted to ICLR 2026 (Poster). Project webpage : https://jellyho.github.io/TwinVLA/

DITTO: A Spoofing Attack Framework on Watermarked LLMs via Knowledge Distillation

DITTO：通过知识蒸馏对水印LLM进行欺骗攻击的框架

Hyeseon An, Shinwoo Park, Suyeon Woo, Yo-Sub Han

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI

AI总结 DITTO通过知识蒸馏攻击水印LLM，窃取并复制受害模型的水印信号，揭示文本作者身份验证的安全漏洞。

Comments Accepted to EACL 2026 (Oral)

Effective Quantization of Muon Optimizer States

有效量化穆登优化器状态

Aman Gupta, Rafael Celente, Abhishek Shivanna, D. T. Braithwaite, Gregory Dexter, Shao Tang, Hiroto Udagawa, Daniel Silva, Rohan Ramanath, S. Sathiya Keerthi

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

AI总结 本文提出8位穆登优化器，通过分块量化技术在保持性能的同时显著减少优化器状态内存占用。

Comments 16 pages

GUIDE-US: Grade-Informed Unpaired Distillation of Encoder Knowledge from Histopathology to Micro-UltraSound

GUIDE-US: 基于等级的无配对编码器知识蒸馏从病理学至微超声

Emma Willis, Tarek Elghareb, Paul F. R. Wilson, Minh Nguyen Nhat To, Mohammad Mahdi Abootorabi, Amoon Jamzad, Brian Wodlinger, Parvin Mousavi, Purang Abolmaesumi

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Queen’s University（皇后大学） ； Exact Imaging 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

AI总结 GUIDE-US通过无配对的编码器知识蒸馏方法，利用ISUP等级条件提升微超声图像中前列腺癌的检测灵敏度。

Comments Accepted to IPCAI 2026

Habilis-$β$: A Fast-Motion and Long-Lasting On-Device Vision-Language-Action Model

Habilis-β：一种快速运动且持续运行的设备端视觉-语言-动作模型

Tommoro Robotics, :, Jesoon Kang, Taegeon Park, Jisu An, Soo Min Kimm, Jaejoon Kim, Jinu Pahk, Byungju Kim, Junseok Lee, Namheon Baek, Sungwan Ha, Hojun Baek, Eduardo Ayerve Cruz, Wontae Kim, Junghyeon Choi, Yousuk Lee, Joonmo Han, Sunghyun Cho, Sunghyun Kwon, Soyoung Lee, Jun Ki Lee, Seung-Joon Yi, Byoung-Tak Zhang, Theo Taeyeong Kim

机构 * Tommoro Robotics（Tommoro机器人公司） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

AI总结 Habilis-β是一种快速运动且持续运行的设备端视觉-语言-动作模型，通过整合预训练和后训练方法，实现了在连续运行协议下的高性能表现。