语言大模型 / LLM

Understanding and Improving Continuous Adversarial Training for LLMs via In-context Learning Theory

通过上下文学习理论理解并改进LLMs的连续对抗训练

Shaopeng Fu, Di Wang

机构 * Provable Responsible AI and Data Analytics (PRADA) Lab（可证责任AI与数据分析实验室） ； King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文基于上下文学习理论，首次对LLMs的连续对抗训练进行了理论分析，提出通过引入奇异值正则化项提升对抗训练的鲁棒性与实用性。

Comments The Fourteenth International Conference on Learning Representations (ICLR 2026)

Beyond Majority Voting: Efficient Best-Of-N with Radial Consensus Score

超越多数投票：基于径向共识得分的高效最佳-N选择

Manh Nguyen, Sunil Gupta, Hung Le

机构 * Applied Artificial Intelligence Initiative, Deakin University, Australia（应用人工智能倡议，德肯大学，澳大利亚） 纠错

专题命中 效率与部署 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Radial Consensus Score方法，通过计算答案嵌入的加权Fréchet均值并计算径向距离，实现高效最佳-N选择，优于现有方法并在多代理辩论中表现稳健。

Hear Both Sides: Efficient Multi-Agent Debate via Diversity-Aware Message Retention

倾听双方观点：通过多样性意识的消息保留实现高效的多智能体辩论

Manh Nguyen, Anh Nguyen, Dung Nguyen, Svetha Venkatesh, Hung Le

机构 * Applied Artificial Intelligence Initiative（应用人工智能倡议） 纠错

专题命中 效率与部署 ：SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DAR框架，通过选择最不一致的消息子集提升多智能体辩论性能，尤其在智能体数量增加时表现更优。

Commander-GPT: Dividing and Routing for Multimodal Sarcasm Detection

Commander-GPT：多模态讽刺检测的分工与路由

Yazhou Zhang, Chunwang Zou, Bo Wang, Jing Qin, Prayag Tiwari

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出Commander-GPT框架，通过分工协作的LLM代理团队，结合三种指挥官类型，提升多模态讽刺检测性能，实验结果显示在F1分数上优于现有方法。

Emergent Inference-Time Semantic Contamination via In-Context Priming

通过上下文预示的涌现推理时间语义污染

Marcin Abram

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究探讨了通过上下文预示引发推理时间语义污染的现象，发现大容量模型在文化关联性更强的数字示例下会出现分布偏移，揭示了结构格式污染和语义内容污染的机制。

Comments 6 pages, 2 figures, appendix

Do LLMs Truly Benefit from Longer Context in Automatic Post-Editing?

大语言模型在自动润色中真的受益于更长的上下文吗？

Ahrii Kim, Seong-heum Kim

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究了大语言模型在自动润色中利用长上下文的效果，发现专有模型在简单提示下表现优异，但存在鲁棒性与上下文利用的局限，需更高效的长上下文建模方法。

The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators

AetherFloat家族：面向AI加速器的无块缩放四进制浮点架构

Keita Morisaki

机构 * Keita Morisaki（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 AetherFloat家族是一种面向AI加速器的无块缩放四进制浮点架构，通过显式尾数和四进制缩放实现更高的动态范围和更低的功耗，同时支持量化感知训练。

Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training

解锁金融数据价值：关于蒸馏和难度感知训练的研究

Chuxue Cao, Honglin Lin, Zhanping Zhong, Xin Gao, Mengzhang Cai, Conghui He, Sirui Han, Lijun Wu

机构 * Shanghai Artificial Intelligence Laboratory, OpenDataLab, OpenDataArena（上海人工智能实验室、OpenDataLab、OpenDataArena） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 本文提出ODA-Fin-SFT-318k和ODA-Fin-RL-12k数据集，通过多阶段蒸馏和难度感知训练提升金融领域模型性能，实现高质量的链式思维监督和任务多样性平衡。

Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

弥合承诺与性能之间的差距：为微缩FP4量化 bridging the gap between promise and performance for microscaling FP4 quantization

Vage Egiazarian, Roberto L. Castro, Denis Kuznedelev, Andrei Panferov, Eldar Kurtic, Shubhra Pandit, Alexandre Marques, Mark Kurtz, Saleh Ashkboos, Torsten Hoefler, Dan Alistarh

机构 * Institute of Science and Technology Austria（奥地利科学与技术研究院） ； Yandex Research（Yandex研究） ； Red Hat AI（红帽人工智能） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出MR-GPTQ方法，通过优化FP4量化过程，提升MXFP4的准确性并实现性能提升。

Quantization-Aware Distillation for NVFP4 Inference Accuracy Recovery

量化感知蒸馏用于NVFP4推理精度恢复

Meng Xin, Sweta Priyadarshi, Jingyu Xin, Bilal Kartal, Aditya Vavre, Asma Kuriparambil Thekkumpate, Zijia Chen, Ameya Sunil Mahabaleshwarkar, Ido Shahaf, Akhiad Bercovich, Kinjal Patel, Suguna Varshini Velury, Chenjie Luo, Zhiyu Cheng, Jenny Chen, Chen-Han Yu, Wei Ping, Oleg Rybakov, Nima Tajbakhsh, Oluwatobi Olabiyi, Dusan Stosic, Di Wu, Song Han, Eric Chung, Sharath Turuvekere Sreenivas, Bryan Catanzaro, Yoshi Suhara, Tijmen Blankevoort, Huizi Mao

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 本研究提出量化感知蒸馏方法，用于恢复NVFP4量化大型语言模型和视觉-语言模型的推理精度，通过KL散度损失实现有效且稳定的精度恢复。

Actions Speak Louder than Prompts: A Large-Scale Study of LLMs for Graph Inference

行动胜于提示：大型语言模型在图推断中的大规模研究

Ben Finkelshtein, Silviu Cucerzan, Sujay Kumar Jauhar, Ryen White

机构 * University of Oxford（牛津大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究通过大规模评估揭示LLM在图推断中的表现，发现代码生成在长文本图中表现最佳，异质图上交互策略仍有效，且方法能灵活适应不同输入类型。

PERSONA: Dynamic and Compositional Inference-Time Personality Control via Activation Vector Algebra

PERSONA：通过激活向量代数实现动态和组合性的人格控制

Xiachong Feng, Liang Zhao, Weihong Zhong, Yichong Huang, Yuxuan Gu, Lingpeng Kong, Xiaocheng Feng, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 PERSONA通过激活向量代数实现动态人格控制，无需训练即可达到微调水平性能，并在多个基准测试中表现出色。

Comments ICLR 2026

Can LLMs Handle WebShell Detection? Overcoming Detection Challenges with Behavioral Function-Aware Framework

LLMs能否处理WebShell检测？通过行为功能感知框架克服检测挑战

Feijiang Han, Jiaming Zhang, Chuyi Deng, Jianheng Tang, Yunhuai Liu

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Central South University（中南大学） ； Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 基于行为功能感知框架，研究评估了七种LLM在WebShell检测中的表现，发现大模型精度高但召回率低，提出BFAD框架提升检测性能，F1值平均提升13.82%。

Comments Published as a conference paper at COLM 2025 (The new version has been polished and expanded with more detailed future work ideas)

AgentCPM-Explore: Realizing Long-Horizon Deep Exploration for Edge-Scale Agents

AgentCPM-Explore: 实现长horizon深度探索以实现边缘规模智能体

Haotian Chen, Xin Cong, Shengda Fan, Yuyang Fu, Ziqin Gong, Yaxi Lu, Yishan Li, Boye Niu, Chengjun Pan, Zijun Song, Huadong Wang, Yesai Wu, Yueying Wu, Zihao Xie, Yukun Yan, Zhong Zhang, Yankai Lin, Zhiyuan Liu, Maosong Sun

机构 * AgentCPM Team（AgentCPM 团队） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 AgentCPM-Explore通过深度探索实现边缘规模智能体的高性能表现，超越大模型在多个基准上的表现。

From Reasoning LLMs to BERT: A Two-Stage Distillation Framework for Search Relevance

从推理LLM到BERT：一种两阶段蒸馏框架用于搜索相关性

Runze Xia, Yupeng Ji, Yuxi Zhou, Haodong Liu, Teng Zhang, Piji Li

机构 * Researcher（研究者） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出一种两阶段蒸馏框架，通过领域适应教师模型和对比推理自蒸馏方法，提升搜索相关性预测的效率和效果。

Comments TheWebConf 2026 Industry

PaperGuide: Making Small Language-Model Paper-Reading Agents More Efficient

PaperGuide: 使小型语言模型论文阅读代理更加高效

Zijian Wang, Tiancheng Huang, Hanqi Li, Da Ma, Lu Chen, Kai Yu

机构 * X-LANCE Lab, School of Computer Science, MoE Key Lab of Artificial Intelligence, SJTU AI Institute, Shanghai Jiao Tong University, Shanghai, China（X-LANCE实验室、计算机科学学院、人工智能关键实验室、SJTU人工智能研究所、上海交通大学、上海，中国） ； Suzhou Laboratory, Suzhou, China（苏州实验室、苏州，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 PaperCompass通过分离高层规划与细粒度执行，提升小型语言模型在论文阅读任务中的效率，实现高效且可靠的训练过程。

Comments 35 pages, 9 figures, 7 tables

Redefining Machine Simultaneous Interpretation: From Incremental Translation to Human-Like Strategies

重新定义机器同声传译：从逐步翻译到人样策略

Qianen Zhang, Zeyu Yang, Satoshi Nakamura

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nara Institute of Science and Technology（奈良研究所） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出通过扩展SiMT的操作空间，引入四种自适应操作以提升翻译质量与实时性，实验证明在语义指标和延迟方面优于现有方法。

Comments arXiv admin note: substantial text overlap with arXiv:2509.21801

Unifying Speech Recognition, Synthesis and Conversion with Autoregressive Transformers

用自回归变换器统一语音识别、合成与转换

Runyuan Cai, Yu Lin, Yiming Wang, Chunlin Fu, Xiaodong Zeng

机构 * AutoArk-AI 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出GPA模型，通过统一的自回归架构整合语音识别、合成与转换任务，实现高效多任务处理和低延迟部署。

Following the Teacher's Footsteps: Scheduled Checkpoint Distillation for Domain-Specific LLMs

循师之步：面向领域特定LLM的调度检查点蒸馏

Cheng Feng, Chaoliang Zhong, Jun Sun, Yusuke Oishi

机构 * Fujitsu R&D Center（富士通研发中心） ； Fujitsu Research（富士通研究） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出调度检查点蒸馏方法，通过减少教师偏好的子领域劣势并保留学生在学生偏好的子领域的优势，使学生模型在特定领域任务中超越教师。

Comments 15 pages, submitted to ICPR 2026

CienaLLM: Generative Climate-Impact Extraction from News Articles with Autoregressive LLMs

CienaLLM: 从新闻文章中生成气候影响信息的自回归大语言模型

Javier Vela-Tambo, Jorge Gracia, Fernando Dominguez-Castro

机构 * Worcester Polytechnic Institute（沃斯特理工学院） ； Aragon Institute of Engineering Research（阿拉贡工程研究院） ； Pyrenean Institute of Ecology (IPE-CSIC)（比利牛斯生态研究院（IPE-CSIC）） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 CienaLLM通过自回归大语言模型实现大规模新闻文章中气候影响信息的提取，提供高精度且高效的零样本信息提取方案。

Fast and Accurate Causal Parallel Decoding using Jacobi Forcing

快速且准确的因果并行解码使用雅可比强迫

Lanxiang Hu, Siqi Kou, Yichao Fu, Samyam Rajbhandari, Tajana Rosing, Yuxiong He, Zhijie Deng, Hao Zhang

机构 * UC San Diego（UC圣迭戈大学） ； Shanghai Jiao Tong University（上海交通大学） ； Snowflake（Snowflake公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 本文提出雅可比强迫方法，通过渐进蒸馏将AR模型转化为高效的并行解码器，实现3.8倍的速度提升并保持性能，同时引入多块解码与拒绝回收进一步提升效率。

PennyCoder: Efficient Domain-Specific LLMs for PennyLane-Based Quantum Code Generation

PennyCoder: 用于PennyLane量子代码生成的高效领域特定LLM

Abdul Basit, Minghao Shao, Muhammad Haider Asif, Nouhaila Innan, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 PennyCoder是一种针对PennyLane量子编程的高效领域特定LLM，通过本地部署和低秩适应技术提升量子代码生成的准确性和效率。

Comments 6 pages, 5 figures, 3 tables, paper accepted to QCE 2025

Journal ref 2025 IEEE International Conference on Quantum Computing and Engineering (QCE), Albuquerque, NM, USA

Ensemble Privacy Defense for Knowledge-Intensive LLMs against Membership Inference Attacks

知识密集型大语言模型的集成隐私防御：对抗成员推断攻击

Haowei Fu, Bo Ni, Han Xu, Kunpeng Liu, Dan Lin, Tyler Derr

机构 * Vanderbilt University（范德比大学） ； University of Arizona（亚利桑那大学） ； Clemson University（克莱姆森大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出集成隐私防御框架EPD，通过聚合知识注入LLM、基础LLM和专用判断模型的输出，有效降低成员推断攻击的成功率，提升知识密集型大语言模型的隐私安全性。

The Challenge of Using LLMs to Simulate Human Behavior: A Causal Inference Perspective

使用大型语言模型模拟人类行为的挑战：因果推断视角

George Gui, Olivier Toubia

机构 * Columbia Business School（哥伦比亚商学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文从因果推断视角探讨了使用LLM模拟人类行为的挑战，指出模糊提示策略导致混淆问题，并提出通过去盲化策略提升模型性能和鲁棒性。

Retrieval Augmented Generation based context discovery for ASR

Dimitrios Siskos, Stavros Papadopoulos, Pablo Peso Parada, Jisi Zhang, Karthikeyan Saravanan, Anastasios Drosou

机构 * Information Technologies Institute, Center for Research and Technology Hellas（信息技术研究所，希腊研究中心与技术中心） ； Samsung Electronics R&D Institute UK (SRUK)（三星电子英国研发研究所（SRUK）） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted at EMNLP 2025

Fine-Tuned LLMs Know They Don't Know: A Parameter-Efficient Approach to Recovering Honesty

Zeyu Shi, Ziming Wang, Tianyu Chen, Shiqi Gao, Haoyi Zhou, Qingyun Sun, Jianxin Li

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments Accepted by AAAI 2026 Main Track

TwIST: Rigging the Lottery in Transformers with Independent Subnetwork Training

Michael Menezes, Barbara Su, Xinze Feng, Yehya Farhat, Hamza Shili, Anastasios Kyrillidis

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Visual Program Distillation with Template-Based Augmentation

Michal Shlapentokh-Rothman, Yu-Xiong Wang, Derek Hoiem

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；small language model(abstract)；prompting(abstract)

Comments EMNLP Camera Ready

Generative AI for Healthcare: Fundamentals, Challenges, and Perspectives

Gang Chen, Changshuo Liu, Gene Anne Ooi, Marcus Tan, Zhongle Xie, Jianwei Yin, James Wei Luen Yip, Wenqiao Zhang, Jiaqi Zhu, Beng Chin Ooi

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China（浙江大学计算机科学与技术学院） ； College of Software Technology, Zhejiang University, Ningbo 315100, China（浙江大学软件技术学院） ； School of Computing, National University of Singapore, Singapore 117417（新加坡国立大学计算机学院） ； Singapore General Hospital, Singapore 169608（新加坡中央医院） ； National University Hospital, Singapore 119074（新加坡国立医院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

DistilLock: Safeguarding LLMs from Unauthorized Knowledge Distillation on the Edge

Asmita Mohanty, Gezheng Kang, Lei Gao, Murali Annavaram

机构 * University of Southern California（南加州大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)