语言大模型 / LLM

EnclaveX: End-to-End Confidential AI with CPU/GPU TEEs

EnclaveX: 端到端机密AI与CPU/GPU TEE

Robert Schambach, Quoc Do Le, Sergei Arnautov, Christof Fetzer

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出结合CPU和GPU TEE的端到端工作流，通过Intel TDX和AMD SEV-SNP等机制保障AI/LLM应用的机密性和完整性，并评估了性能开销。

Comments 8 pages, 2 figures

Weave of Formal Thought

形式思维之织

Alexandre Bouayad

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出WoFT框架，结合完整语法约束解码与潜在变量微调，使语言模型生成语法有效代码并学习结构表示，在Python上降低14.3%交叉熵。

Comments Code is available at https://github.com/alexbouayad/formal

Explore-Execute Chain: Towards an Efficient Structured Reasoning Paradigm

探索-执行链：迈向高效的结构化推理范式

Kaisen Yang, Tinghe Zhang, Rushi Shah, Kaicheng Yang, Qinwei Ma, Dianbo Liu, Alex Lamb

机构 * Qizhi Institute（启智研究院） ； Dept. of Computer Science, Tsinghua University（清华大学计算机科学系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Engineering Department, National University of Singapore（新加坡国立大学工程系） ； Dept. of Automation, Shanghai Jiao Tong University（上海交通大学自动化系） ； IIIS, Tsinghua University（清华大学人工智能研究院） ； College of Software, Northeastern University（东北大学软件学院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出探索-执行链（E²C），将推理分为随机探索阶段（生成简洁高层计划）和确定性执行阶段（忠实执行计划），通过因果SFT和RL训练分离，在AIME'2024上以更少token超越思维树，并支持轻量领域适应。

PersonalPlan: Planning Multi-Agent Systems for Personalized Programming Learning

PersonalPlan: 面向个性化编程学习的多智能体系统规划

Zhiyuan Wen, Jiannong Cao, Peng Gao, Haochen Shi, Wengpan Kuan, Bo Yuan, Xiuxiu Qi

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract,abstract_cn)

AI总结 提出PersonalPlan，一种两阶段多智能体规划器，通过分层SFT和奖励自适应GRPO生成可执行、个性化且具有教学支架的计划，在MAP-PPL数据集上优于现有方法。

No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

无资源、无基准、无问题？评估和改进无资源语言的代码生成大语言模型

Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究无资源语言（LLM未见训练数据的语言）的代码生成问题，通过构建三个基准并实验提示技术、预训练和微调方法，提出权重差异迁移方法提升性能。

Comments Accepted for publication at IEEE Transactions on Software Engineering

PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents

PACT: 多轮工具使用智能体的特权轨迹协同训练

Zhenbang Du, Jun Luo, Zhiwei Zheng, Xiangchi Yuan, Kejing Xia, Dachuan Shi, Qirui Jin, Qijia He, Shaofeng Zou, Yingbin Liang, Wenke Lee

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Ohio State University（俄亥俄州立大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PACT框架，通过特权轨迹（专家轨迹）在训练时提供密集监督信号，结合轨迹条件RL和组件感知SFT损失，避免推理时依赖轨迹，显著提升多轮工具使用智能体的性能。

Comments Project page: https://zhenbangdu.github.io/pact-project-page/

Do LLMs Reliably Identify Correct Information Units in Aphasic Discourse?

LLMs 能否可靠识别失语症语篇中的正确信息单元？

Jason M Pittman, Yesenia Medina-Santos, Anton Phillips, Brielle C. Stark

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究评估指令微调大语言模型在零样本和少样本提示下对失语症语篇进行词级正确信息单元分类的性能，发现少样本提示可提升效果但一致性仍不足。

Comments 5 tables, 4 figures

Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

使用ART微调多模态大语言模型：基于艺术的强化训练

Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

机构 * University of Stavanger（斯塔万格大学） ； NORCE Research（NORCE研究机构） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出ART方法，通过优化原始视觉输入将信息注入冻结的多模态大语言模型，实现软提示微调，无需修改计算图，在数学和工具使用基准上达到与LoRA相当的精度。

CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning

CapRL++：基于可验证奖励的统一强化学习用于密集图像和视频描述生成

Penghui Yang, Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Yibin Wang, Yujie Zhou, Jiazi Bu, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

机构 * Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft（微软） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Alibaba Cloud（阿里云） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；language model(abstract)；pretraining(abstract)

AI总结 提出CapRL++框架，利用可验证奖励的强化学习（RLVR）优化多模态描述生成，通过非视觉语言模型回答问题的准确性作为奖励，提升密集描述质量，在20多个基准上超越传统监督微调。

Comments 26 pages, 10 figures. Project page: https://github.com/InternLM/CapRL. arXiv admin note: text overlap with arXiv:2509.22647

MailoHLS: Multi-Adapter Structure-Aware Learning for Pareto-Driven HLS Pragma Optimization

MailoHLS: 面向帕累托驱动HLS编译指示优化的多适配器结构感知学习

Elena Vouvali, Dimosthenis Masouros, Aggelos Ferikoglou, Dimitrios Soudris, Sotirios Xydis

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出MailoHLS混合框架，结合LLM语义推理与GNN结构建模，通过交叉注意力、目标条件LoRA适配器和帕累托优化，实现HLS编译指示的联合优化，在延迟优化上最高提速12.42倍，并持续生成近帕累托最优设计。

SoulX-Transcriber: A Robust End-to-End Framework for Multi-Speaker Speech Transcription

SoulX-Transcriber：一个鲁棒的多说话人语音转录端到端框架

Yuhang Dai, Haopeng Lin, Zhennan Lin, Jiale Qian, Jun Wu, Hanke Xie, Hao Meng, Hanlin Wen, Chuang Ding, Shunshun Yin, Ming Tao, Lei Xie, Xinsheng Wang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出SoulX-Transcriber，一个基于LLM的统一多说话人转录系统，通过两阶段训练策略联合建模说话人日志和ASR，提升复杂场景下的说话人区分和转录鲁棒性。

Comments 10 pages, 4 figures, 3tables

GUI-Libra: Training Native GUI Agents to Reason and Act with Action-aware Supervision and Partially Verifiable RL

GUI-Libra：训练原生GUI代理进行推理与行动——基于动作感知监督和部分可验证强化学习

Rui Yang, Qianhui Wu, Zhaoyang Wang, Hanyang Chen, Ke Yang, Hao Cheng, Huaxiu Yao, Baolin Peng, Huan Zhang, Jianfeng Gao, Tong Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GUI-Libra训练方案，通过动作感知SFT和部分可验证RL中的KL正则化，解决GUI代理在长程导航任务中推理与定位冲突及部分可验证性问题，显著提升步骤准确率和任务完成率。

Comments 57 pages, 17 figures

Do Fine-Tuned LLMs Understand Vulnerabilities? An Investigation into the Semantic Trap

细调的大语言模型理解漏洞吗？对语义陷阱的调查

Feiyang Huang, Yuqiang Sun, Fan Zhang, Ziqi Yang, Han Liu, Yang Liu

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了细调的大语言模型是否真正理解漏洞的根本原因，发现了一种称为语义陷阱的现象，并提出了一种评估框架来检测这种现象。

Comments 16 pages

Hi-GaTA: Hierarchical Gated Temporal Aggregation Adapter for Surgical Video Report Generation

Hi-GaTA：用于外科视频报告生成的分层门控时间聚合适配器

Kedi Sun, Chaohui Dang, Yue Feng, James Glasbey, Theodoros N. Arvanitis, Le Zhang

机构 * School of Engineering, College of Engineering and Physical Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学工程学院） ； School of Computer Science, University of Birmingham, Birmingham, UK（英国伯明翰大学计算机科学学院） ； Department of Applied Health Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学应用健康科学系） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出Hi-GaTA框架，通过时间聚合压缩长视频序列生成LLM兼容的视觉前缀令牌，结合预训练的外科专用视频编码器和LoRA微调，实现高质量外科报告生成。

Comments 11 pages, 2 figures

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling

融合监督学习与强化学习微调的前缀采样

Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

机构 * ILCC, University of Edinburgh（爱丁堡大学ILCC） ； Fudan University（复旦大学） ； Qwen Team, Alibaba Group（阿里集团Qwen团队） ； ILLC, University of Amsterdam（阿姆斯特丹大学ILLC） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Prefix-RFT方法，结合示范数据与探索学习，通过数学问题验证其有效性，超越了单独SFT和RFT以及混合策略方法。

Comments ICML 2026

PRISM: A Geometric Risk Bound that Decomposes Drift into Scale, Shape, and Head

PRISM: 一种将漂移分解为尺度、形状和头部的几何风险界

Chieh-Yen Lin, Shao-Hua Sun

机构 * Appier AI Research（Appier人工智能研究院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PRISM通过分析LLM的线性输出头和近等距结构，推导出交叉熵风险差的闭式上界，将漂移分解为尺度不匹配、形状不匹配和头部分歧三个可测量轴，用于指导变体排序和缓解灾难性遗忘。

From Standard English to Singlish: A Retrieval-Augmented Approach for Code-Switched Creole Generation in Large Language Models

从标准英语到新加坡英语：一种检索增强的方法用于大型语言模型中的克里奥尔生成

Foong Ming Lai, Yujin Tan, Han Meng, Yi-Chieh Lee

专题命中 指令微调 ：large language model(title)；language model(title)；prompting(abstract)

AI总结 本文提出一种检索增强生成框架，通过外部化方言知识实现受控的克里奥尔语言生成，无需微调，通过稀疏词法替换指导生成，实验表明其在自然度和语义保留方面表现优异。

Frozen LLMs as Map-Aware Spatio-Temporal Reasoners for Vehicle Trajectory Prediction

冻结的大语言模型作为具有地图意识的时空推理器用于车辆轨迹预测

Yanjiao Liu, Jiawei Liu, Xun Gong, Zifei Nie

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出利用冻结的大语言模型作为时空推理器，通过交通编码器提取轨迹特征并结合轻量CNN处理地图信息，评估LLM在动态交通代理行为和道路拓扑理解中的能力，提升轨迹预测的准确性与泛化性。

Comments Accepted for publication at IEEE Intelligent Vehicles Symposium 2026

Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR

Countdown-Code：研究RLVR中奖励黑客现象涌现与泛化的测试平台

Muhammad Khalifa, Zohaib Khan, Omer Tafveez, Hao Peng, Lu Wang

机构 * University of Michigan（密歇根大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Countdown-Code测试环境，通过分离代理奖励与真实奖励，研究LLM在监督微调中无意学习奖励黑客行为及其在强化学习中的泛化问题。

DiZiNER: Disagreement-guided Instruction Refinement via Pilot Annotation Simulation for Zero-shot Named Entity Recognition

DiZiNER：通过试点注释模拟的分歧引导指令细化用于零样本命名实体识别

Siun Kim, Hyung-Jin Yoon

机构 * Seltasquare Seoul, Korea（首尔韩国Seltasquare） ； Seoul National University College of Medicine（首尔国立大学医学院） ； Biomedical Research Institute, Seoul National University Hospital（首尔国立大学医院生物医学研究所） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DiZiNER通过模拟试点注释过程，利用LLM作为标注者和监督者，通过多模型标注和分歧分析优化指令，实现零样本NER的SOTA结果，提升F1分数并缩小与监督系统差距。

Comments 9 pages, 3 figures; Accepted to the ACL 2026 Main Conference

LLMs Are Not a Silver Bullet: A Case Study on Software Fairness

LLMs并非银弹：软件公平性的一项案例研究

Xinyue Li, Sixuan Li, Ying Xiao, Jie M. Zhang, Zhou Yang, Xuanzhe Liu, Zhenpeng Chen

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过对比传统机器学习与大语言模型在软件公平性中的表现，发现传统方法在公平性和预测性能上均优于LLM，指出LLM在现实数据中效果有限。

Long-Document QA with Chain-of-Structured-Thought and Fine-Tuned SLMs

长文档问答与结构化思维链及微调大语言模型

Zhuowen Liang, Xiaotian Lin, Zhengxuan Zhang, Yuyu Luo, Haixun Wang, Nan Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； EvenUp, USA（美国EvenUp公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出LiteCoST框架，通过结构化思维链和微调小语言模型，实现高精度低延迟的长文档问答，采用双支柱方法提升准确性和效率。

Comments 26 pages, 17 figures, 10 tables. Accepted at ICLR 2026

Attesting LLM Pipelines: Enforcing Verifiable Training and Release Claims

验证LLM流水线：强制执行可验证的训练和发布声明

Zhuoran Tan, Jeremy Singer, Christos Anagnostopoulos

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)

AI总结 本文提出一个验证意识的提升门，用于确保在训练、微调和部署前，对训练和发布声明的证据进行验证，强制安全加载和静态扫描策略，并应用默认安全的部署约束，以减少高风险 artifact 的不确定性。

Comments This paper has been accepted at The 2nd International Workshop on Large Language Model Supply Chain Analysis (LLMSC 2026)

HIPO: Instruction Hierarchy via Constrained Reinforcement Learning

HIPO：通过约束强化学习实现指令层级

Keru Chen, Jun Luo, Sen Lin, Yingbin Liang, Alvaro Velasquez, Nathaniel Bastian, Shaofeng Zou

机构 * School of ECEE Arizona State University（亚利桑那州立大学电子与计算机工程学院） ； Department of ECE The Ohio State University（俄亥俄州立大学电子工程系） ； Computer Science Department University of Houston（休斯顿大学计算机科学系） ； College of Engineering & Applied Science CU Boulder（科罗拉多大学博尔德分校工程与应用科学学院） ； Dept. of Electrical Engineering & Computer Science United States Military Academy（美国军事学院电子工程与计算机科学系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 HIPO通过约束马尔可夫决策过程解决层级指令遵循问题，提升系统合规性与用户效用。

Comments 9 pages + appendix. Under review

Generalization of RLVR Using Causal Reasoning as a Testbed

使用因果推理作为测试平台的RLVR泛化

Brian Lu, Hongyu Zhao, Shuo Sun, Hao Peng, Rui Ding, Hongyuan Mei

机构 * Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research Asia（微软亚洲研究院） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文通过实验证明，RLVR在特定模型规模和训练查询层次下能提升因果推理能力，尤其在复杂查询中表现更优。

Distilling Expert Surgical Knowledge: How to train local surgical VLMs for anatomy explanation in Complete Mesocolic Excision

萃取专家手术知识：如何训练局部手术VLMs用于完全网膜切除术的解剖解释

Lennart Maack, Julia-Kristin Graß, Lisa-Marie Toscha, Nathaniel Melling, Alexander Schlaefer

机构 * 1 Institute of Medical Technology ； Intelligent Systems, Hamburg University of Technology, Hamburg, Germany 2 Department of General, Visceral ； Thoracic Surgery, University Medical Center Hamburg-Eppendorf, Hamburg, Germany 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出一种隐私保护框架，通过从大型通用LLM中萃取知识，训练出高效的本地手术VLM，用于在完全网膜切除术中进行解剖解释。

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization

Jingyi Zhang, Jiaxing Huang, Huanjin Yao, Shunyu Liu, Xikun Zhang, Shijian Lu, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments ICCV 2025 Camera Ready

Is It Time To Treat Prompts As Code? A Multi-Use Case Study For Prompt Optimization Using DSPy

Francisca Lemos, Victor Alves, Filipa Ferraz

机构 * ALGORITMI Research Centre/LASI, University of Minho, Braga, 4710-057, Portugal（ALGORITMI研究中心/LASI，明霍大学，布拉加，4710-057，葡萄牙） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments 20 pages with 1 figure

ReCopilot: Reverse Engineering Copilot in Binary Analysis

Guoqiang Chen, Huiqi Sun, Daguang Liu, Zhiqi Wang, Qiang Wang, Bin Yin, Lu Liu, Lingyun Ying

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

SkyReels-V2: Infinite-length Film Generative Model

Guibin Chen, Dixuan Lin, Jiangping Yang, Chunze Lin, Junchen Zhu, Mingyuan Fan, Hao Zhang, Sheng Chen, Zheng Chen, Chengcheng Ma, Weiming Xiong, Wei Wang, Nuo Pang, Kang Kang, Zhiheng Xu, Yuzhe Jin, Yupeng Liang, Yubing Song, Peng Zhao, Boyuan Xu, Di Qiu, Debang Li, Zhengcong Fei, Yang Li, Yahui Zhou

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 31 pages,10 figures