语言大模型 / LLM

SFT-GO: Supervised Fine-Tuning with Group Optimization for Large Language Models

Gyuhak Kim, Sumiran Singh Thakur, Su Min Park, Wei Wei, Yujia Bao

机构 * Center for Advanced AI, Accenture（Accenture高级人工智能研究中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(title,abstract)；LLM(abstract)

Prompting Large Language Models for Clinical Temporal Relation Extraction

Jianping He, Laila Rasmy, Haifang Li, Jianfu Li, Zenan Sun, Evan Yu, Degui Zhi, Cui Tao

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；instruction tuning(abstract)

LLM for Everyone: Representing the Underrepresented in Large Language Models

Samuel Cahyawijaya

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)

Comments PhD thesis

Leveraging Unstructured Text Data for Federated Instruction Tuning of Large Language Models

Rui Ye, Rui Ge, Yuchi Fengting, Jingyi Chai, Yanfeng Wang, Siheng Chen

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

Comments 11 pages, work in progress

Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model

Xia Hou, Qifeng Li, Jian Yang, Tongliang Li, Linzheng Chai, Xianjie Wu, Hangyuan Ji, Zhoujun Li, Jixuan Nie, Jingbo Dun, Wenfeng Song

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；SFT(abstract)

Comments 11 pages, 3 figures

Emerging Safety Attack and Defense in Federated Instruction Tuning of Large Language Models

Rui Ye, Jingyi Chai, Xiangrui Liu, Yaodong Yang, Yanfeng Wang, Siheng Chen

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

Comments 18 pages

WaveCoder: Widespread And Versatile Enhancement For Code Large Language Models By Instruction Tuning

Zhaojian Yu, Xin Zhang, Ning Shang, Yangyu Huang, Can Xu, Yishujie Zhao, Wenxiang Hu, Qiufeng Yin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

GraphGPT: Graph Instruction Tuning for Large Language Models

Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Lixin Su, Suqi Cheng, Dawei Yin, Chao Huang

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

Comments Accepted by SIGIR'2024, full paper

Zero-shot cross-lingual transfer in instruction tuning of large language models

Nadezhda Chirkova, Vassilina Nikoulina

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

Tuna: Instruction Tuning using Feedback from Large Language Models

Haoran Li, Yiran Liu, Xingxing Zhang, Wei Lu, Furu Wei

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

Comments EMNLP 2023, code and data are available at https://github.com/microsoft/LMOps

Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models

Boyu Zhang, Hongyang Yang, Xiao-Yang Liu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

Comments FinLLM Symposium at IJCAI 2023

Guiding Large Language Models via Directional Stimulus Prompting

Zekun Li, Baolin Peng, Pengcheng He, Michel Galley, Jianfeng Gao, Xifeng Yan

专题命中 指令微调 ：prompting(title,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments Accepted by NeurIPS2023. The code and data are available at https://github.com/Leezekun/Directional-Stimulus-Prompting

Improving LLM-Based SSH Honeypots Through Prompting and Fine-Tuning

通过提示工程和微调改进基于大语言模型（LLM）的SSH蜜罐

Muris Sladić, Veronica Valeros, Eman Alibalić, Sebastian Garcia

专题命中 指令微调 ：LLM(title,title_cn)；prompting(title,abstract)

AI总结 本文通过提示设计和微调改进本地LLM SSH蜜罐，发现提示设计影响显著，扩展数据集微调可提升性能，但提示与微调效果无法简单结合，二者可能因重叠约束产生冲突。

Fine-Tuning Small Language Models for Reliable VASP INCAR Generation

微调小型语言模型以生成可靠的VASP INCAR文件

Xinyue Zhang, Jixiang Li, Bin Shao, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 本研究通过微调小型语言模型（SLM）并搭配后处理器VASPGuard构建INCAR-SLM，在INCARBench上优于通用大模型，证明小型模型经适配可可靠生成VASP INCAR文件，适配后性能随规模增长趋于饱和。

CIgrate: Automating CI Service Migration with Large Language Models

CIgrate：利用大语言模型自动化持续集成服务迁移

Md Nazmul Hossain, Taher A. Ghaleb

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文提出基于大语言模型（LLM）的CI配置迁移框架CIgrate，经对比实验，其性能显著优于现有基于规则的方法CIMig，为CI配置迁移提供了更实用准确的方案。

Large Language Models for Fault Localization: An Empirical Study

用于故障定位的大语言模型：一项实证研究

Yingjian Xiao, Weiwei Gong, Jianjun Huang, Rongqun Hu, Hongwei Li, Anquan Jie, Boyang Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文通过在HumanEval-Java、Defects4J数据集上评估四款LLMs，对比非LLM基线，分析不同提示策略，明确其在语句级故障定位的优缺与实际权衡，为软件工程应用提供实证支持。

LoRA-Tuned Large Language Models for Dementia Detection via Multi-View Speech-Derived Features

基于多视角语音特征的LoRA微调大语言模型用于痴呆检测

Jonghyeon Park, Olivier Jiyoun Jung, Myungwoo Oh

机构 * NAVER Cloud（NAVER云） ； Division of Communication and Media, Ewha Womans University（通信与媒体系，成均馆大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出LoRA微调LLM，通过统一提示整合ASR转录、话语主题、时间流畅度和音韵序列四种语音特征，实现多视角推理，在ADReSSo上F1达90.14%。

Comments Accepted at INTERSPEECH 2026

RSAT: Structured Attribution Makes Small Language Models Faithful Table Reasoners

RSAT：结构化归因使小型语言模型成为可信表格推理器

Jugal Gajjar, Kamalasankari Subramaniakuppusamy

机构 * Department of Computer Science, The George Washington University, USA（计算机科学系，乔治·华盛顿大学，美国） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RSAT通过结构化归因提升小型语言模型的表格推理可信度，采用SFT和GRPO阶段训练，显著提高推理忠实度并确保引用有效性。

Comments 8 pages, 8 tables, 9 figures, and a 3-page Appendix. Accepted at the SURGeLLM Workshop at ACL 2026 and will be included in the proceedings

Rethinking Generalization in Reasoning SFT: A Conditional Analysis on Optimization, Data, and Model Capability

重新思考推理SFT中的泛化：对优化、数据和模型能力的条件分析

Qihan Ren, Peng Wang, Ruikun Cai, Shuai Shao, Dadi Guo, Yuejin Xie, Yafu Li, Quanshi Zhang, Xia Hu, Jing Shao, Dongrui Liu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文研究推理SFT的泛化问题，发现泛化受优化动态、训练数据和模型能力共同影响，指出短训练检查点可能低估泛化能力，数据质量和结构及模型能力均影响泛化效果，且推理提升与安全下降存在不对称性。

Comments Accepted by COLM 2026

DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

DIVE：通过多样性驱动的技能进化解锁冻结语言模型的自我提升

Siheng Xiong, Ali Payani, Oguzhan Gungordu, Faramarz Fekri

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 DIVE是一种多样性驱动的无参数框架，可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能，在多项推理任务上优于现有方法，还能实现模型间技能迁移，让小模型性能匹配或超越大模型。

Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

学习协调符号工具：用于验证平方和（SOS）证书的大语言模型（LLM）智能体

Bohan Chen, Shivam N. Patel, Richard Hoffmann, Sam Looi, Tony Yue Yu

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究开发结合领域训练、符号工具和验证反馈的LLM智能体，在加权SOS验证任务上达到78.96%成功率，为可精确检查输出领域的工具调用智能体设计提供案例。

Comments 15 pages, 4 figures

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

评估本地大语言模型（LLM）机器翻译中的提示范围与示例相似性

Mihael Arcan

机构 * Home Lab（家庭实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文以9种欧盟语言为对象，对比3款本地LLM与专用MT基线，研究提示范围、示例选择对机器翻译的影响，发现专用MT系统仍最优，嵌入检索对强LLM效果较好，语族范围提示对强LLM可行但存在小型模型缺陷。

On The Effectiveness-Fluency Trade-Off In LLM Conditioning: A Systematic Study

论LLM条件控制中的效果-流畅性权衡：一项系统性研究

Iuri Macocco, Pau Rodríguez, Arno Blaas, Luca Zappella, Marco Baroni, Xavier Suau

机构 * Universitat Pompeu Fabra（庞培法布拉大学） ； Apple（苹果公司） ； ICREA（加泰罗尼亚研究与高级研究所） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 系统研究LLM条件控制方法在注入和移除目标概念时的效果与流畅性权衡，发现高效引导方法常以牺牲流畅性为代价，且激活引导方法在指令调优模型上效果较差。

Comments 8 pages, 2 figure

Representation Collapse in Sequential Post-Training of Large Language Models

大型语言模型顺序后训练中的表示坍缩

Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang Gongshang University（浙江工商大学） ； Ningbo University（宁波大学） ； Shanghai University（上海大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；preference optimization(abstract)

AI总结 研究大型语言模型在顺序后训练阶段中内部表示逐渐压缩为低秩、各向异性且同质的特征空间，并提出轻量级干预措施以保持未来可学习性。

Comments work in progress

Learning to Adapt SFT Data for Better Reasoning Generalization

学习适应SFT数据以实现更好的推理泛化

Lisong Sun, Li Wang, Chen Zhang, Jinyang Wu, Kui Zhang, Tianhao Peng, Wenjun Wu

机构 * Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高级创新中心） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出DART方法，通过强化学习训练映射器将分布不匹配的SFT数据转化为模型自适应的监督，提升推理泛化能力。

Decouple before Integration: Test-time Synthesis of SFT and RLVR Task Vectors

在整合前解耦：测试时合成SFT和RLVR任务向量

Chaohao Yuan, Chenghao Xiao, Yu Rong, Hong Cheng, Long-Kai Huang

机构 * Department of Systems Engineering and Engineering Management, Chinese University of Hong Kong, Hong Kong, China（系统工程与工程管理系，香港中文大学，香港，中国） ； Department of Computer Science, Hong Kong Baptist University, Hong Kong, China（计算机科学系，香港 Baptist 大学，香港，中国） ； DAMO Academy, Alibaba Group, Hangzhou, China（达摩院，阿里巴巴集团，杭州，中国） ； Hupan Lab, Hangzhou, China（虎派实验室，杭州，中国） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文提出DoTS框架，通过测试时任务向量运算解耦SFT和RLVR，减少干扰并提升性能，实验表明其在多个数学推理基准上表现优异。

Patching LLM Like Software: A Lightweight Method for Improving Safety Policy in Large Language Models

像软件一样修补大语言模型：一种轻量级方法用于改进大语言模型的安全策略

Huzaifa Arif, Keerthiram Murugesan, Ching-Yun Ko, Pin-Yu Chen, Payel Das, Alex Gittens

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种轻量级方法，通过在现有模型前添加可学习的前缀来快速修复大语言模型的安全漏洞，该方法在毒性缓解、偏见减少和有害性拒绝等关键领域实现了与新一代安全对齐模型相当的安全提升。

Job Skill Extraction via LLM-Centric Multi-Module Framework

通过以LLM为中心的多模块框架进行工作技能提取

Guojing Li, Zichuan Fu, Junyi Li, Faxue Liu, Wenxia Zhou, Yejing Wang, Jingtong Gao, Maolin Wang, Rungen Liu, Wenlin Zhang, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出SRICL框架，结合语义检索、上下文学习和监督微调，解决长尾术语和跨域迁移下的工作广告技能提取问题，提升F1指标并减少无效标签。

Comments 5 pages, 5 figures, 3 tables

SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation

SwanNLP 在 SemEval-2026 任务 5：一种基于 LLM 的叙事词义消歧可信度评分框架

Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe

机构 * Department of Computer Science, Swansea University（Swansea大学计算机科学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于 LLM 的框架，用于叙事文本中同义词消歧的可信度评分，通过结构化推理机制评估词义的可信度，实验表明动态少样本提示的大型参数 LLM 能有效模拟人类判断。

Comments 6 pages, 5 Tables, 1 figure, Accepted to SemEval 2026

Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs

大型语言模型在文本属性图上的半监督指令微调

Zixing Song, Irwin King

机构 * University of Bristol（布里斯托大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；LLM(abstract)

AI总结 SIT-Graph通过半监督指令微调提升文本属性图学习性能，实现低标签条件下20%以上的性能提升。