语言大模型 / LLM

Qalb: Largest State-of-the-Art Urdu Large Language Model for 230M Speakers with Systematic Continued Pre-training

Qalb：面向2.3亿使用者的最先进的乌尔都语大型语言模型，采用系统性持续预训练

Muhammad Taimoor Hassan, Jawad Ahmed, Muhammad Awais

机构 * Auburn University, USA（美国阿伯杜大学） ； BHT Berlin, Germany（柏林BHT学院） ； BTU Cottbus, Germany（库滕堡工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Qalb通过持续预训练和监督微调，为乌尔都语构建了最先进的大型语言模型，显著提升了在多种任务上的性能。

Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning

协同优于差异：一种基于分区的多领域LLM微调方法

Hua Ye, Siyuan Chen, Haoliang Zhang, Weihao Luo, Yanbin Li, Xuan Zhang

机构 * Nanjing University（南京大学） ； Airon Technology CO., LTD（艾瑞森技术有限公司） ； University of Bristol（布里斯托大学） ； The University of Oklahoma（俄克拉荷马大学） ； Donghua University（东华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种基于分区的多领域LLM微调方法，通过平衡领域差异与协同效应，有效减少领域间干扰，提升多领域适应性能。

Comments 20 pages, 5 figures, 21 tables. Accepted at NeurIPS 2025. Corresponding author: Xuan Zhang (xuanzhang2199@gmail.com)

FGIT: Fault-Guided Fine-Tuning for Code Generation

FGIT：基于故障的微调用于代码生成

Lishui Fan, Zhongxin Liu, Haoye Wang, Lingfeng Bao, Xin Xia, Shanping Li

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 FGIT通过提取正确与错误代码差异并动态加权提升代码生成准确性，实现性能提升。

Comments 13 pages, accepted by ASE 2025

Triplets Better Than Pairs: Towards Stable and Effective Self-Play Fine-Tuning for LLMs

三元组优于对：迈向稳定且有效的自play微调方法用于大语言模型

Yibo Wang, Hai-Long Sun, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, Lijun Zhang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（人工智能学院） ； Alibaba International Digital Commerce（阿里巴巴国际数字商务） ； Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 T-SPIN通过引入历史优势和熵约束，提升自play微调在稀缺标注数据下的稳定性和性能

Comments NeurIPS 2025

TransFR: Transferable Federated Recommendation with Adapter Tuning on Pre-trained Language Models

TransFR: 基于预训练语言模型的可迁移联邦推荐

Honglei Zhang, Zhiwei Li, Haoxuan Li, Xin Zhou, Jie Zhang, Yidong Li

专题命中 指令微调 ：language model(title)

AI总结 TransFR通过结合预训练语言模型的通用能力和本地数据微调的个性化能力，解决联邦推荐中的可迁移性、冷启动和隐私问题。

Cross-Prompt Encoder for Low-Performing Languages

跨提示编码器用于表现不佳的语言

Beso Mikaberidze, Teimuraz Saghinadze, Simon Ostermann, Philipp Muller

机构 * Muskhelishvili Institute of Computational Mathematics, GTU (MICM)（穆斯赫利什维利计算数学研究所（MICM）） ； Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心（DFKI）） ； Center for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心（CERTAIN）） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出跨提示编码器（XPE）用于提升表现不佳语言的性能，并结合双软提示机制增强多语言适应能力。

Comments Accepted at Findings of IJCNLP-AACL 2025

Precision over Diversity: High-Precision Reward Generalizes to Robust Instruction Following

精确性胜过多样性：高精度奖励能泛化到稳健的指令跟随

Yirong Zeng, Yufei Liu, Xiao Ding, Yutai Hou, Yuxian Wang, Haonan Song, Wu Ning, Dandan Tu, Qixun Zhang, Bibo Cai, Yuxiang He, Ting Liu

机构 * Harbin Institute of Technology, SCIR（哈尔滨工业大学，SCIR） ； Peking University（北京大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现高精度奖励优于多样化的约束混合，提出数据导向的优化策略，提升指令跟随性能并减少训练时间。

Comments Under review, 13 pages, 8 figures

Multi-Task Fine-Tuning Enables Robust Out-of-Distribution Generalization in Atomistic Models

多任务微调使原子模型在分布外泛化中更加稳健

Chengqian Zhang, Duo Zhang, Anyang Peng, Mingyu Guo, Yuzhi Zhang, Lei Wang, Guolin Ke, Linfeng Zhang, Tiejun Li, Han Wang

专题命中 指令微调 ：pretraining(abstract)

AI总结 多任务微调通过联合优化性质预测与物理基础力场目标，提升了原子模型在分布外情况下的泛化能力，优于传统微调和任务特定模型。