语言大模型 / LLM

When the Aggregator Cheats: Data-Free Backdoors in Federated LLM-based QA Systems

当聚合者作弊：联邦LLM问答系统中的无数据后门

Chenqing Zhu, Yanbo Dai, Yulong Tian, Qingming Li, Songze Li

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 针对联邦学习问答系统中恶意聚合者植入广告后门的问题，提出利用客户端梯度恢复样本并构造中毒数据集的两阶段攻击方法，实现高攻击成功率且几乎不影响正常性能。

Comments Accepted at the 35th USENIX Security Symposium (USENIX Security 2026)

EvoPref: Multi-Objective Evolutionary Optimization Discovers Diverse LLM Alignments Beyond Gradient Descent

EvoPref：多目标进化优化发现超越梯度下降的多样化大语言模型对齐

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 EvoPref通过多目标进化算法在帮助性、无害性和诚实性目标上优化LoRA适配器，发现比梯度下降更丰富的对齐方式，实验显示其在偏好覆盖和崩溃率上均有显著提升。

Comments 10 pages, 2 figures, 6 tables, 1 algorithm. Accepted to GECCO 2026

SkillMutator: Benchmarking and Defending Language-and-Code Cross-modal Attacks on LLM Agent Skills

SkillMutator: 基准测试与防御针对LLM代理技能的语言与代码跨模态攻击

Youngduk Kim, Minkyoo Song, Seungwon Shin

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SkillMutator基准，模拟13类跨模态攻击，并设计四阶段推理轨迹蒸馏框架，将检测率从17.1%提升至88.2%，超越GPT-4o-mini。

LLM-Based Porting of Optimized C++ to CUDA Through Deoptimization and Reoptimization

基于LLM的通过去优化和再优化将优化C++移植到CUDA

Daichi Mukunoki, Ryo Mikasa, Shunichiro Hayashi, Tetsuya Hoshino, Takahiro Katagiri

专题命中 指令微调 ：LLM(title,title_cn)

AI总结 提出Deopt-Reopt工作流，通过先简化CPU优化代码再重新翻译优化为CUDA，利用LLM提升移植性能，实验表明该方法在部分内核上有效但非普遍适用。

UNISON: A Unified Sound Generation and Editing Framework via Deep LLM Fusion

UNISON: 通过深度LLM融合的统一声音生成与编辑框架

Zhaoqing Li, Haoning Xu, Jingran Su, Yaofang Liu, Zhefan Rao, Huimeng Wang, Jiajun Deng, Tianzi Wang, Zengrui Jin, Rui Liu, Haoxuan Che, Xunying Liu

机构 * The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong Polytechnic University（香港理工大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tsinghua University（清华大学） ； Huawei Research Hong Kong（华为香港研究） 纠错

专题命中 指令微调 ：LLM(title,title_cn)

AI总结 提出UNISON，一个基于潜在扩散的统一框架，通过层间深度LLM融合和多任务架构，实现语音生成、声音生成和音频编辑，在多个任务上达到或超越专业模型性能，且参数量减少约4倍。

Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

有害意图作为LLM残差流中的几何可恢复特征

Isaac Llorente-Saguer

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过几何方法识别LLM残差流中有害意图的特征，发现其在不同模型架构中线性可分离，并通过优化策略实现高检测性能。

Comments 26 pages, 1(+6) figures, 4(+14) tables. Code at https://github.com/isaac-6/harm-directions

AgenticPrecoding: LLM-Empowered Multi-Agent System for Precoding Optimization

代理预编码：基于LLM的多智能体系统用于预编码优化

Zijiu Yang, Zixiang Zhang, Shunpu Tang, Qianqian Yang, Zhiguo Shi

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AgenticPrecoding框架，通过多智能体系统自动推导端到端预编码，提升未来6G网络中异构场景的适应性。

Secure LLM Fine-Tuning via Safety-Aware Probing

通过安全感知探测实现安全的大语言模型微调

Chengcan Wu, Zhixin Zhang, Zeming Wei, Yihao Zhang, Xiaokun Luan, Meng Sun

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文探讨了非有害数据微调为何可能降低安全性，提出安全感知探测框架，通过对比安全信号定位安全相关方向，优化轻量级探针以引导参数更新远离有害轨迹，提升安全与性能的平衡。

DarwinTOD: LLM-driven Lifelong Self-evolution for Task-oriented Dialog Systems

DarwinTOD: 基于LLM的持续自我进化任务导向对话系统

Shuyu Zhang, Yujie Liu, Xinru Wang, Cheng Zhang, Yanmin Zhu, Bin Li

专题命中 指令微调 ：LLM(title,title_cn)

AI总结 DarwinTOD通过整合进化计算与LLM驱动的自我改进，提出一种持续自我进化对话框架，实现零样本基础下的持续策略优化，无需任务特定微调。

Comments Accepted in ACL2026 main

In Vino Veritas and Vulnerabilities: Examining LLM Safety via Drunk Language Inducement

葡萄酒中的真理与漏洞：通过醉酒语言诱导检验LLM安全性

Anudeex Shetty, Aditya Joshi, Salil S. Kanhere

机构 * School of Computer Science and Engineering, UNSW Sydney（计算机科学与工程学院，新南威尔士大学悉尼分校） ； School of Computing and Information System, the University of Melbourne（计算与信息系统学院，墨尔本大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文通过诱导LLM产生醉酒语言，研究其安全漏洞，发现其易受劫持攻击和隐私泄露，揭示了LLM安全性的潜在风险。

Comments WIP

ALAS: Autonomous Learning Agent for Self-Updating Language Models

Dhruv Atreja

机构 * Dhruv Atreja（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；SFT(abstract)

Scalpel vs. Hammer: GRPO Amplifies Existing Capabilities, SFT Replaces Them

Neel Rajani, Aryo Pradipta Gema, Seraphina Goldfarb-Tarrant, Ivan Titov

机构 * Institute for Language, Cognition and Computation (ILCC), University of Edinburgh, United Kingdom（语言、认知与计算研究所（ILCC），爱丁堡大学，英国） ； Institute for Logic, Language and Computation (ILLC), University of Amsterdam, Netherlands（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学，荷兰） 纠错

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Journal ref Actionable Interpretability Workshop ICML 2025

CodeSteer: Symbolic-Augmented Language Models via Code/Text Guidance

Yongchao Chen, Yilun Hao, Yueying Liu, Yang Zhang, Chuchu Fan

机构 * Massachusetts Institute of Technology, Boston, MA, USA（麻省理工学院） ； Harvard University, Boston, MA, USA（哈佛大学） ； MIT-IBM Watson AI Lab, Boston, MA, USA（MIT-IBM Watson AI实验室） ； University of Illinois Urbana-Champaign, Urbana, IL, USA（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；SFT(abstract)

Comments 28 pages, 12 figures

Journal ref International Conference on Machine Learning (ICML'2025)

LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard

Varun Rao, Youran Sun, Mahendra Kumar, Tejas Mutneja, Agastya Mukherjee, Haizhao Yang

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

SelectIT: Selective Instruction Tuning for LLMs via Uncertainty-Aware Self-Reflection

Liangxin Liu, Xuebo Liu, Derek F. Wong, Dongfang Li, Ziyi Wang, Baotian Hu, Min Zhang

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to NeurIPS 2024

RosePO: Aligning LLM-based Recommenders with Human Values

Jiayi Liao, Xiangnan He, Ruobing Xie, Jiancan Wu, Yancheng Yuan, Xingwu Sun, Zhanhui Kang, Xiang Wang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

The Philosopher's Stone: Trojaning Plugins of Large Language Models

Tian Dong, Minhui Xue, Guoxing Chen, Rayne Holland, Yan Meng, Shaofeng Li, Zhen Liu, Haojin Zhu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments Accepted by NDSS Symposium 2025. Please cite this paper as "Tian Dong, Minhui Xue, Guoxing Chen, Rayne Holland, Yan Meng, Shaofeng Li, Zhen Liu, Haojin Zhu. The Philosopher's Stone: Trojaning Plugins of Large Language Models. In the 32nd Annual Network and Distributed System Security Symposium (NDSS 2025)."

Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting

Melanie Sclar, Yejin Choi, Yulia Tsvetkov, Alane Suhr

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；instruction tuning(abstract)

Comments ICLR 2024 Camera Ready version. With respect to the original submission, we added text generation experiments, plots of entire accuracy distributions for each task + stdev computations, and prompt length correlation with spread analysis

Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

Zixiang Chen, Yihe Deng, Huizhuo Yuan, Kaixuan Ji, Quanquan Gu

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；SFT(abstract)

Comments 22 pages, 6 figures, 7 tables. In ICML 2024

XFT: Unlocking the Power of Code Instruction Tuning by Simply Merging Upcycled Mixture-of-Experts

Yifeng Ding, Jiawei Liu, Yuxiang Wei, Terry Yue Zhuo, Lingming Zhang

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Fine-tuning Language Models with Generative Adversarial Reward Modelling

Zhang Ze Yu, Lau Jia Jaw, Zhang Hui, Bryan Kian Hsiang Low

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；SFT(abstract)

Comments 22 pages, 9 figures, 12 tables

Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision

Zhiqing Sun, Yikang Shen, Qinhong Zhou, Hongxin Zhang, Zhenfang Chen, David Cox, Yiming Yang, Chuang Gan

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；SFT(abstract)

Comments Accepted at NeurIPS 2023 (Spotlight). Project page: https://github.com/IBM/Dromedary

Do Language Models Consistently Encode the Current Year?

语言模型是否一致地编码了当前年份？

Suze van Adrichem, Aditi Bhaskar, Diyi Yang, Christopher Potts, Jing Huang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；post-training(abstract)；prompting(abstract)

AI总结 该研究探究语言模型对当前年份的编码一致性，设计两项不同任务，发现关联与声明年份的编码机制不同，现有修改方法无法同时调整两者，表明当前年份未被一致编码。

Comments Accepted at the Conference on Language Modeling (COLM) 2026

Building a Strong Instruction Language Model for a Less-Resourced Language

为资源较少的语言构建一个强大的指令语言模型

Domen Vreš, Tjaša Arčon, Timotej Petrič, Dario Vajda, Marko Robnik-Šikonja, Iztok Lebar Bajec

机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

AI总结 本文提出了一种针对斯洛文尼亚语的高性能开源语言模型GaMS3-12B，通过预训练和微调方法在多个评估任务中优于现有模型。

Comments Currently under review at Natural Language Processing Special Issue on Language Models for Low-Resource Languages

UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity

UniFed-VLM：面向多异质性视觉语言模型的联邦指令调优

Pengyu Wang, Baochen Xiong, Xiaoshan Yang, Yifan Xu, Zhang Qimeng, Haifeng Chen, Changsheng Xu

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title,abstract)；分类 cs.LG

AI总结 UniFed-VLM是解决任务、模态、模型架构联合异质性的VLM联邦指令调优框架，含FedCSA与TCoD组件，在多基准数据集上优于现有FL方法。

Exploring Adversarial Robustness and Safety Alignment in Multilingual Multi-Modal Large Language Models

探索多语言多模态大语言模型的对抗鲁棒性与安全对齐

Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

机构 * Mohamed Bin Zayed University of AI, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； Khalifa University, UAE（卡比拉大学，阿联酋） ； Australian National University, Australia（澳大利亚国立大学，澳大利亚） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 本研究通过梯度攻击和跨语言评估，发现多语言多模态大语言模型存在可迁移的对抗脆弱性，并揭示低资源语言因理解失败而呈现的虚假安全现象，提出深层训练整合才能实现真正的多语言安全对齐。

Journal ref The 37th British Machine Vision Conference (BMVC) 2026

Visual Distortion Detection in UGC Images Using Large Multimodal Models

基于大型多模态模型的UGC图像视觉失真检测

Ziheng Jia, Yingji Liang, Jiaying Qian, Xiongkuo Min

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对现有LMM图像失真检测方法准确率不足及合成失真泛化差距问题，提出VIGIL模型，构建VIGIL-140K数据集，利用LLM解码器多层级特征检测并缓解FG-BG分离问题，在两类任务上性能优于基线。

DataRx: Missingness-Aware Sampling for Safer Large Language Model Task-Specific Fine-Tuning

DataRx：面向更安全的大语言模型任务特定微调的缺失感知采样方法

Junbo Zhang, Qianli Zhou, Xinyang Deng, Wen Jiang

机构 * Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 本文提出DataRx缺失感知采样方法，通过高维隐表示量化安全信号差距，仅用1% BeaverTails安全样本，即可大幅降低Llama3-8B-Instruct的攻击成功率，还可与现有安全数据合成方法结合提升防御效果。

SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay

SeqLLM：为高风险决策场景下的微信支付增强序列大语言模型（LLM）的行为序列建模能力

Guilin Li, Jiaxing Zhang, Matthias Hwai Yong Tan, Bo Wang, Weiran Huang

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SeqLLM是一种在保留LLM语言能力的同时增强其行为序列建模能力的框架，已部署于微信支付，在风险筛查等任务上性能显著优于现有基线。

RetiBridge: Bridging Quantitative Retinal Biomarkers and Qualitative Diagnosis with a Knowledge-Guided Multimodal Large Language Model

RetiBridge：用知识引导的多模态大语言模型连接定量视网膜生物标志物与定性诊断

Zhuangzhi Gao, Hongyi Qin, He Zhao, Qinkai Yu, Feixiang Zhou, Fu Wang, Jinru Ding, Eduard Shantsila, Uazman Alam, Alena Shantsila, Wahbi El-Bouri, Gregory Y. H. Lip, Yalin Zheng

机构 * University of Liverpool（利物浦大学） ； Institute of Life Course & Medical Sciences（生命课程与医学科学研究院） ； Department of Eye and Vision Sciences（眼科与视觉科学系） ； Computer Science Department（计算机科学系） ； Cardiovascular & Metabolic Medicine（心血管与代谢医学） ； Liverpool Centre for Cardiovascular Science（利物浦心血管科学中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 该研究提出RetiBridge模型，结合CFP、OCT数据与文本，通过知识引导微调学习定量到定性诊断路径，在眼科理解基准上表现优于开源基线及OpenAI o3，代码数据已公开。

Comments 10 pages, 4 figures, 3 table. Equal contribution: Zhuangzhi Gao and Hongyi Qin. Corresponding author: Yalin Zheng (yzheng@liverpool.ac.uk)