语言大模型 / LLM

Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning

梯度幻影：大语言模型拆分学习中可训练且标签不可识别的梯度

Shiyu Miao, Yunlong Mao, Zirui Huang, Liang Yao, Tianshuo Zheng, Yanhui Gu, Fan Liu, Sheng Zhong

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型拆分学习中梯度匹配攻击的标签泄露问题，提出Gradient Mirage防御方法，通过三个维度的不一致性打破梯度-目标一致性，在保留优化效用的同时提升隐私保护，实现更优的隐私-效用权衡。

Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)

仅前向传播的领域适配（无需跨层反向传播）

Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出仅前向传播的MLP训练（FPO）方法，无需跨层反向传播即可适配大语言模型，提升吞吐量、降低内存开销，在保持域外基准性能的同时优化域内困惑度，且耗时低于限定SFT的方案。

Comments 15 pages

How Robust Are LLMs to Vietnamese Dialects?

大型语言模型对越南方言的鲁棒性如何？

Minh Tran, Trinh Chau, Thanh-Nhan Le, Nam Tran, Luan Thanh Nguyen, Cuong Dang, Duc Hoang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过构建VialectBench基准，评估指令微调LLM对越南方言的鲁棒性，发现方言输入会导致模型性能下降，且不同方言组的影响存在显著差异，标准越南语上的性能不代表方言场景下的可靠性。

Comments 8 pages, 3 figures, 4 tables

Small Is Enough: Per-User Style Rewriting of AI-Edited Text via LoRA Adapters

小模型已足够：通过LoRA适配器对AI编辑文本进行单用户风格重写

Antorweep Chakravorty

机构 * University of Stavanger（斯塔万格大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 InMyStyle是注重隐私的单用户系统，用多本地辅助LLM构建配对训练示例，微调0.5B-7B参数模型的LoRA适配器，可将AI编辑文本重写为用户风格，小模型即可完成重写任务，其输出感知AI性低于辅助AI生成内容

When Role-playing, Do Models Believe What They Say?

角色扮演时，模型是否相信它们所说的话？

Benjamin Sturgeon, David Africa, Sid Black

机构 * MATS 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 通过线性真实探针研究角色扮演对LLM内部表征的影响，发现角色扮演主要改变输出而非内部真实表征，而紧急错位则更显著地改变内部表征。

Stage-1 Controls the Entropy Regime, Not the Outcome

Stage-1 控制熵状态，而非最终结果

Jianxiong Shen

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过小数据实验研究两阶段后训练中Stage-1（SFT或OPD）的作用，发现其主要影响策略熵状态，但对最终性能影响有限。

RASFT: Rollout-Adaptive Supervised Fine-Tuning for Reasoning

RASFT: 用于推理的滚动自适应监督微调

Yongliang Miao, Fengyuan Liu, Wei Shi, Yanguang Liu, Fei Sun, Na Zou, Mengnan Du

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； New Jersey Institute of Technology（新泽西理工学院） ； Institute of Computing Technology, CAS（中国科学院计算技术研究所） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出RASFT框架，通过基于策略rollout的问题级可解性校准专家监督，在模型困难时加强指导、表现可靠时放松模仿并纳入自生成轨迹，同时使用裁剪逆比约束策略漂移，在多个推理基准上优于SFT和RL方法。

Benign Alone, Harmful Together: Exploiting Experience Composition in Self-Evolving LLM Agents

单独无害，联合有害：在自进化大语言模型智能体中利用经验组合

Bingyu Yan, Xiaoming Zhang, Chaozhuo Li, Ziyi Zhou, Yirui Qi, Litian Zhang

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出EvoBreak攻击，利用自进化LLM智能体的良性经验组合，结合BreakGym生成训练目标，在保持高无害性的同时优于现有攻击，揭示了新的安全风险。

Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search

设备优先反馈：面向移动端原生大语言模型驱动的神经网络架构搜索

Saif U Din, Muhammad Ahsan Hussain, Radu Timofte, Dmitry Ignatov

机构 * University of Würzburg（维尔茨堡大学） ； CAIDAS ； IFI 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出自动化移动端部署闭环流水线，针对CIFAR-10、CIFAR-100基准在三星平板验证，发现GPU微调无法保证移动端性能单调提升，需多数据集设备端测量。

Comments 11 pages, 4 figures, 4 tables. Code: https://github.com/ABrain-One/nn-gpt

M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning

M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化

Haiwen Li, Jing Tang, Rui Chen, Lei Sun, Xiangxiang Chu

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)；prompting(abstract)

AI总结 提出M2Note，一种无需训练的持续演化框架，通过将失败轨迹转化为可编辑的笔记，利用多模态检索增强生成在推理时引导模型，避免重复错误，并在多个基准上提升性能。

FCPRAG: Fusion-Controller Parametric Retrieval-Augmented Generation for Stable Multi-Passage LoRA Injection

FCPRAG：融合控制器参数化检索增强生成，用于稳定多段落LoRA注入

Jinchang Zhu, Jindong Li, Yi Ding, Xiaojian Nie, Rong Fu, Shuangyong Song, Haowei He, Menglin Yang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Macau（澳门大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI）） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FCPRAG是一种融合控制的参数化RAG框架，通过轻量控制器实现样本级适配器融合，在多个数据集和LLM主干上提升了RAG的F1值，降低调优成本并增强鲁棒性。

Comments Accepted to EMNLP 2026

MidTool: Mid-training Data Synthesis for Agentic Tool Use

MidTool：面向智能体工具使用的训练中期数据合成

Fengqing Jiang, Yite Wang, Boyi Liu, Zhaoyang Wang, Canwen Xu, Zhewei Yao, Radha Poovendran, Yuxiong He

机构 * University of Washington（华盛顿大学） ； Snowflake（雪花公司） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究提出MidTool流水线，构建面向智能体工具使用的训练中期数据，在MidTool-Mix上微调Qwen3模型，可显著提升工具使用相关下游任务性能，证明通用工具使用需专门训练中期调整。

Comments Data & Model: https://hf.co/collections/MidTool/midtool-release

DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval

DEPT：用于统一查询扩展与检索的文档嵌入保留调优

Jingyuan Wang, Richong Zhang, Zhijie Nie, Mingxin Li, Yanzhao Zhang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DEPT方法，通过端到端训练单个仅解码器LLM实现统一查询扩展与检索，保留调优文档嵌入以解决移动目标问题，在BE基准数据集上提升了检索质量。

Training Small LLMs as Spatial Multi-Agent Policies

将小型大语言模型（LLM）训练为空间多智能体策略

Yi Mao, Andrew Perrault

专题命中 指令微调 ：LLM(title_cn,summary_cn)；分类 cs.LG

AI总结 该研究针对小型冻结LLM在空间合作博弈中表现不佳的问题，通过机械合成可行性守卫构建符号选项库，用PA-MAGRPO训练LoRA适配器，实现了小型LLM的有效多智能体策略，并揭示奖励与合作解耦，需结合行为评估。

Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

结合检索增强生成流程的大语言模型优化与约束建模

Prateek Roy, Akash Singirikonda

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出结合检索增强生成的大语言模型优化建模方法，通过合成数据集与检索指导提升Qwen 3 30B Instruct的优化建模准确率，为低成本部署LLM优化工具提供可行方案。

Comments 20 pages, 3 figures

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

CLIFT：通过非侵入式闭环迭代微调将Gemini机器人端侧模型转化为人形机器人专家

Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； NVIDIA Research（英伟达研究院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究针对闭源机器人模型的托管式SFT API范式，提出CLIFT方法，在不访问模型内部机制的情况下，将Gemini机器人端侧模型经两次飞轮循环提升至接近完美的敏捷接触任务成功率。

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

HSS-Synth：面向大语言模型的人文社科数据合成

Ru Peng, Tianyu Zhao, Xijun Gu, Zhiting Fan, Haokai Xu, Jinyang Zhang, Yawen Zeng, Yihong Zhuang, Kexin Yang, Junyang Lin, Dayiheng Liu, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Inclusion AI, Ant Group（蚂蚁集团Inclusion AI） ； Peking University（北京大学） ； Qwen Team, Alibaba Group（阿里巴巴集团通义千问团队） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对LLM的HSS数据稀缺问题，提出以学科为中心的HSS-Synth流水线，生成23.7万指令微调样本，使Qwen3-8B-Base达SOTA并提升相关能力。

Comments ACL Findings 2026 Paper

Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case

通过两步验证增强生成式信息抽取：产品属性用例

Yi-Sheng Hsu, Nermeen Abou Baker, Uwe Handmann

机构 * Computer Science Institute, Ruhr West University of Applied Sciences（鲁尔西应用科学大学计算机科学学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对数字产品护照领域标注数据稀缺问题，提出集成PLM模块的两步验证生成式信息抽取方法，可提升LLM对低显著性实体的抽取性能，中型模型表现接近大型模型，最小型开源模型效果有限，还开发了对应演示应用。

Comments 13 pages

CHS-SQL: A Text-to-SQL approach based on Confidence-Guided Heuristic Search Schema Linking process

CHS-SQL：一种基于置信度引导启发式搜索模式链接过程的文本到SQL方法

Minghao Yang, Yanjun Xu

机构 * Hainan COSCO Shipping Technology Co., Ltd.（海南中远海运科技有限公司） 纠错

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 研究针对文本到SQL任务，提出CHS-SQL框架，在模式链接阶段结合模型内部置信度进行启发式搜索，平衡精确率和召回率，在SQL生成时进一步优化候选查询，避免局部最优，通过SLM取得了文本到SQL任务的最新成果。

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act: 通过一次性激活信息低秩子空间实现高效零阶微调

Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

机构 * University at Albany, SUNY（纽约州立大学奥尔巴尼分校） ； IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出ZO-Act方法，利用输入激活构建固定低秩子空间，仅优化系数矩阵，降低扰动维度并支持Adam优化器，实现高效零阶微调，在多个LLM上取得一致提升。

Beyond Clean Text: Evaluating Encoder and Decoder Robustness for Bangla Event Detection in Noisy Text

超越干净文本：评估编码器和解码器在孟加拉语噪声文本事件检测中的鲁棒性

Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar

机构 * Jahangirnagar University（贾汉吉尔纳加尔大学） ； Rajshahi University of Engineering & Technology（拉杰沙希工程技术大学） ； Bangladesh University of Engineering and Technology（孟加拉国工程技术大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 针对孟加拉语事件检测在噪声文本中的鲁棒性问题，构建含9,979句标注的基准数据集，系统评估编码器模型（BanglaBERT、XLM-R）与解码器LLM（Llama 3、Gemma 3），发现解码器模型鲁棒性更强，而编码器模型在干净文本上表现更好但受噪声影响大。

Comments 17 pages, 8 figures

Qwen-AgentWorld: Language World Models for General Agents

Qwen-AgentWorld: 通用智能体的语言世界模型

Yuxin Zuo, Zikai Xiao, Li Sheng, Fei Huang, Jianhong Tu, Yuxuan Liu, Tianyi Tang, Xiaomeng Hu, Yang Su, Qingfeng Lan, Yantao Liu, Qin Zhu, Yinger Zhang, Bowen Yu, Haiquan Zhao, Haiyang Xu, Jianxin Yang, Jiayang Cheng, Junyang Wang, Lianghao Deng, Mingfeng Xue, Tianyi Bai, Yang Fan, Yubo Ma, Yucheng Li, Zeyu Cui, Zhihai Wang, Zhihui Xie, Zhuorui Ye, An Yang, Dayiheng Liu, Jingren Zhou, Ning Ding

机构 * Qwen Team（Qwen团队） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 提出基于语言模型的世界模型Qwen-AgentWorld，通过三阶段训练（CPT、SFT、RL）模拟7个领域的智能体环境，并构建AgentWorldBench基准，实验表明其显著优于现有模型，且能作为环境模拟器和智能体基础模型提升下游性能。

Social Structure Matters in 3D Human-Human Interaction Generation

社会结构在三维人-人交互生成中的重要性

Zhongju Wang, Beier Wang, Yatao Bian, Pichao Wang, Zhi Wang, Daoyi Dong, Hongdong Li, Huadong Mo, Zhenhong Sun

机构 * University of New South Wales（新南威尔士大学） ； National University of Singapore（新加坡国立大学） ； NVIDIA（英伟达） ； Nanjing University（南京大学） ； University of Technology Sydney（悉尼科技大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Solo-to-Social框架，利用LLM规划社会结构（阶段分解、角色分配）并指导运动执行器生成协调的双人3D运动，解决文本驱动的人-人交互生成问题。

Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs

迈向无风险的开源权重模型：在LLM中分离公共与私有能力

Charbel El Feghali, Arkil Patel, Nicholas Meade, Spandana Gella, Verna Dankers, Siva Reddy

机构 * Mila and McGill University（Mila和麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； ServiceNow Research（ServiceNow研究） ； McGill-NLP/tiered-language-models（麦吉尔-自然语言处理/分层语言模型） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出层级语言模型（TLM），通过单一权重集和秘密密钥实现多级能力控制，公共配置保持基础能力，密钥配置解锁私有能力，抵抗微调提取和密钥部分泄露。

Comments Preprint. 28 pages

EstRTL: Functional Estimation Guided RTL Code Generation

EstRTL：功能估计引导的RTL代码生成

Qi Xiong, Renzhi Chen, Bowei Wang, Yuqing Xiong, Libo Huang, Lei Wang

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； Defense Innovation Institute, Academy of Military Science (AMS)（军事科学院创新院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； Key Laboratory of Advanced Microprocessor Chips and Systems, Changsha, China, and College of Computer Science and Technology, National University of Defense Technology, Changsha, China（先进微处理器芯片与系统重点实验室，长沙，中国，和国防科技大学计算机科学与技术学院，长沙，中国） ； Defense Innovation Institute, AMS, Beijing, China and Qiyuan Lab, Beijing, China（军事科学院创新院，北京，中国和启元实验室，北京，中国） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出EstRTL框架，通过静态功能评分估计，结合生成、评估和修正三阶段范式，提升LLM生成RTL代码的功能正确性，在通用LLM上正确率提升3.2%-9.0%。

NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry

NL2AGBench：面向AlphaGeometry的大语言模型自动形式化基准测试

Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong

机构 * Valley Christian High School（谷基督高中） ； Vandegrift High School（范德格里夫特高中） ； Groton School（格罗顿学校） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出NL2AGBench基准，评估LLMs将英文几何问题转换为AlphaGeometry兼容形式化表示的能力，发现闭源模型可实现80%以上可执行翻译率，开源模型表现欠佳，还提出错误分类法并验证了多种缓解策略的有效性。

What Aggregate Scores Miss: Measuring Item-Level Regressions in Commercial LLM API Migrations

聚合分数所遗漏的：商业大语言模型API迁移中项目级回归的测量

Xiaonan Xu, Wenjing Wu

机构 * College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 指令微调 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对GPT-5.4到GPT-5.6 Sol的三次升级，发现聚合分数遗漏了项目级双向变化，发布了响应级档案与项目级评分输出。

Comments 25 pages, 1 figure, 10 tables (including 8 appendix tables)

Domain Agnostic Text Redaction from Natural Language Rules using Instruction Tuning

基于指令微调的自然语言规则的领域无关文本脱敏

Aravindhan Arunagiri, Ayaan Khan, Udayaadithya Avadhanam, SaiBarath Sundar

机构 * Mphasis Limited（美费西斯有限公司） 纠错

专题命中 指令微调 ：instruction tuning(title)；LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于指令微调语言模型的领域无关可解释文本脱敏方案，支持用户以自然语言定义敏感信息，可应用于法律、医疗等关键场景的自动文本脱敏。

IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems

IKS-Instruct：一个用于教授语言模型印度知识体系的包含24000个示例的多语言数据集

Shwetha Singaravelu, Gayathri Muruganantham, Lakshmi Rajendran, Santhosh Sivasubramani

机构 * Intrinsic Lab, Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (Centre for SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器仪表和网络物理系统工程中心（传感中心）本征实验室） ； RSL Quantum, FITT, IIT Delhi（印度理工学院德里分校 FITT 学院 RSL 量子实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对现有指令数据集问题，提出IKS-Instruct多语言数据集教授语言模型印度知识体系，源于六种源类型，经多评判评估框架评估质量，展示了该数据集在特定模型微调上的效果及模型质量与数据整理的关系。

Comments 32 pages, 5 figures

FedLSG: LLM-Enhanced Semantic Calibration for Federated Graph Backdoor Defense

FedLSG：用于联邦图后门防御的大语言模型增强语义校准

Chenyu Zhou, Yabin Peng, Wei Huang, Kunlin Li, Shuaishuai Zhang, Xinyuan Miao

机构 * Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） ； Institute of AI for Industries（人工智能产业研究院） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对联邦图神经网络易受后门攻击问题，提出FedLSG框架，将大语言模型集成防御，通过图与行为到文本的转换及轻量级师生架构，在不损图完整性时显著提升对后门攻击的抵抗力。