语言大模型 / LLM

Compatibility-Aware Dynamic Fine-Tuning for Large Language Models

兼容性感知的动态微调用于大型语言模型

Yucheng Zhou, Junwei Sheng, Qianning Wang, Jianbing Shen

机构 * SKL-IOTSC, CIS, University of Macau（澳门大学科技学院电脑与信息科学系及智慧城市物联网国家重点实验室） ； Auckland University of Technology（奥克兰理工大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出兼容性感知动态微调（CADFT），通过模型似然度动态调整监督更新，抑制不兼容样本的高方差梯度，提升训练稳定性和泛化能力。

Comments ACL 2026

Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks

迷失在代码对话者的流程中：揭示代码任务中大语言模型的指令微调税

Shi Ying Chang, Chiok Yew Ho, Yichen Li, Yintong Huo

机构 * Singapore Management University（新加坡国立管理学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；instruction tuning(abstract)

AI总结 本研究首次实证发现指令微调在代码任务中导致权衡：增强指令遵循能力却削弱代码填充性能，称之为“指令微调税”，并通过定性和定量分析总结出七项发现和四项启示。

Comments 25 pages, 6 figures. Evaluation toolkit and dataset: https://github.com/arkosioscambions/CodeTalkers

Retrieval-based and Fine-tuned LLM Approaches for Industrial Asset Health Monitoring and Decision Support

基于检索和微调的大语言模型方法用于工业资产健康监测和决策支持

Seshu Kumar Damarla, Xiuli Zhu

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究基于检索和微调的大语言模型方法在工业资产健康监测中的故障传感器诊断推理表现，通过FailureSensorIQ基准测试，发现语义搜索和混合搜索效果好，基于LLM的微调模型性能最佳，且各方法对一些干扰因素敏感。

Comments 6 pages, 4 figures, 6 tables

Towards Robust Reinforcement Learning for Small-Scale Language Model Agents

迈向用于小规模语言模型智能体的稳健强化学习

Md Rezwanul Haque, Md. Milon Islam, Fakhri Karray

机构 * University of Waterloo（滑铁卢大学） ； Khulna University of Engineering & Technology（库尔纳工程技术大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；SLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；small language model(abstract)

AI总结 研究小规模语言模型强化学习不稳定问题，识别出三种失败模式，提出容量余量假设，采用合并并重新初始化适配器技术等方法，所提系统稳定收敛，提升偏好胜率，优于指令调整基线且减少训练数据。

Comments Proceedings of the 2026 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Bellevue, WA, USA

Edge-Deployable LLM Fine-Tuning on a Single GPU for Telecom Network Troubleshooting

用于电信网络故障排除的单 GPU 上的边缘可部署大语言模型微调

Chenhua Shi, Bhavika Jalli, John Zou, Gregor Macdonald, Wanlu Lei, Mridul Jain, Joji Philip

专题命中 指令微调 ：LLM(title,summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究电信边缘站点大语言模型微调，用Unsloth框架进行GPU分析，系统分析多因素对训练稳定性和资源效率的影响，给出推理与非推理模型不同行为，为电信边缘环境LLM微调提供配置指南。

Comments 6 pages, 2 figures, 5 tables

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

SFT 过训练通过熵崩溃预测 RLVR 下的排名反转

Siddharth Aphale, Kelly Liu

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现 SFT 过度训练导致 rollout 分布熵降低，使 GRPO 中优势信号消失，从而引发排名反转；提出基于熵的两阶段诊断方法可预警高风险检查点。

Comments Accepted at the Deep Learning for Code (DL4C) Workshop at ICML 2026

Natural-Language Policies to Executable Decisions: An Interpretable Large Language Model Framework

从自然语言政策到可执行决策：一种可解释的大语言模型框架

Ziqiang Zhang, Jing Ma, Zilong Wang, Jiayuan Chen, Yi Qiao, Yu He, Wei Zhang, Dai Cheng, Xiaoyu Shen

机构 * Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL

AI总结 针对旅游业定价自动化的挑战，提出一种可解释的LLM驱动定价系统，通过结构化提取、确定性数值计算等实现可靠可审计的定价，部署后大幅缩减团队规模并缩短订单处理时间。

StrategyBench: Evaluating Explicit Strategy Induction in Large Language Models

StrategyBench：评估大语言模型中的显式策略归纳能力

Jinghan Tan, Yuanzheng Wang, Lu Chen, Zijun Chen, Yuqian Wang, Maosong Sun

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出StrategyBench基准，评估大语言模型显式策略归纳能力，通过多维度分析揭示策略效用的影响因素，相关基准已公开。

Knowing but Not Saying: Preventing Factual Access Failures in LLM SFT via Recall-Anchored Distillation

知而不言：基于回忆锚定蒸馏的大语言模型监督微调中事实访问失败的预防

Haodong Chen, Yadong Wang, Shengtao Wen, Dong Liang, Xiang Chen

专题命中 指令微调 ：SFT(title,summary_cn)；LLM(title)；分类 cs.AI

AI总结 本研究针对大语言模型SFT中出现的事实访问失败问题，提出回忆锚定蒸馏（RAD）方法，在保留目标领域适配性的同时恢复了部分分布外召回率，揭示了基础模型软分布的关键保留作用。

Conflict and Congruency Effects in Large Language Models: In-Weight and In-Context Competition in a Verbal Conflict Task

大语言模型中的冲突与一致性效应：言语冲突任务中的权重内与上下文内竞争

Xiaoyang Hu, Mike Angstadt, Shane Storks, Zan Huang, Aman Taxali, Alex Weigard, Richard L. Lewis, Chandra Sripada

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 本研究通过言语冲突任务，探究LLM中一致性效应的机制，发现其源于权重内默认映射与上下文内规则映射的竞争，为分析此类响应竞争提供了模型系统。

Comments 23 pages, 8 figures

CLAIM: Leading Open-domain Active Clarification of Large Language Models with Uncertainty Measurement

CLAIM：基于不确定性度量的大语言模型开放域主动澄清领先方案

Kuangzhao Yang, Ziliang Zhao, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出基于不确定性度量的CLAIM框架，无需人工标注，结合监督学习与强化学习训练统一澄清决策模型，实现开放域人机交互中低成本鲁棒的主动澄清。

Comments 11 pages, 4 figures, and 3 tables

Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models

不同反馈，不同更新：针对大语言模型的用户交互选择性自学习

Xuanchen Li, Haitao Li, Yujia Zhou, Qingyi Pan, Heng Wang, Yiqun Liu, Min Zhang, Qingyao Ai

机构 * Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.AI

AI总结 针对LLM用户反馈的泛化范围差异问题，提出选择性自学习框架SLIFT，通过训练两个互补LoRA适配器，在MemoryBench和WildFB上取得优异性能。

A Physics-Informed Framework for PID Tuning of Chemical Processes Using Large Language Model Agents

基于大语言模型智能体的化工过程PID整定的物理信息框架

Zhoupeng Shou, Xiaodong Hong, Congjing Ren, Jingdai Wang, Yongrong Yang, Zuwei Liao

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；SFT(abstract,abstract_cn)；small language model(abstract)

AI总结 本研究提出一种适用于大、小语言模型的PID整定框架，将工程师整定流程形式化，通过微调Qwen3-0.6B并在测试案例中取得优异整定成功率，提升了PID整定的可靠性与稳定裕度。

Continual Learning for Sequential Personalization of Small Language Models: A Stability Monitoring Analysis

小语言模型的持续学习与顺序个性化：稳定性监测分析

Thomas S. Paula, Lucas S. Kupssinskü, Rodrigo C. Barros

机构 * MALTA, Machine Learning Theory and Applications Lab, PUCRS（MALTA，机器学习理论与应用实验室，PUCRS） ； Kunumi Institute（Kunumi研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract_cn)

AI总结 研究小语言模型在顺序LoRA个性化中的灾难性遗忘问题，提出基于检查点的监测协议，利用轻量级参考集分布诊断揭示模型特定不稳定性模式。

POTracker: Optimizing Large Language Models for Standard-Compliant Power Outage Report Generation

POTracker：优化大语言模型以生成符合标准的停电报告

Hung Phan, Aniroop Naladala, Dubey Avanindra, Supryia Chinthavali, Lunga Dalton, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出POTracker，通过新损失函数POTrackerLoss同时优化文本相似度和结构相似度，微调Qwen2.5-7B-Instruct生成符合美国电力行业标准的停电报告，结构准确率达86.47%。

Comments Data Science paper

From Drift to Coherence: Stabilizing Beliefs in LLMs

从漂移到一致：稳定LLM中的信念

SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

机构 * Department of Statistics, Seoul National University ； Korea Advanced Institute of Science \& Technology ； Department of AI, Kookmin University ； University of Hong Kong 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究LLM在多项选择问答中的信念漂移问题，提出提示式预测重采样（PPR）方法，发现信念过程会自稳定并收敛，进而提出种子答案提示策略和自一致性损失以加速稳定并提高预测一致性。

The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

混合艺术：基于混合的混淆方法用于大型语言模型中隐私保护的分割学习

Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） ； School of Cyber Science and Engineering, Wuhan University, China（武汉大学网络空间安全学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出MIXGUARD框架，通过令牌级混淆、表示级混淆和自适应梯度扰动机制，在保护隐私的同时保持模型效用，实验表明其优于现有方法。

Comments 19 pages, 5 figures

My Chemical Harness: Evolutionary Molecular Design over Synthetic Pathways with Large Language Model Agents

我的化学缰绳：基于合成路径的大语言模型智能体进化分子设计

César Ojeda, Darius A. Faroughy, Maryam Karimi, Payam Zarrintaj, Mir Mehdi Seyedebrahimi, Martín Carballo-Pacheco

机构 * Institute of Mathematics, Faculty of Science, University of Potsdam（数学研究所，科学学院，波茨坦大学） ； NHETC, Department of Physics and Astronomy, Rutgers University（NHETC，物理与天文学系，罗格斯大学） ； Potsdam Transfer, University of Potsdam（波茨坦转移，波茨坦大学） ； E3 LLC 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出一种以可执行合成路径为种群、大语言模型仅作策略控制器的进化框架，在可溶性环氧化物水解酶代理任务上达到最优性能。

Comments 27 pages | 10 figures

Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning

零空间约束的低秩自适应用于指定响应的大型语言模型遗忘

Bocheng Ju, Jianhua Wang, Chengliang Liu, Xiaolin Chang

机构 * Beijing Key Laboratory of Security and Privacy in Intelligent Transportation, Beijing Jiaotong University（北京交通大学智能交通信息安全与隐私保护北京市重点实验室） ； College of Computer Science and Technology, Taiyuan University of Technology（太原理工大学计算机科学与技术学院） ； Institute of Computing Technologies, China Academy of Railway Sciences Corporation Limited（中国铁道科学研究院集团有限公司计算技术研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出零空间约束响应指定遗忘框架，通过正交投影低秩参数化将LoRA更新限制在保留子空间的零空间内，在抑制遗忘知识的同时保持模型效用。

Thinking in a Low-Resource Language: What SFT Builds, What RL Fixes, What Accuracy Cannot See

在低资源语言中思考：SFT构建了什么，RL修正了什么，以及准确率无法察觉的问题

Ayoub Kirouane, Christos Petrocheilos

机构 * Sophea AI（索非亚人工智能公司） ； KIEFER SA（基弗股份有限公司） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.CL、cs.LG

AI总结 该研究针对三个混合专家模型，发现低资源语言推理中SFT可提升推理语言一致性与流畅性，RL可修正格式遗漏与答案泄露问题，而仅靠准确率无法察觉关键变化，相关工具可推广至其他低资源语言。

Build it, Break it, Repeat: Benchmarking and improving LLM-manipulated disinformation detection in social media posts

构建它、攻破它、重复它：基准测试与改进大语言模型生成的社交媒体虚假信息检测

Kevin Thomas, Milosz Kasprzyk, Reuel C Igbokwe Onuigbo, Elliott Pert, Cameron Tovey, João A. Leite, Olesya Razuvayevskaya, Carolina Scarton

机构 * University of Sheffield（谢菲尔德大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出BiBiR迭代框架测试虚假信息检测器鲁棒性，结合回译与LLM角色改写的攻破技术实现95%标签翻转率，DASS架构三元组对比模型准确率72.68%，优于基线模型。

Comments Under review

PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

PTP：基于前序令牌预测的大语言模型反演方法，用于近精确提示重构

Pirzada Suhail, Nagasai Saketh Naidu, Atanu R Sinha, Amit Sethi

机构 * IIT Bombay（印度理工学院孟买分校） ； Adobe Research（奥多比研究中心） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PTP方法，在黑盒场景下从零训练逆语言模型，通过前序令牌预测实现近精确提示重构，泛化性与迁移性良好，性能优于现有LLM反演工作。

Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models

探究推理性能的起源：强化学习（RL）与监督微调（SFT）模型在数学问题求解中的表征质量

Antyabha Rahman, Akshaj Gurugubelli, Omar Ankit, Kevin Zhu, Aishwarya Balwani

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究探究RL与SFT微调模型数学推理性能差异的机制，发现RL模型的表征更具线性可分性、深层重要性更高，其token分配变异性或反映在线策略推理的分布。

Comments Second Workshop on XAI4Science, AAAI 2026

DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification

DS@GT ARC在CheckThat! 2026中的应用：基于大语言模型的多语言数值声明验证的推理轨迹排序和分组奖励建模

Sagnik Sinha, Shreyas Shrestha

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言数值声明验证，探索基于大语言模型（LLM）的推理轨迹排序和分组奖励建模两种方法。LLM方法用LoRA微调验证器评分，还尝试子声明分解；奖励模型用TF-IDF及特征评分。结果显示LLM方法多数指标更优，阿拉伯语中AraBERT表现更佳且子声明分解未提升性能。

Comments 10 pages, 2 figures. Accepted at CLEF 2026 CheckThat!. To appear in CEUR Workshop Proceedings

LLM-INSTRUCT at UZH Shared Task 2026: Constraint-Aware Retrieval and Selective Debate for Paragraph-Level Argument Mining

LLM-INSTRUCT在UZH 2026共享任务中的应用：用于段落级论证挖掘的约束感知检索和选择性辩论

Phuong Huu Vu Tran, Long Minh Vo, Son Nguyen Minh Le, Hoang Van

机构 * Vietnamese-German University（越南-德国大学） ； RMIT University Vietnam（皇家墨尔本理工大学越南分校） ； VANGIA INNOVATIONS（VANGIA创新公司） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文介绍了在UZH 2026共享任务中用于段落级论证挖掘的获胜系统LLM-INSTRUCT，通过元数据感知检索、约束解码等方法缩小决策空间，提高了准确性和提交稳健性，在官方排行榜上取得优异成绩。

Comments Accepted to the 13th Workshop on Argument Mining (ArgMining 2026) at ACL 2026

CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse

CreativityNeuro: 引导语言模型权重以改善发散思维并减少模式崩溃

Samuel Schapiro, Core Francisco Park, Felix Sosa, Lav R. Varshney

机构 * Center for Brain Science, Harvard University（哈佛大学脑科学中心） ； CBS-NTT Program in Physics of Intelligence, Harvard University（哈佛大学CBS-NTT智能物理项目） ； Prior Computers ； AI Innovation Institute, Stony Brook University（石溪大学人工智能创新研究所） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出数据无关的对比权重引导方法CreativityNeuro，通过调整LLM权重增强发散思维，在多项创造力测试中提升原创性并减少模式崩溃，无需重新训练或微调。

Comments Accepted at ICML 2026 Workshop on Creativity & Generative AI

Persona Without Substrate: Regime-Dependence and the LLM Individuation Problem

无基座的人格：体制依赖性与LLM个体化问题

Shuaizhi Cheng

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 通过实验揭示LLM个体化问题中跨体制共指假设的漏洞，提出体制索引个体化框架，将表征内容的身份单位视为（载体，体制）对。

Comments 30 pages, 2 figures, 1 table. Replies to Beckmann & Butlin (arXiv:2604.17031)

Aura: Dynamic Intra-Turn Emotion-Aware Adaptation of Large Language Model Responses

Aura：大型语言模型响应的轮内动态情感感知适配

Rachel Schuchert, Christian Holz

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出Aura框架，通过感知用户情绪、概率信念模型选干预、LoRA适配器定制响应，经20人用户研究，较Llama-3提升学习增益、减21%交互时间，优化人机交互。

Rethinking Speech Foundation Model Fine-tuning: Better SFT or Better Match?

重新思考语音基础模型微调：更好的监督微调还是更好的匹配？

Wangjin Zhou, Yizhou Zhang, Yichi Wang, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究生院） 纠错

专题命中 指令微调 ：SFT(title,summary_cn)；foundation model(title)

AI总结 研究语音基础模型微调，通过对3个SUPERB分类任务、9个预训练检查点的8种SFT变体进行系统研究，发现SFT结果强烈依赖预训练实例，顶级SFT方法常因检查点而异，下游增益多为实例和种子依赖的匹配，非普遍性能提升。

Comments Accept by Interspeech 2026

AuRA: Internalizing Audio Understanding into LLMs as LoRA

AuRA: 将音频理解内化到LLM中作为LoRA

Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Jilin University（吉林大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。