语言大模型 / LLM

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

解耦视觉处理：通过模态特定Transformer替换实现高效多模态适配

Mingkuan Feng, Zhengqi Wen, Jianhua Tao

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 该研究针对多模态大语言模型视觉指令微调成本高的问题，提出解耦视觉处理框架，替换预训练大语言模型上层解码器为轻量Transformer块，仅训练该块即可在多个基准上实现竞争力性能，降低了计算成本。

FlowCTS: On-policy Continuous Trajectory Supervision of Flow Models

FlowCTS：流模型的在线连续轨迹监督

Kaiyang Ye, Yuan Ge, Junxiang Zhang, Bei Li, Ziming Zhu, Haishu Zhao, Xiaoqian Liu, Chenglong Wang, Jingbo Zhu, Zhengtao Yu, Tong Xiao

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 【一句话总结】研究针对策略蒸馏在流模型中的扩展探索不足的问题，提出FlowCTS，通过匹配轨迹等方法得出速度匹配上限并离散化，在多参考设置下有优势，还揭示了基于KL的策略蒸馏的不足，且在策略外设置也表现出色。

Diversity-Oriented Fine-Tuning for Uncertainty-Based Hallucination Detection

基于不确定性的幻觉检测的面向多样性的微调

Qiuyuan Li, Hongliang Dai, Piji Li

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（教育部脑机智能技术重点实验室） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 研究基于不确定性的幻觉检测，提出面向多样性的微调策略，包括基于监督微调（SFT）和直接偏好优化（DPO）的方法，经实验验证可提高幻觉检测有效性，结果优于或可比现有方法。

Hide and Seek in Embedding Space: Geometry-based Steganography and Detection in Large Language Models

嵌入空间中的隐秘行动：基于几何的隐写术与大语言模型中的检测

Charles Westphal, Keivan Navaie, Fernando E. Rosas

机构 * UCL Centre for Artificial Intelligence, University College London, UK（伦敦大学学院人工智能中心，大学学院伦敦） ； School of Computing and Communications, Lancaster University, UK（兰卡斯特大学计算机与通讯学院） ； Department of Informatics, University of Sussex, UK（苏塞克斯大学信息学院） ； Centre for Psychedelic Research and Centre for Complexity Science, Imperial College London, UK（伦敦帝国学院迷幻研究与复杂科学中心） ； Centre for Eudaimonia and Human Flourishing, University of Oxford, UK（牛津大学幸福与人类繁荣中心） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 本研究提出了一种低恢复性隐写术，通过嵌入空间衍生映射提升秘密恢复率，同时减少负载恢复性，并提出基于机制可解释性的检测方法，提高微调模型中的秘密检测准确率。

Production and Perception in LLMs: A Token Probability Approach

大语言模型中的生成与感知：一种令牌概率方法

Anna Marklová, Jiří Milička, Martina Vokáčová, Rudolf Rosa

机构 * Faculty of Arts, Charles University, Prague（布拉格查理大学文学院） ； Faculty of Mathematics and Physics, Charles University, Prague（布拉格查理大学数学与物理系） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究探讨大语言模型中语言生成与感知的区别，通过直接令牌概率测量，利用Llama - 3.1 - 8B等模型实验发现，提示框架能引发生成 - 感知区别，此区别特定于交际框架，在多模型中可复制，感知提示在序列起始影响最强。

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1: 面向视觉-语言-动作模型的高效强化学习

Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

机构 * Zioneer Robot Team（Zioneer机器人团队） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.AI

AI总结 提出Z-1框架，结合共享前缀生成、树状轨迹分支、完成感知奖励校准和选择性联合训练，通过GRPO策略在24个RoboCasa任务上平均成功率80.6%，较SFT提升13.2%。

Embarrassingly Simple Self-Distillation Improves Code Generation

令人惊讶的简单自蒸馏方法提升代码生成能力

Ruixiang Zhang, Richard He Bai, Huangjie Zheng, Navdeep Jaitly, Ronan Collobert, Yizhe Zhang

机构 * Apple（苹果公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出简单自蒸馏（SSD）方法，仅利用模型自身输出进行微调，无需验证器或强化学习，显著提升代码生成性能，并揭示其通过重塑token分布解决精度-探索冲突的机制。

Navigating User Behavior toward Personalized Multimodal Generation

导航用户行为以实现个性化多模态生成

Hengji Zhou, Yufeng Liu, Ye Liu, Yong Xu, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出NaviGen，通过双标识符编码用户行为并采用两阶段SFT+RL训练，将交互历史转化为可执行指令，提升个性化图像和视频生成质量。

Comments 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen

Adaptive and Explicit safe: Triggering Latent Safety Awareness in Large Reasoning Models

自适应且显式安全：触发大型推理模型中的潜在安全意识

Ke Miao, Jiaxin Li, Hongliang Chen, Yuke Hu, Zhan Qin

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室） ； Hangzhou HighTech Zone (Binjiang) Blockchain and Data Security Research Institute, China（杭州高新区（滨江）区块链与数据安全研究院） ； Li Auto Inc.（理想汽车） ； Tsinghua University（清华大学） ； King Abdullah University Of Science And Technology（阿卜杜拉国王科技大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 针对大型推理模型易受越狱攻击的问题，提出Safe Trigger方法，通过SFT显式诱导安全标签触发安全分析，并用DPO优化，显著降低攻击成功率而不影响通用性能。

Oops, Wait: Discourse Tokens Matter in Reasoning Model

哎呀，等等：话语标记在推理模型中的重要性

Jaehui Hwang, Byeongho Heo, Sangdoo Yun, Dongyoon Han

机构 * NAVER AI Lab（NAVER人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究话语标记（如“wait”）在推理轨迹中的作用，发现数据高效微调可部分复现其模式，但不如大规模后训练与高置信答案转换对齐。

CacheRL:Multi-Turn Tool-Calling Agents via Cached Rollouts and Hybrid Reward

CacheRL: 通过缓存轨迹和混合奖励实现多轮工具调用智能体

Md Amirul Islam, Sumiran Thakur, Huancheng Chen, Su Min Park, Jiayun Wang, Gyuhak Kim

机构 * Center for Advanced AI Accenture（埃森哲高级人工智能中心） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；foundation model(abstract)；分类 cs.CL

AI总结 提出CacheRL系统，通过混合思维轨迹流水线、三级模糊缓存和缓存层级感知奖励，以100倍更少计算量实现92%的多步工具调用准确率，接近GPT-5的94%。

Nous: An Attempt to Extract and Inject the Cognition Behind Prediction-Market Behavior

Nous: 提取并注入预测市场行为背后认知的尝试

Haowei Qian

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 针对LLM代理在预测市场中认知同质化问题，提出Nous方法从真实交易行为提取八维行为画像并注入提示，发现提取部分有效但提示注入无法传递认知多样性。

Comments 37 pages, 1 figure, 7 tables. Reproduction artifacts (code, frozen profiles, prompts, model outputs): https://github.com/WillChienT/nous-paper

GradShield: Alignment Preserving Finetuning

GradShield: 保持对齐的微调

Zhanhao Hu, Xiao Huang, Patrick Mendoza, Emad A. Alghamdi, Basel Alomair, Raluca Ada Popa, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） ； HUMAIN ； King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹科学与技术城） ； University of Washington, Seattle（华盛顿大学（西雅图）） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出GradShield过滤方法，通过计算微调隐式危害分数并采用自适应阈值，在微调前移除有害数据，保持LLM安全对齐，攻击成功率低于6%。

VASO: Formally Verifiable Self-Evolving Skills for Physical AI Agents

VASO：物理AI智能体的形式可验证自进化技能

Yunhao Yang, Neel P. Bhatt, Kevin Wang, Samuel Tetteh, Zhangyang Wang, Ufuk Topcu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出VASO框架，通过形式验证引导LLM生成的机器人技能合约自进化，将模型检查的反例转化为文本梯度更新技能合约，无需微调模型权重，在Jackal和四旋翼任务中达到97.2%的形式规范符合率。

Comments Project webpage: https://languagegroundedriskdetection.github.io/ProjectPage/vaso-webpage/

Mask the Target: A Plug-and-Play Regularizer Against LoRA Forgetting

Mask the Target: 一种即插即用的正则化器，用于对抗LoRA遗忘

Runze Xu, Arpit Garg, Hemanth Saratchandran, Simon Lucey

机构 * Australian Institute for Machine Learning（澳大利亚机器学习研究所） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 针对LoRA微调中目标分布与原始训练分布差异大时导致的灾难性遗忘问题，提出一种无需重放数据的输出空间正则化方法，通过遮蔽目标token并仅对非目标词汇进行KL正则化，在不增加推理开销的前提下改善新学习与遗忘之间的平衡。

Comments In Submission

GUI-CIDER: Mid-training GUI Agents via Causal Internalization and Density-aware Exemplar Reselection

GUI-CIDER：通过因果内化和密度感知示例重选进行GUI代理的中期训练

Zheng Wu, Chengcheng Han, Zhengxi Lu, Tianjie Ju, Yanyu Chen, Qi Gu, Xunliang Cai, Zhuosheng Zhang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Meituan（美团） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出GUI-CIDER中期训练方法，通过因果内化和密度感知示例重选显式内化GUI世界知识，提升代理对GUI操作的理解和任务成功率。

SYNAPSE: Neuro-Symbolic Visual Thought-to-Text Decoding via Topological Semantic Denoising

SYNAPSE: 通过拓扑语义去噪的神经符号视觉思维到文本解码

Akshaj Murhekar, Abhijit Mishra

机构 * School of Information University of Texas at Austin（信息学院德克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出SYNAPSE框架，利用常识图结构和潜在样本进行推理时符号正则化，稳定脑电到文本解码中的语义生成，无需微调大语言模型。

HTMLCure: Turning Browser Experience into State Guided Repair for Interactive HTML

HTMLCure：将浏览器体验转化为面向交互式HTML的状态引导修复

Jiajun Wu, Jian Yang, Tuney Zheng, Wei Zhang, Haowen Wang, Yihang Lou, Xianglong Liu

机构 * Beihang University（北京航空航天大学） ； IQuest Research（IQuest研究院） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract_cn)；分类 cs.AI

AI总结 提出HTMLCure框架，通过浏览器交互执行、状态感知诊断和闭环修复引擎，从大规模HTML页面中筛选并修复可修复页面，显著提升SFT数据质量和模型性能。

Comments 27 pages, 11 figures. Code: https://github.com/wuyuVerse/HTMLCure

On the Sensitivity of Instruction-tuned LLMs to Harmful Sentences in Long Inputs

关于指令微调大语言模型对长输入中有害句子的敏感性

Faeze Ghorbanpour, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich（计算、信息与技术学院，慕尼黑工业大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过构建长输入并系统变化长度、有害比例、显隐性和位置，研究LLM对稀疏嵌入有害句子的敏感性，发现敏感性非单调、随长度下降、早期位置优先、显性危害更易识别。

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

具有预测性提示和负学习的可泛化视觉语言少样本适应

Sriram Mandalika

机构 * Hasso Plattner Institute, University of Potsdam（霍普夫纳研究所，波茨坦大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SCAN框架，通过查询自适应负路由、LLM引导对比提示和自适应融合权重，解决视觉语言模型少样本适应中负类信号处理问题，在11个基准上平均提升4.61%。

GRID: Graph Representation of Intelligence Data for Security Text Knowledge Graph Construction

GRID：用于安全文本知识图谱构建的智能数据图表示

Liangyi Huang, Zichen Liu, Fei Shao, Shang Ma, Mengshi Zhang, Zihao Chen, Yanfang Ye, Xusheng Xiao

机构 * Arizona State University（亚利桑那州立大学） ； Case Western Reserve University（凯斯西储大学） ； University of Notre Dame（诺丁汉大学） ； TensorBlock ； Facebook（脸书） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本文提出GRID框架，通过构建可追溯的文章-图对齐，将文档到图学习转化为剧本任务库，提升安全知识图谱构建的稳定性和效率。

Building Specialized Software-Assistant ChatBot with Graph-Based Retrieval-Augmented Generation

构建基于图的检索增强生成专用软件助手聊天机器人

Mohammed Hilel, Yannis Karmim, Jean De Bodinat, Reda Sarehane, Antoine Gillon

机构 * RAKAM AI ； Lemon Learning 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于图的检索增强生成框架，将企业Web应用转换为状态-动作知识图，使LLM生成基于上下文的可靠帮助，通过与RAKAM和Lemon Learning的合作，展示了工程流程、图检索设计及生产DAP工作流整合。

Comments Accepted at ICMLC 2026

Towards Order Fairness: Mitigating LLMs Order Sensitivity through Dual Group Advantage Optimization

迈向顺序公平性：通过双组优势优化缓解大语言模型的顺序敏感性

Xu Chu, Guanyu Wang, Zhijie Tan, Xinrong Chen, Ziyu Li, Tong Mo, Weiping Li

机构 * School of Software and Microelectronics, Peking University（软件与微电子学院，北京大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出双组优势优化（DGAO），通过平衡组内准确性优势和组间稳定性优势，缓解LLM的顺序敏感性，提升模型在RAG、数学推理和分类任务中的性能。

Beyond Parameter Aggregation: Semantic Consensus for Federated Fine-Tuning of LLMs

超越参数聚合：联邦微调大语言模型的语义共识

Amr Abourayya, Jens Kleesiek, Michael Kamp

机构 * Lamarr Institute for ML and AI, Technical University Dortmund（拉马尔机器学习与人工智能研究所，德意志理工大学） ； Institute for AI in medicine (IKIM), University Hospital Essen（医学人工智能研究所（IKIM），埃森大学医院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出通过模型行为而非参数进行联邦微调，减少通信开销，适用于异构架构和开放文本生成，理论和实验证明其在效率和效果上的优势。

BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection

BITS Pilani 在 SemEval-2026 任务 9：基于 DPO 细调的结构化监督微调用于极化检测

Atharva Gupta, Dhruv Kumar, Yash Sinha

机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，瓦拉纳西，印度） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出结合结构化监督微调与 DPO 细调的方法，用于社交媒体文本中的极化检测，通过 LoRA 微调 Qwen 2.5-7B-Instruct 并利用自动偏好对减少误判，最终在英文测试集上达到 0.7664 的 Macro-F1 分数。

Comments Accepted to the 20th International Workshop on Semantic Evaluation (SemEval-2026), to be held in conjunction with ACL 2026

NCL-BU at SemEval-2026 Task 3: Fine-tuning XLM-RoBERTa for Multilingual Dimensional Sentiment Regression

NCL-BU 在 SemEval-2026 任务 3: 基于 XLM-RoBERTa 的多语言维度情感回归微调

Tong Wu, Nicolay Rusnachenko, Huizhi Liang

机构 * Independent Researcher（独立研究者） ； Centre for Applied Creative Technologies (CFACT+), Bournemouth University, UK（应用创意技术中心（CFACT+），伯恩茅斯大学，英国） ； School of Computing, Newcastle University, Newcastle upon Tyne, UK（计算学院，新castle大学，新castle upon Tyne，英国） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于 XLM-RoBERTa 的微调方法，用于多语言维度情感回归任务，通过双回归头预测情感值和唤醒度，跨领域和语言进行训练，实验显示任务特定微调优于其他大语言模型。

NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating

NCL-UoR在SemEval-2026任务5中的表现：基于嵌入的方法、微调与大语言模型用于词义可plausibility评分

Tong Wu, Thanet Markchom, Huizhi Liang

机构 * Independent Researcher（独立研究者） ； Department of Computer Science, University of Reading（阅读大学计算机科学系） ； School of Computing, Newcastle University（新castle大学计算学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文比较了三种方法：基于嵌入的方法、Transformer微调和大语言模型提示，发现结构化提示优于微调和嵌入方法，提示设计比模型规模更重要。

Attention Is Where You Attack

注意力是攻击之处

Aviral Srivastava, Sourav Panda

机构 * Amazon（亚马逊） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出注意力重分布攻击（ARA），通过Gumbel-softmax优化在概率单纯形上攻击softmax注意力，成功绕过安全对齐，实现高准确率的恶意请求执行。

RAG-KT: Cross-platform Explainable Knowledge Tracing with Multi-view Fusion Retrieval Generation

RAG-KT: 跨平台可解释知识追踪的多视图融合检索生成

Zhiyi Duan, Hongyu Yuan, Rui Liu

机构 * Inner Mongolia University（内蒙古大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 RAG-KT通过多视图融合检索生成技术，解决传统知识追踪模型在跨平台迁移和解释性上的不足，提升准确性和鲁棒性。

DynaFix: Iterative Automated Program Repair Driven by Execution-Level Dynamic Information

DynaFix：基于执行级动态信息的迭代自动程序修复

Zhili Huang, Ling Xu, Chao Liu, Weifeng Sun, Xu Zhang, Yan Lei, Meng Yan, Hongyu Zhang

机构 * Chongqing University（重庆大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DynaFix通过迭代利用运行时动态信息改进程序修复，利用变量状态、控制流路径和调用栈等结构化提示引导LLM生成候选补丁，有效提升修复效率和准确性。

Comments 30 pages, 11 figures, preprint version