语言大模型 / LLM

Can Editing 1 Neuron Fix Repetition Loops in LLMs?

编辑1个神经元能修复LLM中的重复循环吗？

Aristotelis Lazaridis, Aman Sharma, Dylan Bates, Brian King, Vincent Lu, Jack FitzGerald

机构 * Edgerunner AI 纠错

专题命中 指令微调 ：LLM(title_cn)；分类 cs.AI、cs.LG

AI总结 本文发现Gemma 4模型在长事实列举任务中高达95%的概率陷入重复循环，通过逐层消融和逐神经元归因定位到少量MLP神经元，并用静态权重编辑（小至单个神经元符号反转）消除循环，但无法解决因知识缺失导致的“末日循环”。

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调进行类比推理学习

Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（莱斯大学） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出RA-RFT框架，通过黄金相关性蒸馏训练检索器，并结合强化微调利用类比推理轨迹，提升数学推理性能。

EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents

EEVEE：面向真实世界自改进智能体的测试时提示学习

Weixian Xu, Shilong Liu, Mengdi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出首个多数据集测试时提示学习框架EEVEE，通过路由器与提示协同进化策略解决跨数据集干扰，在异构数据流下提升鲁棒性。

Comments 19 pages, 6 figures

Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?

Robust-U1: MLLMs能否自我恢复受损视觉内容以实现鲁棒理解？

Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, Mengjie Zhao, Xiangyu Wu, Qingfa Xiao, Qifeng Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Robust-U1框架，通过监督微调、强化学习和多模态推理，使多模态大模型具备显式视觉自恢复能力，在真实和对抗性损坏下达到最先进鲁棒性。

Comments Accepted by ICML 2026

IEA: Amateur-Friendly Conversational Image Editing Agent via Three Stages of Multitask Alignment

IEA：通过三阶段多任务对齐的业余友好型对话式图像编辑代理

Zichen Zhu, Yuheng Sun, Mingxuan Zhu, Wenjie Ma, Situo Zhang, Zhexiang Wang, Ziyue Yang, Danyang Zhang, Kunyao Lan, Zihan Zhao, Dingye Liu, Siqi Xiang, Lu Chen, Kai Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新研究院） ； Huawei Technologies Ltd.（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出IEA对话式图像编辑代理，通过三阶段多任务训练学习操作参数化工具，实现可解释编辑轨迹，在像素距离和ROUGE-L指标上优于基线，用户研究中指令跟随和感知质量表现最佳。

Comments [CVPR 2026 Findings] Our data and code are released at https://github.com/OpenDFM/Image_Edit_Agent

Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs

共享潜在结构实现大语言模型中的统一后门检测与缓解

Omar Mahmoud, Aly M. Kassem, Thommen George Karimpanal, Buddhika Laknath Semage, Negar Rostamzadeh, Golnoosh Farnadi, Santu Rana

机构 * Deakin University（迪肯大学） ； Mila, Quebec AI Institute（魁北克人工智能研究所Mila） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 发现大语言模型中多种后门攻击共享潜在机制，通过稀疏自编码器检测因果特征，并提出双向激活操控和概念消融微调实现统一检测与缓解。

Auditing Training Data in Domain-adapted LLMs: LoRA-MINT

领域自适应大语言模型中的训练数据审计：LoRA-MINT

Gonzalo Mancera, Daniel DeAlcala, Aythami Morales, Julian Fierrez, Ruben Tolosana, Francisco Jurado

机构 * University of Granada（格拉纳达大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出LoRA-MINT方法，通过成员推理测试审计LoRA微调的大语言模型训练数据，在四个模型和三个基准上达到0.77-0.92的精度，优于现有基线。

Comments IEEE Conf. on Computers, Software, and Applications (COMPSAC), 2026

AEGIS: Attention-Embedding Gradient Isolation Shield - Triple-Channel Gradient Masking for Privacy-Preserving Federated LLM Fine-Tuning

AEGIS：注意力嵌入梯度隔离护盾——用于隐私保护的联邦大语言模型微调的三通道梯度掩码

Ye Tao, Hong Shen, Hui Tian, Xin Wang, Can Wang

专题命中 指令微调 ：LLM(title)

AI总结 AEGIS是一种轻量级联邦大语言模型微调防御措施，通过三通道梯度掩码关闭私有令牌信息泄露通道，可将梯度反演攻击的令牌恢复率降至接近零，同时保留或提升模型效用。

Comments 23 pages, 6 figures. Accepted at NDSS 2027; camera-ready version forthcoming

Adapting Vision Foundation Models with Cascaded Semantics

利用级联语义适配视觉基础模型

Xi Xiao, Xingjian Li, Cheng Han, Tianyang Wang, Lin Zhao, Yunbei Zhang, Guosheng Hu, Runmin Jiang, Xi Li, Xiao Wang, Min Xu

机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Missouri–Kansas City（密苏里大学堪萨斯城分校） ； Northeastern University（东北大学） ； Tulane University（杜兰大学） ； University of Bristol（布里斯托大学） ； Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 指令微调 ：foundation model(title)

AI总结 该研究针对现有视觉提示调优（VPT）未利用先验知识的问题，提出向VPT注入两类语义先验的级联方案，在34个图像分类数据集上仅调优0.74%的ViT参数即实现优异下游适配效果。

Comments Accepted by Transactions on Machine Learning Research (TMLR), 2026. Project page: https://xixiaouab.github.io/Cascaded-Semantics/

The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

门总是关闭：关于向冻结的视觉语言模型注入辅助信号

Moshiur Farazi, Sameera Ramasinghe, Bekir Sait Ciftler, Mahbub Ahmed Turza, Shafin Rahman

机构 * University of Doha for Science and Technology（多哈科技大学） ； Pluralis Research（普卢拉利斯研究公司） ； North South University（南北大学） 纠错

专题命中 指令微调 ：language model(title)

AI总结 研究视觉语言模型中辅助信号注入问题，发现优化器常使门控路径关闭。利用抑制现象，通过双曲视觉关系图的几何辅助损失正则化LoRA微调，实验表明该方法能保持关系准确率，还指出嵌入范数对齐及固定注入的必要性。

Adaptive fine-tuning of foundation models for crystal structure prediction: Discovery of high-pressure phases in the CaFeNi system

基础模型的自适应微调用于晶体结构预测：CaFeNi体系中高压相的发现

N. M. Chtchelkatchev, M. V. Magnitskaya, R. E. Ryltsev

专题命中 指令微调 ：foundation model(title)

AI总结 提出一种结合进化搜索与自适应数据选择及微调的自洽基础模型辅助晶体结构预测工作流，通过迭代选择代表性结构进行DFT标记，高效探索Ca-Fe-Ni三元体系，预测了高压下稳定的新化合物Ca6FeNi。

Comments 10 pages, 13 figures

TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

TraMP-LLaMA: 基于解耦指令微调的生成式可解释性用于面部表情质量评估

Shuchao Duan, Alan Whone, Hossein Rahmani, Jun Liu, Majid Mirmehdi

机构 * School of Computer Science University of Bristol（布里斯托大学计算机科学学院） ； Translational Health Sciences University of Bristol（布里斯托大学转化健康科学学院） ； School of Computing and Communications Lancaster University（兰卡斯特大学计算与通信学院） 纠错

专题命中 指令微调 ：instruction tuning(title)

AI总结 提出TraMP-LLaMA多模态框架，融合外观和轨迹特征，采用解耦指令微调策略，联合预测严重度并生成结构化文本报告，在PFED5-plus数据集上优于基线方法。

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

基于可微搜索的视觉基础模型层特定提示融合发现

Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

机构 * UAB（阿拉巴马大学伯明翰分校） ； CMU（卡内基梅隆大学） ； Tulane（杜兰大学） ； UMKC（密苏里大学堪萨斯分校） ； UGA（佐治亚大学） ； ORNL（橡树岭国家实验室） 纠错

专题命中 指令微调 ：foundation model(title)

AI总结 研究视觉提示微调中提示与图像令牌的融合方案，提出可微架构搜索方法联合优化可学习提示及其融合方式，在34个数据集上取得一致提升。

Comments ECCV 2026

ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era

ESPnet3：基础模型时代可扩展语音与音频研究的基础设施

Masao Someki, Alexander Polok, Carlos Carvalho, Chyi-Jiunn Lin, Da-Hee Yang, Jiatong Shi, Jinchuan Tian, Nelson Enrique Yalta Soplin, Samuele Cornell, Siddhant Arora, Francisco Teixeira, Wei Wang, William Chen, Alberto Abad, Chenda Li, Shinji Watanabe, Wangyou Zhang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Brno University of Technology（布拉格技术大学） ； Instituto Superior Técnico（技术高等研究院） ； Hanyang University（翰阳大学） ； Hitachi Astemo（日立阿美士多） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：foundation model(title)

AI总结 提出ESPnet3框架，通过模块化系统架构、配置驱动的数据集组合和统一Python工作流，实现大规模语音音频研究的高效训练与扩展，显著降低工程开销。

Comments Accepted at Interspeech 2026

PEFT-MedSAM: Efficient Fine-Tuning of Medical Foundation Models for Explainable Skin Lesion Segmentation

PEFT-MedSAM：面向可解释皮肤病变分割的医学基础模型高效微调

Asad Channa, Abdullah Khan, Asghar Ali Chandio, Aamir Akbar, Shahzad Memon, Aqib Hussain, Ameer Hamza

机构 * Department of Computer Science, Quaid-e-Awam University of Engineering, Sciences & Technology（计算机科学系，卡迪尔-阿瓦姆工程、科学与技术大学） ； Department of Artificial Intelligence, Quaid-e-Awam University of Engineering, Sciences & Technology（人工智能系，卡迪尔-阿瓦姆工程、科学与技术大学） ； Department of Computer Science, Sindh Madressatul Islam University, City Campus, Karachi（计算机科学系， Sind 阿里斯坦伊斯兰大学，卡拉奇城校区） ； Department of Computer Science and Digital Technologies, School of Architecture, Computing and Engineering, University of East London（计算机科学与数字技术系，建筑、计算与工程学院，东伦敦大学） 纠错

专题命中 指令微调 ：foundation model(title)

AI总结 提出参数高效微调方法PEFT-MedSAM，冻结预训练编码器仅训练轻量解码器，在ISIC 2018上达到0.9411 Dice系数，并通过Grad-CAM可解释性增强临床可信度。

Move by Move: Measuring and Steering How LLMs Conduct Psychotherapy

逐步推进：测量与引导大语言模型开展心理治疗的方式

Afonso Baldo, Hugo Pitorro, Areti Vassilopoulos, Anabela C. Areias, Maya D'Eon, Fabíola Costa, Ricardo Rei, Nuno M. Guerreiro

机构 * Sword Health ； Yale University（耶鲁大学） ； Instituto Superior Técnico（高等技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出基于MULTI-60清单的10种治疗动作本体，对比大语言模型与人类临床医生的心理治疗动作分布，发现模型过度使用询问、忽视心理教育，通过公开该本体可提升模型与人类治疗师的动作对齐度。

A Few Cases Are All You Need: An Empirical Study of Annotation-Efficient LoRA Fine-Tuning of MedSAM3

少数案例足矣：对MedSAM3的标注高效LoRA微调的实证研究

Sachin Dudda Nagaraju, Bendik Skarre Abrahamsen, Ashkan Moradi, Mattijs Elschot

机构 * Norwegian University of Science and Technology（挪威科技大学） ； St. Olavs Hospital, Trondheim University Hospital（圣奥拉夫斯医院（特隆赫姆大学医院）） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对MedSAM3，用LoRA微调实现仅10个标注案例即可让医学图像分割达到临床可用性能，在腹部器官和心脏分割任务上优于部分专业工具，且训练速度更快。

Impact of Iterative Fine-Tuning on Transcription Accuracy in Complex Historical Sanskrit Manuscripts

迭代微调对复杂历史梵文手稿转录准确率的影响

Kartik Chincholikar, Kaushik Gopalan, Mihir Hasabnis

机构 * Centre for Inter-disciplinary Artificial Intelligence (CAI)（跨学科人工智能中心（CAI）） ； FLAME University（火焰大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对复杂历史梵文手稿的OCR挑战，提出可在布局与外观层级迭代微调的传统OCR流水线，构建含精细标注的数据集，验证了迭代微调的性能提升并完成多模态大模型基准测试。

StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows

StartupBench：基于市场验证的端到端工作流程的通用智能体基准测试

Liya Zhu, Xin Ma, Tao Liu, Haodong Wang, Ge Zhang, Jingzhe Ding, Qingshui Gu, Yongjie Zhong, Jinxiang Meng, Yuan Gao, Yunqiu Zhou, Hao Zhu, Jifeng He, Yongzhi Liao, Xinyi Zhang, Chaoxin Li, Yi Zhu, Xi Lin, Duju Zeng, Xiang Gao, Wen Zhang, Yunyang Wang, Duo Wang, Huan Zhou, Zuo Wang, Jin Chen, Kaiyuan Zhang, Chuqian Yu, Tianhao Yu, Longxiang Liu, Jianbo Xue, Huimin Che, Jiahao Wang, Yujia Qin, Jiaheng Liu, Shen Yan, Xiaolong Chang, Wenhao Huang

机构 * ByteDance Seed（字节跳动 Seed） ； Nanjing University（南京大学） ； M-A-P 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出StartupBench基准测试，基于市场验证的AI初创产品工作流程评估通用智能体，发现当前最强模型仅完成约30%任务，该基准可衡量智能体完成现实用户任务的进展。

DiSCO: Defending text-to-image generation through distribution-guided contrastive prompt optimization

DiSCO：通过分布引导的对比提示优化防御文本到图像生成

Tong Zhang, Motasem Alfarra, Carlos Hinojosa, Christos Louizos, Bernard Ghanem

机构 * Qualcomm AI Research（高通人工智能研究院） ； King Abdullah University of Science Technology (KAUST)（阿卜杜拉国王科技大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 DiSCO是一种零样本黑盒防御模块，通过分布引导的对比提示优化，在I2P基准上分别将未防御、已防御模型的攻击成功率降低37.7%、25.13%，提升文本到图像生成的安全性且保持语义保真度。

The Distributional View of Knowledge Distillation

知识蒸馏的分布视角

Gordei Verbii, Juho Lee

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 该研究提出知识蒸馏的分布视角，将教师表示为多温度视角族，形式化设计空间并证明相关结果，在Pythia模型实验中得出三条经验规律，发现最佳KD损失取决于上限间隙Γ。

Comments 11 pages, 4 figures

HarmTrace: Anchor-Calibrated Decoupled Optimization for Fine-Grained Target Identification in Harmful Memes

HarmTrace：用于恶意梗图细粒度目标识别的锚定校准解耦优化方法

Yujia Li, Yiqun Zhang, Zihan Cheng, Yijie Huang, Tenglong Ye, Zihan Wang, Xiaocui Yang, Shi Feng, Yifei Zhang, Daling Wang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对多模态恶意梗图检测中存在的目标识别错误问题，提出HarmTrace框架，结合实体感知微调与CTPO方法，在Qwen3-VL-8B上JRA提升至52.51%，还构建了Meme3W数据集与JRA指标。

Navigation-Informed Embeddings: Dense-Retriever Adaptation from Agent Search Traces

导航启发式嵌入：基于智能体搜索轨迹的密集检索器适配

Shrey Shah, Levent Ozgur

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出 NIE 方法，利用智能体检索轨迹无需额外标注即可适配密集检索器，在基准任务上提升了 Recall@20、长路径性能及 nDCG@10 指标，提供轻量适配通道。

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

UI-Mate：利用上下文内演示推进开放权重基础图形用户界面智能体

Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe Ma, Jiayi Mao, Zhoujie Pan, Can Qin, Tianyuan Qu, Weiqi Wang, Wenkai Wang, Yonglin Wang, Yuxin Wang, Chenxu Wu, Yingchen Yu, Chenyu Zhang, Yuhao Zheng

机构 * Tencent Hy Frontier Team（腾讯 Hy 前沿团队） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 UI-Mate是集成环境基训练栈与上下文内演示学习的GUI智能体，在多计算机使用基准上创开放权重SOTA，提升了长周期办公任务的执行可靠性

Comments UI-Mate Technical Report. Project page: https://ui-mate.github.io

Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach

面向科技情报（STI）的高效多模态多语言观点抽取：一种基于QLoRA的微调方法

Sheng Hong, Xuanqi Wang, Jiacheng Wang, Yuwei Wang

机构 * Beihang University（北京航空航天大学） ； Nanchang University（南昌大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对科技情报观点抽取的噪声过滤与结构化输出问题，提出基于QLoRA微调的多模态框架，在2194样本数据集上实现多语言观点抽取性能显著提升。

HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

HELIX：用于递归自我改进的模型-控制器协同进化

Tianyu Fan, Chao Huang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 HELIX是支持模型-控制器协同进化的可溯源框架，在代码修复任务中，其65个候选组合提升了4.0%任务覆盖率，生成438条学习记录，形成模型、控制器与数据的反馈系统。

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TraVEL：面向驾驶视频检索的轨迹引导视频嵌入学习

Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

机构 * Uber AV Labs（优步自动驾驶实验室） ； Purdue University（普渡大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出TraVEL框架，将通用多模态嵌入模型适配到驾驶视频检索，结合轨迹监督与Group Relative Policy Optimization，在nuReasoning基准上提升了不同规模模型的运动相关检索性能。

MERA: Model Evolution and Routing with Skill Adaptation for Agentic Systems at Scale

MERA：面向大规模智能体系统的技能适配型模型演化与路由

Yuhang Yao, Zeyu Wang, Wanyi Chen, Tongyun Yang, Yuhang Han, Jie Xiao, Chengke Bao, Tianyi Zhao, Lynn Ai, Eric Yang, Tianyu Shi

机构 * Gradient ； Soochow University（苏州大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 MERA以单模型调用为适应单元，通过多轮适配提升小模型能力，结合带验证器回退的成本校准路由，在HumanEval+MBPP、TAU-2等数据集上实现小模型性能提升与成本降低。

Comments Preliminary version in CAIS RL-Eval

PaDoc: Layout-Grounded Parallel Decoding for Document Parsing

PaDoc：基于布局的文档并行解码方法

Hao Yu, Jiabo Zhan, Kang Liu, Linnan Zhao, Dongxu Yue, Rui Chen, Jinglin Wang, Chong Sun, Chen Li, Jing Lyu, Chun Yuan

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出PaDoc，一种基于布局的文档并行解码解析器，在OmniDocBench Full数据集上取得优异性能，且在A800 GPU上显著提升端到端文档解析的吞吐量并降低延迟。

When History Lies: Evaluating and Improving Tool Use under Misleading Multi-Turn Histories

当历史失效：在误导性多轮历史下评估与改进工具使用

Xiaoqing Wu, Xingyu Fan, Feifei Li, Wenhui Que

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对多轮历史误导导致的工具调用智能体决策问题，提出可靠状态策略迁移方法，构建配对基准bench，在Qwen3模型上实现了优于多种基线的工具使用准确率。