语言大模型 / LLM

Neurosymbolic Discovery of Algebraic Graph Constructions

代数图构造的神经符号发现

David Seka, Stefan Szeider

机构 * TU Wien（维也纳技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对仅提供原始图数据无法揭示其结构性质的问题，提出基于通用大语言模型与SageMath的神经符号智能体，可自动发现代数图构造，在100个高度对称图基准上全部成功，还找到Bernhart-Kainen可散度猜想的最小反例。

Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text

金融披露文本中的细粒度不一致分类诊断

Aman Kumar, Lasitha Vidyaratne, Dipanjan D Ghosh, Arnab Chakrabarti, Ahmed K Farahat

机构 * Hitachi America, Ltd（美国日立公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对金融披露文本的细粒度不一致分类问题，在SBID-FD基准上对比多种模型，发现紧凑型监督编码器效率较高，证据定位是关键瓶颈，需同时提升证据提取与类别推理能力。

LogicIF: Towards Complex Logic Instruction Following

复杂逻辑指令生成

Mian Zhang, Shujian Liu, Sixun Dong, Ming Yin, Yebowen Hu, Xun Wang, Simin Ma, Song Wang, Sathish Reddy Indurthi, Haoyun Deng, Zhiyu Zoey Chen, Kaiqiang Song

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Independent Researcher（独立研究者） ； Duke University（杜克大学） ； University of Central Florida（佛罗里达大学中央分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LogicIFGen和LogicIFEval，用于生成和评估复杂逻辑指令，揭示了当前LLMs在复杂指令跟随上的不足。

Comments COLM 2026 Acceptance

Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

通过专家引导的多模态融合与大语言模型的统一框架实现情绪识别与情感分析

Jiaqi Qiao, Xinran Li, Yifan Lyu, Xiujuan Xu, Liu Yu

机构 * School of Software, Dalian University of Technology, China（软件学院，大连理工大学，中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EGMF框架，通过专家引导的多模态融合与大语言模型结合，实现情绪识别与情感分析的统一处理，提升跨语言鲁棒性。

Comments 14 pages, 6 figures

IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning

IFCLoRA：用于参数高效微调的拓扑感知秩分配

Wei Zhang, Xinwu Liu, Yihang Cheng

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对LoRA方法中秩分配问题，提出IFCLoRA拓扑感知秩分配方法，利用小校准集和冻结模型构建交互图，结合全局拓扑先验与局部梯度敏感性计算得分来分配秩，在多场景下优于其他方法，还揭示了任务依赖的秩分布特点。

Comments 9 pages, 5 figures

OpenForgeRL: Train Harness-native Agents in Any Environment

OpenForgeRL：在任何环境中训练原生利用工具的智能体

Xiao Yu, Baolin Peng, Ruize Xu, Hao Zou, Qianhui Wu, Hao Cheng, Wenlin Yao, Nikhil Singh, Zhou Yu, Jianfeng Gao

机构 * Columbia University（哥伦比亚大学） ； Dartmouth College（达特茅斯学院） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究针对现代AI智能体依赖复杂推理工具难端到端训练的问题，提出OpenForgeRL框架，通过轻量级代理和Kubernetes编排器，在多环境下对基于工具的智能体端到端训练，验证了框架效果并分析了工具选择和RL对智能体行为的影响。

Comments added github link

Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention

抛锚：通过脉冲星注意力机制对分布式系统进行统计上下文摘要

Aryan Sood, Shantanu Acharya, Gaurav Kumar Nayak

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长序列大语言模型推理计算成本高的问题，提出脉冲星注意力机制，用轻量级组件取代静态锚点，减少计算量，在多个模型测试中表现出色，优于星型注意力和密集注意力，有显著绝对增益。

Comments 16 Pages

AppDeltaWorld: Transition-Grounded Delta Code World Model for Mobile GUI Agents

AppDeltaWorld：面向移动GUI智能体的基于转换的增量代码世界模型

Weikai Xu, Yunren Feng, Haoxiang Lei, Kun Huang, Yuxuan Liu, Kang Zhao, Xiaolin Hu, Shuo Shang, Bo An

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对移动GUI智能体轨迹获取难、模拟环境扩展难等问题，提出AppDeltaWorld增量代码世界模型，在CMGUIBench-500评估中表现最优，支撑的AppDeltaAgent在多基准达SOTA，测试时强化学习可进一步提升性能。

A Study of LLMs' Preferences for Libraries and Programming Languages

对大型语言模型在库和编程语言偏好方面的研究

Lukas Twist, Mark Harman, Don Syme, Joost Noppen, Helen Yannakoudakis, Detlef Nauck, Jie M. Zhang

机构 * King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） ； Digital AI Research, BT Group（BT集团数字人工智能研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了大型语言模型在生成代码时对库和编程语言的选择偏好，通过实证研究分析了八种不同大型语言模型在库和语言选择上的倾向，发现模型倾向于使用广泛采用的库如NumPy，并且在某些情况下这种选择并非必要，同时也显示出对Python的偏好，尽管在某些高性能项目初始化任务中Python并非最优选择。

Comments 21 pages, 10 tables, 3 figures. Accepted to Findings of ACL 2026

Journal ref Findings of the Association for Computational Linguistics: ACL 2026

OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling

OctoLong：跨仓库代码上下文的训练中优化增强长上下文建模

Indraneil Paul, Falko Helm, Goran Glavaš, Iryna Gurevych

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出OctoLong流水线，通过跨仓库代码上下文的训练中优化，训练出OctoLong-Instruct长上下文开源LMs，用其替代12%传统语料库可显著提升长上下文相关任务性能及短场景API使用能力。

Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning

梯度免疫：对恶意微调的零空间抗性

Yuxuan Huang, Xingyu Zeng, Tianhang Zheng, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shenzhen University of Advanced Technology（深圳理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对部分保护开放权重（PPOW）发布场景的大型语言模型，提出单向安全门（USG）防御，可抑制恶意微调的有害梯度，提升恶意下游适应的成本且无需下游用户配合。

A Model Merging Approach for Continual MLLM Unlearning

面向持续多模态大语言模型（MLLM）遗忘的模型合并方法

Yuhang Wang, Linlin Zhang, Haoxuan Ji, Xianmin Ye, Zhenxing Niu, Haichang Gao

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有MLLM遗忘方法无法应对持续场景的问题，本文提出MCU方法，通过动态合并遗忘适配器缓解跨任务依赖的干扰，在多个基准测试中实现了更优的遗忘效果与知识保留。

Comments 17 pages, 5 figures

SpecDrop: Parameter-Free Category-Conditioned Routing for Modular Specialization

SpecDrop：无参数类别条件路由的模块化专业化方法

Boyao Wang, Zhihan Lei

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出无参数类别条件路由方法SpecDrop，在视觉任务上性能优于参数匹配基线，表明路由的有效性取决于训练信号粒度与类别的对齐而非路由算法。

Comments 35 pages, 6 figures. Code: https://github.com/Beryex/SpecDrop

Training Documents Reranker with Search Rubrics for Deep Research Agent

面向深度研究智能体的、基于搜索 rubrics 的训练文档重排序器

Wenhan Liu, Yu Lu, Qiaolin Xia, Hui Xu, Tong Zhao, Jian Xi, Yutao Zhu, Haijin Liang, Haibo Shi, Hao Wang, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对现有检索器无法满足深度研究智能体复杂信息需求的问题，提出搜索 rubrics 并训练文档重排序器 RubricRanker，在多基准上取得优于基线的性能且泛化性良好。

Comments 28 pages

Sheaf-theoretic Signal Processing on Graphs: Spectral Theory, Filtering, and Sampling

基于层论的图上信号处理：谱理论、滤波与采样

Gabriele D'Acunto, Leonardo Di Nino, Paolo Di Lorenzo, Sergio Barbarossa

机构 * Sapienza University of Rome（罗马第一大学） ； National Inter-University Consortium for Telecommunications (CNIT)（国家大学间电信联盟（CNIT）） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文开发了统一的层信号处理框架，将信号处理基本操作扩展到异构局部空间，提出层傅里叶变换等方法，在多类数据集上验证其性能优于经典图信号处理基线。

Efficiency vs. Alignment: Investigating Safety and Fairness Risks in Parameter-Efficient Fine-Tuning of LLMs

效率与对齐：研究大语言模型参数高效微调中的安全与公平风险

Mina Taraghi, Yann Pequignot, Amin Nikanjam, Mohamed Amine Merzouk, Foutse Khomh

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究发现良性参数高效微调会改变大语言模型的安全与公平性，基于适配器的方法更安全，基础模型和PEFT类型会影响对齐偏移，需按类别审计安全与公平性。

Comments Revised version with expanded experiments, robustness analyses, and appendices

GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR

GeoRA: 为强化学习可验证奖励设计的几何感知低秩适应

Jiaying Zhang, Lei Shi, Jiguo Li, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 GeoRA通过利用RLVR更新子空间的各向异性与压缩性结构，采用SVD提取主方向初始化低秩适配器，冻结残差部分作为结构锚点，从而在数学、医学和编程领域优于现有低秩基线，同时在跨领域任务中表现更佳。

Comments Accepted at ACL 2026 Main

Preconditioned Test-Time Adaptation for Out-of-Distribution Debiasing in Narrative Generation

预条件测试时适应用于叙事生成中的分布外去偏

Hanwen Shen, Ting Ying, Jiajie Lu, Shanshan Wang

机构 * Laboratory for Artificial Intelligence in Mathematics Education, Stevens Institute of Technology（数学教育中的人工智能实验室，史蒂文斯理工学院） ； Independent Researcher（独立研究者） ； NLP2CT Lab, Department of Computer and Information Science, University of Macau（NLP2CT实验室，澳门大学计算机与信息科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CAP-TTA框架，通过预条件预计算实现测试时适应，有效减少毒性/偏见评分，降低延迟并防止灾难性遗忘，提升叙事流畅度。

Comments This paper has been accepted to ACL2026 main conference

Learning to Select, Not Relearn: Hard-Routed Mixtures of Reasoning LoRAs

学会选择，而非重新学习：硬路由推理LoRA混合

Seyed Alireza Molavi, Zhan Su, Yan Hu, Peyman Sheikholharam Mashhadi, Stefan Byttner, Prayag Tiwari

机构 * Halmstad University（哈尔姆斯塔德大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出硬路由MoR-LoRA框架，通过硬top-1路由组合冻结的推理LoRA专家，保留专家行为且可训练参数少于软路由方法。

Comments Code available at: https://github.com/sar-molavi/hard-routed-mor-lora

Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA

幻觉与真相：RAG、LoRA和DoRA的综合准确率评估

Mohammad Baqar, Rajat Khanda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估RAG、LoRA、DoRA在2万条FAQ查询、40万条知识库上的性能，发现DoRA准确率90.1%、相关性0.88、延迟110毫秒最优，为高准确率领域部署生成式AI提供指导。

Comments 10 Pages

Journal ref 2026 2nd International Conference on Federated Learning and Intelligent Computing Systems (FLICS), 10.1109/FLICS70075.2026

FedWeave: Rethinking the Unit of Specialization in Heterogeneous Federated MoE-LoRA

FedWeave：重新思考异构联邦MoE-LoRA中的专业化单元

Donghang Duan, Xu Zheng, Lizong Zhang, Chong Mu, Meng Han

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 FedWeave针对异构联邦MoE-LoRA中客户端粒度专业化的局限，提出非对称聚合框架，分离专家聚合与路由优化，在异构多任务基准上优于强基线，实现高效联邦大模型适配。

Comments 14 pages, 4 figures, 5 tables

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

大模型训练，紧凑部署：用于紧凑低秩适配的结构化压缩

Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。

Retraction-Free Optimization over the Stiefel Manifold for the LoRA Fine-Tuning

用于LoRA微调的Stiefel流形上无回缩优化

Yuan Zhang, Jiang Hu, Zhijian Lai, Lin Lin, Zaiwen Wen

机构 * Center for Data Science, Peking University（北京大学数据科学中心） ； Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心） ； Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心） ； Department of Mathematics, University of California, Berkeley（美国加州大学伯克利分校数学系） ； Center for Machine Learning Research and Changsha Institute for Computing and Digital Economy, Peking University（北京大学机器学习研究中心和长沙计算与数字经济研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对Stiefel流形优化中现有方法的问题，提出无回缩且无惩罚参数算法，利用相关特性建立收敛保证。将LoRA微调问题转为流形优化问题，引入Manifold-LoRA，经实验验证其在加速训练及下游性能方面的优势。

Aletheia: An Offline-First Clinical Decision Support System for Differential Diagnosis in Low-Resource Healthcare Settings

Aletheia：用于低资源医疗环境中鉴别诊断的离线优先临床决策支持系统

Joseph Walusimbi, Ann Move Oguti, Abubakhari Sserwadda, Precious Boss Kasasira, Charles Brian Okoboi

机构 * Soroti University（索罗蒂大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对撒哈拉以南非洲低资源医疗环境，提出基于Qwen2.5 - 3B - Instruct并经QLoRA微调的Aletheia临床决策支持系统，评估显示其在诊断准确率等指标上表现良好，证明在无云设施的资源受限环境初级保健层部署大语言模型临床推理的可行性。

Comments 8 pages, 11 figures, 4 tables

Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh

小模型会遵循你赋予它们的法律吗？孟加拉国法律问答的上下文注入微调

Moniruzzaman Mahadi, Abrar Mohammed Tanzim Alam, Sayma Siddika Monalisa, Mir Mohammad Asif Abdullah, Swakkhar Shatabda, Md Adnan Arefeen

机构 * North South University（南北大学） ； BRAC University（BRAC大学） 纠错

专题命中 指令微调 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究孟加拉国法律问答，通过整理双语问答记录对不同参数的Qwen3.5进行微调，发现微调能提升部分模型表现，降低答案语言偏差，表明检索质量非唯一瓶颈，小型双语法律模型运用法律和语言回答有差异。

TokenMem: Faithful Knowledge Injection for Frozen LLMs

TokenMem：为冻结的语言模型进行忠实的知识注入

Chengzhang Yu, Chenyang Zheng, Zening Lu, Yingru He, Yutong Huang, Yiming Zhang, Yue Xu, Zhanpeng Jin

机构 * South China University of Technology（华南理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对RAG增强LLMs时的知识冲突问题，提出TokenMem轻量级记忆系统，通过专用通道向冻结LLMs注入知识，经两阶段课程训练薄门控适配器，实验显示其在反事实基准上知识一致性远超普通RAG，两阶段课程关键，门控适配器能自主学习策略。

Comments 15 pages, 3figures

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

用自然语言自动编码器探究Qwen2.5 - 7B中潜在的哥伦比亚身份推断

Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

机构 * Universidad Autónoma de Occidente（西自治大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息，用自然语言自动编码器转化残差流激活，通过含30个提示的数据集进行研究，将激活可解释性与西班牙语变体偏差评估相联系。

Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures

过程性知识不是低秩的：为什么LoRA无法内化多步骤过程

Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现对于过程性知识，LoRA在保持效率优势的秩上无法与完全微调匹配。通过实验表明在旅行预订等任务中LoRA配置失败，跨域复制也证实其普遍不佳，分析指出完全微调权重变化的有效秩高，LoRA难以企及，这是智能体应用的基本限制。

Comments 14 pages

Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

在大规模视觉-语言-动作模型中利用离线监督实现高效且通用的强化学习

Dmitriy Poyarkov, Aleksei Staroverov, Aleksandr I. Panov

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究在大规模视觉-语言-动作模型中，通过将离线监督纳入强化学习，结合离线与在线训练优点，提升训练效率。经实验验证，该混合方法在保持强大分布外能力的同时，所需训练预算减半，实现效率与性能双赢。

Fara-1.5: Scalable Learning Environments for Computer Use Agents

Fara-1.5：面向计算机使用智能体的可扩展学习环境

Ahmed Awadallah, Sahil Gupta, Yash Lara, Yadong Lu, Hussein Mozannar, Akshay Nambi, Zach Nussbaum, Yash Pandya, Aravind Rajeswaran, Corby Rosset, Alexey Taymanov, Luiz do Valle, Vibhav Vineet, Spencer Whitehead, Andrew Zhao

机构 * Microsoft（微软） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出FaraGen1.5数据流水线，结合真实网站与合成环境生成训练数据，通过三个互补验证器评分，训练出Fara1.5系列模型，在浏览器使用基准上达到新最优。