语言大模型 / LLM

Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning

语言感知令牌增强：无需微调的大语言模型语言混淆减少

Trapoom Ukarapol, Pakhapoom Sarapat, Nut Chukamphaeng

机构 * SCB DataX ； Tsinghua University（清华大学） ； SCBX 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出无需微调的语言混淆减少方法，通过语言感知令牌增强（LATB）和自适应版本（Adaptive-LATB）对目标语言令牌施加扰动，有效提升多语言对齐并保持摘要质量。

Comments ACL2026 Main Conference

SpectCount: Spectrotemporal Counting via Synthetic Signals Improves Large Audio Language Models

SpectCount: 通过合成信号进行频谱时间计数改进大型音频语言模型

Seonuk Kim, Yonghyeon Jun, Ju Yeon Kang, Jimin Hong, Yoonhyeong Lee, Nam Soo Kim

机构 * Department of Electrical and Computer Engineering and INMC, Seoul National University, Seoul, South Korea（电气与计算机工程系和INMC，首尔国立大学，首尔，韩国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 针对大型音频语言模型在频谱时间感知上的弱点，提出SpectCount方法，利用动态生成的完全合成音频信号进行数据高效微调，无需真实音频或标注，显著提升多种听觉基准性能。

Comments 5 pages, 5 figures

Detection != Reliable Control: Decodable Empathy Directions Yield at Most Partial Shifts in Automated Empathy Scores

检测≠可靠控制：可解码的共情方向在自动共情评分中仅产生最多部分偏移

Haoran Jisun

机构 * University of Southern California（南加州大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对EPITOME的认知与情感共情维度，在三个指令微调LLM中发现，可解码的共情方向仅能部分控制自动共情评分，认知维度的控制不可靠，需对认知共情主张做测量敏感性检验。

Comments Under review at BlackboxNLP 2026 (EMNLP). 8 pages body, 10 figures/tables, plus appendix

InSight-doc: Agentic Visual Perception for Long-Document Understanding

InSight-doc：面向长文档理解的智能体视觉感知框架

Kaican Li, Weiyan Xie, Lewei Yao, Jiannan Wu, Lanqing Hong, Yongxiang Huang, Nevin L. Zhang

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Huawei（华为） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出智能体视觉感知框架InSight-doc，通过自适应选择放大高分辨率区域处理长文档，经SFT+RL训练后在文档VQA任务中显著提升准确率、降低幻觉与推理延迟，相关资源已公开。

Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach

重新思考联邦LoRA中的因子共享：一种秩感知自适应方法

Xinyi Xu, Bingnan Xiao, Shuang Qin, Gang Feng, Tony Q. S. Quek

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Fudan University（复旦大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对联邦LoRA的因子共享问题，提出FedAS-LoRA方法，通过RSS指标在训练前选择共享侧，提升了大语言模型联邦微调的性能。

Comments 20 pages

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

MERaLiON-GR：适用于英语及东南亚语言的语音性别识别模型

Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

机构 * Institute of Advanced Intelligence and Computing (IAIC), A*STAR（先进智能与计算研究院（IAIC），新加坡科技研究局） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出MERaLiON-GR语音性别识别模型，通过微调MERaLiON-SpeechEncoder-2并结合LoRA及多尺度ECAPA-TDNN网络，在多语言东南亚数据集上性能优于Vox-Profile和Audio-LLM，凸显专用语音模型的价值。

Strategy, Not Payoffs: A Behavioural Embedding of Normal-Form Games

策略，而非收益：标准型博弈的行为嵌入

Joshua Caiata, Sreepriya Pulyassary, Xiang Li, Kate Larson

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出轻量双特征行为嵌入，可预测大型语言模型在不同标准型博弈间微调后的策略能力变化，证明策略能力迁移由决策行为结构而非收益几何决定。

Progress-conditioned Group Policy Optimization for Long-Horizon Agentic Tasks

用于长期代理任务的进度条件分组策略优化

Kaibing Yang, Guangfeng Cai, Shengtian Yang, Shuo He, Yu Li, Mengyi Liu, Pengwei Chen, Jun Xu, Lei Feng

机构 * Southeast University（东南大学） ； Kuaishou Technology（快手科技） ； Meituan（美团） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究长期代理任务中基于分组策略优化的采样不平衡问题，提出进度条件分组策略优化（ProGPO），通过特定条件下利用首次访问观察覆盖率，为访问更多新状态的轨迹或步骤赋予优势，实验证明该方法优于基线，尤其在困难任务上效果显著。

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

容量之上的数据质量：将文档内化到LoRA适配器中用于闭卷问答

Joan Figuerola Hurtado

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究将文档内化到LoRA适配器用于闭卷问答，发现适配器容量足够时，训练数据质量主导闭卷准确率，一次整理大幅提升准确率，确认容量趋势及秩与学习率耦合，内化适配器在低延迟下表现优于检索基线，还报告了调试LLM训练的过程。

One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context

一个学生，多个教师：通过软提示特权上下文进行多任务在线策略蒸馏

Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Johns Hopkins University（约翰霍普金斯大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究提出一种多任务在线策略蒸馏方法，教师与学生仅通过可学习软提示区分，在骨干冻结时训练特定任务教师。单任务变体训练参数少且效果好，多任务变体保持通用能力基准同时实现最佳总体平均水平。

Comments 10 pages, 5 figures

I'm Sorry, but I Can't Help with Braille: Revealing Accessibility Failures in State-of-the-Art LLMs

对不起，我无法处理盲文：揭示当前最先进语言模型中的无障碍性缺陷

Abdullah Abdullah

机构 * orinu Inc.（奥里努公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估先进语言模型在韩语-盲文翻译上的表现，发现其存在缺陷。通过人工标注数据集测试，发现输出差且不稳定。对比发现，对小模型进行监督微调效果更好，揭示了当前语言模型的局限，证明特定监督的有效性。

Comments Accepted at the LTEDI Workshop at ACL 2026

Beyond Static Rules: Automated Discovery of Latent Vulnerabilities in Text-to-SQL

超越静态规则：文本到SQL中潜在漏洞的自动发现

Hanqing Wang, Yongdong Chi, Jian Yang, Lei Yang, Jiehui Zhao, Yun Chen, Guanhua Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Beihang University（北京航空航天大学） ； Deepexi Technology Co. Ltd.（深圳市智元机器有限公司） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究LLMs在文本到SQL任务中潜在可靠性问题，提出SAGE框架，通过生成漏洞假设、参考漏洞法典设计扰动来发现潜在故障模式，实验证明其能发现大量故障案例及法典的跨模型转移性。

Comments Accepted by Findings of ACL 2026

TUDUM: A Turkish-Thinking Reasoning Pipeline for Qwen3.5-27B

TUDUM：面向Qwen3.5-27B的土耳其语思维推理流水线

Baran Bingol, Bahaeddin Turkoglu

机构 * Department of Artificial Intelligence and Data Engineering（人工智能与数据工程系） ； Faculty of Engineering（工程学院） ； Ankara University（安卡拉大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出TUDUM流水线，通过SFT和GRPO强化学习将Qwen3.5-27B适配为土耳其语思维模型，使推理过程本身使用土耳其语，而非仅输出本地化答案。

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

保持几何的正交初始化用于RLVR中的低秩适应

Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Meta Superintelligence Labs（Meta超级智能实验室） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对RLVR中LoRA初始化问题，提出保持几何的正交初始化方法（RLPO和RLMO），理论证明其最小化与全微调差距，实验表明稳定训练且优于标准LoRA。

Comments 30 pages, accepted to ICML 2026

LLawCo: Learning Laws of Cooperation for Modeling Embodied Multi-Agent Behavior

LLawCo: 学习合作法则以建模具身多智能体行为

Qinhong Zhou, Chuang Gan, Anoop Cherian

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LLawCo框架，通过反思失败提取行为模式并推导高层合作法则，结合监督微调融入推理，提升具身多智能体在分散部分可观测环境中的合作效率与任务成功率。

Comments Accepted to ICML 2026

Latent Personal Memory: Represent personal memory as dynamic soft prompts

潜在个人记忆：将个人记忆表示为动态软提示

Debrup Das, Avinash Amballa, Yashas Malur Saidutta, Vijay Srinivasan, Vivek Kulkarni, Srinivas Chappidi

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Samsung Research America（三星美国研究院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出潜在个人记忆（LPM）框架，通过可解释的潜在槽矩阵和交叉注意力网络生成动态软提示，在冻结大语言模型上高效编码用户历史，在PersonaMem v1和LoCoMO基准上优于LoRA和提示调优，并大幅降低KV缓存使用。

Comments 17 pages, 3 figures

DRIFT: Refining Instruction Data via On-Policy Data Attribution

DRIFT: 通过在线策略数据归因优化指令数据

Zefan Wang, Lincheng Li, Tianyu Yu, Yuan Yao

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出DRIFT方法，利用在线策略影响函数解决标准影响函数在指令微调数据归因中的近邻偏差和梯度范数偏差问题，通过模型自身生成作为验证目标，提升7B模型性能上限。

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

AdaMame: 一种自适应多语言推理的训练方案

Dayeon Ki, Kevin Duh, Marine Carpuat

机构 * University of Maryland（马里兰大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 针对多语言推理中的语言崩溃问题，提出两阶段训练方案AdaMame，通过SFT建立多语言能力，再以自适应GRPO优化推理语言对齐，在准确率、语言保真度和令牌效率上达到帕累托最优。

Comments 20 pages, 5 figures

The Order Matters: Sequential Fine-Tuning of LLaMA for Coherent Automated Essay Scoring

顺序重要：LLaMA的序列微调用于连贯的自动作文评分

Ali Keramati, Mark Warschauer

机构 * University of California, Irvine（加州大学伊文斯分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出对LLaMA-3.1-8B进行任务感知的序列微调，按作文话语结构顺序训练，在PERSUADE 2.0语料上证据F1达65%、结论F1达87%，超越独立训练和70B基线，证明课程设计可提升自动作文评分性能。

PriFT: Prior-Support Guided Supervised Fine-Tuning

PriFT: 先验支持引导的监督微调

Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

机构 * EPFL（瑞士联邦理工学院洛桑分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出PriFT方法，利用冻结的预训练模型计算token权重，避免在线模型导致的自我强化动态，在数学推理、代码生成和医疗问答任务中取得SFT最优结果，并为后续RL提供更好初始化。

Comments The first two authors contributed equally to this work

More Yap Less Meaning: Uncovering Self-Improvement Behavior in SLMs

更多废话，更少意义：揭示小语言模型中的自我改进行为

Marina Igitkhanian, Erik Arakelyan

机构 * American University of Armenia（亚美尼亚美国大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过构建充分性测试，发现小语言模型在自我纠正中仅获得4.4%的准确率提升，且较长的提示反而与错误答案正相关，表明其推理能力有限。

Comments GEM Workshop at ACL 2026

Defending Against Malicious Finetuning by Scaling Train-time Adversarial Attacks

通过扩展训练时对抗攻击防御恶意微调

Haoming Wen, Shi Chen, Qingyu Shi, Siyuan Liu, Minrui Luo, Jingzhao Zhang, Tianxing He

机构 * Xiongan AI Institute（雄安人工智能研究院） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海期智研究院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对全参数微调的安全威胁，提出基于对抗训练和双层优化的Patcher方法，通过扩展对抗循环中的优化步数增强防御，并设计并行算法提升效率。

Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification

基于监督与基于演示的上下文学习在多词表达分类中的比较

Sercan Karakaş, Yusuf Şimşek

机构 * University of Chicago（芝加哥大学） ； Fırat University（费拉特大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究土耳其语多词表达分类，对比监督基线（BERTurk）与指令微调LLM在零样本、单样本和少样本提示下的表现，发现提示敏感性和演示偏差影响显著。

Comments Accepted to ACL SRW 2026

The Fine-Tuning Trap: Evaluating Negative Transfer and the Role of PEFT in Sub-1B Mathematical Reasoning

微调陷阱：评估负迁移及PEFT在亚十亿参数数学推理中的作用

Rahul Nair, Chun Tao

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究评估了五种亚十亿参数模型在数学推理任务中的微调策略，发现全量微调对小于3亿参数的模型造成负迁移，而参数高效微调（PEFT）是稳定性要求。

Comments 8 pages, 6 figures, 2 tables

Reasoning-Oriented Post-Training and Inference-Time LoRA Rescaling for Audio-Dependent Question Answering

面向推理的后训练与推理时LoRA重缩放：针对音频相关问答任务

Weiteng Hu, Yin Cao, Jun Yang

专题命中 指令微调 ：post-training(title,abstract)；language model(abstract)

AI总结 该研究针对音频相关问答任务，提出面向推理的LoRA后训练与推理时重缩放方法，在Qwen和MOSS-Audio模型上验证了有效性，提交系统在挑战赛中获总体第三、轻量级系统第二。

PatchGate: Narrowing the Verbalization Gap with Intrinsic Object Inventories in Frozen Vision-Language Models

PatchGate：在冻结的视觉-语言模型中利用固有物体清单缩小语言表述差距

Jihyung Ko, Eunji Jung, Hyeongsub Kim, Ziseok Lee, Jae Won Cho, Sanghyun Jo, Kyungsu Kim

机构 * Seoul National University（首尔大学） ； LG CNS ； Konkuk University（建国大学） ； OGQ 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对冻结VLMs图像字幕的物体表述问题，提出无训练框架PatchGate，通过VEX和VIED两个阶段提升可见物体覆盖率并减少物体幻觉，在AMBER数据集上取得了显著效果。

Comments 31 pages, 9 figures. Code will be available

Vision-Language Models for Analog Gauge Reading: An Empirical Study of Specialization, Transfer and Reliability

用于模拟仪表读数的视觉-语言模型：专业化、迁移与可靠性的实证研究

Abdul Mueez, Aaditya Baranwal, Junior Chaj-Mejia, Guneet Bhatia, Jason T. Voelker, Shruti Vyas

机构 * University of Central Florida（中佛罗里达大学） ； Siemens Energy（西门子能源） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)

AI总结 本研究通过实证评估Qwen2.5-VL-7B-Instruct模型在模拟仪表读数任务中的表现，发现其经QLoRA微调后在三类数据集上误差较低，但存在迁移性能下降和高置信度错误问题，暂不适合直接部署为工厂监控流程。

Comments Submitted to Engineering Applications of Artificial Intelligence

AlloEgo-VLM: Disambiguating Allocentric and Egocentric Reference Frames in Vision-Language Models

AlloEgo-VLM：在视觉语言模型中消除 allocentric（ allocentric 即 allocentric 参考框架，又称 allocentric 坐标系，指以环境为中心的参考框架）与 egocentric（ egocentric 即 egocentric 参考框架，又称自我中心坐标系，指以观察者自身为中心的参考框架）参考框架的歧义

Kuan-Lin Chen, Tzu-Ti Wei, Chao-Chi Liao, Yu-Chee Tseng, Jen-Jee Chen

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Institute of Computer Science and Engineering（工程与计算机科学学院） ； College of Artificial Intelligence（人工智能学院） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 针对VLMs理解空间语义时 allocentric 与 egocentric 参考框架的歧义问题，构建数据集AlloEgo-View并开发框架AlloEgo-VLM，经NVIDIA Isaac Sim平台验证其在具身机器人开放式物体搜索任务中的有效性。

Comments 28 pages, 9 figures. Project page and code available at https://github.com/CKL9001/AlloEgo-VLM

Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

视觉-语言模型能否从机器人的第一人称视角图像评估人际距离风险？

Vladyslava Rudas, Dmytro Kuzmenko

机构 * National University of Kyiv-Mohyla Academy（基辅莫希拉国立大学） ； University of Turin（都灵大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)

AI总结 该研究评估了InternVL、Qwen-VL、SmolVLM三种VLM在机器人第一人称视角图像人际距离危险分类中的表现，发现Qwen-VL经特定优化后高危险召回率更高，当前VLM在相关推理定位上仍有局限。

Comments Accepted at the EMR 2026 workshop at ECCV 2026 (non-archival)

Retrofitting Recurrent Depth into a Pretrained Language Model: Installation, Extrapolation, Transfer, and Retention at Two Parameter Budgets

将循环深度改造融入预训练语言模型：在两个参数预算下的安装、外推、迁移与保留

Mark Shapiro

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究在Qwen2.5-0.5B-Instruct中融入循环深度，在两个参数预算下实现安装，其模型在ARC测试集等任务上性能优于同等规模基准，可外推至1.5倍监督深度，推理速度更快。