语言大模型 / LLM

Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining

用于大语言模型预训练的带球面约束的曲率条件多尺度动量方法

Shuchen Zhu, Yuxin Fang, Mingze Wang, Kun Yuan

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；分类 cs.LG

AI总结 针对LLM预训练中梯度噪声与病态损失景观问题，提出带球面约束的曲率条件多尺度动量方法，可加速Muon在不同架构和规模模型上的训练，兼具理论验证与实验支撑。

Comments 50 pages

Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification

不破坏，而是验证：用于隐私保护大语言模型验证的对抗探针

Cameron Wilding, Mina Shaker, Fatemeh Ganji

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出基于zk-SNARK的隐私保护审计框架，构建三类互补探针验证大语言模型，实验表明黑盒场景下的基于token的探针灵敏度最优，且Groth16 zk-SNARK工作流具备良好实用性。

Beyond the Vacuum: Combinatorial Strategy Selection for Competitor-Aware Generative Engine Optimization

超越真空：面向感知竞争对手的生成式引擎优化的组合策略选择

Vaibhav Sourirajan, Yao Zhang, Himanshu Kumar, Sahil Wadhwa, Mann Patel, Amirfarrokh Iranitalab

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究将生成式引擎优化（GEO）形式化为感知竞争对手的策略选择问题，提出两阶段流程，在相关基准及合成数据集上实现最优性能且可跨域迁移。

Comments 20 pages, 2 figures

Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss

推导OpenEuroLLM模型的缩放定律：学习率、批量大小与损失

Niccolò Ajroldi, Diana Alexandra Onutu, Haider Al-Tahan, Jörg Franke, Sampo Pyysalo, Jenia Jitsev, Aaron Klein

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对OpenEuroLLM模型，探究预训练时学习率与批量大小的缩放规律，开发相关模型并评估损失的缩放形式，建立基线与缩放程序并开源预训练运行集合。

Stay Within Your Bounds: Distance-Guided Decoding for Guaranteed Context-Free Grammar Compliance

保持在边界内：距离引导解码以确保符合上下文无关文法

Vincenzo Collura, Karim Tit, Eleonora Giunchiglia, Mike Papadakis, Maxime Cordy

机构 * University of Luxembourg（卢森堡大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出基于下推自动机的距离引导解码框架，解决文法约束解码中前缀无法接受的问题，在JSON、SQL、LTL任务上实现稳定句法有效性与更优完成质量。

Comments EMNLP 2026 Findings, Long Paper

WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes

WALDO：杂乱场景中的一次性示例条件目标检测

Kishor Datta Gupta, Ahmed Rafi Hasan, Md. Mahfuzur Rahman, Md. Sadman Haque, Mohd Ariful Haque

机构 * Clark Atlanta University（克拉克亚特兰大大学） ； United International University（联合国际大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出WALDO检测头，利用V-JEPA 2.1特征实现低成本一次性示例条件目标检测，在杂乱场景的AP@50优于Grounding DINO，验证了世界模型特征对定位和不存在检测的迁移能力。

GAAT: Geometry-Aware Alignment Transformer for Multimodal UAV Perception

GAAT：面向无人机多模态感知的几何感知对齐Transformer

Jingpu Yang, Debin Tang, Yilin Sun, Fengxian Ji, Jiahua Zhu, Wenrui Ding, Yufeng Wang

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Academy（中关村学院） ； Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本文提出面向无人机多模态感知的GAAT模型，引入syncPATC、MG-Sparse-MMA、RA-QCGCL等技术，结合UAVMeta与StateBench数据集，在六个下游任务上实现最优迁移性能，为无人机多模态感知提供支撑。

Nested Byte-Level Vocabularies Are Cheap to Deploy and Expensive to Share: A Pre-Registered Negative Result

嵌套字节级词汇表：部署成本低，共享成本高——一项预注册的负面结果

Christos Koutsiaris

机构 * SAP P&E 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究预注册实验发现，嵌套字节级词汇表的切片部署成本低但共享性能不如固定容量模型，控制标记对性能影响小，输出限制成本高，多容量训练可提升鲁棒性且益处源于多粒度训练。

Comments 5 pages, 2 figures, 4 tables. Pre-registered study. Code and reproducibility materials: this https URL (https://github.com/unseen1980/captok)

Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense

跨会话分解攻击：规模风险与意图对齐检索防御

Disen Liao, Yihan Wang, Freda Shi, Yaoliang Yu

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 该研究聚焦跨会话分解攻击的规模风险，提出IntentAlign-MiniLM防御方法，实验显示更大的Qwen3、Gemma3系列模型在该攻击下有害能力提升更显著，所提防御效果优于更大嵌入模型。

Comments 30 pages, 3 figures, EMNLP 2026 Findings

When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages

当分词器失效：面向低资源语言零样本迁移的字节级分块方法

Sanjeev Kumar, Atsuki Yamaguchi, Nikolaos Aletras

机构 * IIT Bombay（印度理工学院孟买分校） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文针对低资源语言处理中字节级模型的粒度不匹配问题，提出适配的分层网络框架，通过初始化字节嵌入、分块对齐损失及词性监督，在六种语言的词性标注任务上实现最高13.3%的性能提升。

Comments Accepted to EMNLP 2026

Time Capsule of Testable Human Knowledge: 41 Years of Jeopardy! in a Single Free Local Model

可测试人类知识的时间胶囊：单个免费本地模型中的41年《危险边缘！》

David Noever, Forrest McKee

机构 * PeopleTec, Inc.（PeopleTec公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 该研究表明，单个9GB的Qwen2.5-14B（4-bit）本地模型可在完整的41年《危险边缘！》线索数据集上达到67%的答题准确率，在训练截止后新线索上达65%，具备Watson所不具备的跨时代知识泛化能力。

Landau theory of quenched criticality in linear in-context learning

线性上下文学习中淬火临界性的朗道理论

Daesik Kim, Sumin Choi, Hyojae Jeon, Jung Hoon Han

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究将线性上下文学习的双下降奇点视为淬火无序系统的临界现象，构建朗道理论揭示其微观起源，验证预测并为相关统计物理理解奠定基础。

Comments 17 pages, 7 figures (counting subfigures)

Learning-Augmented Heuristics: Simple, yet Smart, Robust and Interpretable Cache Eviction

学习增强型启发式算法：简单、智能、鲁棒且可解释的缓存淘汰策略

Haocheng Xia, William Nixon, Bintang Dwi Marthen, Pranav Bhandari, Juncheng Yang

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出学习增强型启发式算法（LAH）框架，构建S4-FIFO算法，在提升缓存效率、鲁棒性的同时保持可解释性，性能优于S3-FIFO、3L-Cache等现有算法。

Comments 22 pages, accepted to OSDI '26

Training-Free Temporal Abstraction for General Video Understanding

用于通用视频理解的无训练时间抽象

Etienne Casanova, Sevan Brodjian, Pietro Perona

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 提出无训练的STITCH方法，将视频划分为语义时间块，在三个视频理解任务上表现具竞争力，为通用视频理解提供新方向。

Comments Submitted to NeurIPS 2026

What Can Low Resource Languages Learn From Each Other?

低资源语言能从彼此间学到什么？

Achyuth P, Kahaan Shah, Chetan Arora

机构 * IIT Delhi（印度理工学院德里分校） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 针对低资源语言OCR数据稀缺问题，提出PSMC框架，通过融合语言特定专家实现知识迁移，在10种印度文字上使词识别率平均提升约2%。

Comments 16 pages, 4 Tables, 6 Figures. To appear at ICDAR 2026. This version predates reviewer revisions. A revised version will be posted

Learning to Use Tools: Reinforcement Learning for Tool-Integrated Mathematical Reasoning

学习使用工具：用于工具集成数学推理的强化学习

Minghui Xu, Zi Wang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究针对Countdown任务，构建工具使用的SFT数据集并采用多种强化学习方法，结合计算器工具集成提升LLM数学推理，使pass@1达66.0%，显著降低计算与验证错误。

When Linguistic and Internal Confidence Diverge in Large Language Models

当大型语言模型的语言置信度与内部置信度出现偏差时

Hefan Zhang, Bingquan Zhang, Ming Cheng, Saeed Hassanpour, Weicheng Ma, Soroush Vosoughi

机构 * Dartmouth College（达特茅斯学院） ； Oakland University（奥克兰大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究对比大型语言模型的语言置信度与内部置信度，发现二者常出现偏差，提出需用多维度诊断评估语言置信度后再用于下游可靠性流程。

OpenStamp: A Watermark for Open-Source Language Models

OpenStamp：面向开源语言模型的水印技术

Miroojin Bakshi, Saksham Rastogi, Danish Pruthi

机构 * Indian Institute of Science（印度科学学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出OpenStamp水印技术，通过修改开源语言模型的最终投影层嵌入水印，检测性能优、模型能力下降小，对改写攻击鲁棒且难去除，还发布了相关代码与水印模型。

Comments Published at COLM 2026

AIM: Anchor Identity Features, Then Match for Multimodal Large Language Model Unlearning

AIM：锚定身份特征，再匹配以实现多模态大语言模型的遗忘

Wonjun Lee, Jaehyuk Jang, Kangwook Ko, Hee-Seon Kim, Changick Kim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对删除阶段无法获取保留图像的多模态大语言模型身份遗忘场景，提出两阶段方法AIM，通过通用视觉提示锚定遗忘目标并结合Fisher约束，实现身份遗忘的同时保留非删除身份、先验知识与视觉感知。

Comments Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026

Regime-Aware Portfolio Management via Retrieval-Augmented LLM-Guided Expert Switching

基于检索增强大语言模型引导的专家切换的状态感知投资组合管理

Ahmad Asadi, Reza Safabakhsh

机构 * Amirkabur University of Technology（阿米尔卡比尔理工大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本研究针对非平稳金融市场，提出检索增强LLM引导的专家切换框架，经多市场实验验证其在累计收益、夏普比率上优于对比策略，为自适应投资组合管理提供有效方案。

ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools

ContextLeak：通过恶意工具窃取大语言模型智能体的上下文

Yuqi Jia, Ruiqi Wang, Patrick Li, Yuepeng Hu, Peinian Li, Neil Gong

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本研究提出ContextLeak恶意工具攻击，通过强化学习设计工具名称与描述诱导LLM智能体泄露上下文，其在影子用户与受害者上下文差异大时仍保持高有效性，且性能优于现有同类攻击。

NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry

NL2AGBench：面向AlphaGeometry的大语言模型自动形式化基准测试

Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong

机构 * Valley Christian High School（谷基督高中） ； Vandegrift High School（范德格里夫特高中） ； Groton School（格罗顿学校） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出NL2AGBench基准，评估LLMs将英文几何问题转换为AlphaGeometry兼容形式化表示的能力，发现闭源模型可实现80%以上可执行翻译率，开源模型表现欠佳，还提出错误分类法并验证了多种缓解策略的有效性。

CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning

CoRe-MoE：用于持续多模态指令调优的紧凑可混合混合专家模型

Runze Liu, Naibin Gu, Mingxu Ai, Yuqing Li, Peng Fu, Zheng Lin, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对持续多模态指令调优中 LoRA-MoE 参数开销大的问题，提出 CoRe-MoE 框架，通过复用方向基减少参数，在 MLLM 上性能提升达 5.90 点且参数仅为顺序 LoRA 的 1%。

Comments Accepted to Findings of EMNLP 2026

VERA-8B: Evidence-Grounded Audit Risk Reasoning from SEC Filings

VERA-8B：基于SEC文件的证据支撑审计风险推理模型

Menghan Liu, Elynn Chen

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究推出端到端审计推理系统VERA-8B，统一SFT与GRPO实现证据支撑审计推理，引入弃权机制，设计AuditBridge实现原始文件到可用报告的转换，性能优于基线模型。

Acquire, Repair, Preserve: A Diagnosis-Guided Post-Training Recipe for Small-Model Dialogue Game Agents

获取、修复、保留：面向小模型对话游戏智能体的诊断引导式后训练方案

Nan Li

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 指令微调 ：post-training(title)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本研究针对小模型对话游戏智能体提出诊断引导式后训练方案，通过三步训练在LM Playschool Challenge中大幅提升了模型的域内对话游戏表现，同时保留了通用静态性能。

Comments 14 pages, 14 tables; Accepted to the LM Playschool Workshop at EMNLP 2026; HF model card: this https URL (https://huggingface.co/chnln/Qwen3.5-2B-playpen-playornotplay)

Efficient Online Continual Foundation Model Fine-Tuning for Predictive Process Monitoring

面向预测过程监控的高效在线持续基础模型微调

Sjoerd van Straten, Marwan Hassani

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； University of Wuppertal（伍珀塔尔大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对PPM领域基础模型在线持续微调的冷启动问题，提出COMPASS框架，通过自适应子空间与漂移检测技术实现更优性能，且计算开销可接受。

Explainable Diabetic Retinopathy Classification Using Vision Foundation Models

基于视觉基础模型的可解释糖尿病视网膜病变分类

Abhishek Verma, Anila Krishna, Abhishek Gajanan Bankar, Juan Miguel Lopez Alcaraz

机构 * Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究提出基于视觉基础模型的可解释DR分类框架，评估DINOv2等模型及LoRA等训练策略，在ODIR、APTOS等数据集上取得良好分类性能，验证了模型注意力与临床病灶的相关性。

Comments 11 pages, 4 figures, source code under this https URL (https://github.com/UOLMDA26/retinopathy_vision_foundational)

Moirae: A Multimodal Agent Collaborative Framework for Dynamic Android Malware Detection

Moirae：用于动态Android恶意软件检测的多模态智能体协作框架

Xueying Zeng, Youquan Xian, Yanze Li, bowen hu, Ziqi Shan, Xu Luo, DanPing Yang, Peng Liu, Lei Cui, Bo Li

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究提出多模态智能体协作框架Moirae，通过融合多维度运行时证据实现动态Android恶意软件检测，在未见过的数据集上零样本准确率达90.06%，优于现有基线且抗概念漂移。

First Make It Playable, Then Make It Good: Staged Interaction Learning for Small Dialogue-Game Agents

先让它可玩，再让它变好：面向小型对话游戏智能体的分阶段交互学习

Syed Mahbubul Huq, Pranava Madhyastha

机构 * City, University of London（伦敦城市大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出Qwen-GuidePlay-2B模型，通过分阶段微调方法训练小型对话游戏智能体，在Playpen挑战赛中取得优异成绩，证明精心筛选策略可让小型模型实现高性能。

Comments Accepted at the LMP Challenge (EMNLP 2026 Workshop)

Token-Budget Distillation: Transferring Full-Token Semantics to Compressed Video Vision-Language Models

令牌预算蒸馏：将全令牌语义迁移至压缩视频视觉语言模型

Xiaoyang Guo, Guoping Luo, Jusheng Zhang, Keze Wang, Wenhao Wang

机构 * Sun Yat-sen University（中山大学） ； The University of British Columbia（不列颠哥伦比亚大学） ； Vast Intelligence Lab（威斯特智能实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出令牌预算蒸馏（TBD）框架，通过双路径师生设计结合LoRA适配器与FlashVID压缩，在固定令牌预算下适配视频VLMs，大幅压缩令牌时仍能保留高语义性能，在多基准测试中优于仅压缩基线。

Comments ACM MM 2026