语言大模型 / LLM

Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining

用于大语言模型预训练的带球面约束的曲率条件多尺度动量方法

Shuchen Zhu, Yuxin Fang, Mingze Wang, Kun Yuan

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；分类 cs.LG

AI总结 针对LLM预训练中梯度噪声与病态损失景观问题，提出带球面约束的曲率条件多尺度动量方法，可加速Muon在不同架构和规模模型上的训练，兼具理论验证与实验支撑。

Comments 50 pages

One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography

一种实现跨语言迁移的统一形式：超越原生正字法的多语言语言模型预训练

Muge Zhang, Aaron Jencks, Krishna Badikela, Yulia Tsvetkov, Sachin Kumar

机构 * Ohio State University（俄亥俄州立大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。

Comments EMNLP 2026 (Main Conference). 9 pages, 6 figures (plus appendix)

Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification

不破坏，而是验证：用于隐私保护大语言模型验证的对抗探针

Cameron Wilding, Mina Shaker, Fatemeh Ganji

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出基于zk-SNARK的隐私保护审计框架，构建三类互补探针验证大语言模型，实验表明黑盒场景下的基于token的探针灵敏度最优，且Groth16 zk-SNARK工作流具备良好实用性。

Beyond the Vacuum: Combinatorial Strategy Selection for Competitor-Aware Generative Engine Optimization

超越真空：面向感知竞争对手的生成式引擎优化的组合策略选择

Vaibhav Sourirajan, Yao Zhang, Himanshu Kumar, Sahil Wadhwa, Mann Patel, Amirfarrokh Iranitalab

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究将生成式引擎优化（GEO）形式化为感知竞争对手的策略选择问题，提出两阶段流程，在相关基准及合成数据集上实现最优性能且可跨域迁移。

Comments 20 pages, 2 figures

Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss

推导OpenEuroLLM模型的缩放定律：学习率、批量大小与损失

Niccolò Ajroldi, Diana Alexandra Onutu, Haider Al-Tahan, Jörg Franke, Sampo Pyysalo, Jenia Jitsev, Aaron Klein

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对OpenEuroLLM模型，探究预训练时学习率与批量大小的缩放规律，开发相关模型并评估损失的缩放形式，建立基线与缩放程序并开源预训练运行集合。

Reinforcement Learning Guides Generative Protein Language Models

通过强化学习引导生成蛋白质语言模型

Filippo Stocco, Maria Artigues-Lleixa, Andrea Hunklinger, Michele Garibbo, Talal Widatalla, Marc Guell, Noelia Ferruz

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 通过强化学习引导生成蛋白质语言模型，实现EGFR结合物设计中结合亲和力的显著提升。

Comments 28 pages including main text and supporting information

Stay Within Your Bounds: Distance-Guided Decoding for Guaranteed Context-Free Grammar Compliance

保持在边界内：距离引导解码以确保符合上下文无关文法

Vincenzo Collura, Karim Tit, Eleonora Giunchiglia, Mike Papadakis, Maxime Cordy

机构 * University of Luxembourg（卢森堡大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出基于下推自动机的距离引导解码框架，解决文法约束解码中前缀无法接受的问题，在JSON、SQL、LTL任务上实现稳定句法有效性与更优完成质量。

Comments EMNLP 2026 Findings, Long Paper

What's on Your Mind? Exploring Privacy of Mental Health Apps

你在想什么？探索心理健康应用的隐私

Chloe Georgiou, Hans Lu, Emiliano De Cristofaro, Gene Tsudik

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)

AI总结 通过对25款流行的Android心理健康应用进行静态分析、动态网络捕获和LLM辅助隐私政策提取，发现这些应用存在严重的透明度问题，包括未披露的跟踪器、权限政策矛盾以及第三方AI处理披露不充分。

Roleplaying with Structure: Synthetic Therapist-Client Conversation Generation from Questionnaires

基于问卷的角色扮演：从问卷生成合成治疗师-来访者对话

Doan Nam Long Vu, Rui Tan, Lena Moench, Svenja Jule Francke, Daniel Woiwod, Florian Thomas-Odenthal, Sanna Stroth, Tilo Kircher, Christiane Hermann, Udo Dannlowski, Hamidreza Jamalabadi, Simone Balloccu, Shaoxiong Ji

机构 * Technical University of Darmstadt（达姆施塔特技术大学） ； Philipps-University Marburg（马尔堡菲利普斯大学） ； Justus Liebig University Giessen（吉森约斯特·利伯格大学） ； University of Münster（明斯特大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对心理健康合成数据生成受隐私限制的问题，构建了基于结构化问卷的SQPsych流水线生成合成治疗师-来访者对话，微调开放权重LLMs后经专家评估，其治疗师角色扮演能力优于其他心理健康类LLMs。

Comments Accepted to the 5th Workshop on NLP for Positive Impact 2026 @EMNLP 2026, Budapest, Hungary

WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes

WALDO：杂乱场景中的一次性示例条件目标检测

Kishor Datta Gupta, Ahmed Rafi Hasan, Md. Mahfuzur Rahman, Md. Sadman Haque, Mohd Ariful Haque

机构 * Clark Atlanta University（克拉克亚特兰大大学） ； United International University（联合国际大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出WALDO检测头，利用V-JEPA 2.1特征实现低成本一次性示例条件目标检测，在杂乱场景的AP@50优于Grounding DINO，验证了世界模型特征对定位和不存在检测的迁移能力。

GAAT: Geometry-Aware Alignment Transformer for Multimodal UAV Perception

GAAT：面向无人机多模态感知的几何感知对齐Transformer

Jingpu Yang, Debin Tang, Yilin Sun, Fengxian Ji, Jiahua Zhu, Wenrui Ding, Yufeng Wang

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Academy（中关村学院） ； Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本文提出面向无人机多模态感知的GAAT模型，引入syncPATC、MG-Sparse-MMA、RA-QCGCL等技术，结合UAVMeta与StateBench数据集，在六个下游任务上实现最优迁移性能，为无人机多模态感知提供支撑。

Nested Byte-Level Vocabularies Are Cheap to Deploy and Expensive to Share: A Pre-Registered Negative Result

嵌套字节级词汇表：部署成本低，共享成本高——一项预注册的负面结果

Christos Koutsiaris

机构 * SAP P&E 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究预注册实验发现，嵌套字节级词汇表的切片部署成本低但共享性能不如固定容量模型，控制标记对性能影响小，输出限制成本高，多容量训练可提升鲁棒性且益处源于多粒度训练。

Comments 5 pages, 2 figures, 4 tables. Pre-registered study. Code and reproducibility materials: this https URL (https://github.com/unseen1980/captok)

Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense

跨会话分解攻击：规模风险与意图对齐检索防御

Disen Liao, Yihan Wang, Freda Shi, Yaoliang Yu

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 该研究聚焦跨会话分解攻击的规模风险，提出IntentAlign-MiniLM防御方法，实验显示更大的Qwen3、Gemma3系列模型在该攻击下有害能力提升更显著，所提防御效果优于更大嵌入模型。

Comments 30 pages, 3 figures, EMNLP 2026 Findings

When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages

当分词器失效：面向低资源语言零样本迁移的字节级分块方法

Sanjeev Kumar, Atsuki Yamaguchi, Nikolaos Aletras

机构 * IIT Bombay（印度理工学院孟买分校） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文针对低资源语言处理中字节级模型的粒度不匹配问题，提出适配的分层网络框架，通过初始化字节嵌入、分块对齐损失及词性监督，在六种语言的词性标注任务上实现最高13.3%的性能提升。

Comments Accepted to EMNLP 2026

Time Capsule of Testable Human Knowledge: 41 Years of Jeopardy! in a Single Free Local Model

可测试人类知识的时间胶囊：单个免费本地模型中的41年《危险边缘！》

David Noever, Forrest McKee

机构 * PeopleTec, Inc.（PeopleTec公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 该研究表明，单个9GB的Qwen2.5-14B（4-bit）本地模型可在完整的41年《危险边缘！》线索数据集上达到67%的答题准确率，在训练截止后新线索上达65%，具备Watson所不具备的跨时代知识泛化能力。

Landau theory of quenched criticality in linear in-context learning

线性上下文学习中淬火临界性的朗道理论

Daesik Kim, Sumin Choi, Hyojae Jeon, Jung Hoon Han

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究将线性上下文学习的双下降奇点视为淬火无序系统的临界现象，构建朗道理论揭示其微观起源，验证预测并为相关统计物理理解奠定基础。

Comments 17 pages, 7 figures (counting subfigures)

Learning-Augmented Heuristics: Simple, yet Smart, Robust and Interpretable Cache Eviction

学习增强型启发式算法：简单、智能、鲁棒且可解释的缓存淘汰策略

Haocheng Xia, William Nixon, Bintang Dwi Marthen, Pranav Bhandari, Juncheng Yang

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出学习增强型启发式算法（LAH）框架，构建S4-FIFO算法，在提升缓存效率、鲁棒性的同时保持可解释性，性能优于S3-FIFO、3L-Cache等现有算法。

Comments 22 pages, accepted to OSDI '26

Training-Free Temporal Abstraction for General Video Understanding

用于通用视频理解的无训练时间抽象

Etienne Casanova, Sevan Brodjian, Pietro Perona

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 提出无训练的STITCH方法，将视频划分为语义时间块，在三个视频理解任务上表现具竞争力，为通用视频理解提供新方向。

Comments Submitted to NeurIPS 2026

What Can Low Resource Languages Learn From Each Other?

低资源语言能从彼此间学到什么？

Achyuth P, Kahaan Shah, Chetan Arora

机构 * IIT Delhi（印度理工学院德里分校） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 针对低资源语言OCR数据稀缺问题，提出PSMC框架，通过融合语言特定专家实现知识迁移，在10种印度文字上使词识别率平均提升约2%。

Comments 16 pages, 4 Tables, 6 Figures. To appear at ICDAR 2026. This version predates reviewer revisions. A revised version will be posted

SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment

SUFLECA：扩大用于CAD到图像对齐的特征学习

Saad Ejaz, Miguel Fernandez-Cortizas, Javier Civera, Holger Voos, Jose Luis Sanchez-Lopez

机构 * Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（自动化与机器人研究组，卢森堡大学跨学科安全、可靠性与信任中心（SnT）） ； Faculty of Science, Technology, and Medicine, University of Luxembourg（卢森堡大学科学、技术与医学学院） ； I3A, Universidad de Zaragoza（萨拉戈萨大学I3A） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 研究旨在解决CAD到图像对齐问题，提出弱监督框架SUFLECA。通过归一化物体坐标监督扩大特征学习，结合几何一致匹配算法，能准确快速对齐，在ScanNet25k上取得优异成绩，优于零样本基线并超越全监督方法。

An Empirical Study on Zero-Data Bootstrapping for Conversational Recommender Systems

对话式推荐系统的零数据引导实证研究

Rohan Surana, Junda Wu, Zhouhang Xie, Yu Xia, Nathan Kallus, Julian McAuley

专题命中 预训练与数据 ：prompting(abstract)

AI总结 本研究针对对话式推荐系统需领域对话数据的痛点，开展零数据引导实证，用非对话信号生成合成数据，证实其效果优于基线，为无对话训练数据构建CRS提供可行方案。

Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization

人类标注变异作为稳定信号：通过跨标注者偏好优化学习标注者特定的解释行为

Beiduo Chen, Pingjun Hong, Ziyun Zhang, Benjamin Roth, Anna Korhonen, Barbara Plank

机构 * MaiNLP ； Center for Information and Language Processing（信息与语言处理中心） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Vienna（维也纳大学） ； LTL ； University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：preference optimization(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)

AI总结 研究大语言模型能否学习并复现标注者特定的标签-解释行为，提出跨标注者偏好优化（CAPO）方法，通过对比目标标注者与其他有效但非目标标注者的响应来提升模仿和归因能力。

Comments Accepted by EMNLP 2026 Main, 46 pages, 20 figures

Learning to Use Tools: Reinforcement Learning for Tool-Integrated Mathematical Reasoning

学习使用工具：用于工具集成数学推理的强化学习

Minghui Xu, Zi Wang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究针对Countdown任务，构建工具使用的SFT数据集并采用多种强化学习方法，结合计算器工具集成提升LLM数学推理，使pass@1达66.0%，显著降低计算与验证错误。

When Linguistic and Internal Confidence Diverge in Large Language Models

当大型语言模型的语言置信度与内部置信度出现偏差时

Hefan Zhang, Bingquan Zhang, Ming Cheng, Saeed Hassanpour, Weicheng Ma, Soroush Vosoughi

机构 * Dartmouth College（达特茅斯学院） ； Oakland University（奥克兰大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究对比大型语言模型的语言置信度与内部置信度，发现二者常出现偏差，提出需用多维度诊断评估语言置信度后再用于下游可靠性流程。

OpenStamp: A Watermark for Open-Source Language Models

OpenStamp：面向开源语言模型的水印技术

Miroojin Bakshi, Saksham Rastogi, Danish Pruthi

机构 * Indian Institute of Science（印度科学学院） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出OpenStamp水印技术，通过修改开源语言模型的最终投影层嵌入水印，检测性能优、模型能力下降小，对改写攻击鲁棒且难去除，还发布了相关代码与水印模型。

Comments Published at COLM 2026

AIM: Anchor Identity Features, Then Match for Multimodal Large Language Model Unlearning

AIM：锚定身份特征，再匹配以实现多模态大语言模型的遗忘

Wonjun Lee, Jaehyuk Jang, Kangwook Ko, Hee-Seon Kim, Changick Kim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对删除阶段无法获取保留图像的多模态大语言模型身份遗忘场景，提出两阶段方法AIM，通过通用视觉提示锚定遗忘目标并结合Fisher约束，实现身份遗忘的同时保留非删除身份、先验知识与视觉感知。

Comments Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026

Regime-Aware Portfolio Management via Retrieval-Augmented LLM-Guided Expert Switching

基于检索增强大语言模型引导的专家切换的状态感知投资组合管理

Ahmad Asadi, Reza Safabakhsh

机构 * Amirkabur University of Technology（阿米尔卡比尔理工大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本研究针对非平稳金融市场，提出检索增强LLM引导的专家切换框架，经多市场实验验证其在累计收益、夏普比率上优于对比策略，为自适应投资组合管理提供有效方案。

ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools

ContextLeak：通过恶意工具窃取大语言模型智能体的上下文

Yuqi Jia, Ruiqi Wang, Patrick Li, Yuepeng Hu, Peinian Li, Neil Gong

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本研究提出ContextLeak恶意工具攻击，通过强化学习设计工具名称与描述诱导LLM智能体泄露上下文，其在影子用户与受害者上下文差异大时仍保持高有效性，且性能优于现有同类攻击。

NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry

NL2AGBench：面向AlphaGeometry的大语言模型自动形式化基准测试

Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong

机构 * Valley Christian High School（谷基督高中） ； Vandegrift High School（范德格里夫特高中） ； Groton School（格罗顿学校） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出NL2AGBench基准，评估LLMs将英文几何问题转换为AlphaGeometry兼容形式化表示的能力，发现闭源模型可实现80%以上可执行翻译率，开源模型表现欠佳，还提出错误分类法并验证了多种缓解策略的有效性。

CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning

CoRe-MoE：用于持续多模态指令调优的紧凑可混合混合专家模型

Runze Liu, Naibin Gu, Mingxu Ai, Yuqing Li, Peng Fu, Zheng Lin, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对持续多模态指令调优中 LoRA-MoE 参数开销大的问题，提出 CoRe-MoE 框架，通过复用方向基减少参数，在 MLLM 上性能提升达 5.90 点且参数仅为顺序 LoRA 的 1%。

Comments Accepted to Findings of EMNLP 2026