语言大模型 / LLM

Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining

用于大语言模型预训练的带球面约束的曲率条件多尺度动量方法

Shuchen Zhu, Yuxin Fang, Mingze Wang, Kun Yuan

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；分类 cs.LG

AI总结 针对LLM预训练中梯度噪声与病态损失景观问题，提出带球面约束的曲率条件多尺度动量方法，可加速Muon在不同架构和规模模型上的训练，兼具理论验证与实验支撑。

Comments 50 pages

One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography

一种实现跨语言迁移的统一形式：超越原生正字法的多语言语言模型预训练

Muge Zhang, Aaron Jencks, Krishna Badikela, Yulia Tsvetkov, Sachin Kumar

机构 * Ohio State University（俄亥俄州立大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。

Comments EMNLP 2026 (Main Conference). 9 pages, 6 figures (plus appendix)

Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification

不破坏，而是验证：用于隐私保护大语言模型验证的对抗探针

Cameron Wilding, Mina Shaker, Fatemeh Ganji

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出基于zk-SNARK的隐私保护审计框架，构建三类互补探针验证大语言模型，实验表明黑盒场景下的基于token的探针灵敏度最优，且Groth16 zk-SNARK工作流具备良好实用性。

Beyond the Vacuum: Combinatorial Strategy Selection for Competitor-Aware Generative Engine Optimization

超越真空：面向感知竞争对手的生成式引擎优化的组合策略选择

Vaibhav Sourirajan, Yao Zhang, Himanshu Kumar, Sahil Wadhwa, Mann Patel, Amirfarrokh Iranitalab

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究将生成式引擎优化（GEO）形式化为感知竞争对手的策略选择问题，提出两阶段流程，在相关基准及合成数据集上实现最优性能且可跨域迁移。

Comments 20 pages, 2 figures

Deriving Scaling Laws for OpenEuroLLM Models: Learning Rate, Batch Size and Loss

推导OpenEuroLLM模型的缩放定律：学习率、批量大小与损失

Niccolò Ajroldi, Diana Alexandra Onutu, Haider Al-Tahan, Jörg Franke, Sampo Pyysalo, Jenia Jitsev, Aaron Klein

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对OpenEuroLLM模型，探究预训练时学习率与批量大小的缩放规律，开发相关模型并评估损失的缩放形式，建立基线与缩放程序并开源预训练运行集合。

Reinforcement Learning Guides Generative Protein Language Models

通过强化学习引导生成蛋白质语言模型

Filippo Stocco, Maria Artigues-Lleixa, Andrea Hunklinger, Michele Garibbo, Talal Widatalla, Marc Guell, Noelia Ferruz

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 通过强化学习引导生成蛋白质语言模型，实现EGFR结合物设计中结合亲和力的显著提升。

Comments 28 pages including main text and supporting information

Stay Within Your Bounds: Distance-Guided Decoding for Guaranteed Context-Free Grammar Compliance

保持在边界内：距离引导解码以确保符合上下文无关文法

Vincenzo Collura, Karim Tit, Eleonora Giunchiglia, Mike Papadakis, Maxime Cordy

机构 * University of Luxembourg（卢森堡大学） ； Imperial College London（伦敦帝国学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出基于下推自动机的距离引导解码框架，解决文法约束解码中前缀无法接受的问题，在JSON、SQL、LTL任务上实现稳定句法有效性与更优完成质量。

Comments EMNLP 2026 Findings, Long Paper

What's on Your Mind? Exploring Privacy of Mental Health Apps

你在想什么？探索心理健康应用的隐私

Chloe Georgiou, Hans Lu, Emiliano De Cristofaro, Gene Tsudik

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)

AI总结 通过对25款流行的Android心理健康应用进行静态分析、动态网络捕获和LLM辅助隐私政策提取，发现这些应用存在严重的透明度问题，包括未披露的跟踪器、权限政策矛盾以及第三方AI处理披露不充分。

Roleplaying with Structure: Synthetic Therapist-Client Conversation Generation from Questionnaires

基于问卷的角色扮演：从问卷生成合成治疗师-来访者对话

Doan Nam Long Vu, Rui Tan, Lena Moench, Svenja Jule Francke, Daniel Woiwod, Florian Thomas-Odenthal, Sanna Stroth, Tilo Kircher, Christiane Hermann, Udo Dannlowski, Hamidreza Jamalabadi, Simone Balloccu, Shaoxiong Ji

机构 * Technical University of Darmstadt（达姆施塔特技术大学） ； Philipps-University Marburg（马尔堡菲利普斯大学） ； Justus Liebig University Giessen（吉森约斯特·利伯格大学） ； University of Münster（明斯特大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对心理健康合成数据生成受隐私限制的问题，构建了基于结构化问卷的SQPsych流水线生成合成治疗师-来访者对话，微调开放权重LLMs后经专家评估，其治疗师角色扮演能力优于其他心理健康类LLMs。

Comments Accepted to the 5th Workshop on NLP for Positive Impact 2026 @EMNLP 2026, Budapest, Hungary

WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes

WALDO：杂乱场景中的一次性示例条件目标检测

Kishor Datta Gupta, Ahmed Rafi Hasan, Md. Mahfuzur Rahman, Md. Sadman Haque, Mohd Ariful Haque

机构 * Clark Atlanta University（克拉克亚特兰大大学） ； United International University（联合国际大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出WALDO检测头，利用V-JEPA 2.1特征实现低成本一次性示例条件目标检测，在杂乱场景的AP@50优于Grounding DINO，验证了世界模型特征对定位和不存在检测的迁移能力。

GAAT: Geometry-Aware Alignment Transformer for Multimodal UAV Perception

GAAT：面向无人机多模态感知的几何感知对齐Transformer

Jingpu Yang, Debin Tang, Yilin Sun, Fengxian Ji, Jiahua Zhu, Wenrui Ding, Yufeng Wang

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Academy（中关村学院） ； Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本文提出面向无人机多模态感知的GAAT模型，引入syncPATC、MG-Sparse-MMA、RA-QCGCL等技术，结合UAVMeta与StateBench数据集，在六个下游任务上实现最优迁移性能，为无人机多模态感知提供支撑。

Nested Byte-Level Vocabularies Are Cheap to Deploy and Expensive to Share: A Pre-Registered Negative Result

嵌套字节级词汇表：部署成本低，共享成本高——一项预注册的负面结果

Christos Koutsiaris

机构 * SAP P&E 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究预注册实验发现，嵌套字节级词汇表的切片部署成本低但共享性能不如固定容量模型，控制标记对性能影响小，输出限制成本高，多容量训练可提升鲁棒性且益处源于多粒度训练。

Comments 5 pages, 2 figures, 4 tables. Pre-registered study. Code and reproducibility materials: this https URL (https://github.com/unseen1980/captok)

Cross-Session Decomposition Attacks: Scaling Risk and Intent-Aligned Retrieval Defense

跨会话分解攻击：规模风险与意图对齐检索防御

Disen Liao, Yihan Wang, Freda Shi, Yaoliang Yu

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 该研究聚焦跨会话分解攻击的规模风险，提出IntentAlign-MiniLM防御方法，实验显示更大的Qwen3、Gemma3系列模型在该攻击下有害能力提升更显著，所提防御效果优于更大嵌入模型。

Comments 30 pages, 3 figures, EMNLP 2026 Findings

When Tokenizers Fail: Byte-Level Chunking for Zero-Shot Transfer to Low-Resource Languages

当分词器失效：面向低资源语言零样本迁移的字节级分块方法

Sanjeev Kumar, Atsuki Yamaguchi, Nikolaos Aletras

机构 * IIT Bombay（印度理工学院孟买分校） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文针对低资源语言处理中字节级模型的粒度不匹配问题，提出适配的分层网络框架，通过初始化字节嵌入、分块对齐损失及词性监督，在六种语言的词性标注任务上实现最高13.3%的性能提升。

Comments Accepted to EMNLP 2026

Time Capsule of Testable Human Knowledge: 41 Years of Jeopardy! in a Single Free Local Model

可测试人类知识的时间胶囊：单个免费本地模型中的41年《危险边缘！》

David Noever, Forrest McKee

机构 * PeopleTec, Inc.（PeopleTec公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 该研究表明，单个9GB的Qwen2.5-14B（4-bit）本地模型可在完整的41年《危险边缘！》线索数据集上达到67%的答题准确率，在训练截止后新线索上达65%，具备Watson所不具备的跨时代知识泛化能力。

Landau theory of quenched criticality in linear in-context learning

线性上下文学习中淬火临界性的朗道理论

Daesik Kim, Sumin Choi, Hyojae Jeon, Jung Hoon Han

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究将线性上下文学习的双下降奇点视为淬火无序系统的临界现象，构建朗道理论揭示其微观起源，验证预测并为相关统计物理理解奠定基础。

Comments 17 pages, 7 figures (counting subfigures)

Learning-Augmented Heuristics: Simple, yet Smart, Robust and Interpretable Cache Eviction

学习增强型启发式算法：简单、智能、鲁棒且可解释的缓存淘汰策略

Haocheng Xia, William Nixon, Bintang Dwi Marthen, Pranav Bhandari, Juncheng Yang

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出学习增强型启发式算法（LAH）框架，构建S4-FIFO算法，在提升缓存效率、鲁棒性的同时保持可解释性，性能优于S3-FIFO、3L-Cache等现有算法。

Comments 22 pages, accepted to OSDI '26

Training-Free Temporal Abstraction for General Video Understanding

用于通用视频理解的无训练时间抽象

Etienne Casanova, Sevan Brodjian, Pietro Perona

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 提出无训练的STITCH方法，将视频划分为语义时间块，在三个视频理解任务上表现具竞争力，为通用视频理解提供新方向。

Comments Submitted to NeurIPS 2026

What Can Low Resource Languages Learn From Each Other?

低资源语言能从彼此间学到什么？

Achyuth P, Kahaan Shah, Chetan Arora

机构 * IIT Delhi（印度理工学院德里分校） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 针对低资源语言OCR数据稀缺问题，提出PSMC框架，通过融合语言特定专家实现知识迁移，在10种印度文字上使词识别率平均提升约2%。

Comments 16 pages, 4 Tables, 6 Figures. To appear at ICDAR 2026. This version predates reviewer revisions. A revised version will be posted

SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment

SUFLECA：扩大用于CAD到图像对齐的特征学习

Saad Ejaz, Miguel Fernandez-Cortizas, Javier Civera, Holger Voos, Jose Luis Sanchez-Lopez

机构 * Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（自动化与机器人研究组，卢森堡大学跨学科安全、可靠性与信任中心（SnT）） ； Faculty of Science, Technology, and Medicine, University of Luxembourg（卢森堡大学科学、技术与医学学院） ； I3A, Universidad de Zaragoza（萨拉戈萨大学I3A） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 研究旨在解决CAD到图像对齐问题，提出弱监督框架SUFLECA。通过归一化物体坐标监督扩大特征学习，结合几何一致匹配算法，能准确快速对齐，在ScanNet25k上取得优异成绩，优于零样本基线并超越全监督方法。

An Empirical Study on Zero-Data Bootstrapping for Conversational Recommender Systems

对话式推荐系统的零数据引导实证研究

Rohan Surana, Junda Wu, Zhouhang Xie, Yu Xia, Nathan Kallus, Julian McAuley

专题命中 预训练与数据 ：prompting(abstract)

AI总结 本研究针对对话式推荐系统需领域对话数据的痛点，开展零数据引导实证，用非对话信号生成合成数据，证实其效果优于基线，为无对话训练数据构建CRS提供可行方案。