语言大模型 / LLM

Beyond touch-based human-machine interface: Control your machines in natural language by utilizing large language models and OPC UA

超越基于触控的人机界面：通过利用大语言模型和OPC UA控制机器

Bernd Hofmann, Niklas Piechulek, Sven Kreitlein, Joerg Franke, Patrick Bruendl

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 利用大语言模型和OPC UA实现自然语言控制机器，通过工具调用提升工业人机交互的自然度。

Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions

多项语言还是多群体？多语言大语言模型对价值导向的选择题的回答

Léo Labat, Etienne Ollion, François Yvon

机构 * Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR） ； CREST, CNRS, Institut Polytechnique de Paris（CREST、国家科学研究中心、巴黎高等理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究多语言LLM在价值导向选择题中的回答一致性，发现语言影响回答，需进一步探讨偏好微调的作用。

Comments 17 pages, 5 figures (8 pages of references and appendices)

Empowering Time Series Analysis with Large-Scale Multimodal Pretraining

通过大规模多模态预训练增强时间序列分析

Peng Chen, Siyuan Wang, Shiyan Hu, Xingjian Wu, Yang Shu, Zhongwen Rao, Meng Wang, Yijie Li, Bin Yang, Chenjuan Guo

机构 * East China Normal University, Shanghai, China（华东师范大学） ； HuaWei, ShenZhen, China（华为，深圳，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出HORAI模型，通过多模态预训练提升时间序列分析的泛化能力，实现零样本预测和异常检测的最优性能。

Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency

探究病理基础模型对同源重组缺陷的回归预测影响

Alexander Blezinger, Wolfgang Nejdl, Ming Tang

机构 * Leibniz University Hannover（汉诺威莱布尼茨大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本研究探讨了病理基础模型在预测同源重组缺陷评分中的影响，通过实验发现基于基础模型的模型在预测准确性方面优于基线，并提出了缓解数据不平衡的上采样策略。

Comments 9 pages, 7 figures and 5 tables

Late-to-Early Training: LET LLMs Learn Earlier, So Faster and Better

后期到早期训练：LET LLMs 早期学习，从而更快且更好

Ji Zhao, Yufei Gu, Shitong Shao, Xun Zhou, Liang Xiang, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出LET范式，通过利用已有小型预训练模型加速大模型训练，实现更快的训练速度和更高的性能。

EuroLLM-22B: Technical Report

EuroLLM-22B：技术报告

Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

机构 * Instituto Superior Técnico & Universidade de Lisboa (Lisbon ELLIS Unit)（里斯本ELLIS单位（理工学院与里斯本大学）） ； Instituto de Telecomunicações（电信研究院） ； MICS, CentraleSupélec, Université Paris-Saclay（MICS、中央圣艾尔布兰理工大学、巴黎萨克雷大学） ； Acolad ； Carnegie Mellon University（卡内基梅隆大学） ； University of Edinburgh（爱丁堡大学） ； Diabolocom ； Aveni ； OutSystems ； Sword Health ； Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR） ； Artefact Research Center（Artefact研究机构） ； TransPerfect 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 EuroLLM-22B是一款覆盖24种欧盟语言及11种额外语言的大型语言模型，通过多语言基准测试展现强推理、指令遵循和翻译能力，提供基础模型、指令微调模型及预训练代码库以支持未来研究。

Linear Model Merging Unlocks Simple and Scalable Multimodal Data Mixture Optimization

线性模型合并解锁了简单且可扩展的多模态数据混合优化

Davide Berasi, Matteo Farina, Massimiliano Mancini, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过模型合并高效估算多模态数据混合效果，结合领域专家训练与参数空间组合，实现可扩展的混合优化方法。

Comments Preprint

How Do Language Models Acquire Character-Level Information?

语言模型如何获取字符级信息？

Soma Sato, Ryohei Sasano

机构 * Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过对比不同训练设置，揭示了语言模型获取字符级信息的机制，发现合并规则、正字法约束以及子字符串的语义关联和句法信息是关键因素。

Comments Accepted to EACL 2026 Main Conference

A Contrastive Learning Foundation Model Based on Perfectly Aligned Sample Pairs for Remote Sensing Images

基于完美对齐样本对的远程 sensing 图像对比学习基础模型

Hengtong Shen, Haiyan Gu, Haitao Li, Yi Yang, Agen Qiu

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本文提出PerA方法，通过完美对齐样本对生成通用遥感图像特征，提升自监督学习在遥感任务中的适应性和效率。

Comments This article has been accepted for publication in Geo-spatial Information Science, published by Taylor & Francis

Data Kernel Perspective Space Performance Guarantees for Synthetic Data from Transformer Models

变换器模型合成数据的Data Kernel视角空间性能保证

Michael Browder, Kevin Duh, J. David Harris, Vince Lyzinski, Paul McNamee, Youngser Park, Carey E. Priebe, Peter Viechnicki

机构 * Department of Mathematics at the University of Maryland, College Park（马里兰大学College Park数学系） ； Human Language Technology Center of Excellence, Johns Hopkins University（约翰霍普金斯大学人机语言技术中心） ； Center for Imaging Science (CIS), the Institute for Computational Medicine (ICM), and the Mathematical Institute for Data Science (MINDS), Johns Hopkins University（约翰霍普金斯大学影像科学中心（CIS）、计算医学研究所（ICM）和数据科学数学研究所（MINDS）） ； Department of Applied Mathematics and Statistics (AMS), the Center for Imaging Science (CIS), and the Mathematical Institute for Data Science (MINDS), Johns Hopkins University（约翰霍普金斯大学应用数学与统计学系（AMS）、影像科学中心（CIS）和数据科学数学研究所（MINDS）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Data Kernel Perspective Space（DKPS）方法，通过数学分析为变换器模型的合成数据质量提供统计保证，旨在提升下游任务如神经机器翻译模型的性能。

MaskTerial: A Foundation Model for Automated 2D Material Flake Detection

MaskTerial: 一种用于自动2D材料片状物检测的基础模型

Jan-Lucas Uslu, Alexey Nekrasov, Alexander Hermans, Bernd Beschoten, Bastian Leibe, Lutz Waldecker, Christoph Stampfer

机构 * nd Institute of Physics（第二物理研究所） ； JARA-FIT, RWTH Aachen University, 52074 Aachen, Germany（JARA-FIT，亚琛工业大学） ； Visual Computing Institute, RWTH Aachen University, 52074 Aachen, Germany（视觉计算研究所，亚琛工业大学） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 MaskTerial是一种利用实例分割网络和不确定性估计模型，实现自动2D材料片状物检测的基础模型，显著提升了低对比度材料的检测性能。

Comments 9 pages, 5 figures

Journal ref Digital Discovery 4, 3744 (2025)

Private PoEtry: Private In-Context Learning via Product of Experts

Private PoEtry: 通过专家产品实现隐私保护的上下文学习

Rob Romijnders, Mohammad Mahdi Derakhshani, Jonathan Petit, Max Welling, Christos Louizos, Yuki M. Asano

机构 * University of Amsterdam（阿姆斯特丹大学） ； QUvA lab（QUvA实验室） ； Qualcomm Inc.（高通公司） ； University of Technology Nuremberg（努尔堡技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过专家产品模型实现隐私保护的上下文学习，有效提升准确率并保持隐私保障。

Comments 8 pages

PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective

PolarGrad：从统一预条件化视角出发的一类矩阵-梯度优化器

Tim Tsz-Kit Lau, Qi Long, Weijie Su

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Wharton（沃顿商学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。

Comments Minor typos corrected

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

InterPrior：为基于物理的人-物体交互扩展生成控制

Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)

AI总结 InterPrior通过大规模模仿预训练和强化学习微调，扩展生成控制以实现人形机器人在多样环境下泛化移动-操作技能。

Comments Webpage: https://sirui-xu.github.io/InterPrior/

Ethology of Latent Spaces

潜在空间的伦理学

Philippe Boisnard

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过伦理学视角揭示视觉语言模型潜在空间的非中立性，发现不同模型对政治与文化类别的归因差异显著，提出计算潜在政治化、涌现偏见和三种算法视域制度等核心概念。

Comments 23. pages, 14 figures, presented Hyperheritage International Symposium 9 ( https://paragraphe.univ-paris8.fr/IMG/pdf/programme_colloque_his9_campuscondorcet_v3.pdf ) and accepted for publication in double-blind peer review in French in 2026-2027

Differentiable Inverse Graphics for Zero-shot Scene Reconstruction and Robot Grasping

可微逆图形用于零样本场景重建与机器人抓取

Octavio Arriaga, Proneet Sharma, Jichen Guo, Marc Otto, Siddhant Kadwe, Rebecca Adam

机构 * DFKI GmbH 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种可微神经图形模型，通过结合神经基础模型与基于物理的可微渲染，实现零样本场景重建和机器人抓取，无需额外3D数据或测试样本。

Comments Submitted to IEEE Robotics and Automation Letters (RA-L) for review. This version includes the statement required by IEEE for preprints

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

通过稀疏注意力缓解RAG中的语料知识污染攻击

Sagie Dekel, Moshe Tennenholtz, Oren Kurland

机构 * Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology, Haifa, Israel（数据与决策科学学院，技术Ion-以色列理工学院，海法，以色列） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出SDAG方法，通过稀疏注意力机制有效防御RAG中的语料知识污染攻击，显著提升防御性能。

DomURLs_BERT: Pre-trained BERT-based Model for Malicious Domains and URLs Detection and Classification

DomURLs_BERT：基于预训练BERT的恶意域名和URL检测与分类模型

Abdelkader El Mahdaouy, Salima Lamsiyah, Meryem Janati Idrissi, Hamza Alami, Zakaria Yartaoui, Ismail Berrada

机构 * College of Computing, Mohammed VI Polytechnic University, Ben Guerir, Morocco（摩洛哥穆莱·伊斯梅尔理工学院计算机学院） ； Department of Computer Science, Faculty of Science, Technology and Medicine,University of Luxembourg, Luxembourg（卢森堡大学科学、技术与医学学院计算机科学系） ； LISAC Laboratory, Faculty of Sciences Dhar El Mehraz, USMBA, Fez, Morocco（摩洛哥费赞大学科学与技术学院LISAC实验室） ； Vanguard Center, Mohammed VI Polytechnic University, Ben Guerir, Morocco（摩洛哥穆莱·伊斯梅尔理工学院Vanguard中心） ； National Moroccan Computer Emergency and Response Team (maCert), Morocco（摩洛哥国家计算机应急响应团队（maCert）） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 DomURLs_BERT是一种基于预训练BERT的模型，用于检测和分类恶意域名和URL，通过预训练和多任务实验验证其在网络安全领域的有效性。

Journal ref Journal of Network and Systems Management, 34, 36, 2026

Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection

持久的人类反馈、LLMs和静态分析器用于安全代码生成和漏洞检测

Ehsan Firouzi, Mohammad Ghafari

专题命中 预训练与数据 ：LLM(abstract)

AI总结 本文提出了一种持久存储人类反馈的框架，以提升LLMs在安全代码生成和漏洞检测中的可靠性。

Disc-Centric Contrastive Learning for Lumbar Spine Severity Grading

以椎间盘为中心的对比学习用于腰椎严重程度分级

Sajjan Acharya, Pralisha Kansakar

机构 * Independent Researchers（独立研究者） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出以椎间盘为中心的对比学习方法，通过对比预训练和椎间盘级微调，提升腰椎管狭窄严重程度分级的准确率和鲁棒性。

Many-for-Many: Unify the Training of Multiple Video and Image Generation and Manipulation Tasks

许多对许多：统一多个视频和图像生成与操控任务的训练

Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

机构 * ByteDance（字节跳动） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出many-for-many框架，通过统一训练多个视频和图像生成与操控任务，提升视频生成性能并引入深度图条件。