语言大模型 / LLM

Nationality and Region Prediction from Names: A Comparative Study of Neural Models and Large Language Models

从名字预测国籍：神经模型和大语言模型的比较研究

Keito Inoshita

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本研究比较神经模型与大语言模型在国籍预测中的表现，发现LLMs在所有粒度级别均优于神经模型，且在低频国籍上表现下降，错误类型差异显著。

Domain-Adaptation through Synthetic Data: Fine-Tuning Large Language Models for German Law

通过合成数据实现领域适应：通过合成数据微调大型语言模型进行德国法律问答

Ali Hamza Bashir, Muhammad Rehan Khalid, Kostadin Cvejoski, Jana Birr, Jule Berghaus, Armin Berger, Sandra Halscheidt, Christian Temath, Rafet Sifa, David Berghaus

机构 * Fraunhofer IAIS（弗劳恩霍夫人工智能研究所） ； Georg-August-University Göttingen（哥廷根乔治-亚历山大大学） ； Lamarr Institute（拉马尔研究所） ； University of Bonn（波恩大学） ； JetBrains Research（JetBrains研究） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过合成数据生成方法微调大型语言模型，提升其在德国法律问答任务中的性能，展示合成数据在替代人工标注方面的有效性。

Are Large Language Models able to Predict Highly Cited Papers? Evidence from Statistical Publications

大语言模型能否预测高被引论文？来自统计出版物的证据

Zhanshuo Ye, Yiming Hou, Rui Pan, Tianchen Gao, Hansheng Wang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文通过大语言模型预测高被引论文，利用文本信息和结构化提示设计，展示了其在预测长期引用影响方面的有效性及局限性。

From Hype to Insight: Rethinking Large Language Model Integration in Visual Speech Recognition

从 hype 到 insight：重新思考大型语言模型在视觉语音识别中的整合

Rishabh Jain, Naomi Harte

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；LLM(abstract)

AI总结 本研究通过系统评估发现，LLM解码器通过优化上下文推理提升性能，而非依赖视觉特征，强调需强化视觉编码器以推动VSR进展。

Comments Accepted for publication in ICASSP 2026

Tolerance Principle and Small Language Model Learning

容忍原则与小型语言模型学习

Adam E. Friedman, Stevan Harnad, Rushen Shi

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title)；分类 cs.CL

AI总结 本研究通过训练小型语言模型BabyBERTa，探讨了规则泛化所需的最小训练数据量，发现其学习动态与杨提出的容忍原则不符。

Comments 14 pages, 6 figures. BUCLD 50 Proceedings. To be published in 2026 by Cascadilla Press

TabDPT: Scaling Tabular Foundation Models on Real Data

TabDPT：在真实数据上扩展表格基础模型

Junwei Ma, Valentin Thomas, Rasa Hosseinzadeh, Alex Labach, Hamidreza Kamkari, Jesse C. Cresswell, Keyvan Golestan, Guangwei Yu, Anthony L. Caterini, Maksims Volkovs

机构 * Layer 6 AI 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 TabDPT通过结合上下文学习与自监督学习，提升表格基础模型在真实数据上的泛化能力，实现模型和数据规模的缩放优化。

Comments Inference repo: github.com/layer6ai-labs/TabDPT-inference; Training repo: github.com/layer6ai-labs/TabDPT-training

Journal ref NeurIPS 2025 Proceedings

ELO: Efficient Layer-Specific Optimization for Continual Pretraining of Multilingual LLMs

ELO：面向多语言大语言模型持续预训练的高效分层优化

HanGyeol Yoo, ChangSu Choi, Minjun Kim, Seohyun Song, SeungWoo Song, Inho Won, Jongyoul Park, Cheoneum Park, KyungTae Lim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； LG CNS ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Hanbat National University（汉 bat 国立大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ELO通过分层优化提升多语言大模型持续预训练效率，实现6.46倍加速和6.2%性能提升。

Comments 12 pages, Accepted to EACL 2026 (Industrial Track)

Learning to Factorize and Adapt: A Versatile Approach Toward Universal Spatio-Temporal Foundation Models

学习因子分解与适应：一种通用的时空基础模型方法

Siru Zhong, Junjie Qiu, Yangyu Wu, Yiqiu Liu, Yuanpeng He, Zhongwen Rao, Bin Yang, Chenjuan Guo, Hao Xu, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） ； Huawei 2012 Laboratories（华为2012实验室） ； East China Normal University（华东师范大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 FactoST-v2通过因子分解方法实现通用时空基础模型，提升跨领域泛化能力和效率。

Comments This is an extended version of the paper presented at NeurIPS 2025. Code available at https://github.com/CityMind-Lab/FactoST

SpecMap: Hierarchical LLM Agent for Datasheet-to-Code Traceability Link Recovery in Systems Engineering

SpecMap：用于系统工程中datasheet到代码可追溯性链接恢复的分层LLM代理

Vedant Nipane, Pulkit Agrawal, Amit Singh

机构 * H2LooP.ai（H2LooP人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SpecMap通过分层LLM代理实现嵌入式系统datasheet到代码的可追溯性链接恢复，提升映射精度与效率，支持自动化分析与下游应用。

Wavelet-Driven Masked Multiscale Reconstruction for PPG Foundation Models

小波驱动的掩码多尺度重建用于PPG基础模型

Megha Thukral, Cyrus Tanade, Simon A. Lee, Juhyeon Lee, Hao Zhou, Keum San Chun, Migyeong Gwak, Viswam Nathan, Md Mahbubur Rahman, Li Zhu, Mehrab Bin Morshed, Subramaniam Venkatraman, Sharanya Arcot Desai

机构 * Digital Health Team, Samsung Research America（三星美国数字健康团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于小波的掩码多尺度重建方法，通过自监督预训练提升PPG信号的多尺度特征学习能力，从而在多种健康相关任务中取得优于现有模型的性能。

Scaling Laws for Geospatial Foundation Models: A case study on PhilEO Bench

地理空间基础模型的扩展规律：以PhilEO基准测试为例

Nikolaos Dionelis, Riccardo Musto, Jente Bosmans, Simone Sarti, Giancarlo Paoletti, Peter Naylor, Valerio Marsocci, Sébastien Lefèvre, Bertrand Le Saux, Nicolas Longépé

机构 * 1. European Space Agency (ESA), -lab. 2. Leonardo Labs, Italy. 3. VITO. 4. IRISA, Université Bretagne Sud. 5. European Commission (EC) 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文研究地理空间基础模型的扩展规律，通过不同数据集和架构的实验，发现CNN在低样本下表现优异，ViT-UPerNet在大规模数据上表现最佳，Mamba模型展现出效率优势但需进一步训练。

Comments 11 pages, 12 figures, 3 tables, Submitted

Improving the OOD Performance of Closed-Source LLMs on NLI Through Strategic Data Selection

通过战略数据选择提升封闭源大语言模型在自然语言推理任务中的OOD性能

Joe Stacey, Lisa Alazraki, Aran Ubhi, Beyza Ermis, Aaron Mueller, Marek Rei

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过战略选择NLI微调数据提升封闭源LLM在自然语言推理任务中的分布外性能，优先复杂示例和生成复杂合成数据以增强鲁棒性。

Comments Accepted at EACL Findings 2026

RAC: Retrieval-Augmented Clarification for Faithful Conversational Search

RAC：基于检索的澄清以实现可靠的对话搜索

Ahmed Rayane Kebir, Vincent Guigue, Lynda Said Lhadj, Laure Soulier

机构 * Sorbonne Université, CNRS, ISIR, F-75005 Paris, France（索邦大学、国家科学研究中心、ISIR、法国巴黎） ； Ecole nationale Supérieure d’Informatique (ESI), Algeria（信息技术国家高等学院（ESI）、阿尔及利亚） ； AgroParisTech, UMR MIA-PS, Palaiseau, France（农业巴黎技术学院、UMR MIA-PS、法国帕莱索） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 RAC通过检索增强的方法生成基于语料库的澄清问题，提高对话搜索的准确性与可靠性。

Comments This is the author's version of the work. The definitive version is published in: Proceedings of the 48th European Conference on Information Retrieval (ECIR '26), 29 March--2 April, 2026, Delft, Netherlands

A New Strategy for Artificial Intelligence: Training Foundation Models Directly on Human Brain Data

人工智能新策略：直接在人类脑数据上训练基础模型

Maël Donoso

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过直接在人类脑数据上训练基础模型，以突破传统数据的限制，探索认知功能的新方法。

Universal Embedding Function for Traffic Classification via QUIC Domain Recognition Pretraining: A Transfer Learning Success

通过QUIC领域识别预训练实现通用嵌入函数用于流量分类：一种迁移学习的成功

Jan Luxemburk, Karel Hynek, Richard Plný, Tomáš Čejka

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出通过预训练QUIC领域识别模型实现通用嵌入函数，用于提升加密流量分类的迁移学习性能。

Journal ref IEEE Transactions on Network and Service Management, vol. 23, pp. 1647-1663, 2026

SLAP: Scalable Language-Audio Pretraining with Variable-Duration Audio and Multi-Objective Training

SLAP: 可扩展的语言-音频预训练与可变时长音频及多目标训练

Xinhao Mei, Gael Le Lan, Haohe Liu, Zhaoheng Ni, Varun Nagaraja, Yang Liu, Yangyang Shi, Vikas Chandra

机构 * Meta 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 SLAP通过可变时长音频和多目标训练，提升语言-音频预训练的规模和效果，实现更丰富的音频表示并在多个任务中取得新突破。

Comments Accepted to ICASSP 2026

GLAP: General contrastive audio-text pretraining across domains and languages

GLAP: 跨领域和语言的通用对比音频-文本预训练

Heinrich Dinkel, Zhiyong Yan, Tianzi Wang, Yongqing Wang, Xingwei Sun, Yadong Niu, Jizhong Liu, Gang Li, Junbo Zhang, Jian Luan

机构 * MiLM Plus, Xiaomi Inc., China（小米公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 GLAP通过多语言和多领域能力扩展CLAP，实现跨语言和跨领域的音频-文本预训练，在多个基准测试中表现优异。

Comments ICASSP 2026

Style Transfer as Bias Mitigation: Diffusion Models for Synthetic Mental Health Text for Arabic

风格迁移作为偏见缓解：用于阿拉伯语合成心理健康文本的扩散模型

Saad Mankarious, Aya Zirikly

机构 * School of Engineering and Applied Science（工程与应用科学学院） ； George Washington University（乔治·华盛顿大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于扩散模型的风格迁移方法，用于生成阿拉伯语心理健康文本，以缓解性别偏见问题。

TREX: Tokenizer Regression for Optimal Data Mixture

TREX：用于最优数据混合的分词回归

Inho Won, Hangyeol Yoo, Minkyung Cho, Jungyeul Park, Hoyun Song, KyungTae Lim

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TREX通过回归方法高效预测最优数据混合，提升多语言分词器的压缩效率和实用性。

Comments Accepted to EACL 2026. Long Paper. (19 languages studied: Chinese, Greek, Japanese, etc.)

Preconditioning Benefits of Spectral Orthogonalization in Muon

谱正交化在缪子中的预条件化优势

Jianhao Ma, Yu Huang, Yuejie Chi, Yuxin Chen

机构 * Penn Department of Statistics and Data Science, Wharton School, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系，沃顿商学院，宾夕法尼亚大学） ； Yale Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系，耶鲁大学） ； Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系，宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过矩阵分解和上下文学习案例，证明简化版缪子在谱域中通过独立序列实现线性收敛，优于梯度下降和Adam。

A Multi-Agent System for Generating Actionable Business Advice

生成可操作商业建议的多智能体系统

Kartikey Singh Bhandari, Tanish Jain, Archit Agrawal, Dhruv Kumar, Praveen Kumar, Pratik Narang

机构 * Birla Institute of Technology and Science, Pilani（比拉理工学院和科学学院） ； Birdeye Inc.（Birdeye公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于多智能体和LLM的框架，通过整合聚类、生成、迭代评估和可行性排序，生成具体且可操作的商业建议。

SmoothCLAP: Soft-Target Enhanced Contrastive Language\--Audio Pretraining for Affective Computing

SmoothCLAP: 用于情感计算的软目标增强对比语言-音频预训练

Xin Jing, Jiadong Wang, Andreas Triantafyllopoulos, Maurice Gerczuk, Shahin Amiriparian, Jun Luo, Björn Schuller

机构 * CHI -- Chair of Health Informatics, TUM University Hospital, Munich, Germany（健康信息学系，塔尔博特大学医院，德国慕尼黑） ； Huawei, Netherlands（华为，荷兰） ； GLAM, Imperial College London, UK（GLAM，伦敦帝国学院，英国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 SmoothCLAP通过引入软目标和副语言特征，改进了对比语言-音频预训练，以更准确地捕捉情感的连续性，从而提升情感计算任务的性能。

Comments 5 pages, accepted by ICASSP 2026

Infrared Object Detection with Ultra Small ConvNets: Is ImageNet Pretraining Still Useful?

红外小规模卷积网络目标检测：ImageNet预训练仍然有用吗？

Srikanth Muralidharan, Heitor R. Medeiros, Masih Aminbeidokhti, Eric Granger, Marco Pedersoli

机构 * LIVIA, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA，系统工程系，蒙特利尔大学） ； International Laboratory on Learning Systems (ILLS)（学习系统国际实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本文研究了超小型卷积网络在红外目标检测中的性能，发现ImageNet预训练在一定容量阈值后对鲁棒性提升有限，建议避免过于小的模型以提高鲁棒性。

Comments Accepted to WACV 2026

Attention-Based Offline Reinforcement Learning and Clustering for Interpretable Sepsis Treatment

基于注意力机制的离线强化学习与聚类用于可解释的脓毒症治疗

Punit Kumar, Vaibhav Saran, Divyesh Patel, Nitin Kulkarni, Alina Vereshchaka

机构 * Department of Computer Science（计算机科学系） ； Engineering University at Buffalo Buffalo, New York, USA（布法罗大学工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于注意力机制的离线强化学习与聚类方法，用于可解释的脓毒症治疗决策支持，通过多模块整合提升治疗准确性和可解释性。

Comments 8 pages, 6 figures, Conference: IEEE International Conference on Machine Learning and Applications 2025 (ICMLA 2025): https://www.icmla-conference.org/icmla25/

NewsRECON: News article REtrieval for image CONtextualization

NewsRECON: 用于图像上下文化的新闻文章检索

Jonathan Tonglet, Iryna Gurevych, Tinne Tuytelaars, Marie-Francine Moens

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（通用知识处理实验室（UKP实验室）、计算机科学系、图恩大学（TU Darmstadt）和应用网络安全国家研究中心ATHENE） ； Department of Electrical Engineering, KU Leuven（电气工程系、鲁汶大学） ； Department of Computer Science, KU Leuven（计算机科学系、鲁汶大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 NewsRECON通过链接图像与相关新闻文章，利用元数据推断图像日期和位置，优于现有方法并结合多模态大语言模型实现新的SOTA结果。

Comments Preprint under review. Code available at https://github.com/jtonglet/arxiv2025-newsrecon

Docs2Synth: A Synthetic Data Trained Retriever Framework for Scanned Visually Rich Documents Understanding

Docs2Synth: 一种用于扫描视觉丰富文档理解的合成数据训练检索框架

Yihao Ding, Qiang Sun, Puzhen Wu, Sirui Li, Siwen Luo, Wei Liu

机构 * University of Western Australia（西澳大学） ； The University of Hong Kong（香港大学） ； Murdoch University（默多克大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Docs2Synth通过合成监督框架实现私有和低资源领域文档理解，利用检索引导推理提升接地能力和领域泛化，无需人工标注。

Comments Accepted at WWW 2026 Demo Track

Learning Longitudinal Health Representations from EHR and Wearable Data

从电子健康记录和可穿戴数据中学习纵向健康表示

Yuanyun Zhang, Han Zhou, Li Feng, Yilin Hong, Shi Li

机构 * University of the Chinese Academy of Sciences, Columbia University（中国科学院大学，哥伦比亚大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种多模态基础模型，通过联合表示电子健康记录和可穿戴数据，提升纵向健康预测的准确性和鲁棒性。

Large-Scale Multi-omic Biosequence Transformers for Modeling Protein-Nucleic Acid Interactions

大规模多组学生物序列变压器用于建模蛋白质-核酸相互作用

Sully F. Chen, Robert J. Steele, Glen M. Hocky, Beakal Lemeneh, Shivanand P. Lad, Eric K. Oermann

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 OmniBioTE是一种大规模多组学生物序列变压器，通过混合蛋白质和核酸数据训练，实现了对蛋白质-核酸相互作用的高效预测和结构信息学习。

Comments 47 pages, 5 figures

Repetitive Contrastive Learning Enhances Mamba's Selectivity in Time Series Prediction

重复对比学习增强Mamba在时间序列预测中的选择性

Wenbo Yan, Hanzhong Cao, Ying Tan

机构 * School of Intelligence Science and Technology, Peking University, Beijing（智能科学与技术学院，北京大学，北京） ； Computational Intelligence Laboratory（计算智能实验室） ； Institute for Artificial Intelligence（人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University, Beijing（通用人工智能国家重点实验室，北京大学，北京） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 重复对比学习通过增强Mamba的选择能力，提升时间序列预测性能，达到最新成果。

Comparing the Framing Effect in Humans and LLMs on Naturally Occurring Texts

比较人类和LLM在自然文本中的框架效应

Gili Lior, Liron Nacchace, Gabriel Stanovsky

机构 * The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究比较了人类和LLM在自然文本中的框架效应，发现LLM对积极和消极框架的响应与人类相似，但GPT模型与人类行为相关性最低。