语言大模型 / LLM

Multilingual Pretraining for Pixel Language Models

多语言预训练用于像素语言模型

Ilker Kesen, Jonas F. Lotz, Ingo Ziegler, Phillip Rust, Desmond Elliott

机构 * Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学） ； ROCKWOOL Foundation Research Unit（ROCKWOOL基金会研究单位） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI

AI总结 PIXEL-M4通过多语言预训练提升了像素语言模型对多种语言的支持能力，尤其在非拉丁字母语言中表现更优。

Comments EMNLP 2025

Sloth: scaling laws for LLM skills to predict multi-benchmark performance across families

Sloth: LLM技能的缩放定律用于跨家族预测多基准性能

Felipe Maia Polo, Seamus Somerstep, Leshem Choshen, Yuekai Sun, Mikhail Yurochkin

机构 * Department of Statistics, University of Michigan（密歇根大学统计学系） ； MIT-IBM Watson AI Lab, IBM Research（MIT-IBM Watson AI实验室，IBM研究） ； Computer Science and Artificial Intelligence Laboratory, MIT（MIT计算机科学与人工智能实验室） ； Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Sloth提出一种基于低维潜在技能的LLM缩放定律，通过跨基准相关性提升预测准确性，减少多家族训练需求。

Comments NeurIPS 2025

ELSPR: Evaluator LLM Training Data Self-Purification on Non-Transitive Preferences via Tournament Graph Reconstruction

ELSPR: 通过比赛图重建实现评估LLM训练数据的自净化

Yan Yu, Yilun Liu, Minggui He, Shimin Tao, Weibin Meng, Xinhua Yang, Li Zhang, Hongxia Ma, Dengye Li, Daimeng Wei, Boxing Chen, Fuliang Li

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ELSPR通过构建比赛图识别并净化LLM训练数据中的非传递性偏好，提升评估系统的可靠性与一致性。

Comments Accepted by AAAI 2026

Understanding Down Syndrome Stereotypes in LLM-Based Personas

理解基于大语言模型的虚拟人物中唐氏综合征刻板印象

Chantelle Wu, Peinan Wang, Nafi Nibras, Meida Li, Dajun Yuan, Zhixiao Wang, Jiahuan He, Mona Ali, Mirjana Prpa

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了基于大语言模型的虚拟人物中唐氏综合征刻板印象的形成与检测，通过访谈揭示训练数据和界面设计对刻板印象的影响，并强调了参与式方法的重要性。

CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

CT-GLIP：基于CT扫描和放射报告的3D grounded语言-图像预训练，用于全身场景

Jingyang Lin, Yingda Xia, Jianpeng Zhang, Ke Yan, Kai Cao, Le Lu, Jiebo Luo, Ling Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； University of Rochester（罗切斯特大学） ； Hupan Lab, \postcode 10587, \state Hangzhou, \country China（华普实验室，浙江省杭州市，中国） ； Department of Radiology, Shanghai Institution of Pancreatic Disease, \state Shanghai, \country China（胰腺疾病研究所放射科，上海市，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 CT-GLIP通过构建细粒度CT报告对，提升3D grounded语言-图像预训练，实现更精确的跨模态对齐，从而在零样本任务中提升器官识别和肿瘤检测性能。

Leveraging AI multimodal geospatial foundation models for improved near-real-time flood mapping at a global scale

利用AI多模态地理空间基础模型实现全球范围内的改进型实时洪水制图

Mirela G. Tulbure, Julio Caineta, Mark Broich, Mollie D. Gaines, Philippe Rufin, Leon-Friedrich Thomas, Hamed Alemohammad, Jan Hemmerling, Patrick Hostert

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本研究利用AI多模态地理空间基础模型提升全球实时洪水制图能力，通过微调TerraMind模型并对比不同配置，展示多模态数据整合在洪水检测中的有效性。

Enhanced Conditional Generation of Double Perovskite by Knowledge-Guided Language Model Feedback

通过知识引导语言模型反馈增强双钙钛矿的条件生成

Inhyo Lee, Junhyeong Lee, Jongwon Park, KyungTae Lim, Seunghwa Ryu

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种多智能体框架，通过知识引导的文本梯度提升双钙钛矿生成的稳定性与有效性。

Apertus: Democratizing Open and Compliant LLMs for Global Language Environments

Apertus：民主化开放且合规的大型语言模型以适应全球语言环境

Project Apertus, Alejandro Hernández-Cano, Alexander Hägele, Allen Hao Huang, Angelika Romanou, Antoni-Joan Solergibert, Barna Pasztor, Bettina Messmer, Dhia Garbaya, Eduard Frank Ďurech, Ido Hakimi, Juan García Giraldo, Mete Ismayilzada, Negar Foroutan, Skander Moalla, Tiancheng Chen, Vinko Sabolčec, Yixuan Xu, Michael Aerni, Badr AlKhamissi, Inés Altemir Mariñas, Mohammad Hossein Amani, Matin Ansaripour, Ilia Badanin, Harold Benoit, Emanuela Boros, Nicholas Browning, Fabian Bösch, Maximilian Böther, Niklas Canova, Camille Challier, Clement Charmillot, Jonathan Coles, Jan Deriu, Arnout Devos, Lukas Drescher, Daniil Dzenhaliou, Maud Ehrmann, Dongyang Fan, Simin Fan, Silin Gao, Miguel Gila, María Grandury, Diba Hashemi, Alexander Hoyle, Jiaming Jiang, Mark Klein, Andrei Kucharavy, Anastasiia Kucherenko, Frederike Lübeck, Roman Machacek, Theofilos Manitaras, Andreas Marfurt, Kyle Matoba, Simon Matrenok, Henrique Mendonça, Fawzi Roberto Mohamed, Syrielle Montariol, Luca Mouchel, Sven Najem-Meyer, Jingwei Ni, Gennaro Oliva, Matteo Pagliardini, Elia Palme, Andrei Panferov, Léo Paoletti, Marco Passerini, Ivan Pavlov, Auguste Poiroux, Kaustubh Ponkshe, Nathan Ranchin, Javi Rando, Mathieu Sauser, Jakhongir Saydaliev, Muhammad Ali Sayfiddinov, Marian Schneider, Stefano Schuppli, Marco Scialanga, Andrei Semenov, Kumar Shridhar, Raghav Singhal, Anna Sotnikova, Alexander Sternfeld, Ayush Kumar Tarun, Paul Teiletche, Jannis Vamvas, Xiaozhe Yao, Hao Zhao, Alexander Ilic, Ana Klimovic, Andreas Krause, Caglar Gulcehre, David Rosenthal, Elliott Ash, Florian Tramèr, Joost VandeVondele, Livio Veraldi, Martin Rajman, Thomas Schulthess, Torsten Hoefler, Antoine Bosselut, Martin Jaggi, Imanol Schlag

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Apertus通过开放且合规的大型语言模型，解决数据合规性和多语言表示问题，提供透明的开发资源以促进全球语言环境的应用。

Generative Fuzzy System for Sequence Generation

生成模糊系统用于序列生成

Hailong Yang, Zhaohong Deng, Wei Zhang, Zhuangzhuang Zhao, Guanjin Wang, Kup-sze Choi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种结合数据与知识驱动机制的生成模糊系统框架GenFS，用于提升序列生成任务的准确性和流畅性。

Comments 12 pages, 5 figures

Training Data Attribution for Image Generation using Ontology-Aligned Knowledge Graphs

利用本体对齐的知识图谱训练数据归因于图像生成

Theodoros Aivalis, Iraklis A. Klampanos, Antonis Troumpoukis, Joemon M. Jose

机构 * National Centre for Scientific Research ``Demokritos''（国家科学研究中心「德莫克里特」） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用本体对齐的知识图谱方法，通过多模态大语言模型提取图像中的结构化三元组，以追踪生成模型中训练数据的影响，从而提升透明度和可解释性。

EZYer: A simulacrum of high school with generative agent

EZYer: 一种高中学校的模拟体与生成代理

Jinming Yang, Zimu Ji, Weiqi Luo, Gaoxi Wang, Bin Ma, Yueling Deng

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EZYer通过生成代理技术模拟高中教学环境，提供结构化教学材料和互动笔记生成，确保学术严谨性和教学适宜性，实验表明其生成内容质量高，应用前景广阔。

Comments AgentIR@SIGIR 2025

Progressive Image Restoration via Text-Conditioned Video Generation

通过文本条件视频生成实现渐进式图像修复

Peng Kang, Xijun Wang, Yu Yuan

机构 * Department of Computer Science, University of Illinois Springfield（伊利诺伊大学斯普林菲尔德分校计算机科学系） ； School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本研究通过微调CogVideo，利用文本条件视频生成实现图像渐进式修复，提升感知度量并展示强泛化能力。

Comments First two authors contributed equally to this work. IEEE ICNC Accepted

Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening

利用大规模预训练的空间-光谱先验进行通用零样本全色融合

Yongchuan Cui, Peng Liu, Yi Zeng

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本文提出利用大规模模拟数据预训练空间-光谱先验，提升遥感图像融合在不同传感器和条件下的泛化能力。

On the Difficulty of Token-Level Modeling of Dysfluency and Fluency Shaping Artifacts

关于对话语流和流畅性塑造特征的令牌级建模难度

Kashaf Gulzar, Dominik Wagner, Sebastian P. Bayerl, Florian Hönig, Tobias Bocklet, Korbinian Riedhammer

机构 * Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡技术大学乔治·西蒙·奥姆学院） ； Technische Hochschule Rosenheim（罗森海姆技术大学） ； KST Institut GmbH（KST研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种轻量级适应方法，用于提升ASR对语流和流畅性修改的识别能力，同时揭示多语言端到端系统在处理德语数据时的局限性。

Comments 6 pages, 1 figure. Accepted to ASRU 2025. This is the arXiv preprint of the accepted paper

TriLex: A Framework for Multilingual Sentiment Analysis in Low-Resource South African Languages

TriLex：一种用于低资源南非语言多语言情感分析的框架

Mike Nkongolo, Hilton Vorster, Josh Warren, Trevor Naick, Deandre Vanmali, Masana Mashapha, Luke Brand, Alyssa Fernandes, Janco Calitz, Sibusiso Makhoba

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 TriLex框架通过三阶段检索增强方法，系统扩展低资源南非语言的情感词典，提升多语言情感分析性能。

Radio Galaxy Zoo: Morphological classification by Fanaroff-Riley designation using self-supervised pre-training

射电星系动物园：利用自我监督预训练进行Fanaroff-Riley分级的形态分类

Nutthawara Buatthaisong, Inigo Val Slijepcevic, Anna M. M. Scaife, Micah Bowles, Andrew Hopkins, Devina Mohan, Stanislav S Shabala, O. Ivy Wong

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文通过自我监督预训练模型对射电星系进行形态分类，发现形态分类与亮度-大小分布重叠区域的置信度较低，并探讨了预训练和微调数据对模型性能的影响。

Comments Submitted to MNRAS

Journal ref Mon Not R Astron Soc (2025) 4062-4078

ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments

ST-Booster: 一种用于连续环境视觉-语言导航的迭代时空感知增强器

Lu Yue, Dongliang Zhou, Liang Xie, Erwei Yin, Feitian Zhang

机构 * Robotics and Control Laboratory, the School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University（机器人与控制实验室、先进制造与机器人学院、湍流与复杂系统国家重点实验室，北京大学） ； Defense Innovation Institute, Academy of Military Sciences（国防创新研究院，军事科学院） ； Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 ST-Booster通过多粒度感知和指令感知推理提升连续环境中视觉-语言导航的性能。

Comments 11 pages, 7 figures

Stepwise Schema-Guided Prompting Framework with Parameter Efficient Instruction Tuning for Multimedia Event Extraction

分步模式引导提示框架与参数高效指令微调用于多模态事件提取

Xiang Yuan, Xinrong Chen, Haochen Li, Hang Yang, Guanyu Wang, Weiping Li, Tong Mo

专题命中 指令微调 ：instruction tuning(title,abstract)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出分步模式引导提示框架与参数高效指令微调方法，用于提升多模态事件提取任务的性能。

Comments Accepted by 2025 IEEE International Conference on Multimedia and Expo

Large Language Model based Smart Contract Auditing with LLMBugScanner

基于大型语言模型的智能合约审计与LLMBugScanner

Yining Yuan, Yifei Wang, Yichang Xu, Zachary Yahn, Sihao Hu, Ling Liu

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 LLMBugScanner通过结合领域知识适应和集成推理，提升智能合约漏洞检测的鲁棒性和泛化能力，提供了一种高效且可扩展的审计框架。

VeriLoRA: Fine-Tuning Large Language Models with Verifiable Security via Zero-Knowledge Proofs

VeriLoRA: 通过零知识证明实现通过验证的安全大语言模型微调

Guofu Liao, Taotao Wang, Shengli Zhang, Jiqun Zhang, Shi Long, Dacheng Tao

机构 * Shenzhen University（深圳大学） ； Nanjing University of Science（南京理工大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 VeriLoRA通过整合零知识证明与LoRA微调，实现了大语言模型在敏感环境中的安全可信部署。

Comments This paper has been accepted for publication at the Network and Distributed System Security Symposium (NDSS) 2026

TabTune: A Unified Library for Inference and Fine-Tuning Tabular Foundation Models

TabTune：用于推理和微调表格基础模型的统一库

Aditya Tanna, Pratinav Seth, Mohamed Bouadi, Utsav Avaiya, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 TabTune是一个统一库，通过单一接口标准化表格基础模型的完整工作流程，支持多种适应策略并提升评估一致性。

Comments The library is open source and available at https://github.com/Lexsi-Labs/TabTune

Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules

通过进度感知置信度调度实现扩散语言模型的快速解码

Amr Mohamed, Yang Zhang, Michalis Vazirgiannis, Guokan Shang

机构 * MBZUAI ； Ecole Polytechnique（巴黎高等理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 SchED通过进度感知置信度调度实现扩散语言模型的快速解码，显著提升解码效率并保持高准确性。

Beyond Single-Agent Safety: A Taxonomy of Risks in LLM-to-LLM Interactions

超越单体安全：LLM到LLM交互中的风险分类

Piercosma Bisconti, Marcello Galisai, Federico Pierucci, Marcantonio Bracale, Matteo Prandi

机构 * icaro-lab（ICARO实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出从模型级安全向系统级安全的转变，引入ESRH框架，阐述LLM交互中的集体风险并提出InstitutionalAI架构。

Pre-trained Language Models Improve the Few-shot Prompt Ability of Decision Transformer

预训练语言模型提升决策变换器的少样本提示能力

Yu Yang, Pan Xu

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Duke University（杜克大学） ； Department of Biostatistics and Bioinformatics（生物统计学与生物信息学系） ； Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 预训练语言模型提升决策变换器的少样本提示能力，通过初始化和提示正则化增强RL任务区分能力。

Comments 2 figures, 10 tables. Published in Transactions on Machine Learning Research (TMLR)

Journal ref Transactions on Machine Learning Research, 2025

Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models

测试时谱感知的潜在引导用于视觉-语言模型中的零样本泛化

Konstantinos M. Dafnis, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出STP，一种轻量级的测试时适应框架，通过谱感知方法引导潜在表示，提升视觉-语言模型在零样本泛化中的性能，同时保持高效推理速度和低内存消耗。

Comments NeurIPS 2025

Aligning Diffusion Models with Noise-Conditioned Perception

对扩散模型进行噪声条件感知对齐

Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

机构 * Artificial Intelligence Research Institute (AIRI)（人工智能研究 institute（AIRI）） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） ； HSE University（俄罗斯高等经济学院） ； Research Center for Trusted Artificial Intelligence, ISP RAS（可信人工智能研究中心，信息与通信技术研究院） ； ISP RAS（信息与通信技术研究院） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本研究提出在扩散模型的U-Net嵌入空间中使用感知目标，以提升人类偏好对齐的效率和质量，并减少计算成本。

Beyond Playtesting: A Generative Multi-Agent Simulation System for Massively Multiplayer Online Games

超越试玩：一种生成式多智能体仿真系统用于大规模多人在线游戏

Ran Zhang, Kun Ouyang, Tiancheng Ma, Yida Yang, Dong Fang

机构 * independent researcher（独立研究者） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 本文提出了一种基于生成式多智能体仿真的系统，利用大型语言模型优化大规模多人在线游戏的数值设计，提升玩家体验并提高优化效率。

Taming Camera-Controlled Video Generation with Verifiable Geometry Reward

驯服受控摄像机视频生成的可验证几何奖励

Zhaoqing Wang, Xiaobo Xia, Zhuolin Bie, Jinlin Liu, Dongdong Yu, Jia-Wang Bian, Changhu Wang

机构 * AIsphere ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：post-training(abstract)；SFT(abstract)

AI总结 本文提出了一种在线强化学习框架，通过可验证的几何奖励提升摄像机控制的视频生成精度与一致性。

Comments 11 pages, 4 figures, 7 tables

On Higher Topological T-duality Functors

关于更高拓扑T对偶函子

Ashwin S. Pande

专题命中 指令微调 ：SFT(abstract)

AI总结 本文利用弦场论构建更高拓扑T对偶函子，通过几何化方法定义模空间并讨论其在拓扑T对偶和双重几何中的应用。

Comments New Version, Completely rewritten, 86 pages, latex, uses spectralsequences package

GUI Exploration Lab: Enhancing Screen Navigation in Agents via Multi-Turn Reinforcement Learning

GUI探索实验室：通过多轮强化学习提升代理的屏幕导航

Haolong Yan, Yeqing Shen, Xin Huang, Jia Wang, Kaijun Tan, Zhixuan Liang, Hongxin Li, Zheng Ge, Osamu Yoshie, Si Li, Xiangyu Zhang, Daxin Jiang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； StepFun ； Waseda University（早稻田大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 GUI探索实验室通过多轮强化学习提升代理屏幕导航能力，结合监督微调和交互式试错，实现更高效和通用的GUI代理训练。

Comments 26 pages