语言大模型 / LLM

Multilingual Pretraining for Pixel Language Models

多语言预训练用于像素语言模型

Ilker Kesen, Jonas F. Lotz, Ingo Ziegler, Phillip Rust, Desmond Elliott

机构 * Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学） ； ROCKWOOL Foundation Research Unit（ROCKWOOL基金会研究单位） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI

AI总结 PIXEL-M4通过多语言预训练提升了像素语言模型对多种语言的支持能力，尤其在非拉丁字母语言中表现更优。

Comments EMNLP 2025

Sloth: scaling laws for LLM skills to predict multi-benchmark performance across families

Sloth: LLM技能的缩放定律用于跨家族预测多基准性能

Felipe Maia Polo, Seamus Somerstep, Leshem Choshen, Yuekai Sun, Mikhail Yurochkin

机构 * Department of Statistics, University of Michigan（密歇根大学统计学系） ； MIT-IBM Watson AI Lab, IBM Research（MIT-IBM Watson AI实验室，IBM研究） ； Computer Science and Artificial Intelligence Laboratory, MIT（MIT计算机科学与人工智能实验室） ； Institute of Foundation Models, MBZUAI（基础模型研究所，MBZUAI） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Sloth提出一种基于低维潜在技能的LLM缩放定律，通过跨基准相关性提升预测准确性，减少多家族训练需求。

Comments NeurIPS 2025

ELSPR: Evaluator LLM Training Data Self-Purification on Non-Transitive Preferences via Tournament Graph Reconstruction

ELSPR: 通过比赛图重建实现评估LLM训练数据的自净化

Yan Yu, Yilun Liu, Minggui He, Shimin Tao, Weibin Meng, Xinhua Yang, Li Zhang, Hongxia Ma, Dengye Li, Daimeng Wei, Boxing Chen, Fuliang Li

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ELSPR通过构建比赛图识别并净化LLM训练数据中的非传递性偏好，提升评估系统的可靠性与一致性。

Comments Accepted by AAAI 2026

Understanding Down Syndrome Stereotypes in LLM-Based Personas

理解基于大语言模型的虚拟人物中唐氏综合征刻板印象

Chantelle Wu, Peinan Wang, Nafi Nibras, Meida Li, Dajun Yuan, Zhixiao Wang, Jiahuan He, Mona Ali, Mirjana Prpa

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了基于大语言模型的虚拟人物中唐氏综合征刻板印象的形成与检测，通过访谈揭示训练数据和界面设计对刻板印象的影响，并强调了参与式方法的重要性。

CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

CT-GLIP：基于CT扫描和放射报告的3D grounded语言-图像预训练，用于全身场景

Jingyang Lin, Yingda Xia, Jianpeng Zhang, Ke Yan, Kai Cao, Le Lu, Jiebo Luo, Ling Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； University of Rochester（罗切斯特大学） ； Hupan Lab, \postcode 10587, \state Hangzhou, \country China（华普实验室，浙江省杭州市，中国） ； Department of Radiology, Shanghai Institution of Pancreatic Disease, \state Shanghai, \country China（胰腺疾病研究所放射科，上海市，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 CT-GLIP通过构建细粒度CT报告对，提升3D grounded语言-图像预训练，实现更精确的跨模态对齐，从而在零样本任务中提升器官识别和肿瘤检测性能。

Leveraging AI multimodal geospatial foundation models for improved near-real-time flood mapping at a global scale

利用AI多模态地理空间基础模型实现全球范围内的改进型实时洪水制图

Mirela G. Tulbure, Julio Caineta, Mark Broich, Mollie D. Gaines, Philippe Rufin, Leon-Friedrich Thomas, Hamed Alemohammad, Jan Hemmerling, Patrick Hostert

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本研究利用AI多模态地理空间基础模型提升全球实时洪水制图能力，通过微调TerraMind模型并对比不同配置，展示多模态数据整合在洪水检测中的有效性。

Enhanced Conditional Generation of Double Perovskite by Knowledge-Guided Language Model Feedback

通过知识引导语言模型反馈增强双钙钛矿的条件生成

Inhyo Lee, Junhyeong Lee, Jongwon Park, KyungTae Lim, Seunghwa Ryu

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种多智能体框架，通过知识引导的文本梯度提升双钙钛矿生成的稳定性与有效性。

Apertus: Democratizing Open and Compliant LLMs for Global Language Environments

Apertus：民主化开放且合规的大型语言模型以适应全球语言环境

Project Apertus, Alejandro Hernández-Cano, Alexander Hägele, Allen Hao Huang, Angelika Romanou, Antoni-Joan Solergibert, Barna Pasztor, Bettina Messmer, Dhia Garbaya, Eduard Frank Ďurech, Ido Hakimi, Juan García Giraldo, Mete Ismayilzada, Negar Foroutan, Skander Moalla, Tiancheng Chen, Vinko Sabolčec, Yixuan Xu, Michael Aerni, Badr AlKhamissi, Inés Altemir Mariñas, Mohammad Hossein Amani, Matin Ansaripour, Ilia Badanin, Harold Benoit, Emanuela Boros, Nicholas Browning, Fabian Bösch, Maximilian Böther, Niklas Canova, Camille Challier, Clement Charmillot, Jonathan Coles, Jan Deriu, Arnout Devos, Lukas Drescher, Daniil Dzenhaliou, Maud Ehrmann, Dongyang Fan, Simin Fan, Silin Gao, Miguel Gila, María Grandury, Diba Hashemi, Alexander Hoyle, Jiaming Jiang, Mark Klein, Andrei Kucharavy, Anastasiia Kucherenko, Frederike Lübeck, Roman Machacek, Theofilos Manitaras, Andreas Marfurt, Kyle Matoba, Simon Matrenok, Henrique Mendonça, Fawzi Roberto Mohamed, Syrielle Montariol, Luca Mouchel, Sven Najem-Meyer, Jingwei Ni, Gennaro Oliva, Matteo Pagliardini, Elia Palme, Andrei Panferov, Léo Paoletti, Marco Passerini, Ivan Pavlov, Auguste Poiroux, Kaustubh Ponkshe, Nathan Ranchin, Javi Rando, Mathieu Sauser, Jakhongir Saydaliev, Muhammad Ali Sayfiddinov, Marian Schneider, Stefano Schuppli, Marco Scialanga, Andrei Semenov, Kumar Shridhar, Raghav Singhal, Anna Sotnikova, Alexander Sternfeld, Ayush Kumar Tarun, Paul Teiletche, Jannis Vamvas, Xiaozhe Yao, Hao Zhao, Alexander Ilic, Ana Klimovic, Andreas Krause, Caglar Gulcehre, David Rosenthal, Elliott Ash, Florian Tramèr, Joost VandeVondele, Livio Veraldi, Martin Rajman, Thomas Schulthess, Torsten Hoefler, Antoine Bosselut, Martin Jaggi, Imanol Schlag

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Apertus通过开放且合规的大型语言模型，解决数据合规性和多语言表示问题，提供透明的开发资源以促进全球语言环境的应用。

Generative Fuzzy System for Sequence Generation

生成模糊系统用于序列生成

Hailong Yang, Zhaohong Deng, Wei Zhang, Zhuangzhuang Zhao, Guanjin Wang, Kup-sze Choi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种结合数据与知识驱动机制的生成模糊系统框架GenFS，用于提升序列生成任务的准确性和流畅性。

Comments 12 pages, 5 figures

Training Data Attribution for Image Generation using Ontology-Aligned Knowledge Graphs

利用本体对齐的知识图谱训练数据归因于图像生成

Theodoros Aivalis, Iraklis A. Klampanos, Antonis Troumpoukis, Joemon M. Jose

机构 * National Centre for Scientific Research ``Demokritos''（国家科学研究中心「德莫克里特」） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用本体对齐的知识图谱方法，通过多模态大语言模型提取图像中的结构化三元组，以追踪生成模型中训练数据的影响，从而提升透明度和可解释性。

EZYer: A simulacrum of high school with generative agent

EZYer: 一种高中学校的模拟体与生成代理

Jinming Yang, Zimu Ji, Weiqi Luo, Gaoxi Wang, Bin Ma, Yueling Deng

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EZYer通过生成代理技术模拟高中教学环境，提供结构化教学材料和互动笔记生成，确保学术严谨性和教学适宜性，实验表明其生成内容质量高，应用前景广阔。

Comments AgentIR@SIGIR 2025

Progressive Image Restoration via Text-Conditioned Video Generation

通过文本条件视频生成实现渐进式图像修复

Peng Kang, Xijun Wang, Yu Yuan

机构 * Department of Computer Science, University of Illinois Springfield（伊利诺伊大学斯普林菲尔德分校计算机科学系） ； School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本研究通过微调CogVideo，利用文本条件视频生成实现图像渐进式修复，提升感知度量并展示强泛化能力。

Comments First two authors contributed equally to this work. IEEE ICNC Accepted

Leveraging Large-Scale Pretrained Spatial-Spectral Priors for General Zero-Shot Pansharpening

利用大规模预训练的空间-光谱先验进行通用零样本全色融合

Yongchuan Cui, Peng Liu, Yi Zeng

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 本文提出利用大规模模拟数据预训练空间-光谱先验，提升遥感图像融合在不同传感器和条件下的泛化能力。

On the Difficulty of Token-Level Modeling of Dysfluency and Fluency Shaping Artifacts

关于对话语流和流畅性塑造特征的令牌级建模难度

Kashaf Gulzar, Dominik Wagner, Sebastian P. Bayerl, Florian Hönig, Tobias Bocklet, Korbinian Riedhammer

机构 * Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡技术大学乔治·西蒙·奥姆学院） ； Technische Hochschule Rosenheim（罗森海姆技术大学） ； KST Institut GmbH（KST研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种轻量级适应方法，用于提升ASR对语流和流畅性修改的识别能力，同时揭示多语言端到端系统在处理德语数据时的局限性。

Comments 6 pages, 1 figure. Accepted to ASRU 2025. This is the arXiv preprint of the accepted paper

TriLex: A Framework for Multilingual Sentiment Analysis in Low-Resource South African Languages

TriLex：一种用于低资源南非语言多语言情感分析的框架

Mike Nkongolo, Hilton Vorster, Josh Warren, Trevor Naick, Deandre Vanmali, Masana Mashapha, Luke Brand, Alyssa Fernandes, Janco Calitz, Sibusiso Makhoba

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 TriLex框架通过三阶段检索增强方法，系统扩展低资源南非语言的情感词典，提升多语言情感分析性能。

Radio Galaxy Zoo: Morphological classification by Fanaroff-Riley designation using self-supervised pre-training

射电星系动物园：利用自我监督预训练进行Fanaroff-Riley分级的形态分类

Nutthawara Buatthaisong, Inigo Val Slijepcevic, Anna M. M. Scaife, Micah Bowles, Andrew Hopkins, Devina Mohan, Stanislav S Shabala, O. Ivy Wong

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文通过自我监督预训练模型对射电星系进行形态分类，发现形态分类与亮度-大小分布重叠区域的置信度较低，并探讨了预训练和微调数据对模型性能的影响。

Comments Submitted to MNRAS

Journal ref Mon Not R Astron Soc (2025) 4062-4078

ST-Booster: An Iterative SpatioTemporal Perception Booster for Vision-and-Language Navigation in Continuous Environments

ST-Booster: 一种用于连续环境视觉-语言导航的迭代时空感知增强器

Lu Yue, Dongliang Zhou, Liang Xie, Erwei Yin, Feitian Zhang

机构 * Robotics and Control Laboratory, the School of Advanced Manufacturing and Robotics, and the State Key Laboratory of Turbulence and Complex Systems, Peking University（机器人与控制实验室、先进制造与机器人学院、湍流与复杂系统国家重点实验室，北京大学） ； Defense Innovation Institute, Academy of Military Sciences（国防创新研究院，军事科学院） ； Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 ST-Booster通过多粒度感知和指令感知推理提升连续环境中视觉-语言导航的性能。

Comments 11 pages, 7 figures