语言大模型 / LLM

Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

通过基于模型的数据选择增强多语言大语言模型预训练

Bettina Messmer, Vinko Sabolčec, Martin Jaggi

机构 * EPFL（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于模型的数据选择框架，通过提高多语言大语言模型预训练的效果，实现了在较少训练数据下达到基线分数并提升其他基准测试的表现。

Comments NeurIPS 2025 Track on Datasets and Benchmarks

Multimodal Wireless Foundation Models

多模态无线基础模型

Ahmed Aboulfotouh, Hatem Abou-Zeid

机构 * Department of Electrical and Software Engineering（电气与软件工程系） ； University of Calgary（卡尔加里大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出首个多模态无线基础模型，能处理IQ流和图像类无线模态，支持多种无线任务，展示了其在不同模态上的广泛应用潜力。

AdaptOrch: Task-Adaptive Multi-Agent Orchestration in the Era of LLM Performance Convergence

AdaptOrch：在LLM性能收敛时代的任务自适应多智能体协调

Geunbin Yu

机构 * Department of Artificial Intelligence, Korea National Open University（人工智能系，韩国国立开放大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AdaptOrch通过动态选择多智能体协调拓扑，提升任务性能，证明协调设计优于模型选择。

Comments 21 pages, 10 figures, 6 tables

propella-1: Multi-Property Document Annotation for LLM Data Curation at Scale

propella-1：大规模LLM数据整理中的多属性文档标注

Maximilian Idahl, Benedikt Droste, Björn Plüster, Jan Philipp Harries

机构 * ellamind ； Leibniz University Hannover（汉诺威莱布尼茨大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 propella-1通过多属性文档标注提升大规模LLM数据整理的效率和质量，揭示预训练数据集在质量、推理深度和内容组成上的显著差异。

Comments Release: https://hf.co/collections/ellamind/propella-1

Omitted Variable Bias in Language Models Under Distribution Shift

语言模型中分布偏移下的遗漏变量偏差

Victoria Lin, Louis-Philippe Morency, Eli Ben-Michael

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了语言模型在分布偏移下的遗漏变量偏差问题，提出框架用于评估和优化模型在分布偏移下的性能。

MeGU: Machine-Guided Unlearning with Target Feature Disentanglement

MeGU：基于目标特征解耦的机器引导反学习

Haoyu Wang, Zhuo Huang, Xiaolong Wang, Bo Han, Zhiwei Lin, Tongliang Liu

机构 * School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学） ； Department of Computer Science, Hong Kong Baptist University（计算机科学系，香港 Baptist 大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 MeGU通过目标特征解耦实现受控反学习，利用多模态大语言模型进行概念感知的重新对齐，以提升反学习效率和效果。

RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering

RPDR：基于回程预测的数据增强框架用于长尾问答

Yiming Zhang, Siyue Zhang, Junbo Zhao, Chen Zhao

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； NYU Shanghai（纽约大学上海分校） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 RPDR通过数据增强框架提升长尾问答性能，利用回程预测选择易学实例并动态路由查询以优化检索效果。

Advanced Manufacturing with Renewable and Bio-based Materials: AI/ML workflows and Process Optimization

先进生物基和可再生材料的制造：AI/ML工作流与工艺优化

Rigoberto Advincula, Jihua Chen

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 本研究通过AI/ML工作流和工艺优化，提升生物基和可再生材料在先进制造中的应用效率，促进可持续发展。

Comments 26 pages, 5 figures, and 2 tables

From Subtle to Significant: Prompt-Driven Self-Improving Optimization in Test-Time Graph OOD Detection

从细微到显著：基于提示的自我改进优化在测试时图OoD检测中

Luzhi Wang, Xuanshuo Fu, He Zhang, Chuang Liu, Xiaobao Wang, Hongbo Liu

专题命中 预训练与数据 ：preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 提出SIGOOD方法，通过自我改进的提示优化提升测试时图OoD检测的性能。

Comments 9pages, 5 figures

The Chicken and Egg Dilemma: Co-optimizing Data and Model Configurations for LLMs

数据与模型配置的协同优化：大语言模型的鸡与蛋困境

Zhiliang Chen, Alfred Wei Lun Leong, Shao Yong Ong, Apivich Hemachandra, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Zhengyuan Liu, Nancy F. Chen, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 JoBS通过联合优化数据和模型配置，利用性能预测器提升大语言模型训练效率，有效降低优化成本。