语言大模型 / LLM

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

ScheduleFree+: 将学习率自由和调度自由学习扩展到大型语言模型

Aaron Defazio

机构 * FAIR at Meta Super-Intelligence Labs（Meta 超智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 本文提出了一种学习率自由和调度自由的学习方法（ScheduleFree+），用于训练大型语言模型，该方法在大规模训练中显著优于传统的Warmup-Stable-Decay（WSD）调度方案，并证明了调度自由学习在长周期训练中的有效性。

Estimating Item Difficulty with Large Language Models as Experts

利用大语言模型作为专家估算项目难度

Diana Kolesnikova, Kirill Fedyanin, Abe D. Hofman, Matthieu J. S. Brinkhuis, Maria Bolsinova

机构 * Department of Methodology and Statistics, Tilburg University（蒂尔堡大学方法学与统计学系） ； Smart Business Technologies（智能商务技术公司） ； Department of Psychological Methods, University of Amsterdam（阿姆斯特丹大学心理方法系） ； Prowise Learn, Amsterdam（Prowise Learn公司，阿姆斯特丹） ； Department of Information and Computing Sciences, Utrecht University（乌得勒支大学信息与计算科学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文研究了如何利用大语言模型估算新任务的难度，通过对比不同配置下的模型表现，发现基于对偶比较的配置在无额外优化时表现更优，而结合token概率和已知难度示例的绝对判断配置也表现出中等至高水平的对齐度。

Comments 24 pages, 2 figures, 9 tables

Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

语言模型可能并不理解你：通过故事提示评估理论自我意识

Nathaniel Getachew, Abulhair Saparov

专题命中 预训练与数据 ：language model(title,abstract)；prompting(title)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 通过故事提示框架评估大语言模型的理论自我意识和世界建模能力，发现模型在世界建模任务中表现优于理论自我意识任务，且对人物推理更准确。

Comments 21 pages, 17 figures

RePro: Training Language Models to Faithfully Recycle the Web for Pretraining

Zichun Yu, Chenyan Xiong

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)；large language model(abstract)

Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data

Syeda Nahida Akter, Shrimai Prabhumoye, Eric Nyberg, Mostofa Patwary, Mohammad Shoeybi, Yejin Choi, Bryan Catanzaro

机构 * NVIDIA ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(title,abstract)；LLM(abstract)；language model(abstract)

Can Small Language Models Learn, Unlearn, and Retain Noise Patterns?

Nicy Scaria, Silvester John Joseph Kennedy, Deepak Subramani

机构 * Indian Institute of Science（印度科学研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)

HuRef: HUman-REadable Fingerprint for Large Language Models

Boyi Zeng, Lizheng Wang, Yuncong Hu, Yi Xu, Chenghu Zhou, Xinbing Wang, Yu Yu, Zhouhan Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments NeurIPS 2024

RomanSetu: Efficiently unlocking multilingual capabilities of Large Language Models via Romanization

Jaavid Aktar Husain, Raj Dabre, Aswanth Kumar, Jay Gala, Thanmay Jayakumar, Ratish Puduppully, Anoop Kunchukuttan

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments Accepted to ACL 2024

Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models

Kun Chu, Xufeng Zhao, Cornelius Weber, Mengdi Li, Stefan Wermter

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments CoRL 2023 Workshop (oral)

L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models

Ansong Ni, Pengcheng Yin, Yilun Zhao, Martin Riddell, Troy Feng, Rui Shen, Stephen Yin, Ye Liu, Semih Yavuz, Caiming Xiong, Shafiq Joty, Yingbo Zhou, Dragomir Radev, Arman Cohan

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)

Comments Project Website: https://l2c-eval.github.io/

EchoTrace: Diagnosing Recursive Risks in LLM-Powered Recommender Systems

循环中的回声：在LLM推荐系统中反馈循环下的风险诊断

Donguk Park, Dongwon Lee, Yeon-Chang Lee

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种角色感知的诊断框架，用于分析LLM推荐系统中反馈循环下的系统性风险，包括偏见、幻觉和自我强化的暴露模式。

Comments Accepted by ACM CIKM 2026

Bridging Individual and Collective Realism in LLM-Based Human Mobility Simulation via Mobility Scaling-Law Guidance

通过共享数据中的移动度量引导基于LLM的人群移动模拟

Hua Yan, Heng Tan, Yu Yang

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 M2LSimu通过共享数据中的移动度量引导多提示调整，有效提升基于LLM的人群移动模拟的群体协调与真实性

Mural: Transferring LLM knowledge to image generation via Mixture-of-Transformers

Mural: 通过混合Transformer将LLM知识迁移到图像生成

Achin Jain, Jie An, Siddharth Chaudhary, Davide Modolo

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Mixture-of-Transformers架构，将冻结的LLM与扩散图像生成器结合，仅用文本-图像对训练，在多个基准上取得优异性能，并涌现出跨语言生成、颜色引导构图等新能力。

Gender Disparities in LLM-Based Intimate Partner Violence Detection

基于LLM的亲密伴侣暴力检测中的性别差异

Tabia Tanzin Prama, Mikaela Irene Fudolig, Abigail M. Crocker, Christopher M. Danforth, Peter Sheridan Dodds

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 研究通过反事实变体测试LLM在亲密伴侣暴力检测中的性别偏见，发现当受害者为男性时，暴力检测率系统性降低，女性施暴者身份是暴力识别的负向预测因子。

Comments Accepted at the Seventh Workshop on NLP and Computational Social Science (at ACL) 2026

Subtle Injection for Ground-truth Inference of LLM Training Data

用于LLM训练数据真实推断的微妙注入

Abraham Itzhak Weinberg

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出SIGIL框架，通过向文本中嵌入不可感知的“金丝雀序列”，使训练了这些文档的LLM在特定查询下表现出可检测的行为特征，从而证明文档被用于训练。

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

Gap-K%: 通过测量 Top-1 预测差距检测预训练数据

Minseo Kwak, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出 Gap-K% 方法，利用 LLM 的 top-1 预测与目标 token 的对数概率差距及滑动窗口策略，在 WikiMIA 和 MIMIR 基准上实现预训练数据检测的最优性能。

Comments ACL 2026 Main Conference; 15 pages

Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories

灯塔中的伊莱亚斯，再次？诊断LLM故事中的低多样性

Sil Hamilton, David Mimno

机构 * Department of Information Science（信息科学系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过采样20000个故事发现，LLM生成的故事中存在高度重复的词汇（如Elias、灯塔等），这些词汇来自偏好数据而非预训练数据，表明小数据集与强对齐算法的结合可能对多样性产生不成比例的影响。

Same Data, Different Schemas: Robustness of LLM-based Text-to-SQL

相同数据，不同模式：基于LLM的文本到SQL的鲁棒性

Nitin Kanchinadam, Aditya Menachery, Amol Deshpande

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出一个框架，通过从同一E/R模型生成多个等价关系模式变体，评估LLM在文本到SQL任务中对模式变化的鲁棒性，发现模式结构显著影响模型行为，且提供E/R规范可改善但不完全消除不一致性。

Comments Accepted for publication at Nineth International Workshop on Exploiting Artificial Intelligence Techniques for Data Management (aiDM '26), co-located with ACM SIGMOD 2026

Articulate but Wrong: Self-Review Failures in LLM-Based Code Modernization

言辞清晰却错误：基于LLM的代码现代化中的自我审查失败

Gokul Chandra Purnachandra Reddy, Aditya Lolla, Harsha Sanku

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了在使用大型语言模型（LLM）将遗留代码迁移到现代栈时，LLM是否能够识别其自身输出是否改变了可观察行为，发现自我审查不可靠，且存在语义保持漂移等问题。

Comments 11 pages, 6 figures, 2 tables. Corpus, oracle, output extractor, prompts, harness, self-review probe, and all 1,980 + 1,979 raw model outputs released as supplementary material at https://zenodo.org/records/20300861

Similar Pattern Annotation via Retrieval Knowledge for LLM-Based Test Code Fault Localization

通过检索知识实现相似模式注释的LLM基于测试代码故障定位

Golnaz Gharachorlu, Mahsa Panahandeh, Lionel C. Briand, Ruifeng Gao, Ruiyuan Wan

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出SPARK框架，通过整合CI环境积累的调试知识，提升LLM在测试代码故障定位中的效率，实验表明其在复杂测试用例中能更准确识别故障位置。

SOCpilot: Verifying Policy Compliance for LLM-Assisted Incident Response

SOCpilot: 验证LLM辅助事件响应中的政策合规性

Sidnei Barbieri, Leonardo Vaz de Meneses, Ágney Lopes Roth Ferraz, Lourenço Alves Pereira Júnior

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 SOCpilot通过固定事件包、行动目录、政策规则和验证器，验证LLM辅助事件响应计划的合规性，评估两个LLM提供商在金融行业案例中的表现，去除非合规动作并提供零成本准备检查。

CRS-LLM: Cooperative Beam Prediction with a GPT-Style Backbone and Switch-Gated Fusion

CRS-LLM：基于GPT风格主干和切换门融合的协作波束预测

Fangzhi Li, Cunhua Pan, Hong Ren, Dongming Wang, Jiangzhou Wang

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出CRS-LLM框架，通过将波束跟踪建模为联合BS-波束空间的单分类问题，结合双视角CSI分词器和截断GPT风格主干，实现更准确的波束预测，优于现有基线方法。

An Empirical Study on Influence-Based Pretraining Data Selection for Code Large Language Models

基于影响分数的代码大语言模型预训练数据选择实证研究

Chengli Xing, Zhengran Zeng, Gexiang Fang, Rui Xie, Wei Ye, Shikun Zhang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；LLM(abstract)

AI总结 本文探讨了影响分数过滤技术在编程数据集中的有效性，通过大规模实验评估了该方法对模型性能的提升，并分析了有益训练数据在不同阶段和任务中的差异。

MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining

MuRating: 一种用于多语言大语言模型预训练的高质量数据选择方法

Zhixun Chen, Ping Guo, Wenhan Han, Yifan Zhang, Binbin Liu, Haobin Lin, Fengze Liu, Yan Zhao, Bingni Zhang, Taifeng Wang, Yin Zheng, Trevor Cohn, Meng Fang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； ByteDance（字节跳动） ； Eindhoven University of Technology（埃因霍温理工大学） ； University of Melbourne（墨尔本大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 MuRating通过多语言评估器选择高质量数据，提升多语言大语言模型的预训练效果。

Comments NeurIPS 2025 poster

3UR-LLM: An End-to-End Multimodal Large Language Model for 3D Scene Understanding

Haomiao Xiong, Yunzhi Zhuge, Jiawen Zhu, Lu Zhang, Huchuan Lu

机构 * School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院） ； School of Artificial Intelligence, Dalian University of Technology（大连理工大学人工智能学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)

Comments Accepted to IEEE Transactions on Multimedia (TMM)

PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval

Shengyao Zhuang, Xueguang Ma, Bevan Koopman, Jimmy Lin, Guido Zuccon

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)；LLM(abstract)

Comments EMNLP2024 main

Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages

Christopher Toukmaji

专题命中 预训练与数据 ：language model(title,abstract)；prompting(title,abstract)；large language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments 47 pages, 26 figures; a thesis submitted in partial satisfaction of the requirements for the degree of Bachelor of Science in Computer Science at the University of California - Santa Cruz

Guiding Pretraining in Reinforcement Learning with Large Language Models

Yuqing Du, Olivia Watkins, Zihan Wang, Cédric Colas, Trevor Darrell, Pieter Abbeel, Abhishek Gupta, Jacob Andreas

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments ICML 2023

Curvature-Conditioned Multiscale Momentum with Sphere Constraints for LLM Pretraining

用于大语言模型预训练的带球面约束的曲率条件多尺度动量方法

Shuchen Zhu, Yuxin Fang, Mingze Wang, Kun Yuan

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；分类 cs.LG

AI总结 针对LLM预训练中梯度噪声与病态损失景观问题，提出带球面约束的曲率条件多尺度动量方法，可加速Muon在不同架构和规模模型上的训练，兼具理论验证与实验支撑。

Comments 50 pages

MetaboLLM: a metabolomics-specialized large language model for biochemical knowledge integration and predictive metabolite graph construction

MetaboLLM：用于生化知识整合与预测性代谢物图构建的代谢组学专用大语言模型

Dohyun Ku, Min Gu Kwak, Francisco J. Pasquel, Jing Li

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 该研究开发了代谢组学专用大语言模型MetaboLLM及配套的MetaboLLM-GIN，经多阶段适配后，在相关任务及两个临床预测场景中均取得优于对照模型的性能，证明领域专用语言模型可构建可预测且可解释的代谢物图表征。

Comments 60 pages, 3 figures, 16 tables; includes Supplementary Information