Teaching Language Models to Hallucinate Less with Synthetic Tasks
专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.LG
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 预训练与数据 12452 篇
Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models
专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
GrowLength: Accelerating LLMs Pretraining by Progressively Growing Training Length
专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
Pretraining on the Test Set Is All You Need
专题命中 预训练与数据 ：pretraining(title)；LLM(abstract)；language model(abstract)；foundation model(abstract)
Comments 3 pages, satire
When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale
专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
Comments 14 pages, 8 figures
Teaching Smaller Language Models To Generalise To Unseen Compositional Questions
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI
Exposing Bias in Online Communities through Large-Scale Language Models
专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG
ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages
专题命中 预训练与数据 ：pretraining(title)；large language model(abstract)；language model(abstract)；prompting(abstract)
Comments Accepted at ACL 2023 (Findings)
Understanding How Model Size Affects Few-shot Instruction Prompting
专题命中 预训练与数据 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
Evaluating LLM-Based Regression Test Generation
基于大语言模型的回归测试生成评估
机构 * MPI-SP（Max Planck Institute for Software Process Engineering） ； University of California at Los Angeles（加州大学洛杉矶分校） ； University of Padua（帕多瓦大学）
专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 研究利用大语言模型为特定程序即时生成回归测试，将其作为机器翻译任务，通过对多个项目测试，反馈导向的零样本原型Cleverest表现良好，还探讨了提交消息对其效果的影响。
Comments 23 pages. Published in PACMSE Volume 3, Issue FSE. Artifact of Paper "Evaluating LLM-based Regression Test Generation": https://dl.acm.org/do/10.5281/zenodo.19616584
Improving LLM-Powered EDA Assistants with RAFT
机构 * IBM Research San Jose, CA（IBM桑 Jose研究院） ； IBM Infrastructure Poughkeepsie, NY（IBM基础设施部）
专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
Comments Accepted paper at IEEE International Conference on LLM-Aided Design, 2025 (LAD 2025)
Set the Clock: Temporal Alignment of Pretrained Language Models
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.CL
Comments Accepted as Findings of ACL 2024. Our code and data is available at https://github.com/yizhongw/llm-temporal-alignment
An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs
针对微调开源权重大语言模型的黑盒后门检测的输出-输入循环的实证研究
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)
AI总结 本研究提出self-feeding黑盒测试方法，通过将LLM自身输出反馈为输入检测后门，在6个开源权重LLM上实现高模型级检测精度，仅需文本级查询访问即可作为模型安全的低成本初查手段。
SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection
SPA：一个简单但难以被击败的基线模型用于知识注入
机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 本文提出SPA基线模型，通过精心设计的提示生成大规模合成数据以增强模型知识，实验表明其优于现有方法，并揭示了先前方法的两个关键局限。
IteraSim RAG: A Multi-Stage Retrieval-Augmented Agentic Back-End for OpenFOAM-Based Computational Fluid Dynamics
IteraSim RAG：基于OpenFOAM的计算流体动力学的多阶段检索增强智能后端
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)
AI总结 研究针对OpenFOAM配置CFD案例的难题，提出IteraSim RAG。通过LLM扩展查询、多种融合与重排策略及多智能体分工协作，结合规范知识层。在28个案例基准测试中表现良好，能完成配置、诊断修复问题，还公布相关内容以保障可重复性。
Comments 40 pages, 7 figures, 5 tables. Submitted to Computer Physics Communications
A Sensitivity-Aware Test Collection for Search Among Personal Information
一种面向个人信息搜索的敏感性感知测试集
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)
AI总结 为解决个人信息搜索中的敏感信息泄露问题，构建了包含敏感与非敏感标注的Enron邮件子集测试集，通过众包和LLM扩展查询与相关性评估，并提供了基线性能。
Comments SIGIR 2026 Resource Paper
Account-History Features for Social Bot Detection in the Era of Large Language Models
大语言模型时代社交机器人检测中的账户历史特征
专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)
AI总结 针对大语言模型可生成类人文本导致内容特征失效的问题，提出利用攻击者难以低成本操纵的账户历史特征（如账户年龄、粉丝数等），在随机森林模型上实现ROC-AUC 0.977，显著优于纯内容基线，且对对抗性文本改写具有鲁棒性。
Comments Code and result tables: https://github.com/gaurangkatyal/behavioral-bot-detection (Zenodo DOI: 10.5281/zenodo.20358445)
R1-SyntheticVL: Is Synthetic Data from Generative Models Ready for Multimodal Large Language Model?
R1-SyntheticVL：生成模型的合成数据是否已为多模态大语言模型做好准备？
机构 * Hong Kong Polytechnic University（香港理工大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； National University of Singapore（新加坡国立大学）
专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出集体对抗数据合成（CADS）方法，通过集体智能和对抗学习自动生成高质量、多样且具有挑战性的多模态数据，用于增强多模态大语言模型（MLLM）在复杂现实任务中的性能。
Comments ICML 2026 Camera Ready
From I/O to Code with Discovery Agent
从输入输出到代码：发现代理
机构 * School of Computer Science, Peking University（北京大学计算机科学系） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Wuhan University（武汉大学） ； Renmin University of China（中国人民大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiaotong University（上海交通大学）
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出DIO-Agent，通过将IO2Code视为离散程序空间的进化搜索，利用LLM作为突变算子，结合执行误差信号指导突变，解决从输入输出行为合成代码的难题。
Mapping how LLMs debate societal issues when shadowing human personality traits, sociodemographics and social media behavior
映射LLMs在模仿人类性格特征、社会人口统计数据和社会媒体行为时如何辩论社会问题
机构 * CogNosco Lab, University of Trento, Department of Psychology and Cognitive Science（CogNosco实验室，特伦托大学心理学与认知科学系）
专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 本文通过CDS数据集研究LLMs在不同社会和情境提示下生成的辩论内容变化，分析其社会议题立场和情感表达。
SLIM: Stealthy Low-Coverage Black-Box Watermarking via Latent-Space Confusion Zones
SLIM：通过潜在空间混淆区实现隐蔽的低覆盖率黑盒水印
专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)
AI总结 SLIM通过利用LLM内在属性诱导潜在空间混淆区，实现低覆盖率黑盒数据溯源验证，兼具隐蔽性与模型实用性，提供现代LLM流水线中保护训练数据的稳健解决方案。
Comments Accept the findings of ACL 2026
Always Tell Me The Odds: Fine-grained Conditional Probability Estimation
始终告诉我概率：细粒度条件概率估计
机构 * Johns Hopkins University（约翰霍普金斯大学）
专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 本文提出一种最先进的模型，用于在上下文条件下对命题进行细粒度概率估计。通过结合人类和合成数据创建与评估、扩大模型规模和改进监督，提出了一系列强而精确的概率估计模型，在依赖条件概率估计的任务中表现优异。
Retrieve, Then Classify: Corpus-Grounded Automation of Clinical Value Set Authoring
检索，然后分类：基于语料库的临床价值集编纂自动化
机构 * Oracle Health Data Intelligence（Oracle健康数据智能）
专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)
AI总结 本文提出RASC方法，通过检索现有价值集生成候选池，再分类筛选代码，提升临床价值集编纂效率，构建首个大规模基准数据集。
Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs
上下文至关重要：使用LLM评估自动化ADR生成的上下文策略
专题命中 预训练与数据 ：LLM(title_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 本文研究了不同上下文策略对自动化ADR生成质量的影响，发现上下文提示显著提升生成准确性，小范围历史记录在质量和效率间取得最佳平衡。
Comments 11 pages, 5 diagrams, Accepted at EASE Conference 2026 Research Track
Unseen-Codebases-Domain Data Synthesis and Training Based on Code Graphs
基于代码图的未见代码库数据合成与训练
专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)
AI总结 提出UCD-Training框架，通过代码图构建和两阶段训练，提升模型对未见代码库的推理能力和数据合成效果。
SyGra: A Unified Graph-Based Framework for Scalable Generation, Quality Tagging, and Management of Synthetic Data
SyGra：一种统一的基于图的框架，用于可扩展的生成、质量标记和管理合成数据
机构 * ServiceNow Inc.（ServiceNow公司）
专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)
AI总结 SyGra提出一种统一的基于图的框架，用于可扩展生成、质量标记和管理合成数据，通过模块化管道和双阶段质量标记机制提升合成对话数据的质量和效率。
BooookScore: A systematic exploration of book-length summarization in the era of LLMs
专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)
Comments ICLR 2024 camera-ready (updated figure1 and table2; corrected minor details in the explanation of hierarchical merging)
Socially Aware Synthetic Data Generation for Suicidal Ideation Detection Using Large Language Models
专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG
Journal ref IEEE Access
Applying Large Language Models API to Issue Classification Problem
专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG
Comments 4 pages, 1 figure, NLBSE and ICSE conference submission, ACM formatted, pre print
Does Synthetic Data Make Large Language Models More Efficient?
专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG
