语言大模型 / LLM

LLM Program Optimization via Retrieval Augmented Search

通过检索增强搜索实现LLM程序优化

Sagnik Anupam, Alexander Shypula, Osbert Bastani

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出检索增强搜索（RAS）方法，利用LLM进行黑盒程序优化，通过检索慢-快程序对引导束搜索，并基于LLM生成的自然语言描述进行上下文检索，显著优于源码检索；同时提出AEGIS方法通过原子编辑提升可解释性。

Comments ACL 2026 Findings

Scaling LLM Knowledge Boundaries via Distribution-Optimized Synthesis

通过分布优化合成扩展LLM知识边界

Songze Li, Yarong Lan, Zhongpu Bo, Zhaoyang Wang, Zhiqiang Liu, Yuan Yuan, Chengtao Gan, Menghao Qian, Enpei Niu, Xiaoke Guo, Yuanxiang Liu, Zhaoyan Gong, Xiangjin Hu, Liangyurui Liu, Jingdian Lu, Lei Liang, Jun Zhou, Huajun Chen, Wen Zhang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； ZJU-Ant Group Joint Lab of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出KDoS框架，通过知识密度驱动的三阶段反馈机制优化合成数据的知识分布，显著扩展LLM知识边界，并在多模型和多数据规模上验证了最优分布的稳定性和有效性。

Comments ACL ARR May (EMNLP 2026) Submission

LLM-assisted gNB Parameter Configuration for Radio Access Network

LLM辅助的无线接入网gNB参数配置

Yao-Cong Dong, Maria Amparo Canaveras Galdon, Ari Uskudar, Kuntal Chowdhury, Edwin K. P. Chong, Ray-Guang Cheng

机构 * Dept. of Electronic and Computer Engineering, National Taiwan University of Science and Technology, Taiwan（电子与计算机工程系，台湾科技大学） ； NVIDIA, USA（NVIDIA公司） ； Colorado State University, USA（科罗拉多州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出LLM辅助框架，通过合成数据生成和微调，自动从错误日志中生成正确的gNB参数配置，在OAI测试中准确率达92.7%。

Combating Data Laundering in LLM Training

对抗LLM训练中的数据清洗

Muxing Li, Zesheng Ye, Sharon Li, Feng Liu

机构 * University of Melbourne（墨尔本大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对数据清洗（通过变换风格隐藏数据来源）导致传统检测失效的问题，提出基于辅助LLM推断变换目标并合成查询的SDR方法，显著增强数据滥用检测能力。

Comments 29 pages, 2 figures

Prior over Evidence: Stereotype-Driven Diagnosis in LLM-Based L2 Pronunciation Feedback

先验优于证据：基于LLM的二语发音反馈中的刻板印象驱动诊断

Rong Wang, Kun Sun

机构 * University of Tuebingen（蒂宾根大学） ； Tongji University（同济大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究测试了LLM在二语发音反馈中是否基于语音证据而非预训练先验进行诊断，发现评分准确性与推理脱钩，音素级反馈收敛于固定困难音素集，且声学证据仅在直接探测目标维度时改善评分。

Comments 12 pages, 2 figures

Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Mod-Guide：一种基于LLM的内容审核反馈系统，用于解决针对原住民及少数族裔宗教群体的不敏感言论

Dipto Das, Achhiya Sultana, Ankit Singh Chauhan, Saadia Binte Alam, Mohammad Shidujaman, Shion Guha, Sunandan Chakraborty, Syed Ishtiaque Ahmed

机构 * Department of Computer Science, University of Toronto（计算机科学系，多伦多大学） ； Independent University Bangladesh（孟加拉国独立大学） ； Indiana University（印第安纳大学） ； Faculty of Information, University of Toronto（信息学院，多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究LLM审核系统对孟加拉国印度教和查克玛社区不敏感言论的认知局限，通过共同构建文化语料库和检索增强生成（RAG）方法开发Mod-Guide工具，提升模型对少数群体观点的敏感性。

Structured Testbench Generation for LLM-Driven HDL Design and Verification-Oriented Data Curation

面向LLM驱动的硬件描述语言设计与验证数据整理的结构化测试台生成

En-Ming Huang, Yu-Hung Kao, Ren-Hao Deng, Wei-Po Hsin, Yao-Ting Hsieh, Cheng Liang, Hsiang-Yu Tsou, Mu-Chi Chen, Yu-Kai Hung, Shao-Chun Ho, Po-Hsuang Huang, Shih-Hao Hung, H. T. Kung

机构 * National Taiwan University（国立台湾大学） ； Academia Sinica（中央研究院） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出STG框架，利用硬件设计固有结构生成确定性测试台，比迭代LLM方法快720倍，编译成功率更高，覆盖率更高，误判更少，并用于数据整理和测试时扩展。

Comments 9 pages, 10 figures

Flaws in the LLM Automation Narrative

LLM自动化叙事中的缺陷

George Perrett, Javae Elliott, Jennifer Hill, Marc Scott

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过编写代码完成数据分析任务的新基准测试，发现前沿LLM在平均性能、方差和错误幅度上均不如人类专家，挑战了LLM达到人类专家水平的说法。

EVADE: LLM-Based Explanation Generation and Validation for Error Detection in NLI

EVADE：基于LLM的解释生成与验证用于NLI错误检测

Longfei Zuo, Barbara Plank, Siyao Peng

机构 * Technical University of Munich（慕尼黑技术大学） ； MaiNLP, Center for Information and Language Processing, LMU Munich（MaiNLP，信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出EVADE框架，利用大语言模型生成和验证解释以检测NLI数据集中的标注错误，实验表明LLM验证能减少人力并提升微调性能。

LLM-driven design of physics-constrained constitutive models: two agents are better than one

LLM驱动的物理约束本构模型设计：两个智能体胜过一个

Marius Tacke, Matthias Busch, Kian Abdolazizi, Jonas Eichinger, Kevin Linka, Roland Aydin, Christian Cyron

机构 * Helmholtz-Zentrum Hereon（海德堡中心） ； Hamburg University of Technology（汉堡技术大学） ； RWTH Aachen University（亚琛工业大学） ； Saarland University（萨尔兰州大学） ； German Center for Artificial Intelligence（德国人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多智能体LLM框架，通过Creator生成模型和Inspector审计物理约束，实现自动生成满足物理定律的本构模型。

From Chatbots to Confidants: A Cross-Cultural Study of LLM Adoption for Emotional Support

从聊天机器人到知己：一项跨文化的LLM用于情感支持的使用研究

Natalia Amat-Lefort, Mert Yazan, Amanda Cercas Curry, Flor Miriam Plaza-del-Arco

机构 * Leiden University（莱顿大学） ； Hogeschool van Amsterdam（阿姆斯特丹大学） ； Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究探讨了不同国家用户对LLM用于情感支持的接受度及影响因素，通过大规模跨文化调查发现社会经济地位是关键预测因素，并揭示了多语言提示语中用户主要寻求帮助的领域。

Comments 28 pages (9 pages main text, 19 pages references and appendices), 14 figures. The first two authors contributed equally

MirrorMark: Generalizable Mirrored Sampling for Multi-bit LLM Watermarking

MirrorMark: 多位LLM水印的通用镜像采样

Ya Jiang, Massieh Kordi Boroujeny, Surender Suresh Kumar, Kai Zeng

机构 * George Mason University（乔治·马歇尔大学） ； Department of Computer Science（计算机科学系） ； Wireless Cyber Center（无线网络安全中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MirrorMark通过镜像变换实现多比特LLM水印，通过符号映射规则与基础水印采样器分离，结合CABS调度器平衡token分配，实验显示其在保持文本质量的同时具备强检测性和比特准确性。

Improving LLM Code Generation via Requirement-Aware Curriculum Reinforcement Learning

通过需求感知的课程强化学习改进LLM代码生成

Shouyu Yin, Zhao Tian, Junjie Chen, Shikai Guo

机构 * Tianjin University（天津大学） ； Dalian Maritime University（大连海事大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出RECRL框架，通过自动感知需求难度、优化挑战性需求和自适应课程采样策略，提升LLM代码生成性能，实验显示在多个基准上表现显著。

From Unstructured to Structured: LLM-Guided Attribute Graphs for Entity Search and Ranking

从无序到有序：LLM引导的属性图用于实体搜索与排序

Yilun Zhu, Nikhita Vedula, Shervin Malmasi

机构 * Amazon.com, Inc.（亚马逊公司） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出结合LLM驱动的属性图构建与图感知LLM排序的两阶段方法，通过结构化属性提取和图构建提升电商中实体搜索的精度与效率，实验显示在零样本场景下平均精度提升超5%。

PhySE: A Psychological Framework for Real-Time AR-LLM Social Engineering Attacks

PhySE: 一种用于实时AR-LLM社会工程攻击的心理学框架

Tianlong Yu, Yang Yang, Ziyi Zhou, Jiaying Xu, Siwei Li, Tong Guan, Kailong Wang, Ting Bi

机构 * Hubei University（湖北大学） ； Apple Inc（苹果公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PhySE通过视觉语言模型的社会上下文训练和自适应心理代理，解决AR-LLM社会工程攻击中的冷启动个性化和静态攻击策略问题，提升实时交互效果。

Temporal Flattening in LLM-Generated Text: Comparing Human and LLM Writing Trajectories

时间扁平化在LLM生成文本中的表现：比较人类与LLM写作轨迹

Zhanwei Cao, YeoJin Go, Yifan Hu, Shanu Sushmita

机构 * Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究比较了人类和LLM在不同时间跨度内的写作轨迹，发现LLM生成文本存在时间扁平化现象，其词汇多样性更高但语义和认知情感变化更小，预测准确率高达94%。

Comments 25 pages, 6 figures. To appear in Findings of ACL 2026

H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code

H2LooP Spark Preview：为低级嵌入式系统代码进行大语言模型的持续预训练

Amit Singh, Vedant Nipane, Pulkit Agrawal, Jatin Kishnani, Sairanjan Mishra

机构 * H2LooP.ai 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出H2LooP Spark Preview，通过持续预训练方法，利用BF16 LoRA技术将OLMo-3-7B模型适应于嵌入式系统领域，显著降低困惑度并提升代码生成性能。

The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining

混合语言文档在多语言大语言模型预训练中的作用

Jiandong Shao, Raphael Tang, Crystina Zhang, Karin Sevegnani, Pontus Stenetorp, Jianfei Yang, Yao Lu

机构 * University College London（伦敦大学学院） ； Nanyang Technological University（南洋理工大学） ； University of Waterloo（滑铁卢大学） ； NVIDIA（英伟达） ； National Institute of Informatics（信息研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 研究发现平行数据对翻译性能至关重要，而语码转换数据对跨语言理解和推理影响较小。

Comments under review

Scaling Performance of Large Language Model Pretraining

Alexander Interrante-Grant, Carla Varela-Rosa, Suhaas Narayan, Chris Connelly, Albert Reuther

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

Journal ref Proc. IEEE High Performance Extreme Computing Conference (HPEC), 2025

Investigating Continual Pretraining in Large Language Models: Insights and Implications

Çağatay Yıldız, Nishaanth Kanna Ravichandran, Nitin Sharma, Matthias Bethge, Beyza Ermis

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

Meta-Task Prompting Elicits Embeddings from Large Language Models

Yibin Lei, Di Wu, Tianyi Zhou, Tao Shen, Yu Cao, Chongyang Tao, Andrew Yates

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；分类 cs.CL

Comments ACL 2024

Meta Large Language Model Compiler: Foundation Models of Compiler Optimization

Chris Cummins, Volker Seeker, Dejan Grubisic, Baptiste Roziere, Jonas Gehring, Gabriel Synnaeve, Hugh Leather

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(title)；LLM(abstract)

SSP: Self-Supervised Prompting for Cross-Lingual Transfer to Low-Resource Languages using Large Language Models

Vipul Rathore, Aniruddha Deb, Ankish Chandresh, Parag Singla, Mausam

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；分类 cs.CL

Prompting a Large Language Model to Generate Diverse Motivational Messages: A Comparison with Human-Written Messages

Samuel Rhys Cox, Ashraf Abdul, Wei Tsang Ooi

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title)；LLM(abstract)

Comments 3 pages, 1 figure, 1 table, to be published in Proceedings of the 11th International Conference on Human-Agent Interaction (ACM HAI'23)

Syntax Without Semantics: Teaching Large Language Models to Code in an Unseen Language

无语义的语法：教大语言模型在未见过的语言中编程

Vinayshekhar Bannihatti Kumar, Disha Makhija, Manoj Ghuhan Arivazhagan, Rashmi Gangadharaiah

机构 * AWS AI Labs（AWS人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究探讨大语言模型在未见过的语言中生成代码的能力，发现微调仅能教授语法而无法转移语义能力，揭示了推理与语言实现之间的鸿沟。

Comments Accepted at COLM 2026

Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning

Tokens，常被忽视的开胃菜：大语言模型、分布假说和意义

Julia Witte Zimmerman, Denis Hudon, Kathryn Cramer, Alejandro J. Ruiz, Calla Beauregard, Ashley Fehr, Mikaela Irene Fudolig, Bradford Demarest, Yoshi Meke Bird, Milo Z. Trujillo, Christopher M. Danforth, Peter Sheridan Dodds

机构 * Computational Story Lab（计算故事实验室） ； Vermont Complex Systems Institute（佛蒙特复杂系统研究所） ； University of Vermont（佛蒙特大学） ； Department of Computer Science（计算机科学系） ； St. Michael’s College（圣米歇尔学院） ； Communication Media and Marginalization Lab（传播媒体与边缘化实验室） ； Northeastern University（东北大学） ； Department of Mathematics & Statistics（数学与统计学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 研究探讨大语言模型中令牌化对认知的影响，指出分布假说足以实现人类样语言性能，并提出改进令牌化技术以减少偏见和提升语义理解。

Comments Accepted at IC2S2 2026 and SLSA @ 4S 2026

AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining

AC-ODM: 面向样本高效LLM预训练的演员-评论家在线数据混合

Jing Ma, Chenhao Dang, Mingjie Liao

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出AC-ODM方法，从强化学习视角优化预训练数据混合，通过参数化策略实现梯度构造性干扰最大化，支持代理与非代理两种模式，显著提升收敛速度和下游任务准确率。

Comments ICML 2026 (Poster)

Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Mix-MoE：通过混合专家混合提升大语言模型的多语言机器翻译

Bo Li, Tianyu Dong, Shaolin Zhu, Deyi Xiong

机构 * School of Software, Tsinghua University（清华大学软件学院） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 提出Mix-MoE框架，通过将MoE层分为语言模型专家和机器翻译专家，并利用傅里叶变换增强路由机制，解决大语言模型在多语言机器翻译微调中的参数干扰问题。

Comments Accepted by TASLP

Memory-Efficient LLM Pretraining via Minimalist Optimizer Design

通过最小化优化器设计实现内存高效的LLM预训练

Athanasios Glentis, Jiaxiang Li, Andi Han, Mingyi Hong

机构 * Department of Electrical and Computer Engineering, University of Minnesota, USA（电气与计算机工程系，明尼苏达大学，美国） ； School of Mathematics and Statistics, University of Sydney, Australia（数学与统计学学院，悉尼大学，澳大利亚） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了如何通过简单的优化器设计改进，使SGD在预训练中达到最先进的性能，提出了SCALE优化器，在内存使用上比Adam更高效，并在多个模型上表现优于现有内存高效的优化器。

Comments Accepted at ICML 2026

LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series

LLM预训练塑造了可泛化的流形：跨模态迁移至时间序列的洞察

Alexis Roger, Prateek Humane, Zhenghan Tai, Gwen Legate, Andrei Mircea, Vasilii Feofanov, Irina Rish

机构 * McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； University of Toronto（多伦多大学） ； Concordia University（康科迪亚大学） ； com（42.com） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言预训练的Transformer能否成为有效的时序预测器，并揭示了跨模态迁移的机制，指出预训练构建了流形，微调则将数值动态投影到任务相关方向。