语言大模型 / LLM

Evaluating LLM Story Generation through Large-scale Network Analysis of Social Structures

Hiroshi Nonaka, K. E. Perry

机构 * Soka University of America（索卡大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments This paper has 14 pages and 8 figures. To be presented at the NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling

Strategist: Self-improvement of LLM Decision Making via Bi-Level Tree Search

Jonathan Light, Min Cai, Weiqin Chen, Guanzhi Wang, Xiusi Chen, Wei Cheng, Yisong Yue, Ziniu Hu

机构 * Rensselaer Polytechnic Institute（拉特加大学） ； Shenzhen University（深圳大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； NEC laboratories America（NEC美国实验室） ； California Institute of Technology（加州理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments website: https://llm-strategist.github.io

Exploring LLM Agents for Cleaning Tabular Machine Learning Datasets

Tommaso Bendinelli, Artur Dox, Christian Holz

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 14 pages, 1 main figure, 3 plots, Published at ICLR 2025 Workshop on Foundation Models in the Wild

Walking on the DARKSIDE

行走在DARKSIDE上

Aldo Gangemi, Emanuele Bottazzi

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出基于POLANYI++的DARKSIDE连贯性审计方法，以OWL2格式的扩展知识图谱为基础，通过凭证轴分类指称对象并设置升级规则，在BSBench上验证其可缩小LLM的模式与路径结构差距，提升对无意义输入的检测能力。

Comments 20 pages, 2 figures, several tables

Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

混合线性注意力大语言模型中的大规模激活：注意力前峰值与峰间平台期

Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, Jing Xiong, Hengyuan Zhang, Zhongzhu Zhou, Tiantian Zhang, Ngai Wong, Chuan-Wei Kuo

机构 * Startlux（星创公司） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； University of Sydney（悉尼大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本研究系统揭示混合线性注意力大语言模型中大规模激活的两种形态，证实其在多架构、多配置等场景下的重复性，明确其对输出门控的响应规律及机制，为相关模型优化提供依据。

Comments Under review

ConvergeWriter: Data-Driven Bottom-Up Article Construction

ConvergeWriter：数据驱动的自下而上文章构建

Binquan Ji, Jiaqi Wang, Ruiting Li, Xingchen Han, Yiyang Qi, Shichao Wang, Yifei Lu, Yuantao Han, Feiliang Ren

机构 * Binquan Ji, Jiaqi Wang, Ruiting Li, Xingchen Han, Yiyang Qi, Shichao Wang, Yifei Lu, Yuantao Han, Feiliang Ren（作者） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有LLM生成长篇文档的问题，提出自下而上的ConvergeWriter框架，通过检索聚类构建知识基础，减少幻觉，在14B、32B模型上性能优于或比肩基准，适用于高保真知识场景。

Beyond Detection: Evaluating Defensive LLMs Against AI-Generated Social Engineering in Live Turn-by-Turn Interaction

超越检测：评估防御型大语言模型（LLM）在实时逐轮交互中对抗AI生成社会工程攻击的能力

Yuqiao Xu, Osama Zafar, Alexander Nemecek, Erman Ayday

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 本研究构建含300例的在线住房语料库，评估5种防御型LLM在实时逐轮与静态设置下对抗AI社会工程攻击的能力，发现防御效果差异大，需单独测量干预等指标。

Subjective Multi-Bias Detection with Large Language Models

基于大语言模型的主观多偏见检测

Ruiyu Li, Zhiying Zhu

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 本研究针对文本中的主观多偏见问题，采用大语言模型，在WIKIBIAS数据集上检测三类偏见，相关代码已公开。

The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism

大语言模型中混合专家架构的演进：路由、拓扑、负载均衡与专家并行

Jiguo Li

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本技术综述梳理了大语言模型混合专家架构的演进，通过五个维度和四个控制平面分析关键技术，揭示其从激活稀疏参数到解耦路由、预算与执行的趋势。

Who Gets Access? Global Region and Academic Status Bias in AI-Generated Academic Gatekeeping Scenarios

谁能获得权限？AI生成的学术守门场景中的全球区域与学术地位偏差

Nouar AlDahoul, Hezerul Abdul Karim, Myles Joshua Toledo Tan

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究构建LLM模拟学术守门场景，发现LLM存在学术地位偏差，且模型架构导致区域偏好差异，凸显需审计AI系统的公平性与价值对齐。

From Large Language Model Predicates to Logic Tensor Networks: Neurosymbolic Offer Validation in Regulated Procurement

从大型语言模型谓词到逻辑张量网络：神经符号学在受规制采购中的投标验证

Cedric Haufe, Frieder Stolzenburg

机构 * Harz University of Applied Sciences（哈尔茨应用科学大学） ； Merseburg University of Applied Sciences（梅泽堡应用科学大学） ； University of New South Wales (UNSW)（新南威尔士大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 本文提出一种结合符号与子符号人工智能的神经符号方法，用于验证受规制公共机构的投标文件，通过语言模型提取信息并结合逻辑张量网络（LTN）进行可审计决策，提升决策的可解释性和合规性。

Comments 17 pages, 2 figures, 4 tables, extended version, with appendix

Journal ref In Diedrich Wolter and Gesina Schwalbe, editors, KI 2026: Advances in Artificial Intelligence -- 49th German Conference on AI, LNAI 16830, pages 236--243, Bremen, Germany, 2026

Environment-free Synthetic Data Generation for API-Calling Agents

用于 API 调用智能体的无环境合成数据生成

Seanie Lee, Sanjoy Chowdhury, Chao Jiang, Cheng-Yu Hsieh, Ting-Yao Hu, Alexander T Toshev, Oncel Tuzel, Raviteja Vemulapalli

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对训练 API 调用 LLM 智能体数据收集瓶颈问题，提出无环境合成数据生成方法，利用 LLMs 生成任务、响应等，经评判器过滤轨迹，在相关基准上评估，结果表明此方法可有效训练智能体，是实用可扩展方案。

Towards a General Intelligence and Interface for Wearable Health Data

迈向可穿戴健康数据的通用智能与接口

Girish Narayanswamy, Maxwell A. Xu, A. Ali Heydari, Samy Abdel-Ghaffar, Marius Guerard, Kara Vaillancourt, Zhihan Zhang, Jake Garrison, Levi Albuquerque, Dimitris Spathis, Hong Yu, Hamid Palangi, Xuhai "Orson" Xu, David G. T. Barrett, Joseph Breda, Jed McGiffin, Yubin Kim, Yuwei Zhang, Naghmeh Rezaei, Samuel Solomon, Karan Ahuja, Tim Althoff, Jake Sunshine, Ming-Zher Poh, Benjamin Yetton, Ari Winbush, Nicholas B. Allen, James M. Rehg, Isaac Galatzer-Levy, Yun Liu, John Hernandez, Anupam Pathak, Conor Heneghan, Yuzhe Yang, Ahmed A. Metwally, Pushmeet Kohli, Mark Malhotra, Shwetak Patel, Xin Liu, Daniel McDuff

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） ； University of Oregon（俄勒冈大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出一个基于超过一万亿分钟无标签传感器数据预训练的可穿戴健康基础模型，通过联合扩展模型容量和预训练数据量，在35项健康预测任务上实现系统性性能提升，并利用LLM代理自动搜索下游预测头，集成到个人健康代理中以提高相关性和安全性。

Comments Narayanswamy and Xu are co-first authors. McDuff and Liu are co-last authors

Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation

选择性左移：将测试时计算和基于难度的筛选转化为低资源代码生成的训练数据

Didula Samaraweera, Anjana Supun, Srinath Perera

机构 * WSO2 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 针对低资源代码生成难题，提出三阶段管道，先将推理计算左移合成训练数据，再微调嵌入句法先验，最后用可验证奖励强化学习，相比现有方法提升性能，减少数据使用和成本，且能推广到新语言。

Comments 11 Pages, 5 Figures

Predicting the Emergence of Induction Heads in Language Model Pretraining

预测语言模型预训练中归纳头的出现

Tatsuya Aoyama, Ethan Gotlieb Wilcox, Nathan Schneider

机构 * Department of Linguistics, Georgetown University（语言学系，乔治城大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL

AI总结 研究训练数据统计特性与归纳头形成关系，通过自然和合成数据设置，发现简单公式可预测归纳头形成点，表面二元重复频率等影响其形成并找到决策边界，局部依赖也影响其形成。

Comments Accepted to ICML 2026

OLaPh: Optimal Language Phonemizer

OLaPh: 最优语言音素化器

Johannes Wirth

机构 * Institute for Information Systems at Hof University of Applied Sciences（霍夫应用科学大学信息学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OLaPh混合框架，结合多语言词典、NLP技术和统计子词分割，在WikiPron基准上显著优于基线，并通过LLM合成语料探索神经泛化能力。

Comments 12 pages, 1 figure, 4 tables

Agentic Clustering: Controllable Text Taxonomies via Multi-Agent Refinement

Agentic Clustering: 通过多智能体精炼实现可控文本分类

Simon Löwe, Emily Silcock

机构 * Burning Glass Institute（Burning Glass研究院） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种基于多智能体（提议者、合成者、审计者、调查者、批评者）的自适应文本聚类方法，通过编排器LLM动态调整聚类流程，在七个公开基准上实现最先进性能，ARI最高提升32%。

Less is More: Geometric Unlearning for LLMs with Minimal Data Disclosure

少即是多：面向LLM的几何遗忘方法，实现最小数据披露

Chenchen Tan, Xinghao Li, Shujie Cui, Youyang Qu, Cunjian Chen, Longxiang Gao

机构 * Faculty of Information Technology, Monash University, Clayton, Victoria, Australia.（墨尔本大学信息技术学院，澳大利亚维多利亚州克莱顿分校） 纠错

专题命中 预训练与数据 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出几何遗忘（GU）方法，通过操作模型隐藏状态并利用少量安全参考提示和锚点上下文合成提示，在无需原始训练数据的情况下实现高效选择性遗忘，在ToFU和UnlearnPII基准上达到强目标抑制且对非目标性能影响最小。

Comments 21 pages, 8 Figures

Model Unlearning Objectives Vary for Distinct Language Functions

模型遗忘目标因语言功能而异

Berk Atil, Vipul Gupta, Rebecca J. Passonneau

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Scale AI 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出针对不同语言功能（危险知识遗忘和毒性遗忘）应设计不同的遗忘方法，并分别提出基于余弦的元学习变体RMU和多层目标方法，在多个7-8B模型上取得良好效果。

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

OSCToM: 用于高阶理论之心的强化学习引导对抗生成

Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

机构 * Department of Computer Science（计算机科学系） ； BRAC University（布拉克大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出OSCToM，一种结合强化学习、领域特定语言和组合替代模型的方法，用于建模LLM中的嵌套信念冲突，通过生成观察者-自我冲突来提升复杂社会场景下的理论之心推理能力。

Comments 15 pages, 12 figures containing 15 images, 3 tables. Code available at https://github.com/sharminsrishty/osct

ScioMind: Cognitively Grounded Multi-Agent Social Simulation with Anchoring-Based Belief Dynamics and Dynamic Profiles

ScioMind：基于认知的多智能体社交模拟与基于锚定的信念动态和动态资料

Yitian Yang, Yiqun Duan, Linghan Huang, Yiqi Zhu, Francesco Bailo, Chunmeizi Su, Huaming Chen

机构 * The University of Sydney（悉尼大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ScioMind结合结构化意见动态与LLM代理推理，通过记忆锚定信念更新规则、分层记忆架构和动态代理资料提升社交模拟的真实性与稳定性。

Learning Less Is More: Premature Upper-Layer Attention Specialization Hurts Language Model Pretraining

少即是多：提前的上层注意力专业化损害语言模型预训练

Jinchang Zhu, Jindong Li, Yuwen Hao, Chengyu Zou, Rong Fu, Menglin Yang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title)；分类 cs.CL

AI总结 本文发现GPT预训练中上层注意力过早专业化导致性能下降，通过减缓上层Q/K投影可提升效果，揭示解码器架构与优化的交互点。

Model Merging Scaling Laws in Large Language Models

大语言模型中的模型合并缩放规律

Yuanyi Wang, Yanggan Gu, Yiming Zhang, Qi Zhou, Zhaoyi Yan, Congkai Xie, Xinyao Wang, Jianbo Yuan, Hongxia Yang

机构 * The Hong Kong Polytechnic University (PolyU)（香港理工大学） ； Amazon（亚马逊） ； Innovation Research Institute（创新研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 研究语言模型合并的缩放规律，发现模型大小与专家数量间存在幂律关系，揭示合并收益随专家数量增加而递减的规律，为模型合并提供可预测的规划方法。

Comments ICML 2026

HAVEN: Hybrid Automated Verification ENgine for UVM Testbench Synthesis with LLMs

HAVEN：基于LLMs的混合自动验证引擎用于UVM测试平台综合

Chang-Chih Meng, Yu-Ren Lu, Guan-Yu Lin, Tsung Tai Yeh, Kai-Chiang Wu, I-Chen Wu

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HAVEN通过结合LLM与协议特定模板生成UVM测试平台，实现100%编译成功和高覆盖率。

Comments 9 pages, 5 figures, 5 tables

Vocab Diet: Reshaping the Vocabulary of LLMs via Vector Arithmetic

词汇饮食：通过向量运算重塑大语言模型的词汇

Yuval Reif, Guy Kaplan, Roy Schwartz

机构 * The Hebrew University of Jerusalem（海法大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出通过向量运算重塑LLM词汇，利用变换向量替代单一词表，减少词汇槽位占用，提升多语言覆盖和多样性，同时保持下游性能。

Comments ACL 2026 Findings

Automatic End-to-End Data Integration using Large Language Models

基于大语言模型的自动端到端数据集成

Aaron Steiner, Christian Bizer

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 本文提出基于大语言模型的自动端到端数据集成方法，通过生成必要 artifacts 实现数据集成管道的自动化配置，实验表明其在性能和成本上均具竞争力。

Comments 8 pages, 9 tables. Accepted at the Beyond SQL Workshop at ICDE 2026

Identifying Evidence-Based Nudges in Biomedical Literature with Large Language Models

利用大语言模型在生物医学文献中识别基于证据的助推

Jaydeep Chauhan, Mark Seidman, Pezhman Raeisian Parvari, Zhi Zheng, Zina Ben-Miled, Cristina Barboi, Andrew Gonzalez, Malaz Boustani

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

AI总结 利用大语言模型在生物医学文献中识别基于证据的助推，通过多阶段流程实现高效提取和验证。

Black Big Boxes: Tracing Adjective Order Preferences in Large Language Models

黑大盒子：在大型语言模型中追溯形容词顺序偏好

Jaap Jumelet, Lisa Bylinina, Willem Zuidema, Jakub Szymanik

机构 * CLCG（认知语言学研究中心） ； ILS（语言学研究所） ； ILLC（语言学研究所） ； CIMeC（计算机科学与工程学院） ； University of Groningen（格罗宁根大学） ； Utrecht University（乌得勒支大学） ； University of Amsterdam（阿姆斯特丹大学） ； University of Trento（特伦托大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 研究揭示大型语言模型中形容词顺序偏好主要由分布学习决定，但模型能稳健推广至未见组合，且上下文线索影响其输出顺序。

Pretraining Scaling Laws for Generative Evaluations of Language Models

生成评估的预训练扩展定律

Rylan Schaeffer, Noam Levi, Brando Miranda, Sanmi Koyejo

机构 * Computer Science Stanford University（计算机科学 斯坦福大学） ； AI Center EPFL（人工智能中心 EPFL） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title)；分类 cs.LG

AI总结 本文提出三种预训练扩展定律，用于生成评估的性能预测，揭示了不同扩展定律在稳定性与预测性能上的差异。

Mix, MinHash, and Match: Cross-Source Agreement for Multilingual Pretraining Datasets

混合、最小哈希与匹配：多语言预训练数据集的跨源一致性

Sultan Alrashed, Francesco Orabona

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,comments)；language model(abstract)；分类 cs.CL

AI总结 通过跨源一致性技术，结合多语言语料库进行最小哈希去重，提升预训练数据质量并增加独特标记数量。

Comments Multilingual LLM pretraining dataset curation