语言大模型 / LLM

Unifying Image Processing as Visual Prompting Question Answering

Yihao Liu, Xiangyu Chen, Xianzheng Ma, Xintao Wang, Jiantao Zhou, Yu Qiao, Chao Dong

专题命中 预训练与数据 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 16 pages, 12 figures

Personas as a Way to Model Truthfulness in Language Models

Nitish Joshi, Javier Rando, Abulhair Saparov, Najoung Kim, He He

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Shall We Pretrain Autoregressive Language Models with Retrieval? A Comprehensive Study

Boxin Wang, Wei Ping, Peng Xu, Lawrence McAfee, Zihan Liu, Mohammad Shoeybi, Yi Dong, Oleksii Kuchaiev, Bo Li, Chaowei Xiao, Anima Anandkumar, Bryan Catanzaro

专题命中 预训练与数据 ：language model(title,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2023

Efficiently Adapting Pretrained Language Models To New Languages

Zoltan Csaki, Pian Pawakapan, Urmish Thakker, Qiantong Xu

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to "The third Neurips Workshop on Efficient Natural Language and Speech Processing 2023" (ENLSP-III)

AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising

Zhen Guo, Shangdi Yu

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Make LLM a Testing Expert: Bringing Human-like Interaction to Mobile GUI Testing via Functionality-aware Decisions

Zhe Liu, Chunyang Chen, Junjie Wang, Mengzhuo Chen, Boyu Wu, Xing Che, Dandan Wang, Qing Wang

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted by IEEE/ACM International Conference on Software Engineering 2024 (ICSE 2024). arXiv admin note: substantial text overlap with arXiv:2305.09434

To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis

Fuzhao Xue, Yao Fu, Wangchunshu Zhou, Zangwei Zheng, Yang You

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2023

Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes

Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to Findings of ACL 2023

BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting

Zheng-Xin Yong, Hailey Schoelkopf, Niklas Muennighoff, Alham Fikri Aji, David Ifeoluwa Adelani, Khalid Almubarak, M Saiful Bari, Lintang Sutawika, Jungo Kasai, Ahmed Baruwa, Genta Indra Winata, Stella Biderman, Edward Raff, Dragomir Radev, Vassilina Nikoulina

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ACL 2023

Don't Prompt, Search! Mining-based Zero-Shot Learning with Language Models

Mozes van de Kar, Mengzhou Xia, Danqi Chen, Mikel Artetxe

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2022

Deep Bidirectional Language-Knowledge Graph Pretraining

Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D Manning, Percy Liang, Jure Leskovec

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Published at NeurIPS 2022. Code, data, and trained models are available at https://github.com/michiyasunaga/dragon

Continual Training of Language Models for Few-Shot Learning

Zixuan Ke, Haowei Lin, Yijia Shao, Hu Xu, Lei Shu, Bing Liu

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

Journal ref EMNLP 2022

The Geometry of Dialogue: Graphing Language Models to Reveal Synergistic Teams for Multi-Agent Collaboration

对话的几何学：基于图谱的语言模型揭示多智能体协作的协同团队

Kotaro Furuya, Yuichi Kitagawa

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于交互的自动团队组建框架，通过构建语言模型图谱揭示多智能体协作的协同团队，实验表明其能发现功能一致的团队并优于随机基线。

Comments Accepted at the AAAI-26 Workshop on LLM-based Multi-Agent Systems: Towards Responsible, Reliable, and Scalable Agentic Systems (LaMAS 2026) as an oral presentation

Evaluating LLM Story Generation through Large-scale Network Analysis of Social Structures

Hiroshi Nonaka, K. E. Perry

机构 * Soka University of America（索卡大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments This paper has 14 pages and 8 figures. To be presented at the NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling

Strategist: Self-improvement of LLM Decision Making via Bi-Level Tree Search

Jonathan Light, Min Cai, Weiqin Chen, Guanzhi Wang, Xiusi Chen, Wei Cheng, Yisong Yue, Ziniu Hu

机构 * Rensselaer Polytechnic Institute（拉特加大学） ； Shenzhen University（深圳大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； NEC laboratories America（NEC美国实验室） ； California Institute of Technology（加州理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments website: https://llm-strategist.github.io

Exploring LLM Agents for Cleaning Tabular Machine Learning Datasets

Tommaso Bendinelli, Artur Dox, Christian Holz

机构 * ETH Zurich（苏黎世联邦理工学院） ； CSEM SA（CSEM公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 14 pages, 1 main figure, 3 plots, Published at ICLR 2025 Workshop on Foundation Models in the Wild

EduDial: Constructing a Large-scale Multi-turn Teacher-Student Dialogue Corpus

EduDial：构建大规模多轮师生对话语料库

Shouang Wei, Min Zhang, Xin Lin, Bo Jiang, Zhongxiang Dai, Kun Kuang

机构 * East China Normal University（华东师范大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究构建了大规模师生对话语料库EduDial，开发了EduDial-LLM 32B及11维教学能力评估框架，实验显示该模型在主流LLMs中表现最优。

Comments Accepted to Findings of EMNLP 2026

Walking on the DARKSIDE

行走在DARKSIDE上

Aldo Gangemi, Emanuele Bottazzi

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出基于POLANYI++的DARKSIDE连贯性审计方法，以OWL2格式的扩展知识图谱为基础，通过凭证轴分类指称对象并设置升级规则，在BSBench上验证其可缩小LLM的模式与路径结构差距，提升对无意义输入的检测能力。

Comments 20 pages, 2 figures, several tables

Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

混合线性注意力大语言模型中的大规模激活：注意力前峰值与峰间平台期

Zunhai Su, Bohan Sun, Xialie Zhuang, Shuibai Zhang, He Xiao, Jing Xiong, Hengyuan Zhang, Zhongzhu Zhou, Tiantian Zhang, Ngai Wong, Chuan-Wei Kuo

机构 * Startlux（星创公司） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； University of Sydney（悉尼大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本研究系统揭示混合线性注意力大语言模型中大规模激活的两种形态，证实其在多架构、多配置等场景下的重复性，明确其对输出门控的响应规律及机制，为相关模型优化提供依据。

Comments Under review

ConvergeWriter: Data-Driven Bottom-Up Article Construction

ConvergeWriter：数据驱动的自下而上文章构建

Binquan Ji, Jiaqi Wang, Ruiting Li, Xingchen Han, Yiyang Qi, Shichao Wang, Yifei Lu, Yuantao Han, Feiliang Ren

机构 * Binquan Ji, Jiaqi Wang, Ruiting Li, Xingchen Han, Yiyang Qi, Shichao Wang, Yifei Lu, Yuantao Han, Feiliang Ren（作者） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有LLM生成长篇文档的问题，提出自下而上的ConvergeWriter框架，通过检索聚类构建知识基础，减少幻觉，在14B、32B模型上性能优于或比肩基准，适用于高保真知识场景。

Beyond Detection: Evaluating Defensive LLMs Against AI-Generated Social Engineering in Live Turn-by-Turn Interaction

超越检测：评估防御型大语言模型（LLM）在实时逐轮交互中对抗AI生成社会工程攻击的能力

Yuqiao Xu, Osama Zafar, Alexander Nemecek, Erman Ayday

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 本研究构建含300例的在线住房语料库，评估5种防御型LLM在实时逐轮与静态设置下对抗AI社会工程攻击的能力，发现防御效果差异大，需单独测量干预等指标。

Subjective Multi-Bias Detection with Large Language Models

基于大语言模型的主观多偏见检测

Ruiyu Li, Zhiying Zhu

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

AI总结 本研究针对文本中的主观多偏见问题，采用大语言模型，在WIKIBIAS数据集上检测三类偏见，相关代码已公开。

The Evolution of Mixture-of-Experts Architectures in Large Language Models: Routing, Topology, Load Balancing, and Expert Parallelism

大语言模型中混合专家架构的演进：路由、拓扑、负载均衡与专家并行

Jiguo Li

专题命中 预训练与数据 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 本技术综述梳理了大语言模型混合专家架构的演进，通过五个维度和四个控制平面分析关键技术，揭示其从激活稀疏参数到解耦路由、预算与执行的趋势。

Who Gets Access? Global Region and Academic Status Bias in AI-Generated Academic Gatekeeping Scenarios

谁能获得权限？AI生成的学术守门场景中的全球区域与学术地位偏差

Nouar AlDahoul, Hezerul Abdul Karim, Myles Joshua Toledo Tan

机构 * New York University Abu Dhabi（纽约大学阿布扎比分校） ； Multimedia University（多媒体大学） ； University of Florida（佛罗里达大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究构建LLM模拟学术守门场景，发现LLM存在学术地位偏差，且模型架构导致区域偏好差异，凸显需审计AI系统的公平性与价值对齐。

From Large Language Model Predicates to Logic Tensor Networks: Neurosymbolic Offer Validation in Regulated Procurement

从大型语言模型谓词到逻辑张量网络：神经符号学在受规制采购中的投标验证

Cedric Haufe, Frieder Stolzenburg

机构 * Harz University of Applied Sciences（哈尔茨应用科学大学） ； Merseburg University of Applied Sciences（梅泽堡应用科学大学） ； University of New South Wales (UNSW)（新南威尔士大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；分类 cs.AI

AI总结 本文提出一种结合符号与子符号人工智能的神经符号方法，用于验证受规制公共机构的投标文件，通过语言模型提取信息并结合逻辑张量网络（LTN）进行可审计决策，提升决策的可解释性和合规性。

Comments 17 pages, 2 figures, 4 tables, extended version, with appendix

Journal ref In Diedrich Wolter and Gesina Schwalbe, editors, KI 2026: Advances in Artificial Intelligence -- 49th German Conference on AI, LNAI 16830, pages 236--243, Bremen, Germany, 2026

Environment-free Synthetic Data Generation for API-Calling Agents

用于 API 调用智能体的无环境合成数据生成

Seanie Lee, Sanjoy Chowdhury, Chao Jiang, Cheng-Yu Hsieh, Ting-Yao Hu, Alexander T Toshev, Oncel Tuzel, Raviteja Vemulapalli

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对训练 API 调用 LLM 智能体数据收集瓶颈问题，提出无环境合成数据生成方法，利用 LLMs 生成任务、响应等，经评判器过滤轨迹，在相关基准上评估，结果表明此方法可有效训练智能体，是实用可扩展方案。

Towards a General Intelligence and Interface for Wearable Health Data

迈向可穿戴健康数据的通用智能与接口

Girish Narayanswamy, Maxwell A. Xu, A. Ali Heydari, Samy Abdel-Ghaffar, Marius Guerard, Kara Vaillancourt, Zhihan Zhang, Jake Garrison, Levi Albuquerque, Dimitris Spathis, Hong Yu, Hamid Palangi, Xuhai "Orson" Xu, David G. T. Barrett, Joseph Breda, Jed McGiffin, Yubin Kim, Yuwei Zhang, Naghmeh Rezaei, Samuel Solomon, Karan Ahuja, Tim Althoff, Jake Sunshine, Ming-Zher Poh, Benjamin Yetton, Ari Winbush, Nicholas B. Allen, James M. Rehg, Isaac Galatzer-Levy, Yun Liu, John Hernandez, Anupam Pathak, Conor Heneghan, Yuzhe Yang, Ahmed A. Metwally, Pushmeet Kohli, Mark Malhotra, Shwetak Patel, Xin Liu, Daniel McDuff

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） ； University of Oregon（俄勒冈大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出一个基于超过一万亿分钟无标签传感器数据预训练的可穿戴健康基础模型，通过联合扩展模型容量和预训练数据量，在35项健康预测任务上实现系统性性能提升，并利用LLM代理自动搜索下游预测头，集成到个人健康代理中以提高相关性和安全性。

Comments Narayanswamy and Xu are co-first authors. McDuff and Liu are co-last authors

Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation

选择性左移：将测试时计算和基于难度的筛选转化为低资源代码生成的训练数据

Didula Samaraweera, Anjana Supun, Srinath Perera

机构 * WSO2 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 针对低资源代码生成难题，提出三阶段管道，先将推理计算左移合成训练数据，再微调嵌入句法先验，最后用可验证奖励强化学习，相比现有方法提升性能，减少数据使用和成本，且能推广到新语言。

Comments 11 Pages, 5 Figures

Predicting the Emergence of Induction Heads in Language Model Pretraining

预测语言模型预训练中归纳头的出现

Tatsuya Aoyama, Ethan Gotlieb Wilcox, Nathan Schneider

机构 * Department of Linguistics, Georgetown University（语言学系，乔治城大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL

AI总结 研究训练数据统计特性与归纳头形成关系，通过自然和合成数据设置，发现简单公式可预测归纳头形成点，表面二元重复频率等影响其形成并找到决策边界，局部依赖也影响其形成。

Comments Accepted to ICML 2026

OLaPh: Optimal Language Phonemizer

OLaPh: 最优语言音素化器

Johannes Wirth

机构 * Institute for Information Systems at Hof University of Applied Sciences（霍夫应用科学大学信息学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出OLaPh混合框架，结合多语言词典、NLP技术和统计子词分割，在WikiPron基准上显著优于基线，并通过LLM合成语料探索神经泛化能力。

Comments 12 pages, 1 figure, 4 tables