语言大模型 / LLM

Skill-SLM: Agent Skill-driven Small Language Models for Reliable Robot Operation

Skill-SLM：用于可靠机器人操作的智能体技能驱动型小语言模型

Wenhao Wang, Yanyan Li, Jiawei Yuan

机构 * University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校） ； California State University San Marcos（加州州立大学圣马科斯分校） 纠错

专题命中 预训练与数据 ：SLM(title,title_cn)；LLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)

AI总结 本文提出Skill-SLM框架，将SLM驱动的机器人操作转化为任务分解与技能组合问题，通过CFG构建技能库、LLM教师生成数据集及渐进式编排策略，在无人机、地面车辆任务上的性能优于蒸馏基线，泛化能力更强。

Yuvion LLM: An Adversarially-Aware Large Language Model for Content And AI Safety

Yuvion LLM：一种面向内容和AI安全的对抗感知大语言模型

Ting Ma, Xiufeng Huang, Benlei Cui, Xiaowen Xu, Shikai Qiu, Ruijie Jian, Hongxing Li, Guanghui Wang, Longtao Huang, Haiwen Hong, Haolei Xu, Wenjing Jiang, Ziwen Xu, Zhaoyu Fan, Shaoxuan He, Chuxi Xiao, Yujian Li, Xinyue Chen, Chunyang Chai, Wenxuan Liu, Ziheng Wang, Dongjie Zhang, Yangfan Zhou, Libin Dong, Yupeng Cao, Xiaoqian Xia, Jing Wang, Zhe Jiang, Zhenan Ye, Guang Yang, Bin Liu, Wei Peng, Ziqiang Zhu, Meihui Lian, Kaiwen Lv Kacuila, Haidong Ding, Bingyu Zhu, Yan Wang, Hai Zhao, Xuan Jin, Wei Zhao, Pengfei Sun, Wei Wang, Huiming Zhang, Bin Li, Hui Xue

机构 * Alibaba Security AGI Lab（阿里巴巴安全AGI实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 针对大语言模型在对抗性攻击下的安全脆弱性，提出Yuvion LLM，通过对抗感知数据构建、知识增强预训练及多任务安全后训练，在安全基准和对抗鲁棒性上优于GPT-5.4等更大模型。

PermaFrost-Attack: Stealth Pretraining Seeding(SPS) for planting Logic Landmines During LLM Training

PermaFrost-Attack： stealth pretraining seeding (spS) 用于在LLM训练期间种植逻辑地雷

Harsh Kumar, Rahul Maity, Tanmay Joshi, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

机构 * Manipal University Jaipur（Manipal大学斋普尔） ； NIT, Karnataka（Karnataka理工学院） ； Pragya Lab, BITS Pilani Goa, India（BITS Pilani Goa印度普拉吉亚实验室） ； Apple, USA（美国苹果公司） ； Google, USA（美国谷歌公司） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了在LLM训练中通过隐蔽预训练播种（SPS）植入逻辑地雷的威胁模型，通过几何诊断方法揭示了潜藏的中毒行为，展示了SPS对基础模型的安全性影响。

MIDI-LLM: Improving Text-to-MIDI Music Generation via Adapting Large Language Models

MIDI-LLM：通过适配大语言模型改进文本到MIDI的音乐生成

Shih-Lun Wu, Dave Carlton, Ryan Miyakawa, Yoon Kim, Chris Donahue, Cheng-Zhi Anna Huang

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 该研究提出MIDI-LLM，通过适配Llama 3.2（1B）采用两阶段训练改进文本到MIDI生成，在用户研究中证实其在人机音乐协同创作中的有效性。

Comments Accepted to International Society for Music Information Retrieval (ISMIR) Conference 2026

Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model

中文微型大语言模型：预训练一个以中文为核心的大语言模型

Xinrun Du, Zhouliang Yu, Songyang Gao, Ding Pan, Yuyang Cheng, Ziyang Ma, Ruibin Yuan, Xingwei Qu, Jiaheng Liu, Tianyu Zheng, Xinchen Luo, Guorui Zhou, Wenhu Chen, Ge Zhang

机构 * Multimodal Art Projection Research Community（多模态艺术投影研究社区） ； HKUST（香港科技大学） ； Fudan University（复旦大学） ； Peking University（北京大学） ； Shanghai Jiaotong University（上海交通大学） ； Nanjing University（南京大学） ； University of Waterloo（滑铁卢大学） ； Vector Institute（矢量研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出从零开始、以中文数据为核心预训练的2B模型CT-LLM，使用1.2万亿token语料，在中文任务上表现优异，并开源完整训练流程以推动多语言LLM发展。

Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

小型语言模型在发票分类中的作用：通过嵌入几何分析的理解

Emma Ceccherini, Daniel Lawson, Anjulika Salhan

机构 * University of Bristol（布里斯托大学） ； System Holdings Limited（系统控股有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)

AI总结 研究通过分析SBERT和DeBERTa的嵌入几何，发现内部微调的SBERT在发票分类中表现优于零-shot LLM，且特定客户发票数据可提升其泛化性能，同时揭示结构化输入对SLM无帮助的反直觉结论。

Comments 22 pages, 10 figures

Time2Lang: Bridging Time-Series Foundation Models and Large Language Models for Health Sensing Beyond Prompting

Time2Lang：超越提示工程的健康感知中时间序列基础模型与大语言模型的桥接

Arvind Pillai, Dimitris Spathis, Subigya Nepal, Amanda C Collins, Daniel M Mackin, Michael V Heinz, Tess Z Griffin, Nicholas C Jacobson, Andrew Campbell

机构 * Dartmouth College（达特茅斯学院） ； University of Cambridge（剑桥大学） ； Stanford University（斯坦福大学） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(title,abstract)；prompting(title,abstract)

AI总结 提出Time2Lang框架，无需中间文本转换，直接将时间序列基础模型输出映射到大语言模型表征，在心理健康分类任务上实现高效整合、近乎恒定的推理时间及跨范式性能迁移。

Comments Accepted to CHIL 2025. Code and models: https://github.com/arvind1609/time2lang

MC-PDD: Masked Corpus-Level Pretraining Data Detection for Black-Box Large Language Models

MC-PDD: 面向黑盒大语言模型的掩码语料级预训练数据检测

Kaixin Lan, Mu You, Tao Fang, Binkai Ou, Lidia S. Chao, Derek F. Wong

机构 * University of Macau（澳门大学） ； Macau Millennium College（澳门万人大学） ； BoardWare Information System Limited（博纬信息系统有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 提出MC-PDD方法，通过掩码特定token并利用LLM预测缺失内容，比较候选语料与参考非成员语料的预测命中率差异，以黑盒方式检测预训练数据，性能与现有方法相当。

Comments The manuscript consists of 10 pages formatted in the IEEE/ACM two-column style

Beyond URLs: Metadata Diversity and Position for Efficient LLM Pretraining

超越URLs：元数据多样性与位置对高效LLM预训练的影响

Dongyang Fan, Diba Hashemi, Sai Praneeth Karimireddy, Martin Jaggi

机构 * EPFL（苏黎世联邦理工学院） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了元数据类型对LLM预训练的影响，发现细粒度文档质量指标能提升训练效率，并提出元数据追加方法以加速预训练过程。

Comments ICLR 2026

Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models

面向多模态大语言模型的医学视觉编码器预训练

Tianyou Jiang

机构 * University of Bern（伯尔尼大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 针对MLLM中视觉编码器与自回归LLM的语义接口差距，提出MedMLIP框架，通过报告生成预训练视觉编码器并采用局部关系蒸馏避免视觉崩溃，实验证明跨LLM迁移的有效性。

Data Mixing as Mixture Experiment: Response Surface Methodology and Optimal Design for Large Language Model Pretraining

数据混合作为混合实验：大语言模型预训练的响应面方法与最优设计

Yicheng Mao, Hongru Du

机构 * University of Calgary（卡尔加里大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 本研究将LLM预训练的数据混合视为混合实验，采用Scheffé响应面模型构建模型鲁棒的$\boldsymbol{\textit{I}}$-最优设计，可解释混合响应并提升代理实验效率，验证了其统计优势。

LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining

LoKiFormer：面向高效大语言模型预训练的 locality-aware 注意力与解耦知识记忆

Qiuwu Chen, Zimo Liu, Yuchen Li, Ying Sun, Yifan Zhang, Zhijie Qiu, Zeng You, Ryan Dong, Simeng Ma, Yaofo Chen, Mingkui Tan

机构 * AIGCode ； South China University of Technology（华南理工大学） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 针对LLM预训练效率问题，提出含局部融合注意力与知识记忆模块的LoKiFormer，使预训练收敛速度提升1.33倍，性能优于现有架构。

Comments Accepted by ICML 2026

Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm

使用分布式GPU预训练大型语言模型：一种内存高效的分散式范式

Jinrui Zhang, Chaodong Xiao, Aoqi Wu, Xindong Zhang, Lei Zhang

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 提出SPES框架，通过分散式训练MoE LLM的子集专家降低内存需求，结合专家合并预热策略，在16个48GB GPU上训练2B参数模型，性能媲美集中式训练。

Host-Aware Web Crawling for LLM Pretraining Data

面向大语言模型（LLM）预训练数据的主机感知网络爬虫

Malte Ostendorff

机构 * Common Crawl Foundation（Common Crawl基金会） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本研究针对LLM预训练数据爬取，提出主机感知的爬取分配策略，发现主机间质量差异显著，采样后优先爬取高得分主机可大幅提升高质量页面获取量，且存在数千万未爬取的高质量页面集中于少数主机。

Comments Accepted at WaC-13 @ EMNLP 2026

LLMSurgeon: Diagnosing Data Mixture of Large Language Models

LLMSurgeon: 诊断大型语言模型的数据混合

Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen

机构 * VILA Lab, MBZUAI（VILA实验室，MBZUAI） ； UCL 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 提出LLMSurgeon框架，通过逆问题方法从目标LLM生成文本中估计预训练语料的领域分布，实现无需训练数据的后验审计。

Comments ACL 2026 Main. Code at https://github.com/Yaxin9Luo/LLMSurgeon

ReScraper: Unified Scraping and Cleaning of Web Data for Effective LLM Pretraining

ReScraper：面向高效LLM预训练的网络数据统一抓取与清洗

Zichun Yu, Jiarui Yan, Shlok Sanghvi, Nihar Atri, Chenyan Xiong

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ReScraper是一个0.6B参数统一模型，取代手写启发式规则完成网络数据抓取与清洗，通过四种操作提升LLM预训练语料质量，在多个规模上相对提升DCLM Core分数3.8-4.7%。

Fixing It in Post: A Comparative Study of LLM Post-Training Data Quality and Model Performance

事后修复：对LLM事后训练数据质量和模型性能的比较研究

Aladin Djuhera, Swanand Ravindra Kadhe, Syed Zawad, Farhan Ahmed, Heiko Ludwig, Holger Boche

机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文通过对比两个开源事后训练数据集，提出了一种系统化编纂方法，生成性能更优的TuluTalk数据集，提升模型表现。

Journal ref The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS), 2025

Prompting from the bench: Large-scale pretraining is not sufficient to prepare LLMs for ordinary meaning analysis

从bench出发的提示：大规模预训练不足以使LLM为普通意义分析做准备

Abhishek Purushothama, Junghyun Min, Brandon Waldon, Nathan Schneider

机构 * Georgetown University（乔治城大学） ； University of South Carolina（南卡罗来纳大学） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；pretraining(title)；prompting(title)；large language model(abstract)

AI总结 本文通过实验证明，LLM在法律文本的普通意义分析中存在鲁棒性不足的问题，质疑其在实际应用中的有效性。

Comments Accepted FAccT 2026; 29 pages, 14 tables, 7 figures. Previous title - Not ready for the bench: LLM legal interpretation is unstable and out of step with human judgments; NLLPW 2026

Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications

大型语言模型中的预训练数据暴露：成员推断、数据污染及安全影响综述

Ziyi Tong, Feifei Sun, Le Minh Nguyen

机构 * Japan Advanced Institute of Science and Technology（日本先进科学研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文首次统一综述了大型语言模型中的预训练数据暴露问题，涵盖成员推断和数据污染，形式化定义了暴露级别，回顾了攻击与防御方法，并总结了实证发现及未来研究方向。

Comments accepted by NLDB 2025

Tx-LLM: A Large Language Model for Therapeutics

Tx-LLM：一种用于治疗学的大型语言模型

Juan Manuel Zambrano Chaves, Eric Wang, Tao Tu, Eeshit Dhaval Vaishnav, Byron Lee, S. Sara Mahdavi, Christopher Semturs, David Fleet, Vivek Natarajan, Shekoofeh Azizi

机构 * Google Research（谷歌研究院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 本文提出Tx-LLM，一个基于PaLM-2微调的治疗学通用大语言模型，在709个数据集、66项药物发现任务上训练，在43项任务上达到SOTA水平，展示了编码生化知识并作为端到端药物开发工具的潜力。

Muon Sublates the Edge of Stability in LLM Pretraining

Muon 在 LLM 预训练中超越边缘稳定性

Yanzhe Chen, Qifang Zhao, Xiaoxiao Xu, Fanghui Liu

机构 * School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） ； Alibaba Inc.（阿里巴巴集团） ； School of Mathematical Sciences, Institute of Natural Sciences and MOE-LSC, Shanghai Jiao Tong University（上海交通大学数学科学学院、自然科学研究院及教育部重点实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 Muon 优化器在 LLM 预训练中打破经典边缘稳定性耦合，实验表明其损失中性边界与时间对齐独立，支持分裂 EoS 图景。

Comments 30 pages, 19 figures

TACOMORE: Exploring a replicable prompting protocol for LLM-assisted corpus analysis

TACOMORE: 探索一种可复现的提示协议用于LLM辅助语料库分析

Bingru Li, Han Wang, Nicholas Groom

机构 * Department of Linguistics and Communication, University of Birmingham（伯明翰大学语言学与传播系） ； Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） ； Institute of Foreign Languages and Cultures, University of Tartu（塔尔图大学外国语言与文化研究所） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出TACOMORE框架，通过结构化提示将LLM从通用概率预测转向基于语料共现模式的推理，提升关键词、搭配和索引行分析的准确性与可复现性，但幻觉问题仍需人工验证。

Detecting LLM-Generated Spam Reviews by Integrating Language Model Embeddings and Graph Neural Network

通过整合语言模型嵌入和图神经网络检测LLM生成的垃圾评论

Xin Liu, Rongwu Xu, Xinyi Jia, Jason Liao, Jiao Sun, Ling Huang, Wei Xu

机构 * Tsinghua University（清华大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出FraudSquad模型，结合预训练语言模型嵌入和门控图变压器，有效检测LLM生成的垃圾评论，实验表明其在精度和召回率上优于现有方法，且模型规模小，训练数据需求低。

Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

基于区域条件的少样本提示缓解设备端PII替换中的演示回吐

Anuj Sadani, Deepak Kumar

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title,abstract)；prompting(title,abstract)；SLM(abstract,abstract_cn)

AI总结 本文提出一种在设备端运行的管道，通过使用混合专家分类器和规则生成器，生成一致且类型保持的虚假值，以减少PII替换中的演示回吐问题，并在多语言数据集上验证了其有效性。

Comments 15 pages

Data Mixing for Large Language Models Pretraining: A Survey and Outlook

大型语言模型预训练中的数据混合：综述与展望

Zhuo Chen, Yuxuan Miao, Supryadi, Deyi Xiong

机构 * The International Joint Institute of Tianjin University（天津大学国际联合研究院） ； Tianjin University（天津大学） ； TJUNLP Lab, School of Computer Science and Technology（天津大学自然语言处理实验室，计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文综述了大型语言模型预训练中的数据混合方法，分析了静态与动态混合的分类及其性能成本权衡，指出领域迁移性、评估标准不统一等挑战，并提出未来研究方向。

Comments 41 pages, 4 figures, 1 table

Journal ref Data Intelligence 8 (2026), Art. No. 2026r01

AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training

AdamS：动量本身可作为LLM预训练和后训练的归一化器

Huishuai Zhang, Bohan Wang, Luoxin Chen

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王宣计算机技术研究所） ； University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；post-training(title,abstract)；large language model(abstract)

AI总结 AdamS通过利用动量作为归一化器，无需二阶矩估计，在保持与带动量SGD相同内存和计算开销的同时，实现高效优化，并在LLM预训练和后训练中表现出色。

Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining

时间交叉编码：在LLM预训练过程中追踪语言表示的出现与巩固

Deniz Bayazit, Aaron Mueller, Antoine Bosselut

机构 * EPFL（瑞士联邦理工学院） ； Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过稀疏交叉编码器追踪LLM预训练中语言表示的演变，引入RelIE指标分析特征对任务性能的因果影响，实现对表示学习的可解释性分析。

Comments Accepted to ACL 2026

Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

参数化知识并非全部：通过检索预训练数据实现诚实的语言模型

Christopher Adrian Kusuma, Muhammad Reza Qorib, Hwee Tou Ng

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对大语言模型在知识不足时产生幻觉的问题，提出利用公开预训练数据构建更鲁棒的诚实性评估基准，并设计检索预训练数据的方法提升模型诚实性。

Comments Findings of ACL 2026

Pretraining Exposure Explains Popularity Judgments in Large Language Models

预训练暴露解释了大型语言模型中的流行度判断

Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

机构 * University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract,abstract_cn)

AI总结 研究通过分析预训练数据中的暴露统计，发现大型语言模型对流行实体的偏好主要受预训练暴露影响，而非外部流行度信号，揭示了数据暴露在驱动流行度偏差中的核心作用。

Comments Accepted at SIGIR 2026

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Joint Knowledge Base Completion and Question Answering by Combining Large Language Models and Small Language Models

通过结合大语言模型和小语言模型实现知识库补全与问答的联合处理

Yinan Liu, Dongying Lin, Sigang Luo, Xiaochun Yang, Bin Wang

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院，沈阳，中国） ； National Frontiers Science Center for Industrial Intelligence and Systems optimization, Northeastern University, Shenyang, China（东北大学工业智能与系统优化国家级前沿科学中心，沈阳，中国） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 本文提出JCQL框架，结合大语言模型与小语言模型，通过迭代增强知识库补全与问答任务，提升两者性能。

Comments 20 pages, 11 figures

Journal ref ACL 2026