语言大模型 / LLM

Search over Self-Edit Strategies for LLM Adaptation

基于自我编辑策略的LLM适应研究

Alistair Cheong, Haolin Cong, Tyler Yang, Dustin Miao

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本研究探讨了LLM能否利用任务反馈自适应更新其权重，通过SEAL框架测试，发现有档案变体在SQuAD上表现优于基线，但未超越人类设计策略。

Personality Editing for Language Models through Adjusting Self-Referential Queries

通过调整自我参照查询进行语言模型的人格编辑

Seojin Hwang, Yumin Kim, Byeongjeong Kim, Donghoon Shin, Hwanhee Lee

机构 * Chung-Ang University（Chung-Ang 大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 PALETTE通过调整自我参照查询实现语言模型的人格编辑，仅需12个样本即可显著提升人格对齐性。

Comments Accepted to EACL 2026 (Main)

ELO: Efficient Layer-Specific Optimization for Continual Pretraining of Multilingual LLMs

ELO：面向多语言大语言模型持续预训练的高效分层优化

HanGyeol Yoo, ChangSu Choi, Minjun Kim, Seohyun Song, SeungWoo Song, Inho Won, Jongyoul Park, Cheoneum Park, KyungTae Lim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； LG CNS ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Hanbat National University（汉 bat 国立大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ELO通过分层优化提升多语言大模型持续预训练效率，实现6.46倍加速和6.2%性能提升。

Comments 12 pages, Accepted to EACL 2026 (Industrial Track)

Learning to Factorize and Adapt: A Versatile Approach Toward Universal Spatio-Temporal Foundation Models

学习因子分解与适应：一种通用的时空基础模型方法

Siru Zhong, Junjie Qiu, Yangyu Wu, Yiqiu Liu, Yuanpeng He, Zhongwen Rao, Bin Yang, Chenjuan Guo, Hao Xu, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Peking University（北京大学） ； Huawei 2012 Laboratories（华为2012实验室） ； East China Normal University（华东师范大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 FactoST-v2通过因子分解方法实现通用时空基础模型，提升跨领域泛化能力和效率。

Comments This is an extended version of the paper presented at NeurIPS 2025. Code available at https://github.com/CityMind-Lab/FactoST

SpecMap: Hierarchical LLM Agent for Datasheet-to-Code Traceability Link Recovery in Systems Engineering

SpecMap：用于系统工程中datasheet到代码可追溯性链接恢复的分层LLM代理

Vedant Nipane, Pulkit Agrawal, Amit Singh

机构 * H2LooP.ai（H2LooP人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SpecMap通过分层LLM代理实现嵌入式系统datasheet到代码的可追溯性链接恢复，提升映射精度与效率，支持自动化分析与下游应用。

Empowering Older Adults in Digital Technology Use with Foundation Models

通过基础模型赋能老年人数字技术使用

Hasti Sharifi, Homaira Huda Shomee, Sourav Medya, Debaleena Chattopadhyay

机构 * Department of Computer Science University of Illinois Chicago（计算机科学系伊利诺伊大学芝加哥分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过基础模型解决老年人在数字技术使用中的沟通障碍，开发了OATS数据集，提高了解决方案的准确性和用户信心。

Continual Pretraining on Encrypted Synthetic Data for Privacy-Preserving LLMs

在加密合成数据上进行持续预训练以实现隐私保护的大语言模型

Honghao Liu, Xuhui Jiang, Chengjin Xu, Cehao Yang, Yiran Cheng, Lionel Ni, Jian Guo

机构 * The PII shown in the figure is synthetic and not real（合成的PII） ； International Digital Economy Academy（国际数字经济学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； DataArc Tech Ltd（DataArc科技有限公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种基于实体的加密合成数据预训练框架，通过加密保护PII，实现隐私保护的大语言模型预训练，同时保持模型的指令遵循能力。

Role-Playing LLM-Based Multi-Agent Support Framework for Detecting and Addressing Family Communication Bias

基于角色扮演的LLM多智能体支持框架用于检测和解决家庭沟通偏见

Rushia Harada, Yuken Kimura, Keito Inoshita

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出基于角色扮演的LLM多智能体框架，用于检测家庭沟通中的理想父母偏见并生成改善反馈。

Inner-Probe: Discovering Copyright-related Data Generation in LLM Architecture

Inner-Probe: 在LLM架构中发现与版权相关的数据生成

Qichao Ma, Rui-Jie Zhu, Peiye Liu, Renye Yan, Fahong Zhang, Ling Liang, Meng Li, Zhaofei Yu, Zongwei Wang, Yimao Cai, Tiejun Huang

机构 * School of Computer Science and the State Key Laboratory of Multimedia Information Processing, Peking University（计算机科学系和多媒体信息处理国家重点实验室，北京大学） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） ； department of Electrical and Computer Engineering, University of California, Santa Cruz（电气与计算机工程系，加州大学圣克鲁兹分校） ； Alibaba DAMO Academy, Beijing（阿里巴巴达摩院，北京） ； College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） ； School of Integrated Circuits, Peking University（集成电路系，北京大学） ； YanXin MicroElectronics Co., Ltd.(YXME), Shanghai, China（燕芯微电子有限公司（YXME），上海，中国） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Inner-Probe通过分析LLM生成过程中多头注意力机制，实现对受版权数据子集影响的高效检测与非受版权文本识别。

Comments Accepted by IEEE Transactions on Artificial Intelligence

MiMo-Audio: Audio Language Models are Few-Shot Learners

MiMo-Audio：音频语言模型是少样本学习者

Core Team, Dong Zhang, Gang Wang, Jinlong Xue, Kai Fang, Liang Zhao, Rui Ma, Shuhuai Ren, Shuo Liu, Tao Guo, Weiji Zhuang, Xin Zhang, Xingchen Song, Yihan Yan, Yongzhe He, Cici, Bowen Shen, Chengxuan Zhu, Chong Ma, Chun Chen, Heyu Chen, Jiawei Li, Lei Li, Menghang Zhu, Peidian Li, Qiying Wang, Sirui Deng, Weimin Xiong, Wenshan Huang, Wenyu Yang, Yilin Jiang, Yixin Yang, Yuanyuan Tian, Yue Ma, Yue Yu, Zihan Zhang, Zihao Yue, Bangjun Xiao, Bingquan Xia, Bofei Gao, Bowen Ye, Can Cai, Chang Liu, Chenhong He, Chunan Li, Dawei Zhu, Duo Zhang, Fengyuan Shi, Guoan Wang, Hailin Zhang, Hanglong Lv, Hanyu Li, Hao Tian, Heng Qu, Hongshen Xu, Houbin Zhang, Huaqiu Liu, Jiangshan Duo, Jianguang Zuo, Jianyu Wei, Jiebao Xiao, Jinhao Dong, Jun Shi, Junhao Hu, Kainan Bao, Kang Zhou, Linghao Zhang, Meng Chen, Nuo Chen, Peng Zhang, Qianli Chen, Qiantong Wang, Rang Li, Shaohui Liu, Shengfan Wang, Shicheng Li, Shihua Yu, Shijie Cao, Shimao Chen, Shuhao Gu, Weikun Wang, Wenhan Ma, Xiangwei Deng, Xing Yong, Xing Zhang, Xu Wang, Yifan Song, Yihao Zhao, Yingbo Zhao, Yizhao Gao, Yu Cheng, Yu Tu, Yudong Wang, Zhaojun Huang, Zhengju Tang, Zhenru Lin, Zhichao Song, Zhipeng Xu, Zhixian Zheng, Zihan Jiang

机构 * Xiaomi（小米） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；post-training(abstract)；分类 cs.CL

AI总结 MiMo-Audio通过大规模预训练和指令微调，在音频理解和生成任务中达到开放源代码的最优性能，展示了强大的少样本学习能力。

A Theoretical Lens for RL-Tuned Language Models via Energy-Based Models

通过能量模型的理论视角提升强化学习调优语言模型

Zhiquan Tan, Yinrong Hong

机构 * Tsinghua University（清华大学） ； Beihang University（北航） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文通过能量模型视角，揭示了强化学习调优语言模型的理论基础，证明了其在指令遵循和推理任务中的稳定性与效率。

Mitigating Social Bias in English and Urdu Language Models Using PRM-Guided Candidate Selection and Sequential Refinement

通过PRM引导的候选选择和顺序细化缓解英语和乌尔都语语言模型中的社会偏见

Muneeb Ur Raheem Khan

机构 * Lahore University of Management Sciences（拉瓦尔大学管理科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文通过PRM引导的候选选择和顺序细化方法，缓解英语和乌尔都语语言模型中的社会偏见，展示了在不同语言中偏见减少和公平性提升的效果。

Improving Topic Relevance Model by Mix-structured Summarization and LLM-based Data Augmentation

通过混合结构摘要与基于LLM的数据增强改进主题相关性模型

Yizhu Liu, Ran Tao, Shengyu Guo, Yifan Yang

机构 * Sichuan University（四川大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过混合结构摘要与基于LLM的数据增强方法，提升社交搜索中查询与文档的主题相关性建模性能。

Rethinking LLM Training through Information Geometry and Quantum Metrics

重新思考通过信息几何和量子度量进行大语言模型训练

Riccardo Di Sipio

机构 * Dayforce 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过信息几何和量子度量重新思考大语言模型训练，探讨曲率方法对理解LLM训练的贡献，并推测量子增强系统中的优化潜力。

Comments 9 pages, 1 figure(s)

PretrainZero: Reinforcement Active Pretraining

PretrainZero：强化主动预训练

Xingrun Xing, Zhiyuan Fan, Jie Lou, Guoqi Li, Jiajun Zhang, Debing Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 PretrainZero通过主动预训练和自监督学习方法，提升通用推理能力，并在多个基准测试中取得显著成绩。

ELSPR: Evaluator LLM Training Data Self-Purification on Non-Transitive Preferences via Tournament Graph Reconstruction

ELSPR: 通过比赛图重建实现评估LLM训练数据的自净化

Yan Yu, Yilun Liu, Minggui He, Shimin Tao, Weibin Meng, Xinhua Yang, Li Zhang, Hongxia Ma, Dengye Li, Daimeng Wei, Boxing Chen, Fuliang Li

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ELSPR通过构建比赛图识别并净化LLM训练数据中的非传递性偏好，提升评估系统的可靠性与一致性。

Comments Accepted by AAAI 2026

Improving LLM-based Ontology Matching with fine-tuning on synthetic data

通过在合成数据上微调提升基于LLM的本体匹配

Guilherme Sousa, Rinaldo Lima, Cassia Trojahn

机构 * Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过生成合成数据并微调LLM，提升本体匹配任务的性能。

Winning with Less for Low Resource Languages: Advantage of Cross-Lingual English_Persian Argument Mining Model over LLM Augmentation

低资源语言中以少胜多：跨语言英语-波斯语论证挖掘模型相对于LLM增强的优势

Ali Jahan, Masood Ghayoomi, Annette Hautli-Janisz

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种跨语言论证挖掘模型，通过零样本迁移、LLM增强和跨语言训练三种方法，证明在低资源语言中，跨语言模型能显著优于基于LLM的增强方法。

Comments Preprint. Under review

Robot-Powered Data Flywheels: Deploying Robots in the Wild for Continual Data Collection and Foundation Model Adaptation

机器人驱动的数据飞轮：在真实世界中部署机器人以实现持续的数据收集和基础模型适应

Jennifer Grannen, Michelle Pan, Kenneth Llontop, Cherie Ho, Mark Zolotas, Jeannette Bohg, Dorsa Sadigh

机构 * Stanford University（斯坦福大学） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 机器人驱动的数据飞轮通过部署机器人收集真实世界数据，提升基础模型在复杂环境中的适应能力，减少人工干预并提高多语言OCR性能。

ReviewGuard: Enhancing Deficient Peer Review Detection via LLM-Driven Data Augmentation

ReviewGuard: 通过LLM驱动的数据增强提升缺陷同行评审检测

Haoxuan Zhang, Ruochi Li, Sarthak Shrestha, Shree Harshini Mamidala, Revanth Putta, Arka Krishan Aggarwal, Ting Xiao, Junhua Ding, Haihua Chen

机构 * University of North Texas（北卡罗来纳州立大学） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ReviewGuard通过LLM驱动的数据增强技术，首次提出检测同行评审中缺陷评审的系统，提升检测性能并为AI治理提供依据。

Comments Accepted as a full paper at the 2025 ACM/IEEE Joint Conference on Digital Libraries (JCDL 2025)

How many patients could we save with LLM priors?

使用 LLM 先验知识能挽救多少患者？

Shota Arai, David Selby, Andrew Vargo, Sebastian Vollmer

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 利用LLM生成的先验知识优化多中心临床试验中的不良事件建模，提高预测性能并减少患者数量需求。

Comments 9 pages, 4 figures

SeedAIchemy: LLM-Driven Seed Corpus Generation for Fuzzing

Aidan Wen, Norah A. Alzahrani, Jingzhi Jiang, Andrew Joe, Karen Shieh, Andy Zhang, Basel Alomair, David Wagner

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Tiny language models

Ronit D. Gross, Yarden Tzach, Tal Halevi, Ella Koresh, Ido Kanter

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

Comments 23 pages, 1 figure and 12 tables, The data and code that support the findings of this study are openly available in a GitHub repository at https://github.com/Rg32601/Tiny-Language-Models

Journal ref Physica A: Statistical Mechanics and its Applications Volume 681, 1 January 2026, 131102

HumorReject: Decoupling LLM Safety from Refusal Prefix via A Little Humor

Zihui Wu, Haichang Gao, Jiacheng Luo, Zhaoxiang Liu

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth

Yichi Zhang, Jinlong Pang, Zhaowei Zhu, Yang Liu

机构 * DIMACS, Rutgers University（Rutgers大学DIMACS研究中心） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 32 pages, 7 figures

A Detailed Study on LLM Biases Concerning Corporate Social Responsibility and Green Supply Chains

Greta Ontrup, Annika Bush, Markus Pauly, Meltem Aksoy

机构 * Research Center Trustworthy Data Science and Security, University Alliance Ruhr（可信数据科学与安全研究所以及鲁尔大学联盟） ； Department of Computer Science, University of Duisburg-Essen（杜伊斯堡- Essen大学计算机科学系） ； Department of Computer Science, Technical University Dortmund（图恩大学计算机科学系） ； Chair of Mathematical Statistics and Applications in Industry, Technical University Dortmund（工业数学统计与应用教授职位，图恩大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 37 pages, 2 figures

The German Commons - 154 Billion Tokens of Openly Licensed Text for German Language Models

Lukas Gienapp, Christopher Schröder, Stefan Schweter, Christopher Akiki, Ferdinand Schlatt, Arden Zimmermann, Phillipe Genêt, Martin Potthast

机构 * University of Kassel, hessian.AI（卡塞尔大学、hessian.AI） ； Independent Researcher（独立研究者） ； Leipzig University（莱比锡大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments 13 pages, 3 figures, 12 tables, includes datasheet

On Pretraining for Project-Level Code Completion

Maksim Sapronov, Evgeniy Glukhov

机构 * JetBrains Research（JetBrains 研究） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Towards Self-Refinement of Vision-Language Models with Triangular Consistency

Yunlong Deng, Guangyi Chen, Tianpei Gu, Lingjing Kong, Yan Li, Zeyu Tang, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； ByteDance US（字节跳动美国公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.AI

Getting Your Indices in a Row: Full-Text Search for LLM Training Data for Real World

Ines Altemir Marinas, Anastasiia Kucherenko, Alexander Sternfeld, Andrei Kucharavy

机构 * IC, EPFL（EPFL） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL