语言大模型 / LLM

Neural Scaling Laws for Boosted Jet Tagging

提升喷注分类的神经扩展定律

Matthias Vigl, Nicole Hartman, Michael Kagan, Lukas Heinrich

机构 * Technical University of Munich（慕尼黑技术大学） ； SLAC National Accelerator Laboratory（斯坦福大学SLAC国家加速器实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文研究了提升喷注分类中的神经扩展定律，推导出计算最优的扩展定律，并展示了增加计算资源如何提高性能极限。

Comments 9 pages, 6 figures

RF-GPT: Teaching AI to See the Wireless World

RF-GPT：教AI看见无线世界

Hang Zou, Yu Tian, Bohao Wang, Lina Bariah, Samson Lasaulce, Chongwen Huang, Mérouane Debbah

机构 * Research Institute for Digital Future, Khalifa University（数字未来研究院，哈利法大学） ； College of Information Science and Electronic Engineering, Zhejiang University（信息科学与电子工程学院，浙江大学） ； Université de Lorraine, CNRS, CRAN（洛林大学，CNRS，CRAN） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 RF-GPT通过多模态LLM的视觉编码器处理RF频谱图，实现射频信号的高级推理与生成，无需人工标注即可在多个无线任务中取得优异表现。

Optimal Learning-Rate Schedules under Functional Scaling Laws: Power Decay and Warmup-Stable-Decay

在功能缩放定律下最优学习率调度：功率衰减与温升稳定衰减

Binghui Li, Zilin Wang, Fengling Chen, Shiyang Zhao, Ruiheng Zheng, Lei Wu

机构 * Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文在功能缩放定律下研究最优学习率调度，揭示了在不同任务难度下学习率调度的相变特性，并展示了功率衰减调度在核回归中的最优性能。

ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search

ReliabilityRAG: 有效且可证明的防御方法用于基于检索的Web搜索

Zeyu Shen, Basileal Imana, Tong Wu, Chong Xiang, Prateek Mittal, Aleksandra Korolova

机构 * Department of Computer Science（计算机科学系） ； Princeton University（普林斯顿大学） ； Center for Information Technology Policy（信息政策中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ReliabilityRAG通过利用文档可靠性信息，提供更有效且可证明鲁棒的防御方法，以增强基于检索的Web搜索系统对对抗攻击的抵御能力。

Comments Accepted to NeurIPS 2025

Quantifying Model Uniqueness in Heterogeneous AI Ecosystems

在异构AI生态系统中量化模型独特性

Lei You

机构 * Department of Engineering Technology, Technical University of Denmark（技术大学丹麦学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出基于ISQED的统计框架，用于量化异构AI生态系统中模型的独特性，通过PIER指标评估模型行为的不可约简性，并建立理论基础与实验验证。

Human Behavior Atlas: Benchmarking Unified Psychological and Social Behavior Understanding

人类行为图谱：统一心理与社会行为理解的基准测试

Keane Ong, Wei Dai, Carol Li, Dewei Feng, Hengzhi Li, Jingyao Wu, Jiaee Cheong, Rui Mao, Gianmarco Mengaldo, Erik Cambria, Paul Pu Liang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.AI

AI总结 人类行为图谱通过统一基准和三种模型提升心理与社会行为理解的多模态性能

Comments Accepted to ICLR 2026 Main Conference

Synthetic data: How could it be used for infectious disease research?

合成数据：它如何用于传染病研究？

Styliani-Christina Fragkouli, Dhwani Solanki, Leyla J Castro, Fotis E Psomopoulos, Núria Queralt-Rosinach, Davide Cirillo, Lisa C Crossman

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨合成数据在传染病研究中的应用，强调其在数据隐私、减少偏见和平衡数据集方面的优势，并展望其未来潜力。

MIXRAG : Mixture-of-Experts Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering

MIXRAG : 基于专家混合的检索增强生成用于文本图理解与问答

Lihui Liu, Jiayuan Ding, Subhabrata Mukherjee, Carl J. Yang

机构 * Wayne State University（韦恩州立大学） ； Emory University（埃默里大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 MIXRAG通过专家混合图-RAG框架，利用多个专门化图检索器和动态路由控制器，提升复杂查询处理和噪声过滤能力，实现文本图理解和问答任务的高性能表现。

Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance

合成过采样：利用大语言模型理论和实践方法解决数据不平衡

Ryumei Nakada, Yichen Xu, Lexin Li, Linjun Zhang

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文利用大语言模型理论和实践方法，提出解决数据不平衡问题的新理论框架，并通过实验验证合成过采样在提升模型性能方面的有效性。

Comments 92 pages, 9 figures

Calibrating Generative AI to Produce Realistic Essays for Data Augmentation

校准生成式AI以生成真实论文用于数据增强

Edward W. Wolfe, Justin O. Barber

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.LG

AI总结 本研究通过比较三种提示方法，发现预测下文和25个示例策略在生成真实论文用于数据增强方面效果最佳。

Comments Artificial Intelligence in Measurement and Education Conference (AIME-Con)

Protecting Private Code in IDE Autocomplete using Differential Privacy

在IDE自动补全中使用差分隐私保护私有代码

Evgeny Grigorenko, David Stanojević, David Ilić, Egor Bogomolov, Kostadin Cvejoski

机构 * JetBrains Research（JetBrains研究） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用差分隐私保护IDE自动补全中用户代码隐私，通过DP训练模型有效防御成员推断攻击，同时保持模型性能。

Comments 6 pages

AdaptBPE: From General Purpose to Specialized Tokenizers

AdaptBPE: 从通用到专用的分词器

Vijini Liyanage, François Yvon

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 AdaptBPE通过后训练适应策略优化分词器，提升特定领域或任务的分词效率。

Comments EACL 2026

Dynamics of Human-AI Collective Knowledge on the Web: A Scalable Model and Insights for Sustainable Growth

人类-人工智能集体知识在Web上的动态：一个可扩展的模型和可持续增长的见解

Buddhika Nettasinghe, Kang Zhao

机构 * University of Iowa（爱荷华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种可扩展的动态模型，用于研究人类与人工智能共同知识在Web上的演变，通过分析不同增长模式和政策影响，为可持续增长提供见解。

Comments Accepted for ACM Web Conference 2026 (WWW26)

Prism: Towards Lowering User Cognitive Load in LLMs via Complex Intent Understanding

Prism：通过复杂意图理解降低用户认知负荷

Zenghua Liao, Jinzhi Liao, Xiang Zhao

机构 * National Key Laboratory of Big Data and Decision（大数据与决策国家级实验室） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Prism通过复杂意图理解框架降低用户认知负荷，提升交互效率与用户满意度。

NOIR: Privacy-Preserving Generation of Code with Open-Source LLMs

NOIR：基于开源LLM的隐私保护代码生成

Khoa Nguyen, Khiem Ton, NhatHai Phan, Issa Khalil, Khang Tran, Cristian Borcea, Ruoming Jin, Abdallah Khreishah, My T. Thai

机构 * New Jersey Institute of Technology（新泽西理工学院） ； Hamad Bin Khalifa University（哈利法大学） ； Kent State University（肯特州立大学） ； University of Florida（佛罗里达大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 NOIR通过客户端本地处理和隐私保护机制，实现对开源LLM生成代码的隐私保护，显著提升代码生成性能和安全性。

Comments To appear at Usenix Security Symposium 2026

Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge

零冗余知识下的检索增强生成：Zero-RAG

Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

机构 * School of Computer Science, Fudan University（复旦大学计算机学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Zero-RAG通过修剪冗余知识和优化检索流程，提升LLM在减少冗余信息下的生成性能。

Journal ref Frontiers of Computer Science (2026)

Detecting High-Stakes Interactions with Activation Probes

通过激活探针检测高风险交互

Alex McKenzie, Urja Pawar, Phil Blandfort, William Bankes, David Krueger, Ekdeep Singh Lubana, Dmitrii Krasheninnikov

机构 * LASR Labs（LASR实验室） ； University College London（伦敦大学学院） ； MILA ； Harvard University（哈佛大学） ； NTT Research（NTT研究所） ； Goodfire ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过激活探针检测高风险交互，实现高效且资源敏感的监控系统

Comments Accepted at NeurIPS 2025

Attention-Based Offline Reinforcement Learning and Clustering for Interpretable Sepsis Treatment

基于注意力机制的离线强化学习与聚类用于可解释的脓毒症治疗

Punit Kumar, Vaibhav Saran, Divyesh Patel, Nitin Kulkarni, Alina Vereshchaka

机构 * Department of Computer Science（计算机科学系） ； Engineering University at Buffalo Buffalo, New York, USA（布法罗大学工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于注意力机制的离线强化学习与聚类方法，用于可解释的脓毒症治疗决策支持，通过多模块整合提升治疗准确性和可解释性。

Comments 8 pages, 6 figures, Conference: IEEE International Conference on Machine Learning and Applications 2025 (ICMLA 2025): https://www.icmla-conference.org/icmla25/

Influential Training Data Retrieval for Explaining Verbalized Confidence of LLMs

用于解释大语言模型 verbalized 自信心的有影响力训练数据检索

Yuxi Xia, Loris Schoenegger, Benjamin Roth

机构 * Faculty of Computer Science, University of Vienna, Vienna, Austria（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, Vienna, Austria（UniVie计算机科学博士学院） ； Faculty of Philological and Cultural Studies, University of Vienna, Vienna, Austria（维也纳大学语言与文化研究系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 TracVC通过追踪训练数据来解释LLMs表达自信心的来源，揭示了模型可能依赖无关数据模仿自信，而非真实内容基础。

Contrastive Bi-Encoder Models for Multi-Label Skill Extraction: Enhancing ESCO Ontology Matching with BERT and Attention Mechanisms

基于对比的双编码模型用于多标签技能提取：利用BERT和注意力机制增强ESCO本体匹配

Yongming Sun

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出基于BERT和注意力机制的对比双编码模型，用于多标签技能提取，提升ESCO本体匹配的零样本检索性能。

Afri-MCQA: Multimodal Cultural Question Answering for African Languages

Afri-MCQA：面向非洲语言的多模态文化问答

Atnafu Lambebo Tonja, Srija Anand, Emilio Villa-Cueva, Israel Abebe Azime, Jesujoba Oluwadara Alabi, Muhidin A. Mohamed, Debela Desalegn Yadeta, Negasi Haile Abadi, Abigail Oppong, Nnaemeka Casmir Obiefuna, Idris Abdulmumin, Naome A Etori, Eric Peter Wairagala, Kanda Patrick Tshinu, Imanigirimbabazi Emmanuel, Gabofetswe Malema, Alham Fikri Aji, David Ifeoluwa Adelani, Thamar Solorio

机构 * MBZUAI ； AI4Bharat ； Indian Institute of Technology, Madras（印度理工学院马德拉斯分校） ； Saarland University（萨尔兰大学） ； Aston University（阿斯顿大学） ； Addis Ababa University（亚的斯亚贝巴大学） ； Lesan AI ； Friedrich-Alexander University（弗里德里希-亚历山大大学） ； University of Pretoria（比勒陀利亚大学） ； University of Minneosta -Twin Cities（明尼苏达大学-双城分校） ； Lelapa AI ； Tshwane University of Technology（茨瓦内技术大学） ； Digital Umuganda ； University of Botswana（博茨瓦纳大学） ； Mila, McGill University & Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 Afri-MCQA是首个针对非洲语言的多模态文化问答基准，揭示了本地语言在语音和文本任务中与英语的显著性能差距，强调了文化扎根预训练和跨语言文化转移的重要性。

Document-Level Zero-Shot Relation Extraction with Entity Side Information

文档级零 shot 关系抽取与实体侧信息

Mohan Raj Chanthran, Soon Lay Ki, Ong Huey Fang, Bhawani Selvaretnam

机构 * School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息科技学院） ； Valiantlytix 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DocZSRE-SI方法，通过利用实体侧信息提升低资源语言中零 shot 关系抽取的性能。

Comments Accepted to EACL 2026 Main Conference

Codified Foreshadowing-Payoff Text Generation

编码的预兆-回报文本生成

Longfei Yun, Kun Zhou, Yupeng Hou, Letian Peng, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出CFPG框架，通过编码预兆-回报机制，提升LLM的叙事生成能力，实现情节逻辑的准确兑现。

Beyond the "Truth": Investigating Election Rumors on Truth Social During the 2024 Election

超越‘真相’：在2024年大选期间探究Truth Social上的选举谣言

Etienne Casanova, R. Michael Alvarez

机构 * California Institute of Technology（加利福尼亚理工学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文利用LLMs开发多阶段谣言检测代理，通过大规模数据集和自然环境实验，揭示谣言传播中的虚假真相效应及信念强化机制。

Generative AI-enhanced Sector-based Investment Portfolio Construction

生成式AI增强的行业基于投资组合构建

Alina Voronina, Oleksandr Romanko, Ruiwen Cao, Roy H. Kwon, Rafael Mendoza-Arriaga

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了生成式AI在量化行业投资组合构建中的应用，发现其在稳定市场中表现优异，但在波动市场中表现欠佳，强调了混合AI-量化框架的潜力。

Emergence of Human to Robot Transfer in Vision-Language-Action Models

视觉-语言-动作模型中人类到机器人的转移现象出现

Simar Kareer, Karl Pertsch, James Darpinian, Judy Hoffman, Danfei Xu, Sergey Levine, Chelsea Finn, Suraj Nair

机构 * Physical Intelligence（物理智能） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出了一种简单的方法，通过预训练视觉-语言-动作模型，使模型能从人类数据中学习并转移至机器人任务，从而提升泛化性能。

DIF: A Framework for Benchmarking and Verifying Implicit Bias in LLMs

DIF: 一个用于基准测试和验证LLM隐性偏见的框架

Lake Yin, Fan Huang

机构 * Indiana University（印第安纳大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DIF框架通过评估LLM逻辑和数学问题数据集，结合统计稳健性检查，用于基准测试和验证LLM中的隐性偏见。

Comments 10 pages, 1 figure

Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection

谁写什么：揭示作者角色对AI生成文本检测的影响

Jiatao Li, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究揭示作者角色（如性别、CEFR熟练度等）对AI生成文本检测的影响，提出多因素分析方法，为更公平的检测系统提供实证支持和框架。

Comments ACL 2025 Main Conference

Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs

破碎的词，破碎的性能：分词对大语言模型性能的影响

Sachin Pawar, Manoj Apte, Kshitij Jadhav, Girish Keshav Palshikar, Nitin Ramrakhiyani

机构 * TCS Research（塔塔咨询服务研究） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了分词对大语言模型性能的影响，提出惩罚函数量化分词质量，并验证其在多个NLP任务上的统计显著性。

Comments International Joint Conference on Natural Language Processing & Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL 2025)

Fuzzwise: Intelligent Initial Corpus Generation for Fuzzing

Fuzzwise: 用于模糊测试的智能初始语料生成

Hridya Dhulipala, Xiaokai Rong, Aashish Yadavally, Tien N. Nguyen

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 FuzzWise通过基于LLM的多代理框架，高效生成初始语料，提升模糊测试的代码覆盖和错误触发效率。