语言大模型 / LLM

Low Frequency Names Exhibit Bias and Overfitting in Contextualizing Language Models

Robert Wolfe, Aylin Caliskan

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 15 pages, 3 figures, 8 tables

Journal ref Empirical Methods in Natural Language Processing 2021

Airbert: In-domain Pretraining for Vision-and-Language Navigation

Pierre-Louis Guhur, Makarand Tapaswi, Shizhe Chen, Ivan Laptev, Cordelia Schmid

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments To be published on ICCV 2021. Webpage is at https://airbert-vln.github.io/ linking to our dataset, codes and models

Fingerprinting Fine-tuned Language Models in the Wild

Nirav Diwan, Tanmoy Chakravorty, Zubair Shafiq

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Pretraining the Noisy Channel Model for Task-Oriented Dialogue

Qi Liu, Lei Yu, Laura Rimell, Phil Blunsom

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to TACL, pre MIT Press publication version

Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling

Radha Kopparti, Tillman Weyde

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 29 pages

DRAG: Director-Generator Language Modelling Framework for Non-Parallel Author Stylized Rewriting

Hrituraj Singh, Gaurav Verma, Aparna Garimella, Balaji Vasan Srinivasan

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted as Long Paper to EACL 2021

Detecting and Exorcising Statistical Demons from Language Models with Anti-Models of Negative Data

Michael L. Wick, Kate Silverstein, Jean-Baptiste Tristan, Adam Pocock, Mark Johnson

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Bridging the Gap for Tokenizer-Free Language Models

Dokook Choe, Rami Al-Rfou, Mandy Guo, Heeyoung Lee, Noah Constant

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

MENASpeechBank: A Reference Voice Bank with Persona-Conditioned Multi-Turn Conversations for AudioLLMs

MENASpeechBank: 一个具有基于人设的多轮对话的参考语音库用于音频大语言模型

Zien Sheikh Ali, Hunzalah Hassan Bhatti, Rabindra Nath Nandi, Shammur Absar Chowdhury, Firoj Alam

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract,comments)；language model(abstract,comments)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 MENASpeechBank通过合成数据管道生成多轮对话数据，支持音频大语言模型在多样化语音和方言场景中的训练与应用。

Comments Foundation Models, Large Language Models, Native, Speech Models, Arabic, AI-persona, Persona-conditioned-conversations

A Granular Study of Safety Pretraining under Model Abliteration

Shashank Agnihotri, Jonas Jakubassa, Priyam Dey, Sachin Goyal, Bernt Schiele, Venkatesh Babu Radhakrishnan, Margret Keuper

机构 * Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组） ； Vision and AI Lab, Indian Institute of Science（印度科学院视觉与人工智能实验室） ； Carnegie Mellon University（卡内基梅隆大学） ； Max-Planck-Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰信息校园） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.LG；LLM(comments)

Comments Accepted at NeurIPS 2025 bWorkshop Lock-LLM. *Equal Contribution

Beyond Data Quantity: Key Factors Driving Performance in Multilingual Language Models

Sina Bagheri Nezhad, Ameeta Agrawal, Rhitabrat Pokharel

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted at The First Workshop on Language Models for Low-Resource Languages @ COLING 2025

Auxiliary task demands mask the capabilities of smaller language models

Jennifer Hu, Michael C. Frank

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Published at the 1st Conference on Language Modeling (COLM 2024)

Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models

Adam Karvonen

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted to the 2024 Conference on Language Modeling

Effectiveness of French Language Models on Abstractive Dialogue Summarization Task

Yongxin Zhou, François Portet, Fabien Ringeval

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Yongxin Zhou, François Portet, Fabien Ringeval. Effectiveness of French Language Models on Abstractive Dialogue Summarization Task. LREC 2022, Marseille, France, 21-23 June 2022

Vibe Coding and Web Application Security: A Twin-Prompt Study

Vibe编码与Web应用安全：一项双提示研究

Darko Andročec

专题命中 预训练与数据 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过双提示实验对比发现，明确要求安全最佳实践的Web应用生成结果，其安全问题数量更少且无高危问题，是关于LLM生成Web应用安全的初步研究。

Comments Accepted for presentation at the 37th Central European Conference on Information and Intelligent Systems (CECIIS 2026), September 16-18, 2026, Varazdin, Croatia. Author's accepted manuscript

ChemGraph-XANES: An Agentic Framework for XANES Simulation and Curation

ChemGraph-XANES：用于XANES模拟与分析的代理框架

Vitor F. Grizzi, Thang Duc Pham, Luke N. Pretzie, Jiayi Xu, Murat Keceli, Cong Liu

机构 * Chemical Sciences and Engineering Division Argonne National Laboratory（阿贡国家实验室化学科学与工程部） ； Computational Science Division Argonne National Laboratory（阿贡国家实验室计算科学部） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ChemGraph-XANES框架，结合自然语言任务描述与结构获取，实现XANES模拟与分析的自动化，支持高通量计算与机器学习应用。

TranslatePsy-AfriSLM: High-Quality Data Scaling For Low-Resource Machine Translation

TranslatePsy-AfriSLM：面向低资源机器翻译的高质量数据扩展

Milan Gritta, Patrik Lambert, Jihye Back, Amril Nazir

机构 * Tether AI Research（泰瑟人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；small language model(abstract)；SLM(abstract_cn)

AI总结 针对非洲语言机器翻译的数字鸿沟问题，推出面向19种撒哈拉以南非洲语言的开源资源TranslatePsy-AfriSLM，经质量过滤后构建的小参数模型性能远超更大规模的同类系统。

Comments EMNLP 2026 (under ARR, meta review of 4, awaiting accept decision)

AgenticCANN: Automated Ascend C Operator Generation via Knowledge-Augmented Agentic Evolution

AgenticCANN：基于知识增强的智能体演化的自动昇腾C算子生成

Junhao Qiu, Zidong Wang, Yansong Sun, Zhitong Ma, Ping Guo, Qingfu Zhang

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对昇腾C算子生成的独特挑战，提出AgenticCANN知识增强智能体演化框架，在昇腾910B实验中实现高可行性与加速效果，验证了知识注入的通用性优势。

PERCEPT: A Corpus for POS Tagging and Analysis of Persian-English Code-Mixing

PERCEPT：用于波斯语-英语代码混合的词性标注与分析语料库

Ghazal Kalhor, Zahra Jafari, Amirarsalan Shahbazi, Behnam Bahrak

机构 * School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰大学工程学院电气与计算机工程学院） ； School of Engineering Science, College of Engineering, University of Tehran（德黑兰大学工程学院工程科学学院） ； Tehran Institute for Advanced Studies, Khatam University（哈塔米大学德黑兰高级研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文推出首个含通用依存关系词性标注的公开波斯语-英语代码混合语料库PERCEPT，结合LLM辅助标注框架完成6800条社交媒体帖子标注，通过分析揭示代码混合词的词性、位置分布规律，为相关NLP研究提供支撑。

Detecting Soft Skills in ML Engineering Roles CVs

检测机器学习工程岗位简历中的软技能

Aidin Azamnouri, Nouran Ayad, Justus Bogner, Stefan Wagner

机构 * Technical University of Munich（慕尼黑工业大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 本研究构建含300份简历的平衡语料库，用LLM流水线提取软技能并检验13项假设，发现候选人多以叙事披露软技能，资历影响领导力表述率，关键词筛选会遗漏软技能。

Conflict or Strategy? Asymmetric Role Framing of La France insoumise and Rassemblement National in French News Headlines, 2022-2025

冲突还是策略？2022-2025年法国新闻头条中对不屈法国（La France insoumise，LFI）和国民联盟（Rassemblement National，RN）的不对称角色框架

Amr Sobhy

机构 * Le French News Lab（法国新闻实验室） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 该研究分析2022-2025年法国25家媒体28592条头条，发现新闻对LFI和RN的角色框架不对称，建立分层可靠性框架校准LLM政治文本标注流水线。

Comments 19 pages, 3 figures, includes appendices

SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs

SignLlama：通过优先考虑视觉特征增强无词素手语翻译的大语言模型

Shiwei Gan, Xiao Liu, Yafeng Yin, Zhiwei Jiang, Bowen Guo, Lie Xie, Sanglu Lu, Hongkai Wen

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； University of Warwick（华威大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对无词素手语翻译（GFSLT）中LLMs的视觉特征利用问题，提出SignLlama模型，通过过滤伪词素CTC预训练与视觉优先蒸馏策略，在多数据集上取得极具竞争力的性能。

Yesterday's Shield, Today's Spear: A Self-Evolving Safety Guardrail in Production

昨日之盾，今日之矛：生产环境中的自演进安全护栏

Cong Ming, Jingyi Chen, Bin Liu, Qi Chu, Tao Gong, Nenghai Yu, Yingfei Xiang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shenzhen University（深圳大学） ； Sangfor Technologies（深信服科技） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对静态LLM安全护栏无法应对新威胁的问题，提出自演进安全护栏SESG多智能体系统，可快速适配新威胁，性能优于静态护栏及自适应基线，已应用于深信服护栏并取得良好效果。

ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems

ATLAS: 大规模软件生态系统的智能体分类体系

Junyi Lu, Mengyao Lyu, Jiahui Wu, Lei Yu, Chengwei Liu, Fengjun Zhang, Li Yang, Chun Zuo, Yang Liu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； Sinosoft Company Limited（中软国际有限公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出ATLAS框架，结合LLM全局知识与实际仓库分布，通过智能体协作和自修正循环自动构建软件仓库的层次化分类体系，在54,387个GitHub仓库上评估，分类质量F1达83.13%，优于基线15个百分点。

Comments Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Building Open-Retrieval Conversational Question Answering Systems by Generating Synthetic Data and Decontextualizing User Questions

通过生成合成数据和去语境化用户问题构建开放检索式对话问答系统

Christos Vlachos, Nikolaos Stylianou, Alexandra Fiotaki, Spiros Methenitis, Elisavet Palogiannidi, Themos Stafylakis, Ion Androutsopoulos

机构 * Department of Informatics, Athens University of Economics and Business（雅典经济与商业大学信息学院） ； Omilia - Conversational Intelligence（Omilia-对话智能） ； Archimedes, Athena Research Center（雅典研究中心Archimedes） ； NCSR Demokritos（德摩斯蒂斯国家研究中心） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对开放检索式对话问答数据集获取困难的问题，提出基于组织纯文本文档生成合成带标注对话的流程，训练问题重写器去语境化用户问题，结合LLM构建OR-CONVQA系统。

Comments Accepted at SIGDIAL 2025

Translate-R1: Cost-Aware Translation Tool Use via Reinforcement Learning

Translate-R1：通过强化学习实现成本感知的翻译工具使用

Pratik Jayarao, Chaitanya Dwivedi, Himanshu Gupta, Neeraj Varshney, Adithya M Devraj, Meet Vadera, Priyanka Nigam, Bing Yin

机构 * Amazon Stores Foundation AI（亚马逊商店基金会人工智能） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；pretraining(abstract)；分类 cs.CL

AI总结 提出一种基于强化学习的门控策略，让LLM自主评估理解能力，仅在必要时调用翻译工具，在22种语言上提升奖励并降低翻译成本。

Comments 14 pages main text plus appendix, 7 figures, 11 tables

Fast and Accurate Quotation Attribution in Literary Texts

文学文本中快速准确的引语归属

Gaspard Michel, Hugo Attali, Elena V. Epure

机构 * Deezer Research（Deezer研究院） ； LORIA（洛里亚实验室） ； Université Sorbonne Paris Nord（巴黎北索邦大学） ； CNRS（法国国家科学研究中心） ； LIPN（巴黎第十三大学计算机科学实验室） ； IDIAP（IDIAP研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究针对文学文本引语归属的效率与精度难题，提出基于编码器的联合评分方案，在Project Dialogism小说语料库上实现94.5%准确率，速度远超同类方法，且发布了修改后的ModernBookNLP工具。

PlainMedScale: A Corpus of Multi-Level Simplified Medical Texts in German and English

PlainMedScale：德语和英语的多级别简化医学文本语料库

Bruno Brocai, Ilaria Papagno, Mayumi Ohta

机构 * Heidelberg University（海德堡大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本研究构建了德语和英语的多级别简化医学语料库PlainMedScale，开展试点研究发现现有可读性指标无法跨层级泛化、SOTA开放权重LLM的Plain Language提示仍保留部分输入难度，并公开了代码与数据。

Comments accepted at KONVENS 2026

SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search

SimpleWikiSearch：用于智能体搜索的简洁离线维基百科环境

Guanming Xiong, Penghui Zhang

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SimpleWikiSearch是一套明确可运行的离线维基百科环境，用于智能体搜索的可复现评估，提供基线结果及对比闭源模型的子集，而非提出新智能体算法。

Comments Technical Report

EmotionAI: A Privacy-Preserving Computational Intelligence Pipeline for Speech-Emotion-Grounded Conversational Analysis

EmotionAI：一种面向语音情感驱动的对话分析的隐私保护计算智能流水线

Wai Laam Mak, Isibor Kennedy Ihianle, Pedro Machado

机构 * School of Science and Technology, Nottingham Trent University（诺丁汉特伦特大学科学与技术学院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种完全本地的计算智能流水线，结合语音情感识别与生成式推理，实现隐私保护的对话情感分析，在RAVDESS数据集上达到48.8%准确率，零外部调用。

Comments 12 pages, 4 figures. Submitted to UK Workshop on Computational Intelligence (UKCI 2026)