语言大模型 / LLM

Contrastive Visual-Linguistic Pretraining

Lei Shi, Kai Shuang, Shijie Geng, Peng Su, Zhengkai Jiang, Peng Gao, Zuohui Fu, Gerard de Melo, Sen Su

专题命中 预训练与数据 ：pretraining(title,abstract)

Improved and Scalable Online Learning of Spatial Concepts and Language Models with Mapping

Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, Tetsunari Inamura

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to Autonomous Robots (24 January 2020)

Combining Program Analysis and Statistical Language Model for Code Statement Completion

Son Nguyen, Tien N. Nguyen, Yi Li, Shaohua Wang

专题命中 预训练与数据 ：language model(title,abstract)

Comments Proceedings of the 34th IEEE/ACM International Conference on Automated Software Engineering Conference (ASE 2019)

Taking a HINT: Leveraging Explanations to Make Vision and Language Models More Grounded

Ramprasaath R. Selvaraju, Stefan Lee, Yilin Shen, Hongxia Jin, Shalini Ghosh, Larry Heck, Dhruv Batra, Devi Parikh

专题命中 预训练与数据 ：language model(title,abstract)

Comments Published at ICCV'2019

Journal ref The IEEE International Conference on Computer Vision (ICCV) 2019

Evaluating language models of tonal harmony

David R. W. Sears, Filip Korzeniowski, Gerhard Widmer

专题命中 预训练与数据 ：language model(title,abstract)

Comments 7 pages, 4 figures, 3 tables. To appear in Proceedings of the 19th International Society for Music Information Retrieval Conference (ISMIR), Paris, France

Exploring the Limits of Weakly Supervised Pretraining

Dhruv Mahajan, Ross Girshick, Vignesh Ramanathan, Kaiming He, Manohar Paluri, Yixuan Li, Ashwin Bharambe, Laurens van der Maaten

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Technical report

Improving OCR Accuracy on Early Printed Books by combining Pretraining, Voting, and Active Learning

Christian Reul, Uwe Springmann, Christoph Wick, Frank Puppe

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Submitted to JLCL Volume 33 (2018), Issue 1: Special Issue on Automatic Text and Layout Recognition

Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation

学习失败的诱因：用于对抗性数据策展的失败模式上下文多臂老虎机

Roie Kazoom, Ofir Cohen, Rami Puzis, Asaf Shabtai, Ofer Hadar

机构 * Ben Gurion University of The Negev（本古里安大学内盖夫分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 该研究提出失败模式上下文多臂老虎机框架，通过检索增强等技术优化对抗性数据策展，在多项自然语言理解基准上提升模型准确率，还可迁移至事实核查任务，实现无需额外人工标注的鲁棒性提升。

Journal ref Transactions on Machine Learning Research (TMLR), August 2026

Scaling Creative Writing Beyond Story-Centric Data with Attribute-Guided Genre Expansion

通过属性引导的体裁扩展扩展非以故事为中心数据的创意写作规模

Hwan Chang, Yongil Kim, Heuiyeen Yeen, Yireun Kim, Jinsik Lee, Hwanhee Lee

机构 * Chung-Ang University（中央大学） ； LG AI Research（LG AI研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出属性引导的体裁扩展框架，构建涵盖13种体裁的5万示例语料库，经微调的模型在多类创意写作任务上表现优于基线模型，证实受控体裁扩展是提升创意写作能力的关键。

Comments CIKM 2026

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

iARCS：用于可控3D场景生成的迭代智能体强化学习

Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel, Ajad Chhatkuli, Danda Pani Paudel

机构 * Tribhuvan University（特里布文大学） ； Pulchowk Campus, IOE, Tribhuvan University（特里布文大学工程学院普尔乔克校区） ； NAAMII（尼泊尔先进数学与信息学研究所） ； INSAIT, Sofia University “St. Kliment Ohridski”（索菲亚大学圣克莱门特奥赫里德斯基分校INSAIT） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 研究针对现有3D场景生成器无法满足任务约束的问题，提出iARCS迭代智能体强化学习框架，通过两阶段策略优化约束保真度，生成的数据可改进基础生成器，具实用价值。

Comments 15 pages, 9 figures, 4 tables. Includes appendix

Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects

孟加拉语区域方言的多方言神经机器翻译系统

Rakib Ullah, Ruhul Islam Rahul, Tanbir Ahmed

机构 * SYLHET ENGINEERING COLLEGE（锡尔赫特工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对孟加拉语方言翻译性能差的问题，本研究提出Poly-Dialectal神经机器翻译系统，构建含51531句对的最大多方言语料库，微调BanglaT5模型性能最优，还部署量化网络应用推动数字包容。

Toward a Theory of Value in AI Alignment

迈向AI对齐中的价值理论

Andrew Smart, Shazeda Ahmed, Jackie Kay, Jimmy Tobin, Kris Shrishak, Abeba Birhane

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究通过标注94篇AI价值对齐论文，发现多数未明确定义人类价值，转而依赖偏好，且采用合成数据等自动方法可能关闭价值践行路径，旨在明确该领域哲学承诺以丰富相关辩论。

Comments 15 pages, 2 figures

Scaling Self-Play with Self-Guidance

通过自我指导实现自我对弈的扩展

Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本文提出Self-Guided Self-Play算法，通过语言模型自身引导Conjecturer避免退化，解决传统自我对弈在计算资源扩展时的学习停滞问题，并在形式化定理证明中验证其有效性。

HLSmith: An Expert-Guided Agentic Framework for C/C++-to-HLS Translation

HLSmith：专家引导的C/C++到HLS转换智能体框架

Yuebo Luo, Ahmad Sedigh Baroughi, Philip Stachura, Le Chen, Venkatram Vishwanath, Zhenman Fang, Caiwen Ding

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出HLSmith框架，结合HLS优化专业知识库、分阶段反馈驱动编排流程及模型适配流水线，在PolyBench上较ChatHLS实现4.24倍几何平均加速比，所有基准均生成正确设计，开放权重模型下最高加速比达138倍。

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

情绪很重要：句法敏感性如何破坏安全对齐

Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto

机构 * University of Mannheim（曼海姆大学） ； Technical University Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该研究发现大型语言模型存在句法敏感性漏洞，16个700亿参数级模型可通过调控句法特征触发或抑制拒绝行为，源于开源模型后训练数据的语言偏见，增加句法多样性可缓解问题。

RTLCurator: Label-Efficient Data Curation for RTL Generation

RTLCurator：用于RTL生成的标签高效数据整理

Siyang Cai, Cangyuan Li, Wenjing Chang, Kun Wang, Haoyu Gao, Yinhe Han, Ying Wang

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 RTLCurator通过对比规范与模拟失败的实现学习兼容性先验，用少量验证配对校准后，平衡对齐度、覆盖度与结构丰富度保留80%语料，在CodeV和RTLCoder上提升RTL生成模型性能，仅需验证10%语料池。

Detecting Experiential Intertextuality Across Migration Routes: Beyond Surface Similarity in French Narratives

检测移民路线间的经验互文性：法语叙事中超越表面相似性

Sakayo Toadoum Sari, Nelly Robin, Michelle Auzanneau, Lakhdar Sais, Veronique Petit, Marie Veniard, Said Jabbour, Fabien Delorme

机构 * CRIL, CNRS – Université d’Artois（CRIL，法国国家科学研究中心——阿图瓦大学） ； CEPED, Université Paris Cité（CEPED，巴黎西岱大学） ； EDA, Université Paris Cité（EDA，巴黎西岱大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 本文提出无需标注训练数据的经验互文性检测任务，采用多种方法分析法语移民叙事，发现Qwen2.5-7B零-shot及监督混合方法表现最优，且叙事位置显著影响互文性。

Comments 11 pages, 3 figures, 5 tables. Accepted at SIGDIAL 2026 (27th Annual Meeting of the Special Interest Group on Discourse and Dialogue)

Journal ref Proceedings of the 27th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2026), Association for Computational Linguistics, 2026

EmoTrace: An Emotion Trajectory-Centered Framework for Psychological Support Dialogue Generation

EmoTrace：一种以情感轨迹为中心的心理支持对话生成框架

Kaitong Weng, Lixin Liu, Zihao Liu, Bo Wang, Shiguang Ni

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对现有心理支持对话数据生成方法的局限，提出EmoTrace框架，通过构建求助者认知概况及相关模块，以模拟其情感轨迹，增强情感表达层次性，实验证明该方法在情感丰富度和共情质量上优于现有方法。

Comments 36 pages, 20 figures

cMoLLM at Scale: Horizontal Scaling Laws for Mixture-of-LLMs

大规模的cMoLLM：语言模型混合的水平扩展定律

Xin Yang, Yemin Wang, Mingda Liu, Letian Li, Shuaishuai Cao, Zhengxiao He, Ryan Dong

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型训练和推理成本随模型规模线性增长的瓶颈，将MoE风格混合层 reformulate 为可变内核动态卷积，引入cMoLLM，在FineWeb训练的模型中提升了语言建模及下游任务表现，有更好流利用率等优势。

Comments 15 pages, 3 figures

Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers

符号增强弥补神经事实核查器中规范等价盲点

Genpei Zhang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型总结科学文本时数字和单位幻觉问题，提出将错误检测重定义为类型验证，引入分类法和基准。用符号增强训练框架，提升规范等价鲁棒性，提高准确率，还明确了符号特征及银标签在特定情况下的作用，确定训练时增强是关键集成点。

Comments 18 pages, 3 figures, 6 tables

Bigger Is Safer: Provable Robustness in In-Context Learning Scales with Capacity

可证明的上下文学习中的对抗鲁棒性

Di Zhang, Ningxu Zhang, Zimeng Liu

机构 * School of AI and Advanced Computing（人工智能与先进计算学院） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种分布鲁棒的元学习框架，通过推导非渐近界限，揭示了上下文学习在对抗条件下鲁棒性与模型容量、扰动强度之间的缩放关系。

Comments 27 pages

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

基于多级智能数据管理的自动硬示例合成

Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。

Comments 23 pages; work in progress

Are LLMs ready for HardChoices?

语言模型是否准备好应对艰难选择？

Dmitry Nikolaev

机构 * University of Manchester（曼彻斯特大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究通过新数据集检查大语言模型在重大社会问题上的立场，发现大小模型面对相关问题时很少中立、常不连贯，且在有立场的问题上有高度一致性。

Comments Accepted to Konvens 2026

CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

CoCoT-EEG：用于脑电解码的对比预训练多尺度卷积Transformer

Gabriel Mahuas, Victoria Shevchenko, Ugo Tanielian, Yassir Bendou, Richard Gao

机构 * Sigma Nova Paris（巴黎西格玛诺瓦公司） ； Goethe University Frankfurt（法兰克福歌德大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 研究针对EEG解码，开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT，在广泛基准解码任务中表现出色，优于单任务解码模型，证明对比学习构建EEG基础模型可行，还给出架构设计考量。

Smooth Scaling Laws Hide Stepwise Token Learning

平滑缩放定律隐藏了逐步的令牌学习

Pingjie Wang, Zechen Hu, Peiru Yang, Fu Guo, Debing Zhang

机构 * Dots Studio, Xiaohongshu Inc.（dots studio，小红书公司） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua university（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 本文提出令牌级框架，将缩放定律分解为上下文令牌的局部学习事件，通过拟合S形曲线发现令牌学习集中在局部转换中，并利用学习时间谱定量重建验证损失导数，进而通过重塑训练分布实现11%的验证损失加速降低。

Comments 21 pages

Lost in Backpropagation: The LM Head is a Gradient Bottleneck

陷入反向传播：语言模型头部是一个梯度瓶颈

Nathan Godey, Yoav Artzi

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 语言模型头部的梯度瓶颈导致表达和优化受限，影响训练效率，需新设计

Comments To be presented at COLM'26

LLMs Silently Correct African American English: Auditing and Mitigating Dialect Bias via Activation Steering

大语言模型对非裔美国英语的隐性纠正：通过激活引导来审计和减轻方言偏见

Huan Wu, Ali Emami, Muhammad Furquan Hassan, Osaretin Igbinoba, Osakpolor Idusuyi, Osamede Igbinoba, Faiza Khan Khattak, Laleh Seyyed-Kalantari

机构 * York University（约克大学） ； Vector Institute（向量研究所） ； Connected Minds（连接思维公司） ； Emory University（埃默里大学） ； Wilfrid Laurier University（威尔弗里德·劳里埃大学） ； University of Toronto（多伦多大学） ； University of Guelph（圭尔夫大学） ； Monark Health（莫纳克健康公司） ； CIFAR Solution Network（加拿大高级研究院解决方案网络） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 研究发现大语言模型会将非裔美国英语重写为标准美国英语，提出端到端框架审计和减轻偏见，审计用cDGI等方法，减轻偏见用激活引导，该方法比提示更有效，还发布了真实AAE平行语料库。

Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

超越拒绝：用于漏洞分析的对齐和消除拒绝的大语言模型的同谱系研究

Mingchen Li, Meikang Qiu, Zifan Peng, Heng Fan, Song Fu, Junhua Ding, Yunhe Feng

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型辅助软件安全中，同谱系模型的安全状态（对齐或消除拒绝）对软件安全工作流程防御效用的影响，通过比较不同模型在多方面的表现，发现评估应综合考量模型响应、响应正确性及输出在工程流程中的可操作性。

Curated retrieval versus open web search in public AI information services: a coverage-trust trade-off

公共人工智能信息服务中的 curated 检索与开放网页搜索：覆盖度-可信度权衡研究

Hafsteinn Einarsson, Hafsteinn Birgir Einarsson, Jón Gunnar Ólafsson, Jón Gunnar Þorsteinsson

机构 * Faculty of Industrial Engineering, Mechanical Engineering and Computer Science, University of Iceland（工业工程、机械工程和计算机科学学院，爱沙尼亚大学） ； Faculty of Political Science, University of Iceland（政治学学院，爱沙尼亚大学） ； The Icelandic Web of Science, University of Iceland（冰岛科学网络，爱沙尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对公共AI信息服务的源可信度问题，对比 curated 本地语料RAG与开放网页搜索两种检索路径，发现前者可信度高但覆盖有限，后者覆盖广但源可信度差，揭示了覆盖度与可信度的核心权衡。

Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

Memisis：协调和评估表格健康数据的合成数据

Nitish Nagesh, Pengbao Zhou, Atchuth Naveen Chilaparasetti, Yajat Nagaraj Kiran, Tu Nguyen, Arshia Harish Puthran, Muhjaazee Love, Aadi Sharma, Mahdi Bagheri, Ian Harris, Amir M. Rahmani

机构 * University of California Irvine（加州大学尔湾分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Memisis工具，通过结合现有合成数据工具、大语言模型和先进评估指标，协调和评估合成数据，以提高下游预测任务和临床决策的质量。