语言大模型 / LLM

Self-Supervised Pretraining of 3D Features on any Point-Cloud

Zaiwei Zhang, Rohit Girdhar, Armand Joulin, Ishan Misra

专题命中 预训练与数据 ：pretraining(title,abstract)

Multi-task Learning based Pre-trained Language Model for Code Completion

Fang Liu, Ge Li, Yunfei Zhao, Zhi Jin

专题命中 预训练与数据 ：language model(title,abstract)

Comments Accepted by International Conference on Automated Software Engineering (ASE 2020)

Learning Heatmap-Style Jigsaw Puzzles Provides Good Pretraining for 2D Human Pose Estimation

Kun Zhang, Rui Wu, Ping Yao, Kai Deng, Ding Li, Renbiao Liu, Chuanguang Yang, Ge Chen, Min Du, Tianyao Zheng

专题命中 预训练与数据 ：pretraining(title,abstract)

LAMP: Label Augmented Multimodal Pretraining

Jia Guo, Chen Zhu, Yilun Zhao, Heda Wang, Yao Hu, Xiaofei He, Deng Cai

专题命中 预训练与数据 ：pretraining(title,abstract)

Contrastive Visual-Linguistic Pretraining

Lei Shi, Kai Shuang, Shijie Geng, Peng Su, Zhengkai Jiang, Peng Gao, Zuohui Fu, Gerard de Melo, Sen Su

专题命中 预训练与数据 ：pretraining(title,abstract)

Improved and Scalable Online Learning of Spatial Concepts and Language Models with Mapping

Akira Taniguchi, Yoshinobu Hagiwara, Tadahiro Taniguchi, Tetsunari Inamura

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to Autonomous Robots (24 January 2020)

Combining Program Analysis and Statistical Language Model for Code Statement Completion

Son Nguyen, Tien N. Nguyen, Yi Li, Shaohua Wang

专题命中 预训练与数据 ：language model(title,abstract)

Comments Proceedings of the 34th IEEE/ACM International Conference on Automated Software Engineering Conference (ASE 2019)

Taking a HINT: Leveraging Explanations to Make Vision and Language Models More Grounded

Ramprasaath R. Selvaraju, Stefan Lee, Yilin Shen, Hongxia Jin, Shalini Ghosh, Larry Heck, Dhruv Batra, Devi Parikh

专题命中 预训练与数据 ：language model(title,abstract)

Comments Published at ICCV'2019

Journal ref The IEEE International Conference on Computer Vision (ICCV) 2019

Evaluating language models of tonal harmony

David R. W. Sears, Filip Korzeniowski, Gerhard Widmer

专题命中 预训练与数据 ：language model(title,abstract)

Comments 7 pages, 4 figures, 3 tables. To appear in Proceedings of the 19th International Society for Music Information Retrieval Conference (ISMIR), Paris, France

Exploring the Limits of Weakly Supervised Pretraining

Dhruv Mahajan, Ross Girshick, Vignesh Ramanathan, Kaiming He, Manohar Paluri, Yixuan Li, Ashwin Bharambe, Laurens van der Maaten

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Technical report

Improving OCR Accuracy on Early Printed Books by combining Pretraining, Voting, and Active Learning

Christian Reul, Uwe Springmann, Christoph Wick, Frank Puppe

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Submitted to JLCL Volume 33 (2018), Issue 1: Special Issue on Automatic Text and Layout Recognition

PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control

PonderPounce：作为机器人控制回合上下文引擎的预训练多模态大语言模型（MLLM）

Suhwan Choi, Jaeyoon Jung, Sungkyung Kim, Yunsung Lee, Youngjae Yu

机构 * Seoul National University（首尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 PonderPounce复用预训练MLLM的因果上下文作为机器人记忆，由System2 MLLM（Ponder）和System1 VLA（Pounce）组成，在RoboMME、RoboCasa-DC等数据集上的性能优于现有基线，实现了低延迟的机器人控制。

Comments Project page: this https URL (https://worv-ai.github.io/ponderpounce/)

ADE: Agentic Data Evolution Framework for Human-Centered Objectives

ADE：面向以人为中心目标的智能体数据演化框架

Yang Yu, Yilin Jiang, Zexuan Fei, Yiming Luo, Xingkai Song, Kaiyi Huang, Aimin Zhou, Xin Lin, Fei Tan

机构 * East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 针对大语言模型与以人为中心目标对齐的难题，提出以数据为中心的ADE框架，通过OVS流程与稳态准入机制提升数据质量，在多基准及不同场景下均实现性能提升。

Comments accepted by EMNLP 2026

Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation

学习失败的诱因：用于对抗性数据策展的失败模式上下文多臂老虎机

Roie Kazoom, Ofir Cohen, Rami Puzis, Asaf Shabtai, Ofer Hadar

机构 * Ben Gurion University of The Negev（本古里安大学内盖夫分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 该研究提出失败模式上下文多臂老虎机框架，通过检索增强等技术优化对抗性数据策展，在多项自然语言理解基准上提升模型准确率，还可迁移至事实核查任务，实现无需额外人工标注的鲁棒性提升。

Journal ref Transactions on Machine Learning Research (TMLR), August 2026

Scaling Creative Writing Beyond Story-Centric Data with Attribute-Guided Genre Expansion

通过属性引导的体裁扩展扩展非以故事为中心数据的创意写作规模

Hwan Chang, Yongil Kim, Heuiyeen Yeen, Yireun Kim, Jinsik Lee, Hwanhee Lee

机构 * Chung-Ang University（中央大学） ； LG AI Research（LG AI研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出属性引导的体裁扩展框架，构建涵盖13种体裁的5万示例语料库，经微调的模型在多类创意写作任务上表现优于基线模型，证实受控体裁扩展是提升创意写作能力的关键。

Comments CIKM 2026

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

iARCS：用于可控3D场景生成的迭代智能体强化学习

Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel, Ajad Chhatkuli, Danda Pani Paudel

机构 * Tribhuvan University（特里布文大学） ； Pulchowk Campus, IOE, Tribhuvan University（特里布文大学工程学院普尔乔克校区） ； NAAMII（尼泊尔先进数学与信息学研究所） ； INSAIT, Sofia University “St. Kliment Ohridski”（索菲亚大学圣克莱门特奥赫里德斯基分校INSAIT） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 研究针对现有3D场景生成器无法满足任务约束的问题，提出iARCS迭代智能体强化学习框架，通过两阶段策略优化约束保真度，生成的数据可改进基础生成器，具实用价值。

Comments 15 pages, 9 figures, 4 tables. Includes appendix

Poly-Dialectal Neural Machine Translation System for Bangla Regional Dialects

孟加拉语区域方言的多方言神经机器翻译系统

Rakib Ullah, Ruhul Islam Rahul, Tanbir Ahmed

机构 * SYLHET ENGINEERING COLLEGE（锡尔赫特工程学院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对孟加拉语方言翻译性能差的问题，本研究提出Poly-Dialectal神经机器翻译系统，构建含51531句对的最大多方言语料库，微调BanglaT5模型性能最优，还部署量化网络应用推动数字包容。

Toward a Theory of Value in AI Alignment

迈向AI对齐中的价值理论

Andrew Smart, Shazeda Ahmed, Jackie Kay, Jimmy Tobin, Kris Shrishak, Abeba Birhane

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究通过标注94篇AI价值对齐论文，发现多数未明确定义人类价值，转而依赖偏好，且采用合成数据等自动方法可能关闭价值践行路径，旨在明确该领域哲学承诺以丰富相关辩论。

Comments 15 pages, 2 figures

Scaling Self-Play with Self-Guidance

通过自我指导实现自我对弈的扩展

Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本文提出Self-Guided Self-Play算法，通过语言模型自身引导Conjecturer避免退化，解决传统自我对弈在计算资源扩展时的学习停滞问题，并在形式化定理证明中验证其有效性。

HLSmith: An Expert-Guided Agentic Framework for C/C++-to-HLS Translation

HLSmith：专家引导的C/C++到HLS转换智能体框架

Yuebo Luo, Ahmad Sedigh Baroughi, Philip Stachura, Le Chen, Venkatram Vishwanath, Zhenman Fang, Caiwen Ding

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出HLSmith框架，结合HLS优化专业知识库、分阶段反馈驱动编排流程及模型适配流水线，在PolyBench上较ChatHLS实现4.24倍几何平均加速比，所有基准均生成正确设计，开放权重模型下最高加速比达138倍。

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

情绪很重要：句法敏感性如何破坏安全对齐

Alina Klerings, Jannik Brinkmann, Heiner Stuckenschmidt, Simone Paolo Ponzetto

机构 * University of Mannheim（曼海姆大学） ； Technical University Clausthal（克劳斯塔尔工业大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该研究发现大型语言模型存在句法敏感性漏洞，16个700亿参数级模型可通过调控句法特征触发或抑制拒绝行为，源于开源模型后训练数据的语言偏见，增加句法多样性可缓解问题。

RTLCurator: Label-Efficient Data Curation for RTL Generation

RTLCurator：用于RTL生成的标签高效数据整理

Siyang Cai, Cangyuan Li, Wenjing Chang, Kun Wang, Haoyu Gao, Yinhe Han, Ying Wang

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 RTLCurator通过对比规范与模拟失败的实现学习兼容性先验，用少量验证配对校准后，平衡对齐度、覆盖度与结构丰富度保留80%语料，在CodeV和RTLCoder上提升RTL生成模型性能，仅需验证10%语料池。

Detecting Experiential Intertextuality Across Migration Routes: Beyond Surface Similarity in French Narratives

检测移民路线间的经验互文性：法语叙事中超越表面相似性

Sakayo Toadoum Sari, Nelly Robin, Michelle Auzanneau, Lakhdar Sais, Veronique Petit, Marie Veniard, Said Jabbour, Fabien Delorme

机构 * CRIL, CNRS – Université d’Artois（CRIL，法国国家科学研究中心——阿图瓦大学） ； CEPED, Université Paris Cité（CEPED，巴黎西岱大学） ； EDA, Université Paris Cité（EDA，巴黎西岱大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 本文提出无需标注训练数据的经验互文性检测任务，采用多种方法分析法语移民叙事，发现Qwen2.5-7B零-shot及监督混合方法表现最优，且叙事位置显著影响互文性。

Comments 11 pages, 3 figures, 5 tables. Accepted at SIGDIAL 2026 (27th Annual Meeting of the Special Interest Group on Discourse and Dialogue)

Journal ref Proceedings of the 27th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2026), Association for Computational Linguistics, 2026

EmoTrace: An Emotion Trajectory-Centered Framework for Psychological Support Dialogue Generation

EmoTrace：一种以情感轨迹为中心的心理支持对话生成框架

Kaitong Weng, Lixin Liu, Zihao Liu, Bo Wang, Shiguang Ni

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对现有心理支持对话数据生成方法的局限，提出EmoTrace框架，通过构建求助者认知概况及相关模块，以模拟其情感轨迹，增强情感表达层次性，实验证明该方法在情感丰富度和共情质量上优于现有方法。

Comments 36 pages, 20 figures

cMoLLM at Scale: Horizontal Scaling Laws for Mixture-of-LLMs

大规模的cMoLLM：语言模型混合的水平扩展定律

Xin Yang, Yemin Wang, Mingda Liu, Letian Li, Shuaishuai Cao, Zhengxiao He, Ryan Dong

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型训练和推理成本随模型规模线性增长的瓶颈，将MoE风格混合层 reformulate 为可变内核动态卷积，引入cMoLLM，在FineWeb训练的模型中提升了语言建模及下游任务表现，有更好流利用率等优势。

Comments 15 pages, 3 figures

Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers

符号增强弥补神经事实核查器中规范等价盲点

Genpei Zhang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型总结科学文本时数字和单位幻觉问题，提出将错误检测重定义为类型验证，引入分类法和基准。用符号增强训练框架，提升规范等价鲁棒性，提高准确率，还明确了符号特征及银标签在特定情况下的作用，确定训练时增强是关键集成点。

Comments 18 pages, 3 figures, 6 tables

Bigger Is Safer: Provable Robustness in In-Context Learning Scales with Capacity

可证明的上下文学习中的对抗鲁棒性

Di Zhang, Ningxu Zhang, Zimeng Liu

机构 * School of AI and Advanced Computing（人工智能与先进计算学院） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种分布鲁棒的元学习框架，通过推导非渐近界限，揭示了上下文学习在对抗条件下鲁棒性与模型容量、扰动强度之间的缩放关系。

Comments 27 pages

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

基于多级智能数据管理的自动硬示例合成

Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。

Comments 23 pages; work in progress

Are LLMs ready for HardChoices?

语言模型是否准备好应对艰难选择？

Dmitry Nikolaev

机构 * University of Manchester（曼彻斯特大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究通过新数据集检查大语言模型在重大社会问题上的立场，发现大小模型面对相关问题时很少中立、常不连贯，且在有立场的问题上有高度一致性。

Comments Accepted to Konvens 2026

CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding

CoCoT-EEG：用于脑电解码的对比预训练多尺度卷积Transformer

Gabriel Mahuas, Victoria Shevchenko, Ugo Tanielian, Yassir Bendou, Richard Gao

机构 * Sigma Nova Paris（巴黎西格玛诺瓦公司） ； Goethe University Frankfurt（法兰克福歌德大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 研究针对EEG解码，开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT，在广泛基准解码任务中表现出色，优于单任务解码模型，证明对比学习构建EEG基础模型可行，还给出架构设计考量。