语言大模型 / LLM

Fixed-Length Protein Embeddings using Contextual Lenses

Amir Shanehsazzadeh, David Belanger, David Dohan

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

PMI-Masking: Principled masking of correlated spans

Yoav Levine, Barak Lenz, Opher Lieber, Omri Abend, Kevin Leyton-Brown, Moshe Tennenholtz, Yoav Shoham

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention

Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2020

CERT: Contrastive Self-supervised Learning for Language Understanding

Hongchao Fang, Sicheng Wang, Meng Zhou, Jiayuan Ding, Pengtao Xie

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

A Tailored Pre-Training Model for Task-Oriented Dialog Generation

Jing Gu, Qingyang Wu, Chongruo Wu, Weiyan Shi, Zhou Yu

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments 7 pages, 1 figure

Training Question Answering Models From Synthetic Data

Raul Puri, Ryan Spring, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Joint Contextual Modeling for ASR Correction and Language Understanding

Yue Weng, Sai Sumanth Miryala, Chandra Khatri, Runze Wang, Huaixiu Zheng, Piero Molino, Mahdi Namazifar, Alexandros Papangelis, Hugh Williams, Franziska Bell, Gokhan Tur

专题命中 预训练与数据 ：language model(abstract)；SLM(abstract)；分类 cs.CL、cs.LG

Comments Accepted at IEEE ICASSP 2020

Rare Words: A Major Problem for Contextualized Embeddings And How to Fix it by Attentive Mimicking

Timo Schick, Hinrich Schütze

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments To appear at AAAI 2020

Improved training of end-to-end attention models for speech recognition

Albert Zeyer, Kazuki Irie, Ralf Schlüter, Hermann Ney

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments submitted to Interspeech 2018

Federated Learning for Emoji Prediction in a Mobile Keyboard

Swaroop Ramaswamy, Rajiv Mathews, Kanishka Rao, Françoise Beaufays

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Semi-supervised Sequence Learning

Andrew M. Dai, Quoc V. Le

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Writing literature reviews with AI: principles, hurdles and some lessons learned

用AI撰写文献综述：原则、障碍与一些经验教训

Saadi Lahlou, Annabelle Gouttebroze, Atrina Oraee, Julian Madera

机构 * London School of Economics and Political Science（伦敦政治经济学院） ； Paris Institute for Advanced Study（巴黎高级研究学院） 纠错

专题命中 预训练与数据 ：LLM(abstract,comments)；prompting(abstract)；分类 cs.AI

AI总结 本文通过比较不同AI辅助程度下的文献综述，揭示了AI生成内容的偏见、主流化倾向及局限性，强调了在使用AI撰写综述时需注意的防范措施。

Comments 31 pages and 193 pages of Appendices, including 6 different versions of the literature review, and complete chat with the LLM

Learning Time-Scale Invariant Population-Level Neural Representations

Eshani Patel, Yisong Yue, Geeling Chau

机构 * Computing & Mathematical Sciences（计算与数学科学） ； Computation & Neural Systems（计算与神经系统） ； California Institute of Technology（加州理工学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract,comments)；pretraining(abstract)；分类 cs.LG

Comments 10 pages, 5 figures, NeurIPS 2025 Foundation Models for the Brain and Body

Towards Typologically Aware Rescoring to Mitigate Unfaithfulness in Lower-Resource Languages

Tsan Tsai Chan, Xin Tong, Thi Thu Uyen Hoang, Barbare Tepnadze, Wojciech Stempniak

专题命中 预训练与数据 ：language model(abstract,comments)；large language model(abstract)；分类 cs.CL

Comments ISCA/ITG Workshop on Diversity in Large Speech and Language Models

BarcodeMamba: State Space Models for Biodiversity Analysis

Tiancheng Gao, Graham W. Taylor

专题命中 预训练与数据 ：foundation model(abstract,comments)；pretraining(abstract)；分类 cs.LG

Comments 9 pages, 2 figures, accepted at Foundation Models for Science: Progress, Opportunities, and Challenges Workshop (NeurIPS 2024)

FairSISA: Ensemble Post-Processing to Improve Fairness of Unlearning in LLMs

Swanand Ravindra Kadhe, Anisa Halimi, Ambrish Rawat, Nathalie Baracaldo

专题命中 预训练与数据 ：language model(abstract,comments)；large language model(abstract)；分类 cs.LG

Comments Accepted in NeurIPS 2023 Workshop on Socially Responsible Language Modelling Research (SoLaR)

AnimateAnyMesh++: A Flexible Feed-Forward Framework for High-Fidelity Text-Driven Mesh Animation

AnimateAnyMesh++: 一种灵活的4D基础模型用于高质量文本驱动的网格动画

Zijie Wu, Chaohui Yu, Fan Wang, Xiang Bai

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Hupan Lab, Hangzhou, China（湖畔实验室） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 本文提出AnimateAnyMesh++，通过扩展数据集、改进架构和生成能力，实现高质量文本驱动的网格动画，提升了轨迹重建和几何保真度。

Comments 15 pages, TPAMI 2026 accepted, code url: https://github.com/JarrentWu1031/AnimateAnyMesh-pp

LLM-Assisted Review Prioritization for German Statutory Health Insurance Websites: A Multi-Stage Corpus Audit

大语言模型辅助的德国法定医疗保险网站审核优先级排序：多阶段语料审计

Martin Möller

专题命中 预训练与数据 ：LLM(title)

AI总结 本研究针对德国法定医疗保险网站，提出一种结合多步骤的大语言模型辅助审核优先级排序工作流程，经实验验证可有效分配审核工作量，区分AI来源信号与质量声明。

Comments 31 pages, 5 figures. Also archived at Zenodo: https://doi.org/10.5281/zenodo.21738595

VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining

VLRC：视觉语言重投影一致性作为用于更好的前馈3D预训练的可扩展信号

Marwane Hariat, David Filliat, Antoine Manzanera

机构 * U2IS, ENSTA – Institut Polytechnique de Paris（U2IS，法国国立高等先进技术学校 - 巴黎综合理工学院） ； Pôle Recherche, Agence Ministérielle pour l’IA de Défense（军事人工智能部研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 研究提出视觉语言重投影一致性（VLRC），利用冻结的视觉语言表征作为语义多视图监督，无需额外3D标注，能提升3D重建精度等，为前馈3D预训练提供可扩展辅助目标。

GaussFusion: Towards Multimodal 3D Gaussian Pretraining

高斯融合：迈向多模态3D高斯预训练

Zhixuan You, Jihua Zhu, Yiding Sun, Zihao Guo, Haozhe Cheng, Dongxu Zhang, Lin Chen, Hainan Luo

机构 * Wuhu HIT Robot Technology Research Institute Co., Ltd.（芜湖哈工大机器人技术研究院有限公司） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 研究提出GaussFusion多模态3D高斯预训练框架，通过跨模态语义对齐集成图像和文本监督，还提出高斯显著性引导的多尺度空洞掩码，实验表明该方法提高了高斯表示可迁移性，在ModelNet40和ScanObjectNN上有性能提升。

Comments 32 pages, 6 figures, 6 tables

Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

面向3D计算机断层扫描的疾病中心视觉语言预训练与混合视觉编码

Bowen Shi, Weiwei Cao, Ruifeng Yuan, Wanxing Chang, Wenrui Dai, Hongkai Xiong, Ling Zhang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab, 310023, Hangzhou, China（虎扑实验室，杭州，中国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） ； Zhejiang University, China（浙江大学，中国） ； Fudan University, China（复旦大学，中国） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 提出一种结合CNN-ViT混合编码器、疾病级对比学习和诊断感知提示的视觉语言预训练框架，在CT-RATE和Rad-ChestCT上取得最优性能，并提升零样本诊断可靠性。

Comments ICML 2026

CDPM-Align: Multi-Scale Guidance-Aligned Diffusion Pretraining for Robust Few-Shot Anatomical Landmark Detection

CDPM-Align：用于鲁棒少样本解剖标志检测的多尺度引导对齐扩散预训练

Roberto Di Via, Irina Voiculescu, Francesca Odone, Vito Paolo Pastore

机构 * MaLGa ； DIBRIS, University of Genoa（DIBRIS，热那亚大学） ； University of Genoa（热那亚大学） ； Department of Computer Science, University of Oxford（奥大利大学计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 提出多尺度引导对齐的条件扩散预训练方法CDPM-Align，通过生成式预训练学习鲁棒表示，在少样本和低标注场景下提升解剖标志检测的准确性和不确定性。

Comments Accepted MICCAI 2026

MuellerPT: Decomposition Driven Pretraining for Dense Learning in Mueller Polarimetry

MuellerPT: 穆勒偏振测量中密集学习的分解驱动预训练

Adam Tlemsani, Yingdian Li, Maxime Giot, Naim Slim, Christopher J. Peters, Abhijeet Ghosh, Daniel S. Elson

机构 * Department of Computing, Imperial College London（帝国理工学院计算机系） ； Hamlyn Centre for Robotic Surgery, Imperial College London（帝国理工学院机器人外科中心） ； Department of Surgery and Cancer, Imperial College London（帝国理工学院外科与癌症系） ； Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 提出MuellerPT，一种通过预测Lu-Chipman分解图进行物理引导预训练的方法，在少样本分割和分类任务中显著提升标签效率和跨样本泛化能力。

Comments Accepted to 29th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2026)

UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models

UniE2F: 一种基于视频基础模型的统一扩散框架用于事件到帧重建

Gang Xu, Zhiyu Zhu, Junhui Hou

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Department of Computer Science, City University of Hong Kong (Dongguan)（香港城市大学（东莞）计算机科学系） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 本文提出UniE2F框架，利用预训练视频扩散模型的生成先验，从稀疏事件数据中重建高保真视频帧，通过引入事件基帧间残差引导提升重建精度，并扩展到零样本视频帧插值与预测。

Investigating the Segment Anything Foundation Model for Mapping Smallholder Agriculture Field Boundaries Without Training Labels

探究无需标注的Segment Anything基础模型用于映射小农户农业田块边界

Pratyush Tripathy, Kathy Baylis, Kyle Wu, Jyles Watson, Ruizhe Jiang

机构 * Department of Geography, University of California, Santa Barbara, CA, 93106 USA（地理系，加州大学圣巴巴拉分校，加州，圣巴巴拉，93106 USA） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 本文探讨了使用无需额外训练的Segment Anything模型（SAM）在印度比哈尔州利用SkySat影像映射小农户农业田块边界，评估了不同模型版本、输入尺寸和多日期影像对精度的影响，结果显示SAM在无标注数据下能准确识别约58%的田块边界。

Comments 11 pages, 6 main figures, 7 supplementary figures

Journal ref Science of Remote Sensing, Volume 13, 2026, 100425

Mocap-2-to-3: Multi-view Lifting for Monocular Motion Recovery with 2D Pretraining

Mocap-2-to-3：多视角提升用于单目运动恢复的2D预训练

Zhumei Wang, Zechen Hu, Ruoxi Guo, Huaijin Pi, Ziyong Feng, Liang Zhang, Mingtao Pei, Siyuan Huang

机构 * Beijing Institute of Technology（北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（国家一般人工智能重点实验室，BIGAI） ； Deep Glint ； Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） ； Shandong Agricultural University（山东农业大学） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 本文提出Mocap-2-to-3框架，通过多视角合成过程和分阶段训练提升单目运动恢复的精度与泛化能力，实现更精确的物理空间定位。

Comments Project page: https://wangzhumei.github.io/mocap-2-to-3/

Speech-Omni-Lite: Portable Speech Interfaces for Vision-Language Models

Speech-Omni-Lite: 用于视觉-语言模型的便携式语音接口

Dehua Tao, Xuan Luo, Daxin Tan, Kai Chen, Lanqing Hong, Jing Li, Ruifeng Xu, Xiao Chen

专题命中 预训练与数据 ：language model(title)

AI总结 Speech-Omni-Lite通过轻量模块扩展视觉-语言模型，实现低成本语音理解和生成，同时保持原有性能，实验显示其在少量语音数据下表现优异。

UniHM: Unified Dexterous Hand Manipulation with Vision Language Model

UniHM: 一体化的视觉语言模型用于统一的灵巧手操作

Zhenhao Zhang, Jiaxin Liu, Ye Shi, Jingya Wang

机构 * ShanghaiTech University（上海科技大学） ； InstAdapt 纠错

专题命中 预训练与数据 ：language model(title)

AI总结 UniHM通过统一的视觉语言模型实现灵巧手操作，利用开放词汇指令提升泛化能力和物理可行性。

Comments Accepted by ICLR 2026

MaskTerial: A Foundation Model for Automated 2D Material Flake Detection

MaskTerial: 一种用于自动2D材料片状物检测的基础模型

Jan-Lucas Uslu, Alexey Nekrasov, Alexander Hermans, Bernd Beschoten, Bastian Leibe, Lutz Waldecker, Christoph Stampfer

机构 * nd Institute of Physics（第二物理研究所） ； JARA-FIT, RWTH Aachen University, 52074 Aachen, Germany（JARA-FIT，亚琛工业大学） ； Visual Computing Institute, RWTH Aachen University, 52074 Aachen, Germany（视觉计算研究所，亚琛工业大学） 纠错

专题命中 预训练与数据 ：foundation model(title)

AI总结 MaskTerial是一种利用实例分割网络和不确定性估计模型，实现自动2D材料片状物检测的基础模型，显著提升了低对比度材料的检测性能。

Comments 9 pages, 5 figures

Journal ref Digital Discovery 4, 3744 (2025)

DafnyPro: LLM-Assisted Automated Verification for Dafny Programs

DafnyPro：基于LLM的自动验证框架用于Dafny程序

Debangshu Banerjee, Olivier Bouissou, Stefan Zetzsche

专题命中 预训练与数据 ：LLM(title)

AI总结 DafnyPro通过增强LLM生成验证注释的能力，提升了Dafny程序的自动验证效率和准确性。