语言大模型 / LLM

A Cross-Modal Rumor Detection Scheme via Contrastive Learning by Exploring Text and Image internal Correlations

Bin Ma, Yifei Zhang, Yongjin Xian, Qi Li, Linna Zhou, Gongxun Miao

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Task Diversity Shortens the ICL Plateau

Jaeyeon Kim, Sehyun Kwon, Joo Young Choi, Jongho Park, Jaewoong Cho, Jason D. Lee, Ernest K. Ryu

机构 * Harvard University（哈佛大学） ； Samsung Research（三星研究所） ； KRAFTON ； UC Berkeley（加州大学伯克利分校） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

ScaffoldGPT: A Scaffold-based GPT Model for Drug Optimization

Xuefeng Liu, Songhao Jiang, Ian Foster, Jinbo Xu, Rick Stevens

机构 * Argonne National Laboratory（阿贡国家实验室） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

CAST: Cross Attention based multimodal fusion of Structure and Text for materials property prediction

Jaewan Lee, Changyoung Park, Hongjun Yang, Sungbin Lim, Woohyung Lim, Sehui Han

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 4 figures

Iterative Repair with Weak Verifiers for Few-shot Transfer in KBQA with Unanswerability

Riya Sawhney, Samrat Yadav, Indrajit Bhattacharya, Mausam

机构 * Indian Institute of Technology, Delhi（印度理工学院德里分校） ； Graviton Research Capital（引力资本） ； KnowDis AI 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Journal ref Findings 2025

MINR: Implicit Neural Representations with Masked Image Modelling

Sua Lee, Joonhun Lee, Myungjoo Kang

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Accepted to the ICCV 2023 workshop on Out-of-Distribution Generalization in Computer Vision

Does visualization help AI understand data?

Victoria R. Li, Johnathan Sun, Martin Wattenberg

机构 * Harvard University（哈佛大学） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments 5 pages, 6 figures

PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding

Jang Hyun Cho, Andrea Madotto, Effrosyni Mavroudi, Triantafyllos Afouras, Tushar Nagarajan, Muhammad Maaz, Yale Song, Tengyu Ma, Shuming Hu, Suyog Jain, Miguel Martin, Huiyu Wang, Hanoona Rasheed, Peize Sun, Po-Yao Huang, Daniel Bolya, Nikhila Ravi, Shashank Jain, Tammy Stark, Shane Moon, Babak Damavandi, Vivian Lee, Andrew Westbury, Salman Khan, Philipp Krähenbühl, Piotr Dollár, Lorenzo Torresani, Kristen Grauman, Christoph Feichtenhofer

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Technical Report

Towards Robust Speech Recognition for Jamaican Patois Music Transcription

Jordan Madden, Matthew Stone, Dimitri Johnson, Daniel Geddez

机构 * Jamaica Artificial Intelligence Association（牙买加人工智能协会） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Combining Language and Topic Models for Hierarchical Text Classification

Jaco du Toit, Marcel Dunaiski

机构 * Computer Science Division, Mathematical Sciences Department（计算机科学系、数学科学系） ； Stellenbosch University（斯特伦博斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments 13 pages, 2 figures

Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning

Patrik Reizinger, Bálint Mucsányi, Siyuan Guo, Benjamin Eysenbach, Bernhard Schölkopf, Wieland Brendel

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 16 pages, 7 figures

Overview of the TREC 2022 deep learning track

Nick Craswell, Bhaskar Mitra, Emine Yilmaz, Daniel Campos, Jimmy Lin, Ellen M. Voorhees, Ian Soboroff

机构 * Microsoft（微软公司） ； University College London（伦敦大学学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Neural Magic Inc（Neural Magic公司） ； University of Waterloo（滑铁卢大学） ； NIST（国家标准与技术研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Comments arXiv admin note: substantial text overlap with arXiv:2507.08191, arXiv:2507.08890

Unsupervised Morphological Tree Tokenizer

Qingyang Zhu, Xiang Hu, Pengyu Ji, Wei Wu, Kewei Tu

机构 * New York University（纽约大学） ； Ant Group（蚂蚁集团） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments ACL 2025 Findings

UrbanMind: Towards Urban General Intelligence via Tool-Enhanced Retrieval-Augmented Generation and Multilevel Optimization

Kai Yang, Zelin Zhu, Chengtao Jian, Hui Ma, Shengjie Zhao, Xiaozhou Ye, Ye Ouyang

机构 * Tongji University（同济大学） ； Xinjiang University（新疆大学） ； Asiainfo Technologies（亚洲信息科技） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

Generating Synthetic Relational Tabular Data via Structural Causal Models

Frederik Hoppe, Astrid Franz, Lars Kleinemeier, Udo Göbel

机构 * CONTACT Software GmbH（CONTACT软件公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to Table Representation Learning Workshop at ACL 2025

On convex decision regions in deep network representations

Lenka Tětková, Thea Brüsch, Teresa Karen Scheidt, Fabian Martin Mager, Rasmus Ørtoft Aagaard, Jonathan Foldager, Tommy Sonne Alstrøm, Lars Kai Hansen

机构 * Section for Cognitive Systems, DTU Compute, Technical University of Denmark（认知系统部门，DTU计算学院，丹麦技术大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Natural language processing for African languages

David Ifeoluwa Adelani

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments PhD thesis

Ensemble BERT for Medication Event Classification on Electronic Health Records (EHRs)

Shouvon Sarker, Xishuang Dong, Lijun Qian

机构 * Center of Excellence in Research and Education for Big Military Data Intelligence (CREDIT Center)（大数据智能研究与教育中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Prairie View A&M University（普拉姆维尤农业与机械大学） ； Texas A&M University System（德克萨斯农工大学系统） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings

Haonan Chen, Hong Liu, Yuping Luo, Liang Wang, Nan Yang, Furu Wei, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Stanford University（斯坦福大学） ； Microsoft Corporation（微软公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Homepage: https://haon-chen.github.io/MoCa/

OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The University of Hong Kong（香港大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Oxford（牛津大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Camera Ready

In-Context Learning Strategies Emerge Rationally

Daniel Wurgaft, Ekdeep Singh Lubana, Core Francisco Park, Hidenori Tanaka, Gautam Reddy, Noah D. Goodman

机构 * Department of Psychology, Stanford University（斯坦福大学心理学系） ； CBS-NTT Program in Physics of Intelligence, Harvard University（哈佛大学物理智能计划） ； Joseph Henry Laboratories of Physics, Princeton University（普林斯顿大学乔赛夫·亨利物理实验室） ； Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Preprint

RoBERTa-BiLSTM: A Context-Aware Hybrid Model for Sentiment Analysis

Md. Mostafizer Rahman, Ariful Islam Shiplu, Yutaka Watanobe, Md. Ashad Alam

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Protein Structure Tokenization: Benchmarking and New Recipe

Xinyu Yuan, Zichen Wang, Marcus Collins, Huzefa Rangwala

机构 * Mila - Quebec AI Institute（魁北克AI研究所） ； Amazon（亚马逊） ； University of Montreal（蒙特利尔大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at ICML 2025

Stylized Structural Patterns for Improved Neural Network Pre-training

Farnood Salehi, Vandit Sharma, Amirhossein Askari Farsangi, Tunç Ozan Aydın

机构 * Disney Research | Studios（迪士尼研究机构） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs

Liang Zeng, Yongcong Li, Yuzhen Xiao, Changshi Li, Chris Yuhao Liu, Rui Yan, Tianwen Wei, Jujie He, Xuchen Song, Yang Liu, Yahui Zhou

机构 * Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs（Skywork-SWE：揭示软件工程中大语言模型的数据扩展规律） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

End-to-End Spoken Grammatical Error Correction

Mengjie Qian, Rao Ma, Stefano Bannò, Mark J. F. Gales, Kate M. Knill

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.CL、cs.LG

Comments This work has been submitted to the IEEE for possible publication

Next-Token Prediction Should be Ambiguity-Sensitive: A Meta-Learning Perspective

Leo Gagnon, Eric Elmoznino, Sarthak Mittal, Tom Marty, Tejas Kasetty, Dhanya Sridhar, Guillaume Lajoie

机构 * Mila - Quebec's AI Institute. Université de Montréal（魁北克人工智能研究所-蒙特利尔大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations

Puchun Liu, C. L. Philip Chen, Yubin He, Tong Zhang

机构 * Guangdong Provincial Key Laboratory of AI Large Model and Intelligent Cognition（人工智能大模型与智能认知广东省重点实验室） ； School of Computer Science and Engineering（计算机科学与工程学院） ； South China University of Technology（华南理工大学） ； Pazhou Lab（琶洲实验室） ； Engineering Research Center of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human（教育部健康智能感知与平行数字人工程研究中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Segment Concealed Objects with Incomplete Supervision

Chunming He, Kai Li, Yachao Zhang, Ziyun Yang, Youwei Pang, Longxiang Tang, Chengyu Fang, Yulun Zhang, Linghe Kong, Xiu Li, Sina Farsiu

机构 * Department of Biomedical Engineering, Duke University（生物医学工程系，杜克大学） ； Meta ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； School of Information and Communication Engineering, Dalian University of Technology（信息与通信工程学院，大连理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments IEEE TPAMI

Journal ref 10.1109/TPAMI.2025.3576209

Assessing the Impact of Anisotropy in Neural Representations of Speech: A Case Study on Keyword Spotting

Guillaume Wisniewski, Séverine Guillaume, Clara Rosina Fernández

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI