语言大模型 / LLM

Provable unlearning in topic modeling and downstream tasks

Stanley Wei, Sadhika Malladi, Sanjeev Arora, Amartya Sanyal

机构 * Princeton University（普林斯顿大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

How Does Critical Batch Size Scale in Pre-training?

Hanlin Zhang, Depen Morwani, Nikhil Vyas, Jingfeng Wu, Difan Zou, Udaya Ghai, Dean Foster, Sham Kakade

机构 * Harvard University（哈佛大学） ； Kempner Institute at Harvard University（哈佛大学凯普勒研究所） ； University of California, Berkeley（加州大学伯克利分校） ； The University of Hong Kong（香港大学） ； Amazon（亚马逊公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments ICLR 2025, Blog post: https://kempnerinstitute.harvard.edu/research/deeper-learning/how-does-critical-batch-size-scale-in-pre-training-decoupling-data-and-model-size

Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus

Raviraj Joshi, Kanishk Singla, Anusha Kamath, Raunak Kalani, Rakesh Paul, Utkarsh Vaidya, Sanjay Singh Chauhan, Niranjan Wartikar, Eileen Long

机构 * NVIDIA 纠错

专题命中 预训练与数据 ：SLM(abstract)；分类 cs.CL、cs.LG

LongStory: Coherent, Complete and Length Controlled Long story Generation

Kyeongman Park, Nakyeong Yang, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Scaling Laws for Data-Efficient Visual Transfer Learning

Wenxuan Yang, Qingqu Wei, Chenxi Ma, Weimin Tan, Bo Yan

机构 * School of Computer Science, Fudan University（复旦大学计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

VDocRAG: Retrieval-Augmented Generation over Visually-Rich Documents

Ryota Tanaka, Taichi Iki, Taku Hasegawa, Kyosuke Nishida, Kuniko Saito, Jun Suzuki

机构 * NTT Human Informatics Laboratories, NTT Corporation（NTT公司人类信息学研究所） ； Tohoku University（东北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by CVPR 2025; project page: https://vdocrag.github.io

Automatic Detection of Intro and Credits in Video using CLIP and Multihead Attention

Vasilii Korolkov, Andrey Yanchenko

机构 * Binat, Inc.（比纳特公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 22 pages, 11 figures, submitted as a preprint. ArXiv preprint only, not submitted to a journal yet

ChatEMG: Synthetic Data Generation to Control a Robotic Hand Orthosis for Stroke

Jingxi Xu, Runsheng Wang, Siqi Shang, Ava Chen, Lauren Winterbottom, To-Liang Hsu, Wenxi Chen, Khondoker Ahmed, Pedro Leandro La Rotta, Xinyue Zhu, Dawn M. Nilsen, Joel Stein, Matei Ciocarlie

机构 * Columbia University（哥伦比亚大学） ； Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.AI、cs.LG

Comments 8 pages; accepted to RA-L in November 2024; published at RA-L in February 2025

Sabiá-3 Technical Report

Hugo Abonizio, Thales Sales Almeida, Thiago Laitz, Roseval Malaquias Junior, Giovana Kerche Bonás, Rodrigo Nogueira, Ramon Pires

机构 * Maritaca AI 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

WinoWhat: A Parallel Corpus of Paraphrased WinoGrande Sentences with Common Sense Categorization

Ine Gevers, Victor De Marez, Luna De Bruyne, Walter Daelemans

机构 * University of Antwerp（安特卫普大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Advancements in Natural Language Processing: Exploring Transformer-Based Architectures for Text Understanding

Tianhao Wu, Yu Wang, Ngoc Quach

机构 * OceanAI（海洋人工智能公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted by the 5th International Conference on Artificial Intelligence and Industrial Technology Applications (AIITA 2025)

Fantastic Copyrighted Beasts and How (Not) to Generate Them

Luxi He, Yangsibo Huang, Weijia Shi, Tinghao Xie, Haotian Liu, Yue Wang, Luke Zettlemoyer, Chiyuan Zhang, Danqi Chen, Peter Henderson

机构 * Princeton University（普林斯顿大学） ； University of Washington（华盛顿大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of Southern California（南加利福尼亚大学） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.AI、cs.LG

MF-CLIP: Leveraging CLIP as Surrogate Models for No-box Adversarial Attacks

Jiaming Zhang, Lingyu Qiu, Qi Yi, Yige Li, Jitao Sang, Changsheng Xu, Dit-Yan Yeung

机构 * Hong Kong University of Science and Technology（香港科技大学） ； University of Naples Federico II（那不勒斯费德里科二世大学） ； Singapore Management University（新加坡管理大学） ； Beijing Jiaotong University（北京交通大学） ； National Lab of Pattern Recognition（模式识别国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Incomplete Utterance Rewriting with Editing Operation Guidance and Utterance Augmentation

Zhiyu Cao, Peifeng Li, Yaxin Fan, Qiaoming Zhu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Mitigating Paraphrase Attacks on Machine-Text Detectors via Paraphrase Inversion

Rafael Rivera Soto, Barry Chen, Nicholas Andrews

机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Collapse or Thrive? Perils and Promises of Synthetic Data in a Self-Generating World

Joshua Kazdan, Rylan Schaeffer, Apratim Dey, Matthias Gerstgrasser, Rafael Rafailov, David L. Donoho, Sanmi Koyejo

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Accepted at NeurIPS 2024 Workshops: Mathematics of Modern Machine Learning (M3L) and Attributing Model Behavior at Scale (ATTRIB)

DiffGAP: A Lightweight Diffusion Module in Contrastive Space for Bridging Cross-Model Gap

Shentong Mo, Zehua Chen, Fan Bao, Jun Zhu

机构 * Tsinghua University（清华大学） ； Carnegie Mellon University（卡内基梅隆大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Shengshu AI（昇树科技） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

VisualWebInstruct: Scaling up Multimodal Instruction Data through Web Search

Yiming Jia, Jiachen Li, Xiang Yue, Bo Li, Ping Nie, Kai Zou, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of Toronto（多伦多大学） ； University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Technical Report

Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers

Kabir Ahuja, Vidhisha Balachandran, Madhur Panwar, Tianxing He, Noah A. Smith, Navin Goyal, Yulia Tsvetkov

机构 * University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research（微软研究院） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted in TACL Code now available: https://github.com/kabirahuja2431/transformers-hg

Reinforcement Learning is all You Need

Yongsheng Lian

机构 * University of Louisville（路易斯维尔大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments 15 pages, 2 figures

CPT-Boosted Wav2vec2.0: Towards Noise Robust Speech Recognition for Classroom Environments

Ahmed Adel Attia, Dorottya Demszky, Tolulope Ogunremi, Jing Liu, Carol Espy-Wilson

机构 * University of Maryland（马里兰大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

Comments arXiv admin note: substantial text overlap with arXiv:2405.13018

Journal ref ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

G2PDiffusion: Cross-Species Genotype-to-Phenotype Prediction via Evolutionary Diffusion

Mengdi Liu, Zhangyang Gao, Hong Chang, Stan Z. Li, Shiguang Shan, Xilin Chen

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心AI实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

WinTSR: A Windowed Temporal Saliency Rescaling Method for Interpreting Time Series Deep Learning Models

Md. Khairul Islam, Judy Fox

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 14 figures, GitHub https://github.com/khairulislam/Timeseries-Explained

Intermediate-Task Transfer Learning: Leveraging Sarcasm Detection for Stance Detection

Gibson Nkhata, Susan Gauch

机构 * University of Arkansas（阿肯色大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Comments 8 pages, 2 figures, published in The Sixteenth International Conference on Information (eKNOW 2024)

Hebbian learning the local structure of language

P. Myles Eugenio

机构 * Indiana University（印第安纳大学） ； University of Connecticut（康涅狄格大学） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments 10 figures, 14 pages

GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages

Amir Hossein Kargaran, François Yvon, Hinrich Schütze

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Sorbonne Université（索邦大学） ； CNRS（法国国家科学研究中心） ； ISIR（巴黎机器人与智能系统研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2024

SynGhost: Invisible and Universal Task-agnostic Backdoor Attack via Syntactic Transfer

Pengzhou Cheng, Wei Du, Zongru Wu, Fengwei Zhang, Libo Chen, Zhuosheng Zhang, Gongshen Liu

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments 17 pages, 16 figures, 12 tables, accepted at NAACL 2025 Findings

Iterative Counterfactual Data Augmentation

Mitchell Plyler, Min Chi

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments AAAI 2025

Mitigating Bias in RAG: Controlling the Embedder

Taeyoun Kim, Jacob Springer, Aditi Raghunathan, Maarten Sap

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

Comments 26 pages (8 main), 12 figures, 7 tables

Optimizing Pre-Training Data Mixtures with Mixtures of Data Expert Models

Lior Belenki, Alekh Agarwal, Tianze Shi, Kristina Toutanova

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG