语言大模型 / LLM

$π$-yalli: un nouveau corpus pour le nahuatl

Juan-Manuel Torres-Moreno, Juan-José Guzmán-Landa, Graham Ranger, Martha Lorena Avendaño Garrido, Miguel Figueroa-Saavedra, Ligia Quintana-Torres, Carlos-Emiliano González-Gallardo, Elvys Linhares Pontes, Patricia Velázquez Morales, Luis-Gil Moreno Jiménez

机构 * IEE, Universidad Veracruzana（韦拉克鲁斯大学IEE） ； LIFAT, Université François Rabelais à Tours（图尔弗朗索瓦·拉伯雷大学LIFAT） ； Trading Central Labs, Trading Central（Trading Central实验室,Trading Central） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, in French language, 2 figures

Exploring the Landscape for Generative Sequence Models for Specialized Data Synthesis

Mohammad Zbeeb, Mohammad Ghorayeb, Mariam Salman

机构 * American University of Beirut（贝鲁特美国大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments 25 pages, 7 figures, 3 tables, 1 algorithm. code @ https://github.com/Moe-Zbeeb/Exploring-the-landscape-for-generative-models-for-specialized-data-generation.git

Journal ref J Data Analytic Eng Decision Making, 1(2), 01-14 (2024)

Language verY Rare for All

Ibrahim Merad, Amos Wolf, Ziad Mazzawi, Yannick Léo

机构 * Kaukana Ventures（考卡纳风险投资公司） ； Emerton Data（埃默顿数据公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

Scaling Laws for Pre-training Agents and World Models

Tim Pearce, Tabish Rashid, Dave Bignell, Raluca Georgescu, Sam Devlin, Katja Hofmann

机构 * Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Beyond Scaleup: Knowledge-aware Parsimony Learning from Deep Networks

Quanming Yao, Yongqi Zhang, Yaqing Wang, Nan Yin, James Kwok, Qiang Yang

机构 * Tsinghua University（清华大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to AI Magazine

Multilingual and Explainable Text Detoxification with Parallel Corpora

Daryna Dementieva, Nikolay Babakov, Amit Ronen, Abinew Ali Ayele, Naquee Rizwan, Florian Schneider, Xintong Wang, Seid Muhie Yimam, Daniil Moskovskiy, Elisei Stakovskii, Eran Kaufman, Ashraf Elnagar, Animesh Mukherjee, Alexander Panchenko

机构 * Technical University of Munich（慕尼黑工业大学） ； Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学） ； Shenkar College（申卡尔学院） ； University of Hamburg（汉堡大学） ； Bahir Dar University（巴达尔大学） ； IIT Kharagpur（印度理工学院克勒格布尔分校） ； Skoltech（斯科尔科沃科技学院） ； AIRI（人工智能研究所） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Sharjah（沙迦大学） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.CL、cs.AI

Comments COLING 2025, main conference, long

GraphMoRE: Mitigating Topological Heterogeneity via Mixture of Riemannian Experts

Zihao Guo, Qingyun Sun, Haonan Yuan, Xingcheng Fu, Min Zhou, Yisen Gao, Jianxin Li

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by the Main Technical Track of the 39th Annual AAAI Conference on Artificial Intelligence (AAAI-2025)

Learning from Synthetic Data for Visual Grounding

Ruozhen He, Ziyan Yang, Paola Cascante-Bonilla, Alexander C. Berg, Vicente Ordonez

机构 * Rice University（莱斯大学） ； University of Maryland（马里兰大学） ； University of California, Irvine（加州大学欧文分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments Project Page: https://catherine-r-he.github.io/SynGround/

Distinguishing Scams and Fraud with Ensemble Learning

Isha Chadalavada, Tianhui Huang, Jessica Staddon

机构 * Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

LA4SR: illuminating the dark proteome with generative AI

David R. Nelson, Ashish Kumar Jaiswal, Noha Ismail, Alexandra Mystikou, Kourosh Salehi-Ashtiani

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Copyright-Protected Language Generation via Adaptive Model Fusion

Javier Abad, Konstantin Donhauser, Francesco Pinto, Fanny Yang

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments 47 pages, 21 Figures. arXiv admin note: substantial text overlap with arXiv:2407.20105

Can In-context Learning Really Generalize to Out-of-distribution Tasks?

Qixun Wang, Yifei Wang, Yisen Wang, Xianghua Ying

机构 * Peking University（北京大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Preprint, under review

BYE: Build Your Encoder with One Sequence of Exploration Data for Long-Term Dynamic Scene Understanding

Chenguang Huang, Shengchao Yan, Wolfram Burgard

机构 * University of Freiburg（弗莱堡大学） ； University of Technology Nuremberg（纽伦堡工业大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

A gentle push funziona benissimo: making instructed models in Italian via contrastive activation steering

Daniel Scalena, Elisabetta Fersini, Malvina Nissim

机构 * University of Milano - Bicocca（米兰比可卡大学） ； University of Groningen（格罗宁根大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

PIANIST: Learning Partially Observable World Models with LLMs for Multi-Agent Decision Making

Jonathan Light, Sixue Xing, Yuanzhe Liu, Weiqin Chen, Min Cai, Xiusi Chen, Guanzhi Wang, Wei Cheng, Yisong Yue, Ziniu Hu

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； Shenzhen University（深圳大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； California Institute of Technology（加州理工学院） ； NEC laboratories America（美国 NEC 实验室） ； xAI 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

Comments Published at Language Gamification Workshop 2024 @ NeurIPS

Beyond Data Scarcity: A Frequency-Driven Framework for Zero-Shot Forecasting

Liran Nochumsohn, Michal Moshkovitz, Orly Avner, Dotan Di Castro, Omri Azencot

机构 * Ben-Gurion University（本古里安大学） ； Bosch Center of AI（博世人工智能中心） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Harlequin: Color-driven Generation of Synthetic Data for Referring Expression Comprehension

Luca Parolari, Elena Izzo, Lamberto Ballan

机构 * University of Padova（帕多瓦大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ICPR 2024

Adaptable Embeddings Network (AEN)

Stan Loosmore, Alexander Titus

机构 * University of Southern California（南加州大学） ； In Vivo Group 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments 20 pages

CodeArt: Better Code Models by Attention Regularization When Symbols Are Lacking

Zian Su, Xiangzhe Xu, Ziyang Huang, Zhuo Zhang, Yapeng Ye, Jianjun Huang, Xiangyu Zhang

机构 * Purdue University（普渡大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

On the Shortcut Learning in Multilingual Neural Machine Translation

Wenxuan Wang, Wenxiang Jiao, Jen-tse Huang, Zhaopeng Tu, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯人工智能实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Comments Accepted by Neurocomputing 2024

Physics in Next-token Prediction

Hongjun An, Yiliang Song, Xuelong Li

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Second Submit

Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning

Ahmed Aboulfotouh, Ashkan Eshaghbeigi, Dimitrios Karslidis, Hatem Abou-Zeid

机构 * University of Calgary（卡尔加里大学） ； Qoherent Inc.（科赫伦特公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

MVKTrans: Multi-View Knowledge Transfer for Robust Multiomics Classification

Shan Cong, Zhiling Sang, Hongwei Liu, Haoran Luo, Xin Wang, Hong Liang, Jie Hao, Xiaohui Yao

机构 * College of Intelligent Systems Science and Engineering, Harbin Engineering University（哈尔滨工程大学智能系统科学与工程学院） ； Qingdao Innovation and Development Center, Harbin Engineering University（哈尔滨工程大学青岛创新发展中心） ； Institute of Medical Information, Chinese Academy of Medical Sciences & Peking Union Medical College（中国医学科学院北京协和医学院医学信息研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Ethical Concern Identification in NLP: A Corpus of ACL Anthology Ethics Statements

Antonia Karamolegkou, Sandrine Schiller Hansen, Ariadni Christopoulou, Filippos Stamatiou, Anne Lauscher, Anders Søgaard

机构 * University of Copenhagen（哥本哈根大学） ； Verita International School（维丽塔国际学校） ； University of Hamburg（汉堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

SPRING Lab IITM's submission to Low Resource Indic Language Translation Shared Task

Hamees Sayed, Advait Joglekar, Srinivasan Umesh

机构 * Indian Institute of Technology Madras（印度马德拉斯理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Published in WMT 2024. Low-Resource Indic Language Translation Shared Task

Interpreting CLIP: Insights on the Robustness to ImageNet Distribution Shifts

Jonathan Crabbé, Pau Rodríguez, Vaishaal Shankar, Luca Zappella, Arno Blaas

机构 * University of Cambridge（剑桥大学） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Published in TMLR

Impact of Label Noise on Learning Complex Features

Rahul Vashisht, P. Krishna Kumar, Harsha Vardhan Govind, Harish G. Ramaswamy

机构 * Indian Institute of Technology Madras（印度马德拉斯理工学院） ； IIITDM Kancheepuram（坎奇普兰印度信息技术与设计学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Accepted at Workshop on Scientific Methods for Understanding Deep Learning, NeurIPS 2024

No Train, all Gain: Self-Supervised Gradients Improve Deep Frozen Representations

Walter Simoncini, Spyros Gidaris, Andrei Bursuc, Yuki M. Asano

机构 * University of Amsterdam（阿姆斯特丹大学） ； QUVA Lab, University of Amsterdam（阿姆斯特丹大学QUVA实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2024. Code available at https://github.com/WalterSimoncini/fungivision

Chronos: Learning the Language of Time Series

Abdul Fatir Ansari, Lorenzo Stella, Caner Turkmen, Xiyuan Zhang, Pedro Mercado, Huibin Shen, Oleksandr Shchur, Syama Sundar Rangapuram, Sebastian Pineda Arango, Shubham Kapoor, Jasper Zschiegner, Danielle C. Maddix, Hao Wang, Michael W. Mahoney, Kari Torkkola, Andrew Gordon Wilson, Michael Bohlke-Schneider, Yuyang Wang

机构 * AWS AI Labs（AWS人工智能实验室） ； UC San Diego（加州大学圣迭戈分校） ； University of Freiburg（弗莱堡大学） ； Rutgers University（罗格斯大学） ； Amazon Supply Chain Optimization Technologies（亚马逊供应链优化技术部） ； UC Berkeley（加州大学伯克利分校） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Code and model checkpoints available at https://github.com/amazon-science/chronos-forecasting

Little Giants: Synthesizing High-Quality Embedding Data at Scale

Haonan Chen, Liang Wang, Nan Yang, Yutao Zhu, Ziliang Zhao, Furu Wei, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Microsoft Corporation（微软公司） 纠错

专题命中 预训练与数据 ：preference optimization(abstract)；分类 cs.CL、cs.AI