语言大模型 / LLM

Comparative Analysis of Time Series Foundation Models for Demographic Forecasting: Enhancing Predictive Accuracy in US Population Dynamics

Aditya Akella, Jonathan Farah

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 6 pages, 4 figures, 3 tables

Breaking Language Barriers: Equitable Performance in Multilingual Language Models

Tanay Nagar, Grigorii Khvatskii, Anna Sokol, Nitesh V. Chawla

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； NSF Center for Computer Assisted Synthesis (CCAS), University of Notre Dame（国家科学基金会计算机辅助合成中心（CCAS）、诺特大学） ； University of Notre Dame（诺特大学） 纠错

专题命中 指令微调 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

Comments Accepted as a non-archival work-in-progress paper at the NAACL 2025 Student Research Workshop

Rethinking Safety in LLM Fine-tuning: An Optimization Perspective

Minseon Kim, Jin Myung Kwak, Lama Alssum, Bernard Ghanem, Philip Torr, David Krueger, Fazl Barez, Adel Bibi

机构 * Microsoft Research（微软研究院） ； KAIST（韩国科学技术院） ； KAUST（韩国科学技术大学） ； Université de Montréal（蒙特利尔大学） ； Mila（蒙特利尔人工智能研究院） ； WhiteBox（WhiteBox公司） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

DynaSwarm: Dynamically Graph Structure Selection for LLM-based Multi-agent System

Hui Yi Leong, Yuqing Wu

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments content error

SpectrumFM: Redefining Spectrum Cognition via Foundation Modeling

Chunyu Liu, Hao Zhang, Wei Wu, Fuhui Zhou, Qihui Wu, Derrick Wing Kwan Ng, Chan-Byoung Chae

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Nanjing University of Posts and Telecommunications（南京邮电大学） ； The University of New South Wales（新南威尔士大学） ； Yonsei University（延世大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments This paper has been accepted for presentation at the 2025 IEEE Global Communications Conference (GLOBECOM 2025), Cognitive Radio and AI-Enabled Network Symposium

Decision-Focused Fine-Tuning of Time Series Foundation Models for Dispatchable Feeder Optimization

Maximilian Beichter, Nils Friederich, Janik Pinter, Dorina Werling, Kaleb Phipps, Sebastian Beichter, Oliver Neumann, Ralf Mikut, Veit Hagenmeyer, Benedikt Heidrich

机构 * Institute for Automation and Applied Informatics (IAI), Karlsruhe Institute of Technology (KIT)（自动化与应用信息技术研究所（IAI），卡尔斯鲁厄理工学院） ； Institute of Biological and Chemical Systems (IBCS), Karlsruhe Institute of Technology (KIT)（生物与化学系统研究所（IBCS），卡尔斯鲁厄理工学院） ； Scientific Computing Center (SCC), Karlsruhe Institute of Technology (KIT)（科学计算中心（SCC），卡尔斯鲁厄理工学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Journal ref Energy and AI Volume 21, September 2025, 100533

Following Route Instructions using Large Vision-Language Models: A Comparison between Low-level and Panoramic Action Spaces

Vebjørn Haug Kåsene, Pierre Lison

机构 * University of Oslo（奥斯陆大学） ； Norwegian Computing Center（挪威计算中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted to ICNSLP 2025

H2Tune: Federated Foundation Model Fine-Tuning with Hybrid Heterogeneity

Wei Guo, Siyuan Lu, Yiqi Tong, Zhaojun Hu, Fuzhen Zhuang, Xiao Zhang, Tao Fan, Jin Dong

机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； School of Computer Science and Technology, Heilongjiang University（黑龙江大学计算机科学与技术学院） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Statistics, Renmin University of China（中国人民大学统计学院） ； Zhongguancun Laboratory, China（中关村实验室） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； WeBank Co., Ltd, Shenzhen, China（WeBank有限公司，深圳，中国） ； Beijing Academy of Blockchain and Edge Computing（北京区块链与边缘计算研究院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models

Delong Ran, Xinlei He, Tianshuo Cong, Anyu Wang, Qi Li, Xiaoyun Wang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments This work has been submitted to the IEEE for possible publication

SOI Matters: Analyzing Multi-Setting Training Dynamics in Pretrained Language Models via Subsets of Interest

Shayan Vassef, Amirhossein Dabiriaghdam, Mohammadreza Bakhtiari, Yadollah Yaghoobzadeh

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of British Columbia（不列颠哥伦比亚大学） ； Stony Brook University（石溪大学） ； University of Tehran（德黑兰大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

Federated Continual Instruction Tuning

Haiyang Guo, Fanhu Zeng, Fei Zhu, Wenzhuo Liu, Da-Han Wang, Jian Xu, Xu-Yao Zhang, Cheng-Lin Liu

机构 * School of Advanced Interdisciplinary Sciences, UCAS（中国科学院大学先进交叉学科学院） ； MAIS, CASIA（中国科学院自动化所人工智能研究所） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Centre for Artificial Intelligence and Robotics, HKISI-CAS（香港科技大学人工智能与机器人中心，中国科学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.AI、cs.LG

Comments ICCV 2025

Linearly Decoding Refused Knowledge in Aligned Language Models

Aryan Shrivastava, Ari Holtzman

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

TinyAlign: Boosting Lightweight Vision-Language Models by Mitigating Modal Alignment Bottlenecks

Yuanze Hu, Zhaoxin Fan, Xinyu Wang, Gen Li, Ye Qiu, Zhichao Yang, Wenjun Wu, Kejian Wu, Yifan Sun, Xiaotie Deng, Jin Dong

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算先进创新中心） ； Beihang University（北京航空航天大学） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Xreal ； Renmin University（中国人民大学） ； Peking University（北京大学） ； Beijing Academy of Blockchain and Edge Computing (BABEC)（北京区块链与边缘计算研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

Progtuning: Progressive Fine-tuning Framework for Transformer-based Language Models

Xiaoshuang Ji, Zhendong Zhao, Xiaojun Chen, Xin Zhao, Zeyao Liu

机构 * Institute of Information Engineering,Chinese Academy of Sciences（信息工程研究所，中国科学院） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Key Laboratory of Cyberspace Security Defense, Beijing, China（网络安全防御重点实验室，中国） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by ICONIP 2024

Personality Prediction from Life Stories using Language Models

Rasiq Hussain, Jerry Ma, Rithik Khandelwal, Joshua Oltmanns, Mehak Gupta

机构 * Southern Methodist University（南方 Methodist 大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 13 pages, 5 figures

Instituto de Telecomunicações at IWSLT 2025: Aligning Small-Scale Speech and Language Models for Speech-to-Text Learning

Giuseppe Attanasio, Sonal Sannigrahi, Ben Peters, André F. T. Martins

机构 * Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico（技术高等学院） ； Unbabel 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments 7 pages, 1 figure, IWSLT 2025

Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters

Anastasis Kratsios, Tin Sum Cheng, Aurelien Lucchi, Haitz Sáez de Ocáriz Borde

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Corrector Sampling in Language Models

Itai Gat, Neta Shaul, Uriel Singer, Yaron Lipman

机构 * FAIR at Meta（Meta FAIR） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

Taming Knowledge Conflicts in Language Models

Gaotang Li, Yuzhong Chen, Hanghang Tong

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments ICML 2025 (Spotlight)

Continual Learning in Vision-Language Models via Aligned Model Merging

Ghada Sokar, Gintare Karolina Dziugaite, Anurag Arnab, Ahmet Iscen, Pablo Samuel Castro, Cordelia Schmid

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AnomalyGFM: Graph Foundation Model for Zero/Few-shot Anomaly Detection

Hezhe Qiao, Chaoxi Niu, Ling Chen, Guansong Pang

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted by KDD2025

NexusSum: Hierarchical LLM Agents for Long-Form Narrative Summarization

Hyuntak Kim, Byung-Hak Kim

机构 * CJ Corporation（CJ公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to the main track of ACL 2025

RepCali: High Efficient Fine-tuning Via Representation Calibration in Latent Space for Pre-trained Language Models

Fujun Zhang, Xiaoying Fan, XiangDong Su, Guanglai Gao

机构 * College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments 13 pages, 4 figures

Efficient Ensemble for Fine-tuning Language Models on Multiple Datasets

Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

机构 * Northeastern University（东北大学） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 17 pages. To appear in ACL'25

Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond

Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang

机构 * First Author Affiliation（第一作者机构） 纠错

专题命中 指令微调 ：SFT(title)；post-training(abstract)；分类 cs.CL、cs.LG

Comments v4: ACL'25 industry track camera ready; v3: minor modifications; v2: better writing & format for later submission; all release at https://github.com/Qihoo360/Light-R1

DataVisT5: A Pre-trained Language Model for Jointly Understanding Text and Data Visualization

Zhuoyue Wan, Yuanfeng Song, Shuaimin Li, Chen Jason Zhang, Raymond Chi-Wing Wong

机构 * PolyU ； WeBank Co., Ltd（WeBank公司） ； HKUST（香港科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Enhancing Low-Resource Language and Instruction Following Capabilities of Audio Language Models

Potsawee Manakul, Guangzhi Sun, Warit Sirichotedumrong, Kasima Tharnpipitchai, Kunat Pipatanakul

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Interspeech 2025

An LLM-Empowered Low-Resolution Vision System for On-Device Human Behavior Understanding

Siyang Jiang, Bufang Yang, Lilin Xu, Mu Yuan, Yeerzhati Abudunuer, Kaiwei Liu, Liekang Zeng, Hongkai Chen, Zhenyu Yan, Xiaofan Jiang, Guoliang Xing

机构 * The Chinese University of Hong Kong, Hong Kong SAR（香港中文大学） ； Columbia University, United States（哥伦比亚大学） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning

Jieming Bian, Yuanzhe Peng, Lei Wang, Yin Huang, Jie Xu

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments survey paper, under updating

LocAgent: Graph-Guided LLM Agents for Code Localization

Zhaoling Chen, Xiangru Tang, Gangda Deng, Fang Wu, Jialong Wu, Zhiwei Jiang, Viktor Prasanna, Arman Cohan, Xingyao Wang

机构 * Yale University（耶鲁大学） ； University of Southern California（南加州大学） ； Stanford University（斯坦福大学） ； All Hands AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL、cs.AI