语言大模型 / LLM

Text-to-CadQuery: A New Paradigm for CAD Generation with Scalable Large Model Capabilities

Haoyang Xie, Feng Ju

机构 * School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Privacy-Preserved Automated Scoring using Federated Learning for Educational Research

Ehsan Latif, Xiaoming Zhai

机构 * AI4STEM Education Center（AI4STEM教育中心） ； Department of Mathematics, Science, and Social Studies Education（数学、科学与社会科学教育系） ； University of Georgia（佐治亚大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to AIED25

Fight Fire with Fire: Defending Against Malicious RL Fine-Tuning via Reward Neutralization

Wenjun Cao

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Binding threshold units with artificial oscillatory neurons

Vladimir Fanaskov, Ivan Oseledets

机构 * AIRI, Skoltech（AI研究机构，莫斯科斯克里普钦科技学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?

Hao Du, Shang Liu, Yang Cao

机构 * Hokkaido University（北海道大学） ； China University of Mining and Technology（中国矿业大学） ； Institute of Science Tokyo（东京科学研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments accepted by DBSec25

Can LLMs Detect Intrinsic Hallucinations in Paraphrasing and Machine Translation?

Evangelia Gogoulou, Shorouq Zahra, Liane Guillou, Luise Dürlich, Joakim Nivre

机构 * RISE Research Institutes of Sweden, Department of Computer Science（瑞典RISE研究机构，计算机科学系） ； Uppsala University, Department of Linguistics and Philology（乌普萨拉大学，语言学与哲学系） ； KTH Royal Institute of Technology, Division of Software and Computer Systems（皇家理工学院，软件与计算机系统系） ； University of Edinburgh, School of Informatics（爱丁堡大学，信息学院） 纠错

专题命中 指令微调 ：LLM(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning

Zhekai Du, Yinjie Min, Jingjing Li, Ke Lu, Changliang Zou, Liuhua Peng, Tingjin Chu, Mingming Gong

机构 * University of Electronic Science and Technology of China（电子科技大学） ； The University of Melbourne（墨尔本大学） ； Nankai University（南开大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Application and Optimization of Large Models Based on Prompt Tuning for Fact-Check-Worthiness Estimation

Yinglong Yu, Hao Shen, Zhengyi Lyu, Qi He

机构 * Communication University of China（中国通信大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation

Peiyang Wu, Nan Guo, Xiao Xiao, Wenming Li, Xiaochun Ye, Dongrui Fan

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Direct Advantage Regression: Aligning LLMs with Online AI Reward

Li He, He Zhao, Stephen Wan, Dadong Wang, Lina Yao, Tongliang Liu

专题命中 指令微调 ：language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

Selective Demonstration Retrieval for Improved Implicit Hate Speech Detection

Yumin Kim, Hwanhee Lee

机构 * Chung-Ang University（中央大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning

Anh Tong, Thanh Nguyen-Tang, Dongeun Lee, Duc Nguyen, Toan Tran, David Hall, Cheongwoong Kang, Jaesik Choi

机构 * Korea University（高丽大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Texas A&M University-Commerce（德州农工大学 Commerce 分校） ； Qualcomm AI Research（高通人工智能研究部） ； Stanford（斯坦福大学） ； KAIST（韩国科学技术院） ； Qualcomm Vietnam Company Limited（高通越南有限公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICLR 2025

AROMA: Autonomous Rank-one Matrix Adaptation

Hao Nan Sheng, Zhi-yong Wang, Mingrui Yang, Hing Cheung So

机构 * City University of Hong Kong（香港城市大学） ； The University of Hong Kong（香港大学） ； AI Chip Center for Embedded Smart System（嵌入式智能系统AI芯片中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

SEE: Continual Fine-tuning with Sequential Ensemble of Experts

Zhilin Wang, Yafu Li, Xiaoye Qu, Yu Cheng

机构 * Jilin University（吉林大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 9pages

DynMoLE: Boosting Mixture of LoRA Experts Fine-Tuning with a Hybrid Routing Mechanism

Dengchun Li, Naizheng Wang, Zihao Zhang, Haoyang Yin, Lei Duan, Meng Xiao, Mingjie Tang

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 22 pages, 7 figures

FRASE: Structured Representations for Generalizable SPARQL Query Generation

Papa Abdou Karim Karou Diallo, Amal Zouaq

机构 * Polytechnique Montreal（蒙特利尔理工学院） ； Mila（米拉研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning

Jiancheng Zhao, Xingda Yu, Zhen Yang

机构 * Shandong University（山东大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Multi-View and Multi-Scale Alignment for Contrastive Language-Image Pre-training in Mammography

Yuexi Du, John Onofrey, Nicha C. Dvornek

机构 * Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments This paper is accepted by IPMI 2025 for Oral Presentation

StableToolBench-MirrorAPI: Modeling Tool Environments as Mirrors of 7,000+ Real-World APIs

Zhicheng Guo, Sijie Cheng, Yuchen Niu, Hao Wang, Sicheng Zhou, Wenbing Huang, Yang Liu

机构 * Tsinghua University（清华大学） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； RayNeo（雷尼奥） ； Google（谷歌） ； The University of Toronto（多伦多大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Deterministic AI Agent Personality Expression through Standard Psychological Diagnostics

J. M. Diederik Kruijssen, Nicholas Emmons

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 25 pages, 8 figures, 4 tables; appeared in ADI (March 2025)

Journal ref ADI 2, 15-39 (2025)

R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning

Huatong Song, Jinhao Jiang, Yingqian Min, Jie Chen, Zhipeng Chen, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； DataCanvas Alaya NeW 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Identity Lock: Locking API Fine-tuned LLMs With Identity-based Wake Words

Hongyu Su, Yifeng Gao, Yifan Ding, Xingjun Ma

机构 * Fudan University（复旦大学） ； School of CS, Fudan University（复旦大学计算机科学技术学院） ； Shanghai Key Lab of Intell. Info. Processing（上海市智能信息处理重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Backtracking for Safety

Bilgehan Sel, Dingcheng Li, Phillip Wallis, Vaishakh Keshava, Ming Jin, Siddhartha Reddy Jonnalagadda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Automating Violence Detection and Categorization from Ancient Texts

Alhassan Abdelhalim, Michaela Regneri

机构 * Universität Hamburg（汉堡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data

Binqian Xu, Xiangbo Shu, Haiyang Mei, Guosen Xie, Basura Fernando, Jinhui Tang

机构 * Nanjing University of Science and Technology（南京理工大学） ； National University of Singapore（新加坡国立大学） ； Institute of High-Performance Computing, A*STAR（新加坡高性能计算研究院（新加坡科研局下属机构）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

DriveGen: Towards Infinite Diverse Traffic Scenarios with Large Models

Shenyu Zhang, Jiaguo Tian, Zhengbang Zhu, Shan Huang, Jucheng Yang, Weinan Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 3 figures

Extrapolation Merging: Keep Improving With Extrapolation and Merging

Yiguan Lin, Bin Xu, Yinghao Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Uncovering Gaps in How Humans and LLMs Interpret Subjective Language

Erik Jones, Arjun Patrawala, Jacob Steinhardt

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Published at ICLR 2025

Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs

Bianca Raimondi, Saverio Giallorenzo, Maurizio Gabbrielli

机构 * University of Bologna（博洛尼亚大学） ； INRIA（法国国家信息与自动化研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments The 40th ACM/SIGAPP Symposium On Applied Computing

Grams: Gradient Descent with Adaptive Momentum Scaling

Yang Cao, Xiaoyu Li, Zhao Song

机构 * Cranberry-Lemon University（蔓越莓柠檬大学） ； University of the Witwatersrand（金山大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments SCOPE Workshop @ ICLR 2025