语言大模型 / LLM

Generative Context-aware Fine-tuning of Self-supervised Speech Models

Suwon Shon, Kwangyoun Kim, Prashant Sridhar, Yi-Te Hsu, Shinji Watanabe, Karen Livescu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Training Multi-Layer Over-Parametrized Neural Network in Subquadratic Time

Zhao Song, Lichen Zhang, Ruizhe Zhang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments ITCS 2024

Form follows Function: Text-to-Text Conditional Graph Generation based on Functional Requirements

Peter A. Zachares, Vahan Hovhannisyan, Alan Mosca, Yarin Gal

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

On the Automatic Generation and Simplification of Children's Stories

Maria Valentini, Jennifer Weber, Jesus Salcido, Téa Wright, Eliana Colunga, Katharina Kann

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2023 (main conference)

Improving Few-shot Generalization of Safety Classifiers via Data Augmented Parameter-Efficient Fine-Tuning

Ananth Balashankar, Xiao Ma, Aradhana Sinha, Ahmad Beirami, Yao Qin, Jilin Chen, Alex Beutel

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Last One Standing: A Comparative Analysis of Security and Privacy of Soft Prompt Tuning, LoRA, and In-Context Learning

Rui Wen, Tianhao Wang, Michael Backes, Yang Zhang, Ahmed Salem

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Bactrian-X: Multilingual Replicable Instruction-Following Models with Low-Rank Adaptation

Haonan Li, Fajri Koto, Minghao Wu, Alham Fikri Aji, Timothy Baldwin

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning

Liam Collins, Shanshan Wu, Sewoong Oh, Khe Chai Sim

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

The Poison of Alignment

Aibek Bekbayev, Sungbae Chun, Yerzat Dulat, James Yamazaki

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

Harnessing the Power of David against Goliath: Exploring Instruction Data Generation without Using Closed-Source Models

Yue Wang, Xinrui Wang, Juntao Li, Jinxiong Chang, Qishen Zhang, Zhongyi Liu, Guannan Zhang, Min Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

Towards Automatically Addressing Self-Admitted Technical Debt: How Far Are We?

Antonio Mastropaolo, Massimiliano Di Penta, Gabriele Bavota

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

GIST: Generating Image-Specific Text for Fine-grained Object Classification

Kathleen M. Lewis, Emily Mu, Adrian V. Dalca, John Guttag

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Comments The first two authors contributed equally to this work and are listed in alphabetical order

RL4F: Generating Natural Language Feedback with Reinforcement Learning for Repairing Model Outputs

Afra Feyza Akyürek, Ekin Akyürek, Aman Madaan, Ashwin Kalyan, Peter Clark, Derry Wijaya, Niket Tandon

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；language agent(abstract)；分类 cs.CL

Comments ACL 2023

SAIL: Search-Augmented Instruction Learning

Hongyin Luo, Yung-Sung Chuang, Yuan Gong, Tianhua Zhang, Yoon Kim, Xixin Wu, Danny Fox, Helen Meng, James Glass

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

Explicit Knowledge Transfer for Weakly-Supervised Code Generation

Zhangir Azerbayev, Ansong Ni, Hailey Schoelkopf, Dragomir Radev

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Updated on Jun 7. 2023 with ICLR workshop header

Improving Cross-Task Generalization with Step-by-Step Instructions

Yang Wu, Yanyan Zhao, Zhongyang Li, Bing Qin, Kai Xiong

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；prompting(abstract)；分类 cs.CL

UIO at SemEval-2023 Task 12: Multilingual fine-tuning for sentiment classification in low-resource languages

Egil Rønningstad

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments Submitted to SemEval-2023, The 17th International Workshop on Semantic Evaluation

DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task

Honglin Xiong, Sheng Wang, Yitao Zhu, Zihao Zhao, Yuxiao Liu, Linlin Huang, Qian Wang, Dinggang Shen

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Learning Better Intent Representations for Financial Open Intent Classification

Xianzhi Li, Will Aitken, Xiaodan Zhu, Stephen W. Thomas

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to FinNLP-2022, in conjunction with EMNLP-2022

NERDA-Con: Extending NER models for Continual Learning -- Integrating Distinct Tasks and Updating Distribution Shifts

Supriti Vijay, Aman Priyanshu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 6 pages, 4 figures, Accepted at Workshop on Updatable Machine Learning(UpML), International Conference on Machine Learning (ICML'22)

LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs

Reza Arabpour, Haitz Sáez de Ocáriz Borde, Anastasis Kratsios

机构 * Department of Mathematics, McMaster University, Hamilton, Canada（麦斯特大学数学系） ； Vector Institute, Toronto, Canada（向量研究所） ； University of Oxford, Oxford, United Kingdom（牛津大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG；foundation model(comments)

Comments 5-page main paper (excluding references) + 11-page appendix, 3 tables, 1 figure. Accepted to ICML 2025 Workshop on Efficient Systems for Foundation Models

Can LLMs Follow Simple Rules?

Norman Mu, Sarah Chen, Zifan Wang, Sizhe Chen, David Karamardian, Lulwa Aljeraisy, Basel Alomair, Dan Hendrycks, David Wagner

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG；LLM(comments)

Comments Project website: https://eecs.berkeley.edu/~normanmu/llm_rules; revised content

Activation-Weighted Seeded Residual Coding for Low-Bit LLM Weight Repair

用于低比特大语言模型权重修复的激活加权种子残差编码

Zehao Liu, Chuangchuang Fang, Yang Ren

机构 * Huawei Boole RC（华为布尔研究中心） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.LG

AI总结 针对低比特大语言模型量化的误差问题，提出AWSRC编解码器修复权重，在Qwen2.5-3B-Instruct上可显著缩小与BF16模型的质量差距，且侧载体积小、性能优于同类编解码器。

Comments 5 pages, 2 figures

V-FiLLM: Verified Financial LLM Reasoning Benchmark

V-FiLLM：经过验证的金融大语言模型推理基准

Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhmasari, Lara Turgut, Nino Antulov-Fantulin

机构 * ETH Zürich（苏黎世联邦理工学院） ； Aisot Technologies Ltd（艾索特科技有限公司） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.AI、cs.LG

AI总结 本文提出V-FiLLM框架生成高可靠性金融推理基准，发现开源模型在金融推理深度增加及数值扰动下准确率显著下降，轻量级LoRA微调可提升模型在相关任务的表现。

Comments 10 pages, 6 tables, 2 figures, under review

Role Steering of Language Models for Social Simulations

用于社会模拟的语言模型角色引导

Isaac Song, Mohammed Rehan Parwani, Glenn Matlin, Emile Anand, Akhil Theerthala, Arjun Chatterjee, Anthony Wen-Ming Zang, Maria Kostylew, Yonadav G. Shavit, Sebastien Krier, Mark Riedl

机构 * Georgia Institute of Technology（佐治亚理工学院） ； ML Alignment & Theory Scholars (MATS)（ML对齐与理论学者组织（MATS）） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Oxford（牛津大学） ； Google DeepMind（谷歌DeepMind） ； OpenAI（开放人工智能公司） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

AI总结 该研究提出针对语言模型智能体的角色引导筛选工作流，在OLMo-3-7B-Instruct上验证其角色画像对齐度更高且词汇多样性更好，发现需按角色选引导系数而非统一高强度设置。

Comments 35 pages. Published at the Social Sim'26 Workshop, COLM 2026. Code: https://github.com/eilab-gt/casting-call-vectors

FedCC: A Low-Resource Federated Adaptation of Foundation Models for Robust Corpus Callosum localization in Fetal Ultrasound Images

FedCC：用于胎儿超声图像中胼胝体稳健定位的基础模型低资源联邦适应

Alessandro Di Matteo, Sara Moccia, Giuseppe Rizzo, Gianpaolo Grisolia, Ricciarda Raffaelli, Lorenzo Vasciaveo, Francesco D'Antonio, Maria Chiara Fiorentino

机构 * unich（那不勒斯费德里克二世大学） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.AI、cs.LG

AI总结 针对胎儿超声图像中胼胝体定位难题，提出FedCC框架，集成冻结的DINOv2主干与轻量级YOLO检测头，并引入LoRA模块。在多中心数据集上评估，该框架性能出色，减少了可训练参数与通信成本，迈向可临床部署的胎儿神经超声AI系统。

DrugGen 2: A disease-aware language model for enhancing drug discovery

DrugGen 2：一种用于增强药物发现的疾病感知语言模型

Ali Motahharynia, Mohammadreza Ghaffarzadeh-Esfahani, Mahsa Sheikholeslami, Navid Mazrouei, Matin Irajpour, Yousof Gheisari, Hajar Sirous

机构 * Regenerative Medicine Research Center（再生医学研究中心） ； Isfahan University of Medical Sciences（伊斯法罕医科大学） ； Isfahan Neuroscience Research Center（伊斯法罕神经科学研究中心） ； School of Pharmacy（药学院） ； Department of Medicinal Chemistry（药理化学系） ； Cardiovascular Research Institute（心血管研究学院） ； Department of Genetics and Molecular Biology（基因与分子生物学系） ； Bioinformatics Research Center（生物信息学研究中心） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.AI、cs.LG

AI总结 研究针对当前药物设计计算方法忽视疾病背景的问题，提出DrugGen-2模型，通过微调预训练GPT-2模型，经监督微调与强化学习两步策略，依疾病和靶点设计小分子，在糖尿病肾病靶点评估中性能超基线模型，推动AI辅助药物发现。

Comments 15 pages, 2 figures, 1 table, and 4 supplementary files. To use the model, see https://github.com/alimotahharynia/DrugGen-2

Two Axes of LLM Abstention: Answer Correctness and Question Answerability

大语言模型弃权的两个轴：答案正确性和问题可回答性

Benedikt J. Wagner

机构 * University of London（伦敦大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型弃权的两个轴，即答案正确性和问题可回答性。发现普通方法无法区分二者，通过对多个模型研究找到不同轴的特点及问题所在，提出校准策略，可提高答案质量，在不同规模下控制不可回答答案率和错误答案率。

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization

逃离模式抽彩：多响应训练提升语言模型泛化能力

Hasan Amin, Kian Ahrabian, Ming Yin, Rajiv Khanna

机构 * Department of Computer Science, Purdue University（计算机科学系，普渡大学） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

AI总结 本文提出多响应训练（MRT）方法，通过保留每个提示的多个有效响应来缓解传统单响应微调导致的“模式抽彩”问题，并从统计角度揭示了其提升分布泛化的原理和适用条件。

FediLoRA: Practical Federated Fine-Tuning of Foundation Models Under Missing-Modality Constraints

FediLoRA: 在缺失模态约束下联邦微调基础模型的实用方法

Lishan Yang, Wei Emma Zhang, Nam Kha Nguygen, Po Hu, Yanjun Shu, Weitong Chen, Mong Yuan Sim

机构 * Adelaide University（阿德莱德大学） ； Central China Normal University（中央中国师范大学） ； Harbin Institute of Technology（哈尔滨工程大学） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.AI、cs.LG

AI总结 本文提出FediLoRA，一种轻量级的联邦LoRA聚合框架，旨在解决联邦学习中异构环境下的缺失模态问题，通过联合简单平均和结构化编辑提升全局和个性化模型性能，实现在多个通用领域和医疗领域基准数据集上的强大表现。

Comments 8 pages, 7 figures