语言大模型 / LLM

GroundAct: Can LLM Agents Ground Actions in Environmental States?

GroundAct：LLM智能体能否在环境状态中实现动作落地？

Zixuan Wang, Dingming Li, Hongxing Li, Yanrui Miao, Shuo Chen, Yuchen Yan, Wenqi Zhang, Yongliang Shen, Weiming Lu, Jun Xiao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出GroundAct基准，通过1500个场景和16592个任务实例评估15个LLM，发现动作落地能力是多维挑战，不能仅通过模型规模解决。

Comments Project Page: https://zju-real.github.io/OmniEmbodied Code: https://github.com/ZJU-REAL/OmniEmbodied

Data Difficulty and the Generalization--Extrapolation Tradeoff in LLM Fine-Tuning

数据难度与LLM微调中的泛化-外推权衡

Siyuan Liu, Tinghong Chen, Xinghan Li, Yifei Wang, Jingzhao Zhang

机构 * IIIS, Tsinghua University（清华大学人工智能学院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Amazon AGI SF Lab（亚马逊AGI旧金山实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文通过实证和理论分析，研究了监督微调中数据难度对模型行为的影响，发现数据难度与数据量共同决定泛化与外推之间的权衡，并存在最优难度随数据量增加而向更难数据偏移的规律。

Comments Accepted to ICML 2026

Memorize Theorems, Not Instances: Probing SFT Generalization through Mathematical Reasoning

记忆定理而非实例：通过数学推理探究SFT泛化

Ruiying Peng, Mengyu Yang, Jing Lei, Xiaohui Li, Xueyu Wu, Xinlei Chen

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； Huawei Technologies（华为技术） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.AI、cs.LG

AI总结 针对监督微调（SFT）损害推理泛化的问题，提出Theorem-SFT方法，通过显式定理应用训练，在多个基准上取得显著提升，并揭示前馈层是推理规则的主要存储位置。

Bilevel Optimization of Synthetic Trajectories for Multi-Turn LLM Fine-Tuning

用于多轮LLM微调的合成轨迹的双层优化

Shresth Verma, Mauricio Tec, Cheol Woo Kim, Kai Wang, Milind Tambe

机构 * Harvard University（哈佛大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出BOOST双层优化框架，通过内层加权训练和外层轻量级重加权头学习，解决合成轨迹质量异质性导致的LLM多轮交互性能下降问题。

Truthful Online Preference Aggregation for LLM Fine-Tuning in Mobile Crowdsourcing

移动众包中用于LLM微调的诚实在线偏好聚合

Shugang Hao, Lingjie Duan

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对移动众包中工人可能策略性谎报偏好反馈的问题，提出一种动态贝叶斯博弈模型和在线加权聚合机制，确保工人诚实反馈并实现次线性遗憾。

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu

机构 * Department of Computer Science, Western University, London, Canada（加拿大伦敦西方大学计算机科学系） ； Department of Biochemistry, Western University, London, Canada（加拿大伦敦西方大学生物化学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Cuttlefish，一种统一多模态大语言模型，通过缩放感知适配器和几何基础适配器，自适应调整结构令牌数量并注入几何线索，以提升异构结构推理性能。

Comments Accepted by ICML 2026

Learnability-Informed Fine-Tuning of Diffusion Language Models

扩散语言模型的可学习性感知微调

Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

机构 * Department of Computer Science and Engineering, Texas A\&M University, College Station, TX, USA（计算机科学与工程系，德克萨斯A&M大学，College Station, TX, USA） ； Department of Electrical and Computer Engineering, Texas A\&M University, College Station, TX, USA（电气与计算机工程系，德克萨斯A&M大学，College Station, TX, USA） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对扩散语言模型（DLM）推理能力提升问题，提出基于可学习性感知的微调算法LIFT，通过在不同扩散时间步对齐训练与信息可用性，在六个推理基准上超越现有SFT基线，在AIME'24和AIME'25上实现高达3倍的相对提升。

Goal-Conditioned Supervised Learning for LLM Fine-Tuning

面向目标的监督学习用于大语言模型微调

Shijun Li, Kaiwen Dong, Xiang Gao, Joydeep Ghosh

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Intuit AI Research（Intuit人工智能研究） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出目标条件监督学习（GCSL）框架，通过将反馈信号作为显式目标，利用监督学习生成高质量响应，改进了传统监督微调和直接偏好优化的局限性。

From Feedback Loops to Policy Updates: Reinforcement Fine-Tuning for LLM-Based Alpha Factor Discovery

从反馈循环到政策更新：基于强化微调的LLM驱动的alpha因子发现

Lingzhe Zhang, Tong Jia, Yunpeng Zhai, Zixuan Xie, Chiming Duan, Minghua He, Philip S. Yu, Ying Li

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） ； Nanjing University（南京大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出QuantEvolver框架，通过强化微调将可执行量化评估转化为策略更新，提升LLM在alpha因子发现中的表现，生成高质量且互补的因子池。

Parameter Efficiency Is Not Memory Efficiency: Rethinking Fine-Tuning for On-Device LLM Adaptation

参数效率不等于内存效率：重新思考设备端LLM适应的微调

Irene Tenison, Stella Ahn, Miriam Kim, Ebtisam Alshehri, Lalana Kagal

机构 * MIT CSAIL（MIT计算机科学与人工智能实验室） ； Harvard SEAS（哈佛大学科学、工程与应用数学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文挑战参数效率等同于内存效率的假设，提出LARS框架通过约束激活子空间降低内存消耗，实验证明在不同设备上均能提升内存效率和性能。

Classifying German Language Proficiency Levels Using Large Language Models

利用大型语言模型分类德语语言水平

Elias-Leander Ahlers, Witold Brunsmann, Malte Schilling

机构 * Computer Science Department University of Münster（穆尔斯特大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文利用大型语言模型对德语文本进行CEFR水平分类，通过多种方法提升分类性能，展示了LLMs在语言水平评估中的应用潜力。

Comments Accepted at 3rd International Conference on Foundation and Large Language Models (FLLM2025), Vienna (Austria)

MEIT: Multimodal Electrocardiogram Instruction Tuning on Large Language Models for Report Generation

Zhongwei Wan, Che Liu, Xin Wang, Chaofan Tao, Hui Shen, Jing Xiong, Rossella Arcucci, Huaxiu Yao, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； Imperial College London（伦敦帝国理工学院） ； The University of Hong Kong（香港大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(title)；language model(title)；分类 cs.CL、cs.LG

Comments ACL 2025

Commander-GPT: Fully Unleashing the Sarcasm Detection Capability of Multi-Modal Large Language Models

Yazhou Zhang, Chunwang Zou, Bo Wang, Jing Qin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments Our original goal was to use Commander-GPT: Dividing and Routing for Multimodal Sarcasm Detection (arXiv:2506.19420) to replace Commander-GPT: Fully Unleashing the Sarcasm Detection Capability of Multi-Modal Large Language Models (arXiv:2503.18681). Due to various reasons, both versions were released, so we would like to withdraw the latter

Exploring the LLM Journey from Cognition to Expression with Linear Representations

Yuzi Yan, Jialian Li, Yipin Zhang, Dong Yan

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments Published in ICML 2024

Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing

Zhangchen Xu, Fengqing Jiang, Luyao Niu, Yuntian Deng, Radha Poovendran, Yejin Choi, Bill Yuchen Lin

专题命中 指令微调 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Link: https://magpie-align.github.io/

FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning

Weirui Kuang, Bingchen Qian, Zitao Li, Daoyuan Chen, Dawei Gao, Xuchen Pan, Yuexiang Xie, Yaliang Li, Bolin Ding, Jingren Zhou

专题命中 指令微调 ：LLM(title,abstract)；large language model(title)；language model(title)；分类 cs.LG

Comments Source code: https://github.com/alibaba/FederatedScope/tree/llm

Self-Correction Bench: Uncovering and Addressing the Self-Correction Blind Spot in Large Language Models

Self-Correction Bench：揭示并解决大语言模型中的自校正盲点

Ken Tsui

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出Self-Correction Bench框架，发现大语言模型存在64.5%的自校正盲点，经微调或添加“Wait”可显著降低该盲点，揭示了自校正能力未激活的机制。

Comments Accepted to COLM 2026

Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models

通过音频感知大语言模型的细粒度反馈改进文本到音频的指令跟随

Chun-Yi Kuan, Siwon Kim, Byeonggeun Kim, Suyoun Kim, Bo-Ru Lu, Qingming Tang, Ankur Gandhe, Hung-yi Lee, Chieh-Chi Kao, Chao Wang

机构 * National Taiwan University（国立台湾大学） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究文本到音频指令跟随问题，提出用音频感知大语言模型作细粒度评判器的框架，经验证后用其反馈构建偏好对优化，引入S3Bench基准，实验证明该方法能提升事件完整性、时间排序和指令跟随准确性，且保持音频质量。

Comments Accepted to the Long Paper Track at Interspeech 2026. Project Website: https://kuan2jiu99.github.io/allm-feedback-tta

Joint Lossless Compression and Steganography for Medical Images via Large Language Models

通过大语言模型实现医学图像的联合无损压缩与隐写术

Pengcheng Zheng, Xiaorong Pu, Kecheng Chen, Jiaxin Huang, Meng Yang, Bai Feng, Yazhou Ren, Jianan Jiang, Chaoning Zhang, Yang Yang, Heng Tao Shen

机构 * Center for Future Media and School of Computer Science and Engineering, University of Electronic Science and Technology of China（未来媒体中心和电子科技大学计算机科学与工程学院） ； Department of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学） ； Department of Electrical Engineering, and the Center for Intelligent Multidimensional Data Analysis, City University of Hong Kong（电子工程系和智能多维数据分析中心，城市大学） ； Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence（机器学习系，Mohamed bin Zayed人工智能大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 针对医学图像无损压缩中性能与效率权衡及安全问题，提出联合无损压缩与隐写术框架。基于位平面切片，设计自适应模态分解，创新局部模态路径分段消息隐写术算法，结合A-LoRA微调策略，提升压缩率、效率与安全性。

Rethinking Speech Foundation Model Fine-tuning: Better SFT or Better Match?

重新思考语音基础模型微调：更好的监督微调还是更好的匹配？

Wangjin Zhou, Yizhou Zhang, Yichi Wang, Tatsuya Kawahara

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究生院） 纠错

专题命中 指令微调 ：SFT(title,summary_cn)；foundation model(title)

AI总结 研究语音基础模型微调，通过对3个SUPERB分类任务、9个预训练检查点的8种SFT变体进行系统研究，发现SFT结果强烈依赖预训练实例，顶级SFT方法常因检查点而异，下游增益多为实例和种子依赖的匹配，非普遍性能提升。

Comments Accept by Interspeech 2026

AuRA: Internalizing Audio Understanding into LLMs as LoRA

AuRA: 将音频理解内化到LLM中作为LoRA

Bo Cheng, Lei Shi, Zhanyu Ma, Yuan Wu, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

机构 * Meituan（美团） ； Jilin University（吉林大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。

Large language model for unified and accurate description of multidimensional nuclear properties

用于统一准确描述多维核性质的大型语言模型

S. J. Guo, S. Y. Wang, E. H. Wang, Z. M. Niu, Y. M. Ding

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出一种先验信息增强的大型语言模型多任务学习框架，通过低秩适配微调预训练模型，在电荷半径、质量、结合能、分离能和衰变能等七个可观测量上实现了超过98%的训练损失降低，为核物理多任务回归提供了高效共享方法。

Universal Reasoner: A Single, Composable Plug-and-Play Reasoner for Frozen LLMs

Universal Reasoner: 一个单一、可组合的即插即用推理器用于冻结的LLM

Jaemin Kim, Hangeol Chang, Hyunmin Hwang, Choonghan Kim, Jong Chul Ye

机构 * Graduate School of Artificial Intelligence, Korea Advanced Institute of Science and Technology（人工智能研究生院，韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Universal Reasoner，一种可组合且即插即用的推理模块，能够在冻结的大规模语言模型上提供专门的推理能力，通过共享或对齐的token空间实现弱到强的泛化，实验表明其在数学推理和机器翻译中优于现有微调方法。

Comments ICML 2026

MAgSeg: Segmentation of Agricultural Landscapes in High-Resolution Satellite Imagery using Multimodal Large Language Models

MAgSeg：利用多模态大语言模型对高分辨率卫星图像进行农业景观分割

Piyush Tiwary, Utkarsh Ahuja, Depanshu Sani, Aishwarya Jayagopal, Sagar Gubbi, Subhashini Venugopalan, Alok Talekar, Vaibhav Rajan

机构 * Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； Indian Institute of Science（印度科学研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；post-training(abstract)

AI总结 本文提出MAgSeg，一种无需视觉解码器的多模态大语言模型分割方法，有效解决南半球农业景观分割中的碎片化地块、高类内方差和标注数据稀缺问题，实现高效农业环境制图。

Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models

元工具：用于小语言模型的高效少样本工具适应

Sachin Kumar

机构 * LexisNexis, USA（LexisNexis美国公司） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能，发现超网络适应无显著提升，提示应关注提示工程与示例整理。

Comments Accepted to Findings of ACL 2026

RDP LoRA: Geometry-Driven Identification for Parameter-Efficient Adaptation in Large Language Models

RDP LoRA：基于几何的参数高效适应大语言模型的识别

Yusuf Çelebi, Yağız Asker, Özay Ezerceli, Mahmoud ElHussieni, Selva Taş, Reyhan Bayraktar, Fatma Betül Terzioğlu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RDP LoRA方法，通过几何轨迹分析确定关键层进行参数高效微调，实现在MMLU-Math上取得优于全层和随机选择的性能。

Towards Identification and Intervention of Safety-Critical Parameters in Large Language Models

向大规模语言模型中安全关键参数的识别与干预迈进

Weiwei Qi, Zefeng Wu, Tianhang Zheng, Zikang Zhang, Xiaojun Jia, Zhan Qin, Kui Ren

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 本文提出ESI框架量化不同参数对LLM安全的影响，揭示不同架构中安全关键模式，并引入SET和SPA干预方法提升安全性和稳定性。

Comments 20 pages, 6 figures, 8 tables

Large Language Models versus Classical Machine Learning: Performance in COVID-19 Mortality Prediction Using High-Dimensional Tabular Data

大语言模型与经典机器学习：在使用高维表格数据预测新冠死亡率中的表现

Mohammadreza Ghaffarzadeh-Esfahani, Mahdi Ghaffarzadeh-Esfahani, Arian Salahi-Niri, Hossein Toreyhi, Zahra Atf, Amirali Mohsenzadeh-Kermani, Mahshad Sarikhani, Zohreh Tajabadi, Fatemeh Shojaeian, Mohammad Hassan Bagheri, Aydin Feyzi, Mohammadamin Tarighatpayma, Narges Gazmeh, Fateme Heydari, Hossein Afshar, Amirreza Allahgholipour, Farid Alimardani, Ameneh Salehi, Naghmeh Asadimanesh, Mohammad Amin Khalafi, Hadis Shabanipour, Ali Moradi, Sajjad Hossein Zadeh, Omid Yazdani, Romina Esbati, Moozhan Maleki, Danial Samiei Nasr, Amirali Soheili, Hossein Majlesi, Saba Shahsavan, Alireza Soheilipour, Nooshin Goudarzi, Erfan Taherifard, Hamidreza Hatamabadi, Jamil S Samaan, Thomas Savage, Ankit Sakhuja, Ali Soroush, Girish Nadkarni, Ilad Alavi Darazam, Mohamad Amin Pourhoseingholi, Seyed Amir Ahmad Safavi-Naini

机构 * Research Institute for Gastroenterology and Liver Diseases, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学胃肠病与肝病研究所） ； Faculty of Medicine, Isfahan University of Medical Sciences（伊斯法罕医科大学医学院） ； Faculty of Business and Information Technology, Ontario Tech University（安大略理工大学商业与信息技术学院） ； School of Medicine, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学医学院） ； Digestive Disease Research Institute, Tehran University of Medical Sciences（德黑兰医科大学消化疾病研究所） ； Department of Surgery, The Johns Hopkins University（约翰霍普金斯大学外科学系） ； Student Research Committee, School of Nursing and Midwifery, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学护理与助产学院学生研究委员会） ； MPH department, Shiraz University of Medical Sciences（设拉子医科大学公共卫生硕士系） ； Department of Emergency Medicine, School of Medicine, Safety Promotion and Injury Prevention Research Center, Imam Hossein Hospital, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学伊玛目侯赛因医院医学院急诊医学系安全促进与伤害预防研究中心） ； Karsh Division of Gastroenterology and Hepatology, Cedars-Sinai Medical Center（西达赛奈医疗中心卡什胃肠病与肝病科） ； Department of Medicine, Stanford University（斯坦福大学医学系） ； Division of Data Driven and Digital Health (D3M), The Charles Bronfman Institute for Personalized Medicine, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院查尔斯·布朗夫曼个性化医学研究所数据驱动与数字健康部） ； Infectious Diseases and Tropical Medicine Research Center, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学传染病与热带医学研究中心） ； Department of Infectious Diseases, Loghman Hakim Hospital, Shahid Beheshti University of Medical Sciences（沙希德·贝赫什提医科大学洛格曼·哈基姆医院传染病科） ； National Institute for Health and Care Research (NIHR), Nottingham Biomedical Research Centre, Hearing Sciences, Mental Health and Clinical Neurosciences, School of Medicine, University of Nottingham（诺丁汉大学医学院国家健康与护理研究所诺丁汉生物医学研究中心听力科学、心理健康与临床神经科学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文比较了经典特征机器学习模型与大语言模型在预测新冠死亡率中的性能，发现经典模型在处理高维表格数据方面仍占优势，但通过微调大语言模型可显著提升其效果。

Comments Code is available at: https://github.com/mohammad-gh009/Large-Language-Models-vs-Classical-Machine-learning and https://github.com/Sdamirsa/Tehran_COVID_Cohort. The datasets are available from the corresponding author on reasonable request (sdamirsa@ymail.com)

Journal ref Scientific Reports 15, 42712 (2025)

FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models

FourierMoE：大型语言模型的傅里叶混合专家适应

Juyong Jiang, Fan Wang, Hong Qi, Sunghun Kim, Jing Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出傅里叶MoE，通过频域分析提升大语言模型在多任务适应中的性能，采用频域适应方法减少参数开销，实验证明其在单任务和多任务场景中均优于基线方法。

Comments The first two authors contributed equally to this work; listing order is random

Instruction Following by Principled Boosting Attention of Large Language Models

通过原理性提升大语言模型的注意力来实现指令遵循

Vitoria Guardieiro, Avishree Khare, Adam Stein, Eric Wong

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出InstABoost方法，通过提升指令相关注意力来增强指令遵循，避免了其他方法的缺陷，提升了指令引导与任务相关上下文的平衡。