语言大模型 / LLM

Detecting AI-Generated Paraphrases in Bengali: A Comparative Study of Zero-Shot and Fine-Tuned Transformers

检测孟加拉语生成的改写文本：零样本和微调变换器的比较研究

Md. Rakibul Islam, Most. Sharmin Sultana Samu, Md. Zahid Hossain, Farhad Uz Zaman, Md. Kamrozzaman Bhuiyan

机构 * Department of CSE, Ahsanullah University of Science and Technology, Bangladesh（阿沙努拉科技大学计算机科学与工程系） ； Department of CSE, BRAC University, Bangladesh（布拉克大学计算机科学与工程系） ； Department of CSE, Southeast University, Bangladesh（东南大学计算机科学与工程系） ； Enosis Solutions, Bangladesh（恩osis解决方案） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究比较了零样本和微调变换器模型在检测孟加拉语AI生成文本中的性能，发现微调显著提升检测准确率，其中XLM-RoBERTa、mDeBERTa和MultilingualBERT表现最佳。

Comments Accepted for publication in 2025 28th International Conference on Computer and Information Technology (ICCIT)

Confidence-Credibility Aware Weighted Ensembles of Small LLMs Outperform Large LLMs in Emotion Detection

具有置信度-可信度意识的轻量级LLM加权集成在情绪检测中优于大LLM

Menna Elgabry, Ali Hamdi

机构 * Department of Computer Science（计算机科学系） ； MSA University（MSA大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种结合多种小模型的集成方法，在情绪检测任务中超越大模型性能。

Comments Accepted at IRICT 2025

Bandits with Preference Feedback: A Stackelberg Game Perspective

带有偏好反馈的多臂问题：从Stackelberg博弈视角出发

Barna Pásztor, Parnian Kassraie, Andreas Krause

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MAXMINLCB算法，通过Stackelberg博弈框架解决无限域和非线性奖励下的多臂问题，实现最优后悔保证和优越性能。

Comments In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS), 30 pages, 8 figures

Who is In Charge? Dissecting Role Conflicts in Instruction Following

谁在掌控？解析指令遵循中的角色冲突

Siqi Zeng

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示大型语言模型在指令遵循中存在角色冲突，通过机制分析发现系统-用户冲突与社会冲突的不同处理方式，并强调了对齐方法的重要性。

Comments 12 pages, 5 figures, Mech Interp Workshop (NeurIPS 2025) Poster

MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Cultural Learning

MindForge: 通过显式视角转换赋能具身智能体的终身文化学习

Mircea Lică, Ojas Shirekar, Baptiste Colle, Chirag Raman

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MindForge通过显式视角转换和多组件记忆系统，使智能体在Minecraft中实现文化终身学习，显著提升基础任务表现并适应新任务。

Comments Accepted to NeurIPS 2025 main track as poster

From Clicks to Preference: A Multi-stage Alignment Framework for Generative Query Suggestion in Conversational System

从点击到偏好：一种多阶段对齐框架用于对话系统中的生成查询建议

Junhao Yin, Haolin Wang, Peng Bao, Ju Xu, Yongliang Wang

机构 * Bytedance Shanghai China（字节跳动上海中国） ； Bytedance Beijing China（字节跳动北京中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种多阶段对齐框架，通过提示工程、知识蒸馏和高斯奖励模型，提升生成式查询建议的用户偏好对齐效果，实验显示在自动和人工评估中均优于基线，并提高用户参与度34%

Comments Accepted by SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 26)

HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance

HyperAdaLoRA: 通过超网络在训练过程中加速LoRA秩分配而不牺牲性能

Hao Zhang, Zhenjia Li, Runfeng Bao, Yifan Gao, Xi Xiao, Heng Zhang, Shuyang Zhang, Bo Huang, Yuhang Wu, Tianyang Wang, Hao Xu

机构 * Harvard University（哈佛大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Fudan University（复旦大学） ； University of Chicago（芝加哥大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； South China Normal University（华南师范大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai University of Engineering Science（上海工程技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 HyperAdaLoRA通过超网络实现训练过程中LoRA秩分配的加速，提升收敛速度同时保持性能

Comments 13 pages

The Role of Entropy in Visual Grounding: Analysis and Optimization

熵在视觉定位中的作用：分析与优化

Shuo Li, Jiajun Sun, Zhihao Zhang, Xiaoran Fan, Senjie Jin, Hui Li, Yuming Yang, Junjie Ye, Lixing Shen, Tao Ji, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Hikvision Research Institute（海康威视研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ECVGPO算法，通过熵控制优化视觉定位任务，提升探索与利用的平衡，实现多基准的性能提升。

Semantic Mastery: Enhancing LLMs with Advanced Natural Language Understanding

语义 mastery：通过高级自然语言理解增强大语言模型

Mohanakrishnan Hariharan

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过高级自然语言理解技术提升大语言模型的语义理解和推理能力，探讨了知识图谱、检索增强生成和对比学习等方法在解决复杂NLP任务中的应用。

Asymmetric REINFORCE for off-Policy Reinforcement Learning: Balancing positive and negative rewards

非对称REINFORCE用于离线策略强化学习：平衡正负奖励

Charles Arnal, Gaëtan Narozniak, Vivien Cabannes, Yunhao Tang, Julia Kempe, Remi Munos

机构 * FAIR at Meta（Meta 的 FAIR） ； Work done at Meta（Meta） ； NYU Courant Institute（纽约大学Courant研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出非对称REINFORCE算法，通过平衡正负奖励提升离线策略强化学习性能，理论分析表明基线下界可保证策略改进，并通过实验验证其有效性。

Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach

对大语言模型中选择偏差进行量化与缓解：一种可转移的LoRA微调和高效的多数投票方法

Blessed Guda, Lawrence Francis, Gabrial Zencha Ashungafac, Carlee Joe-Wong, Moise Busogi

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种可转移的LoRA微调和高效多数投票方法，用于量化并缓解大语言模型中的选择偏差问题。

Comments Accepted into IJCNLP-AACL 2026

Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs

未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能

Yunqi Hong, Sohyun An, Andrew Bai, Neil Y. C. Lin, Cho-Jui Hsieh

机构 * Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系） ； Mechanical and Aerospace Engineering Department, University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AutoSEP通过利用未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能。

UMB@PerAnsSumm 2025: Enhancing Perspective-Aware Summarization with Prompt Optimization and Supervised Fine-Tuning

UMB@PerAnsSumm 2025: 通过提示优化和监督微调增强视角感知摘要

Kristin Qi, Youxiang Zhu, Xiaohui Liang

机构 * Department of Computer Science, University of Massachusetts Boston（计算机科学系，马萨诸塞大学波士顿分校） 纠错

专题命中 指令微调 ：SFT(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 UMB@PerAnsSumm 2025通过提示优化和监督微调提升视角感知摘要质量，结合关键词和引导信息优化摘要生成过程。

Comments CL4HEALTH NAACL: Annual Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics

Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data

Uni-MoE-2.0-Omni: 通过先进MoE、训练和数据扩展语言导向的多模态大模型

Yunxin Li, Xinyu Chen, Shenyuan Jiang, Haoyuan Shi, Zhenyu Liu, Xuanyu Zhang, Nanhao Deng, Zhenran Xu, Yicheng Ma, Meishan Zhang, Baotian Hu, Min Zhang

机构 * Research Institute of Computing and Intelligence（计算与智能研究 institute） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 Uni-MoE-2.0-Omni通过先进MoE、训练和数据技术，实现了语言导向的多模态大模型，展现出在多模态理解、推理和生成任务中的卓越性能。

Comments 47 pages,10 Figures, Project Website: https://idealistxy.github.io/Uni-MoE-v2.github.io/ Codes: https://github.com/HITsz-TMG/Uni-MoE

SDA: Steering-Driven Distribution Alignment for Open LLMs without Fine-Tuning

SDA：无微调的开放语言模型分布对齐框架

Wei Xia, Zhi-Hong Deng

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SDA 提出了一种无需微调的开源 LLMs 分布对齐框架，通过用户指令动态调整输出概率，提升模型与人类意图的一致性。

FedP$^2$EFT: Federated Learning to Personalize PEFT for Multilingual LLMs

Royson Lee, Minyoung Kim, Fady Rezk, Rui Li, Stylianos I. Venieris, Timothy Hospedales

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at the 40th Annual AAAI Conference on Artificial Intelligence (AAAI-26)

Supervised Fine-Tuning or In-Context Learning? Evaluating LLMs for Clinical NER

Andrei Baroian

机构 * Andrei Baroian（独立研究者） 纠错

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

Comments Work done in November - December 2024

Beyond QA Pairs: Assessing Parameter-Efficient Fine-Tuning for Fact Embedding in LLMs

Shivam Ratnakar, Abhiroop Talasila, Raghav Chamadiya, Nikhil Agarwal, Vinayak K Doifode

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Presented at the Workshop on Preparing Good Data for Generative AI: Challenges and Approaches (Good-Data) in conjunction with AAAI 2025. The authors retain the copyright

Journal ref Workshop on Preparing Good Data for Generative AI: Challenges and Approaches, 2025

Retention analysis of edited knowledge after fine-tuning

Fufang Wen, Shichang Zhang

机构 * Columbia University（哥伦比亚大学） ； Harvard University（哈佛大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Symbiosis: Multi-Adapter Inference and Fine-Tuning

Saransh Gupta, Umesh Deshpande, Travis Janssen, Swami Sundararaman

机构 * IBM Research, USA（IBM研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Breaking mBad! Supervised Fine-tuning for Cross-Lingual Detoxification

Himanshu Beniwal, Youngwoo Kim, Maarten Sap, Soham Dan, Thomas Hartvigsen

机构 * Indian Institute of Technology Gandhinagar（印度古吉拉特邦理工学院加尔文加尔） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at MELT Workshop @ COLM 2025

Neural Attention Search

Difan Deng, Marius Lindauer

机构 * Leibniz University Hannover（汉诺威莱布尼茨大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 35 pages, 11 figures

Unraveling Emotions with Pre-Trained Models

Alejandro Pajón-Sanmartín, Francisco De Arriba-Pérez, Silvia García-Méndez, Fátima Leal, Benedita Malheiro, Juan Carlos Burguillo-Rial

机构 * Information Technologies Group, atlanTTic, University of Vigo, Vigo, Spain（信息科技组，atlanTTic，维戈大学） ； Research on Economics, Management and Information Technologies, Universidade Portucalense, Porto, Portugal（经济学、管理与信息科技研究，葡萄牙波尔图大学） ； ISEP, Polytechnic of Porto, Porto, Portugal（ISEP，波尔图理工学院） ； Institute for Systems and Computer Engineering, Technology and Science, Porto, Portugal（系统与计算机工程、技术与科学研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

See, Think, Act: Online Shopper Behavior Simulation with VLM Agents

Yimeng Zhang, Jiri Gesi, Ran Xue, Tian Wang, Ziyi Wang, Yuxuan Lu, Sinong Zhan, Huimin Zeng, Qingjun Cui, Yufan Guo, Jing Huang, Mubarak Shah, Dakuo Wang

机构 * Michigan State University（密歇根州立大学） ； Amazon（亚马逊） ； Northeastern University（东北大学） ； Northwestern University（西北大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

LoRA vs Full Fine-tuning: An Illusion of Equivalence

Reece Shuttleworth, Jacob Andreas, Antonio Torralba, Pratyusha Sharma

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

DelvePO: Direction-Guided Self-Evolving Framework for Flexible Prompt Optimization

Tao Tao, Guanghui Zhu, Lang Guo, Hongyi Chen, Chunfeng Yuan, Yihua Huang

机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures

Minh-Khoi Nguyen-Nhat, Rachel S. Y. Teo, Laziz Abdullaev, Maurice Mok, Viet-Hoang Tran, Tan Minh Nguyen

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

A Comparison of Independent and Joint Fine-tuning Strategies for Retrieval-Augmented Generation

Neal Gregory Lawton, Alfy Samuel, Anoop Kumar, Daben Liu

机构 * CapitalOne 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Understanding Prompt Tuning and In-Context Learning via Meta-Learning

Tim Genewein, Li Kevin Wenliang, Jordi Grau-Moya, Anian Ruoss, Laurent Orseau, Marcus Hutter

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：pretraining(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

Comments Accepted and presented at NeurIPS 2025

K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding

Yifeng Yao, Yike Yun, Jing Wang, Huishuai Zhang, Dongyan Zhao, Ke Tian, Zhihao Wang, Minghui Qiu, Tao Wang

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； Bytedance（字节跳动） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG