arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 12855 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 1064 篇

2607.26286 2026-07-30 cs.CL 新提交 92%

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

评估本地大语言模型(LLM)机器翻译中的提示范围与示例相似性

Mihael Arcan

机构 * Home Lab(家庭实验室)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文以9种欧盟语言为对象,对比3款本地LLM与专用MT基线,研究提示范围、示例选择对机器翻译的影响,发现专用MT系统仍最优,嵌入检索对强LLM效果较好,语族范围提示对强LLM可行但存在小型模型缺陷。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12234 2026-06-11 cs.CL 新提交 92%

On The Effectiveness-Fluency Trade-Off In LLM Conditioning: A Systematic Study

论LLM条件控制中的效果-流畅性权衡:一项系统性研究

Iuri Macocco, Pau Rodríguez, Arno Blaas, Luca Zappella, Marco Baroni, Xavier Suau

机构 * Universitat Pompeu Fabra(庞培法布拉大学) Apple(苹果公司) ICREA(加泰罗尼亚研究与高级研究所)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 系统研究LLM条件控制方法在注入和移除目标概念时的效果与流畅性权衡,发现高效引导方法常以牺牲流畅性为代价,且激活引导方法在指令调优模型上效果较差。

Comments 8 pages, 2 figure

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10273 2026-08-12 cs.CL cs.AI 新提交 92%

Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies

可本地部署的小型语言模型用于急诊科决策支持:微调策略的系统基准测试

Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong

专题命中 指令微调 :language model(title,abstract);small language model(title,abstract);LLM(abstract_cn);large language model(abstract)

AI总结 该研究针对急诊科决策支持的隐私风险,通过基准测试发现经LoRA微调的开源小型语言模型在分诊和转诊任务上优于商业模型,可本地部署且具备临床竞争力。

Comments Accepted to AMIA 2026 Annual Symposium

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.06795 2026-08-10 cs.CR cs.AI cs.CL 新提交 92%

LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes

LoRAScan:通过下投影激活尖峰检测大语言模型低秩适配器中的后门提示

Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI

AI总结 LoRAScan是首个无需修改适配器参数、在推理时检测并拒绝含触发词输入的适配器感知防御方法,在LLM后门基准测试中拒98.49%恶意输入,性能优于现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.12468 2026-07-15 cs.SD cs.AI 新提交 92%

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

用于第二届MLC-SLM挑战赛的基于全语言自动语音识别的语音语言模型系统

Shuming Fang, Shuifei Zeng

专题命中 指令微调 :SLM(title,title_cn);LLM(title,abstract);分类 cs.AI

AI总结 该研究针对第二届MLC-SLM挑战赛任务1,提出级联分帧识别系统,结合多种技术,测试无先验信息。分析工程选择影响,如基于嵌入的聚类更优,重叠感知分割虽提召回率但增加tcpMER,在开发集和评估集有相应表现。

Comments Accepted to INTERSPEECH 2026. 4 pages + references. Technical description of our 2nd MLC-SLM Challenge Task 1 submission

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26062 2026-07-30 cs.CY cs.AI cs.CL 新提交 92%

Identifying Implicit Bias in LLM-based Chat AI Toward People with Intellectual Disabilities

识别基于大语言模型(LLM)的聊天人工智能对智力障碍人群的隐含偏见

Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本研究针对5款LLM聊天AI生成的25000个故事,分析发现其对智力障碍人群存在将其矮化、依赖化等负面隐含偏见,呼吁AI开发警惕此类偏见并加以缓解。

Journal ref Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely, Identifying implicit bias in LLM-based chat AI toward people with intellectual disabilities, Disability and Health Journal, 2026, 102086, ISSN 1936-6574

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.21172 2026-08-24 cs.LG cs.DC 新提交 92%

Thermo-FL: Thermal-Aware Robust Federated Fine-Tuning of Large Language Models for Edge AI

Thermo-FL:面向边缘AI的热感知鲁棒联邦大语言模型微调

Shiva Shrestha, Kazi Shaharair Sharif, Zongxing Xie, Jiajing Huang, Anhao Xiang, Honghui Xu

机构 * Kennesaw State University(肯尼索州立大学)

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 Thermo-FL是热感知联邦LoRA微调框架,通过客户端温度调控和服务器TERRA鲁棒聚合,提升边缘LLM在热应力与攻击下的鲁棒性,稳定温度并保留任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.04576 2026-08-06 cs.CL 新提交 92%

Causal Evidence Extraction and Triangulation in Crisis Reports using Large Language Models: A ReliefWeb-based Study

基于大型语言模型的危机报告中因果证据提取与三角验证:一项基于ReliefWeb的研究

Yuanjun Zhang, Mourad Oussalah

机构 * University of Oulu(奥卢大学) LUT University(拉普兰塔理工大学)

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 该研究基于ReliefWeb数据,提出两阶段LLM流水线提取危机报告中结构化因果证据,结合上下文保留的三角验证方法,在100份专家标注报告中取得优异性能,为现金援助的食品相关结果提供了高收敛性证据。

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 32478-32491, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.04488 2026-08-06 cs.CL 新提交 92%

Energy- and Memory-Efficient PEFT Methods for Personalized On-Device SLMs on Consumer GPUs

面向消费级GPU上个性化端侧小型语言模型(SLM)的高能效、低内存参数高效微调(PEFT)方法

Kuanysh Akhmetzhanov, Jurn-Gyu Park

机构 * Nazarbayev University(纳扎尔巴耶夫大学)

专题命中 指令微调 :SLM(title_cn,summary_cn);LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract)

AI总结 该研究针对消费级GPU上的个性化端侧SLM,对比五种PEFT方法在四类SLM、六项基准任务的能耗与内存表现,发现LoRA+是多数场景的最优PEFT方法,QLoRA在内存受限场景具优势,为端侧个性化LLM部署提供了能耗与内存平衡的可行方案。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00215 2026-08-04 cs.AI 新提交 92%

Personalizing Large Language Model Agents with Small Policy Models

用小型策略模型个性化大型语言模型智能体

Dian Jin, Zhi Zhang, Huichao Li, Yihe Pan, Rundong Huang, Doudou Zhou

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本研究提出轻量级策略层FABLE,通过在线学习用户执行策略实现LLM智能体个性化,在多类评估中改进偏好敏感行为且保持端到端任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27483 2026-06-29 cs.AI 新提交 92%

Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

内化未来:一种统一的世界模型规划智能体训练范式

Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) Tencent Youtu Lab(腾讯优图实验室)

专题命中 指令微调 :LLM(summary_cn,abstract);SFT(summary_cn,abstract);large language model(abstract);language model(abstract)

AI总结 提出一种三阶段训练范式(WM-AMT、FE-SFT、FC-RL),使LLM智能体内化世界模型以进行前瞻性规划,在搜索和数学推理任务上优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14210 2026-06-15 cs.CR cs.AI 新提交 92%

From Prompts to Responses: Dual-Sided Data Leakage and Defense in Split Large Language Models

从提示到响应:分割大语言模型中的双面数据泄露与防御

Zixuan Gu, Xiaojun Ye, Yang Liu

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 提出PIDI攻击方法,同时泄露分割LLM中的输入提示和输出响应;并设计ADMI防御机制,通过适配器热身和互信息正则化有效抵御攻击。

Comments 18 pages, Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.00030 2026-08-04 cs.CL cs.AI 新提交 92%

SLMs as Multi-Agent Routers: A Progressive SFT and Reinforcement Learning Approach

小型语言模型(SLMs)作为多智能体路由器:一种渐进式监督微调与强化学习方法

Gayathri V Kondapalli, Alexander Ng, Hirsh Pithadia, Rahul Monish, Harvey Yorke, Amir Kayhani

机构 * Valyu AI University of Warwick(华威大学) University College London(伦敦大学学院)

专题命中 指令微调 :SFT(title,abstract_cn);SLM(summary_cn,abstract_cn);LLM(abstract,abstract_cn);language model(abstract)

AI总结 该研究提出用小型语言模型(SLM)结合渐进式监督微调与强化学习的方法,解决多智能体路由中仅基于意图选择的局限,在智能体-查询不匹配子集及总体NDCG@10指标上均优于仅基于意图路由的大语言模型基线,且选择延迟更低。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22938 2026-06-23 cs.LG cs.AI 新提交 92%

Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently

RLVR 相对于 SFT 在推理模型中的可证明优势:学习高效回溯

Stanley Wei, Juno Kim

机构 * Princeton University(普林斯顿大学) University of California, Berkeley(加州大学伯克利分校)

专题命中 指令微调 :SFT(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文从理论上证明,在推理任务中,基于可验证奖励的强化学习(RLVR)相比监督微调(SFT)能学习高效回溯,从而在推理时计算上实现指数级优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.11562 2026-06-11 cs.LG cs.CL 新提交 92%

GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs

GraphInfer-Bench:评估LLM在图上的推理能力基准

Zhuoyi Peng, Jingzhou Jiang, Hanlin Gu, Lixin Fan, Yi Yang

机构 * The Hong Kong University of Science and Technology(香港科技大学) Webank(微众银行)

专题命中 指令微调 :LLM(title,title_cn);SFT(abstract,abstract_cn);分类 cs.CL、cs.LG

AI总结 提出GraphInfer-Bench基准,通过五个任务(描述与比较)测试LLM能否从节点及其邻域推断出无法从单节点或路径检索的答案,发现所有方法均存在差距。

Comments Code: https://github.com/graphinfer/GraphInfer-Bench ; Dataset: https://huggingface.co/datasets/graphinfer/graphinfer

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.27420 2026-08-28 cs.CL 新提交 92%

Boosting LLM Exploration via Weak-Model Guidance in RLVR

通过RLVR中的弱模型引导增强大语言模型探索能力

Xingyu Shen, Huishuai Zhang, Peng Li, Yinchun Wang, Dongyan Zhao

机构 * Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所) National Engineering Research Center of New Electronic Publishing Technologies(国家新型电子出版技术工程研究中心)

专题命中 指令微调 :LLM(title,summary_cn);SFT(abstract,abstract_cn);language model(abstract);prompting(abstract)

AI总结 本研究提出弱模型引导的RLVR方法,通过弱模型的部分推理轨迹增强LLM探索,缓解熵崩溃,在数学基准上提升大k值下的推理性能与覆盖范围。

Comments 13 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.21278 2026-08-24 cs.AI 新提交 92%

CLEAR: Continuous Latent Adapter Routing for Utility-Preserving LLM Safety Alignment

CLEAR:用于保持效用的大语言模型安全对齐的连续潜在适配器路由

Chengxiao Wang, Enyi Jiang, Xiaojing Liao, Sanmi Koyejo

机构 * Stanford University(斯坦福大学) University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Siebel School of Computing and Data Science, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院) Computer Science, Stanford University(斯坦福大学计算机科学系)

专题命中 指令微调 :LLM(title,summary_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本研究提出CLEAR框架,通过轻量型隐藏状态门控控制安全低秩适配器的激活强度,在降低LLM有害输出的同时,减少了全局安全调优带来的效用损失,实现了安全与效用的更好平衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.20394 2026-08-24 cs.SD cs.CL 新提交 92%

A Factorial Ablation of a Speech-to-SFT Pipeline: Differential Effects on Data Quality and Downstream Transfer

语音到SFT流水线的因子消融:对数据质量与下游迁移的差异化影响

Wonsup Shin, Jingu Kim

机构 * Flitto(飞力拓)

专题命中 指令微调 :SFT(title,title_cn);LLM(abstract,abstract_cn);分类 cs.CL

AI总结 该研究对语音转SFT流水线进行因子消融,发现QA数据质量提升未均匀转化为下游MCQA增益,正向迁移集中于家族领域匹配配对,验证了流水线稳健性并发布相关资源。

Comments 20 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.18017 2026-08-19 cs.AI 新提交 92%

Can Large Language Models Explain Flight Safety Events? A Prior-Guided Semantic LLM-based Approach

大语言模型能否解释飞行安全事件?一种先验引导的基于语义大语言模型的方法

Lu Xu, Xu Li, Linjiang Zheng, Fan Li, Riquan Zhang, Jiaxing Shang

机构 * College of Computer Science, Chongqing University(重庆大学计算机学院) Sichuan Flight Engineering Technology Research Center, Civil Aviation Flight University of China(中国民航飞行学院四川飞行工程技术研究中心) School of Statistics and Data Science, Shanghai University of International Business and Economics(上海对外经贸大学统计与数据科学学院)

专题命中 指令微调 :LLM(title,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本研究针对飞行安全事件解释难题,提出FlightLLM方法,结合特征工程、语义离散化、CatBoost先验引导及对比小样本学习等技术,在704个A320飞行样本上实现了良好分类与合理事件原因解释。

Comments 14 pages, 6 figures, submitted to IEEE Transactions on Intelligent Transportation Systems

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.08281 2026-08-11 cs.AI cs.RO 新提交 92%

Exploring LLM Capabilities for Situational Understanding and COLREG compliance on real-world maritime navigation scenarios

探索大语言模型(LLM)在现实世界海事航行场景中的情境理解与《国际海上避碰规则》(COLREG)遵从能力

Julius Wirbel, P. Nicholas Hansen, Line K. H. Clemmensen, Roberto Galeazzi

机构 * Technical University of Denmark(丹麦技术大学) University of Copenhagen(哥本哈根大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本研究探索LLM在海事航行中的应用,构建含50个真实场景的AIS数据集,评估不同LLM的理解与推理能力,发现不微调则难以解决海事航行任务。

Comments Submitted and accepted to the IFAC WC 2026 as an invited session paper for track 7.2 Transportation and Vehicle Systems - Marine Systems

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.05541 2026-08-07 cs.AI 新提交 92%

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

Hyper-ES:通过下降方向合并实现LLM推理的有效进化策略

Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

机构 * Southern University of Science and Technology(南方科技大学) National University of Singapore(新加坡国立大学) Nanjing University(南京大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract,abstract_cn);language model(abstract,abstract_cn);分类 cs.AI

AI总结 本文提出Hyper-ES框架,通过梯度微调获取下降方向张成子空间,再用CMA-ES优化DARE-TIES合并系数,在数学推理任务上性能优于GRPO-LoRA,梯度更新量减少10%。

Comments 19 pages, 4 figures, 14 tables. Code: https://github.com/kuangrepi/Hyper-ES

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.02154 2026-08-04 cs.AI 新提交 92%

Auditing Data Provenance in LLM Fine-tuning via Intrinsic Distributional Fingerprints

基于内在分布指纹的LLM微调数据来源审计

Zirui Huang, Yunlong Mao, Wei Tong, Tingting Wu, Xin Ge, Sheng Zhong

机构 * State Key Laboratory of Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室) China Mobile Research Institute(中国移动研究院)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对LLM微调的数据IP侵权审计难题,提出事后框架DPA,通过内在分布指纹实现黑盒恶意场景下的可靠审计,性能优于基线且抗混淆,同时存在审计与隐私攻击的两用张力。

Comments This is the extended version of CCS'26 paper https://doi.org/10.1145/3830454.3832639

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.18089 2026-07-07 cs.LG 新提交 92%

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

从推理轨迹到可复用模块:理解语言模型推理中的组合泛化

Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

机构 * Carnegie Mellon University(卡内基梅隆大学) Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学) Institute of Foundation Models(基础模型研究院) University of Michigan(密歇根大学)

专题命中 指令微调 :SFT(summary_cn,abstract);language model(title,abstract);LLM(abstract_cn);large language model(abstract)

AI总结 本文通过层次化潜在选择模型形式化组合泛化,理论证明SFT提供原子模块,RL分解轨迹实现组合泛化,实验验证RL能从复合轨迹中提取原子模块并重组解决新配置。

Comments ICML2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30877 2026-07-01 eess.SY cs.LG cs.SY 新提交 92%

A Systematic Approach to Multi-Agent AI from Advanced Regulatory Control Theory: Safe and Auditable LLM Operator Agents for Process Control

基于先进调节控制理论的多智能体AI系统化方法:用于过程控制的安全且可审计的LLM操作员智能体

Idelfonso B. R. Nogueira, Sigurd Skogestad

机构 * Norwegian University of Science and Technology (NTNU)(挪威科技大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出将先进调节控制理论映射为多智能体系统,每个反馈回路对应一个专业LLM操作员智能体,通过确定性或LLM编排器解决约束冲突,在奶牛场通风案例中实现可审计轨迹。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14784 2026-06-19 cs.SD cs.LG eess.AS 新提交 92%

LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning

基于上下文学习的音频情感分类的LLM合成真实标签生成

Qing Huang, Pooja Pol, Jianing Zhang

机构 * School of Business, Technical University of Applied Sciences Augsburg(应用技术大学阿沙芬堡商学院) Data Science und Autonome Systeme Technologietransferzentrum (TTZ)(数据科学与自主系统技术转移中心(TTZ))

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出利用大语言模型(LLM)和上下文学习(ICL)从多用户VR环境的流式语音数据中自动生成情感相关合成真实标签,解决团队协作状态标注难题。

Comments https://icaiit.org/paper.php?paper=14th_ICAIIT_2/3_9

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17024 2026-06-16 cs.LG 新提交 92%

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL: 用于LLM中期训练的探索性强化学习

Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

机构 * Stanford University(斯坦福大学) Carnegie Mellon University(卡内基梅隆大学) OpenAI Rogo

专题命中 指令微调 :LLM(title,title_cn);SFT(summary_cn,abstract);分类 cs.LG

AI总结 提出ExpRL方法,利用人类编写的问答数据作为奖励支架,通过密集奖励强化推理过程中的部分进展和有用行为,在数学推理任务上优于SFT、稀疏奖励GRPO和自蒸馏,并为后续稀疏奖励RL提供更好的初始化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06902 2026-06-08 cs.LG 新提交 92%

TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models

TALAN:面向大型语言模型目标后训练的任务对齐潜在自适应网络

Chengkai Zhang, Ziteng Liu, Junpu Wang, Zeyi Tao, Yang Wang, Sagar Chordia, Qin Huang

机构 * Meta AI

专题命中 指令微调 :post-training(title,abstract);large language model(title);language model(title);SFT(abstract,abstract_cn)

AI总结 提出TALAN,一种序列条件潜在旁路,插入Transformer残差流并与低秩适配器协同训练,在STEM/代码基准上平均提升LoRA 1.41点、DoRA 1.85点,仅增加<1%可训练参数和1.01-1.02倍推理开销。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.27506 2026-07-31 cs.CL cs.AI 新提交 91%

Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models

极简RAG的模型:B1ade 335M嵌入模型与1B参数小型语言模型

Shreyas Subramanian, Mecit Gungor, Vikram Elango

机构 * Amazon(亚马逊公司)

专题命中 指令微调 :language model(title);small language model(title);SLM(abstract,abstract_cn);SFT(abstract,abstract_cn)

AI总结 该研究提出含B1ade-embed嵌入模型与B1ade-1B小型语言模型的高效极简RAG架构,其在多QA基准及RAG评估中表现优异,还涌现出无明确监督的来源引用能力,验证了资源高效RAG的可行路径。

Comments 28 pages, 3 figures. Submitted to COLM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20205 2026-06-19 cs.AI cs.CL cs.HC 新提交 91%

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

大语言模型的心理特征很大程度上是测量假象

Jelena Meyer, David Garcia, Dirk U. Wulff

机构 * Max Planck Institute for Human Development(马克斯·普朗克人类发展研究所) University of Konstanz(康斯坦茨大学) Barcelona Supercomputing Center(巴塞罗那超级计算中心) University of Basel(巴塞尔大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(summary_cn,abstract_cn);分类 cs.CL、cs.AI

AI总结 通过心理测量框架分析56个指令微调LLM,发现模型间差异主要源于方向性响应偏差而非特质,该偏差解释了81-90%的变异,且可通过题目选择操控,表明LLM心理特征是测量假象。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.25068 2026-08-27 cs.CV 新提交 91%

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM:深度剪枝大语言模型中的分布偏移校正

Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

机构 * Huawei Noah’s Ark Lab(华为诺亚方舟实验室)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 SHIFT-LLM是一种无需训练的剪枝后校正框架,通过插入线性残差适配器缓解深度剪枝大语言模型的分布偏移,可在低样本无梯度下恢复准确率,在Llama-3.1-8B-Instruct上增益达15.7个点。

详情

展开后加载摘要…

URL PDF HTML 收藏