arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 11667 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 11667 篇

2512.01210 2026-08-04 cs.AI 版本更新 88%

Knowledge Graph Augmented Large Language Models for Disease Prediction

基于知识图谱的大型语言模型用于疾病预测

Ruiyu Wang, Tuan Vinh, Ran Xu, Yuyin Zhou, Jiaying Lu, Francisco Pasquel, Mohammed K Ali, Carl Yang

机构 * Department of Computer Science, Emory University(埃默里大学计算机科学系) Division of Medical Sciences, Oxford University(牛津大学医学系) Department of Computer Science and Engineering, UCSC(UCSC计算机科学与工程系) Nell Hodgson Woodruff School of Nursing, Emory University(埃默里大学内尔·霍根·伍德鲁夫护理学院) School of Medicine, Emory University(埃默里大学医学院) Rollins School of Public Health, Emory University(埃默里大学罗林斯公共卫生学院)

专题命中 指令微调 :large language model(title);language model(title);LLM(abstract,abstract_cn);分类 cs.AI

AI总结 本文提出基于知识图谱的大型语言模型框架,用于提升疾病预测的准确性与解释性,通过构建时间一致的推理依据,在多个数据集上取得优于经典基线的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.10913 2026-07-31 cs.CL 版本更新 88%

LLM2Vec-Gen: Generative Embeddings from Large Language Models

LLM2Vec-Gen:从大型语言模型生成嵌入向量

Parishad BehnamGhader, Vaibhav Adlakha, Fabian David Schmidt, Nicolas Chapados, Marius Mosbach, Siva Reddy

机构 * McGill University(麦吉尔大学) Mila–Quebec AI Institute(米拉-魁北克人工智能研究所) ServiceNow Research(ServiceNow研究院) Cohere Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)

专题命中 指令微调 :large language model(title);language model(title);LLM(abstract,abstract_cn);分类 cs.CL

AI总结 LLM2Vec-Gen通过自监督学习生成大型语言模型的嵌入向量,无需微调,提升MTEB基准测试性能,并保留语义和推理能力。

Comments Accepted to COLM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.24764 2026-07-29 cs.AI 新提交 88%

GrocLM: Grocery Category Recommendation in E-Commerce with Large Language Models

GrocLM:使用大语言模型进行电子商务中的杂货类别推荐

Yuan Zhong, Chuanwei Ruan, Moein Hasani, Tejaswi Tenneti, Haixun Wang, Fenglong Ma

机构 * The Pennsylvania State University(宾夕法尼亚州立大学) Instacart(因斯塔卡特公司) Evenup(伊文纳普公司)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 针对在线杂货购物推荐系统面临的挑战,提出GROCLM模型。采用基于LoRA的两阶段训练策略及基于前缀树的约束解码机制,在实验中表现出色,在实时生产补货任务中提升了购物车添加量,凸显将大语言模型集成到结构化推荐系统的有效性与实用性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.22603 2026-07-28 cs.AI 新提交 88%

Group Preference Collapse in Personalized Multimodal Large Language Models

个性化多模态大语言模型中的群体偏好崩溃

Fan Lyu, Wenqi Zhang, Joost van de Weijer

机构 * Computer Vision Center, Universitat Autònoma de Barcelona(计算机视觉中心,巴塞罗那自治大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 研究个性化多模态大语言模型中群体偏好崩溃问题,提出PrefMoE框架,它分离配置文件信息与偏好表示,分解偏好,保留个性化残差并通过单独路径路由因素,实验表明该框架能改善偏好敏感个性化并减少偏好崩溃。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23672 2026-07-24 cs.AI 版本更新 88%

Teaching LLMs String Matching, Backtracking, and Error Recovery to Deduce Bases and Truth Tables for the Combinatorially Exploding Bit Manipulation Puzzles

教LLM字符串匹配、回溯与错误恢复:为组合爆炸的位操作谜题推导基和真值表

Prateek Agnihotri, Sanchit Jain, Prabhat Agnihotri, Aditya Prasad, Shubham Jain

机构 * NVIDIA

专题命中 指令微调 :LLM(title_cn,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 提出一种新方法,通过字符串相似性、结构化搜索和自主错误恢复,避免复杂布尔逻辑,解决位操作谜题中的组合爆炸问题,实现96%以上验证准确率。

Comments 22 pages, 4 figures, 2 tables. 7th Place Solution for the NVIDIA Nemotron Model Reasoning Challenge (Kaggle)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19608 2026-07-23 cs.CL 新提交 88%

Task Competence Is Not Instruction Following: Evaluating Instruction-Conflicting Behavior in Small Language Models

任务能力并非遵循指令:评估小语言模型中的指令冲突行为

Mahdiyeh Farajidizaji, Vatsal Raina

机构 * Khajeh Nasir Toosi University of Technology(哈杰·纳西尔·图西理工大学) Apta AI, Spark AI Research(阿普塔人工智能公司,星火人工智能研究院)

专题命中 指令微调 :language model(title,abstract);small language model(title);instruction tuning(abstract);分类 cs.CL

AI总结 研究小语言模型在指令冲突时的行为,通过跨任务设计,用标准准确率等指标评估指令微调的Qwen模型,发现任务能力提升不自动带来可靠行为控制,任务能力与指令遵循是不同能力,仅报标准准确率会掩盖问题。

Comments 12 pages, 4 figures, 8 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.18266 2026-07-22 cs.AI 新提交 88%

Structured Synthetic Reasoning Data for Arithmetic Fine-Tuning of Small Language Models

用于小型语言模型算术微调的结构化合成推理数据

Jake O'Grady, Effirul Ramlan

机构 * University of Galway(戈尔韦大学) School of Computer Science(计算机科学学院)

专题命中 指令微调 :language model(title,abstract);small language model(title,abstract);分类 cs.AI

AI总结 研究小型语言模型多步算术推理困难问题,通过生成结构化合成推理数据并结合LoRA在消费硬件上微调Qwen3模型,提高了模型在GSM8K等基准测试上的准确率和迁移效果,证明低成本合成数据设计可改善小型语言模型算术适应性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.14581 2026-07-17 cs.AI cs.CV 新提交 88%

Multi-LLM Collaborative MRI Report Generation for Visual Instruction Tuning in Brain Oncology

用于脑肿瘤视觉指令微调的多语言模型协作式MRI报告生成

Sinyoung Ra, Jonghun Kim, Hyunjin Park

专题命中 指令微调 :LLM(title);instruction tuning(title);large language model(abstract);language model(abstract)

AI总结 针对脑肿瘤缺乏配对3D成像 - 文本数据问题,提出用多语言模型协作创建3D图像 - 文本数据集,构建VLM将MRI扫描转换为令牌并与文本指令对齐,该方法在报告生成等任务中表现优于其他方法,有助于脑肿瘤诊断治疗。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.11444 2026-07-14 cs.CL 新提交 88%

UMoE:Unlocking Every Expert in Domain-Specific Training

UMoE:在特定领域训练中解锁每个专家

Xuefeng Li, Pengfei Liu

机构 * Qwen Team(通义千问团队) DeepSeek-AI(渊亭科技) Thinking Machines Lab(思维机器实验室) LLM-Core Xiaomi(小米大语言模型核心团队)

专题命中 指令微调 :SFT(summary_cn,abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 研究针对特定领域训练中专家池不合理问题,提出UMoE流程,先修剪低显著性专家,再扩展专家池,最后应用标准SFT,该方法在多架构、多领域及多基准测试中优于直接SFT,能转化冗余容量,提升训练效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.13817 2026-07-09 cs.LG cs.NI 版本更新 88%

What's on My Network? Using Large Language Models to Identify Real-World IoT Devices at Scale

我的网络上有什么?使用大语言模型大规模识别现实世界中的物联网设备

Rameen Mahmood, Tousif Ahmed, Sai Teja Peddinti, Danny Yuxing Huang

机构 * New York University(纽约大学) Google(谷歌)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 研究共享环境中物联网设备识别难题,引入语义推理管道,用大语言模型构建高保真标签并指令微调模型,在众多供应商中取得高准确率,对多种问题保持稳健,为大规模可信设备识别提供基础。

Comments 18 pages, 3 figures

Journal ref Proc. ACM Netw. 4, CoNEXT2, Article 26 (2025)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05615 2026-07-08 cs.LG 新提交 88%

A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models

每个令牌的抛硬币:大语言模型的伯努利稀疏控制

Nima Eshraghi, Lovedeep Gondara, Yuqing Huang, Sagarika Suresh, Leizer Teran, Jithin Pradeep, Xiaotong Xu, Fanny Chevalier

机构 * The Vanguard Group, Inc.(先锋集团公司) University of Toronto(多伦多大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 研究大语言模型控制问题,提出随机令牌控制和随机块控制方法,无需奖励模型或门控策略。实验表明,仅控制部分令牌就能恢复大部分密集控制效果且保持流畅性,揭示了SAE介导控制的速率限制特性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04890 2026-07-07 cs.CL 新提交 88%

Evaluating Large Language Models for Antisemitic Incident Classification

评估用于反犹事件分类的大语言模型

Karina Halevy, Julia Mendelsohn, Chan Young Park, Yulia Tsvetkov, Maarten Sap

机构 * Carnegie Mellon University(卡内基梅隆大学) University of Maryland(马里兰大学) Microsoft Research(微软研究院) University of Washington(华盛顿大学) Allen Institute for Artificial Intelligence(人工智能研究院)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 研究利用大语言模型对反犹事件报告进行细粒度分类,评估了OpenAI的GPT-4o和Meta的Llama-3.2-3B-Instruct,发现其有潜力但需改进,提示中提供定义和示例可提升性能,还通过案例展示其能助力发现现实事件。

Comments Accepted to Digital Hate Review 2026 Issue 1

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31984 2026-07-07 cs.IR cs.AI 新提交 88%

GR2 Technical Report

GR2 技术报告

Yufei Li, Zaiwei Zhang, Mingfu Liang, Kavosh Asadi, Jay Xu, Jimmy Kim, Chongyang Bai, Jieyi Zhang, Hongye Xie, Prachi Agrawal, Dian Yu, Tianyi Chen, Jean-Pascal Billaud, Garret Buell, Yongkang Zhu, Sachin Patil, Brooke Bian, Zhou Fang, Kevin Huang, Shiva Sudanagunta, Yuzhen Huang, Emma Lu, Chris O'Brien, Yang Song, Lihong Li, Jacob Tao, Zhicheng Zhu, Chao Li, Gaoxiang Liu, Neil Wu, Zhongyin Hu, Li Han, Loki Chen, Ming Lei, Greg Rehm, Siyuan Song, Tianwei Zhang, Li Li, Ketan Singh, Yavuz Yetim, Ilyas Atishev, Satendra Gera, Ashkan Sadeghi, Rachel Yan, Nikko Mizutani, Shuaiwen Wang, Song Yang, Zhijing Li, Jiang Liu, Mengying Sun, Fei Tian, Xiaohan Wei, Chonglin Sun, Shuo Gu, Parish Aggarwal, Senthil Manickavelu, Kaushik Rangadurai, Zhi Hua, Frank Shyu, Ruchit Sharma, Liyuan Li, Shike Mei, Wenlin Chen, Santanu Kolay, Ben Schulte, Deepak Chandra, Yang Song, Sandeep Pandey, Xi Liu, Hamed Firooz, Luke Simon

机构 * Meta AI

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 针对工业推荐系统中重排序阶段未被充分探索、大语言模型推理能力未充分利用以及非语义标识符问题,提出GR2框架,结合语义ID中间训练、推理轨迹蒸馏和强化学习,在工业流量上取得显著提升。

Comments 18 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17184 2026-07-07 cs.SE cs.LG 版本更新 88%

SynthFix: Adaptive Neuro-Symbolic Code Vulnerability Repair

SynthFix:自适应神经符号代码漏洞修复

Yifan Zhang, Jieyu Li, Kexin Pei, Yu Huang, Kevin Leach

机构 * Vanderbilt University(范德比大学) University of Chicago(芝加哥大学)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 SynthFix通过结合代码生成与编译器引导的符号反馈,提升LLM在漏洞修复中的性能,实验表明其在CodeBLEU/CrystalBLEU和Exact Match指标上优于传统基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.02932 2026-07-07 cs.LG 版本更新 88%

PLoRA: Efficient Concurrent LoRA Training for Large Language Models

PLoRA:用于大语言模型的高效并发LoRA训练

Minghao Yan, Zhuang Wang, Zhen Jia, Shivaram Venkataraman, Yida Wang

机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 研究发现当前LoRA训练范式不能有效利用硬件资源,提出PLoRA,在给定硬件和模型约束下自动编排并发LoRA微调作业并开发高性能内核,提升训练效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17281 2026-06-17 cs.CL cs.SD eess.AS 新提交 88%

Are you speaking my languages? On spoken language adherence in multimodal LLMs

你在说我的语言吗?多模态大语言模型中的口语遵循问题

Hyungwon Kim, Kandarp Joshi, Lillian Zhou, Pavel Golik, Petar Aleksic

机构 * Google DeepMind(谷歌DeepMind)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 针对多模态大语言模型在自动语音识别中输出语言识别错误的问题,提出软提示方法、监督微调和思维链推理三种缓解策略,并引入新指标量化语言违背,比较各方法在减少违规和保持ASR性能上的效果。

Comments 7 pages, 3 tables in the main body

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12227 2026-06-17 cs.CL 版本更新 88%

A Recipe for Long-Context Reasoning in Large Language Models via On-Policy Optimization and Distillation

结合在线优化与蒸馏以提升大语言模型的长上下文推理能力

Miguel Moura Ramos, Duarte M. Alves, André F. T. Martins

机构 * Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院) Instituto de Telecomunicações(电信研究所) TransPerfect(TransPerfect公司)

专题命中 指令微调 :large language model(title);language model(title);SFT(abstract,abstract_cn);分类 cs.CL

AI总结 本文提出dGRPO方法,结合在线优化与蒸馏,通过强教师模型提供密集指导,提升长上下文推理能力,同时保持短上下文能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15880 2026-06-16 cs.CV cs.AI 新提交 88%

Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

深度残差注入:多模态大语言模型的全频谱取证信号感知

Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

机构 * National University of Singapore(新加坡国立大学) Tsinghua University(清华大学) University of Science and Technology of China(中国科学技术大学) University of Electronic Science and Technology of China(电子科技大学) University of California, Berkeley(加州大学伯克利分校)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 针对多模态大语言模型在取证中难以同时保留语义知识和捕获低级生成器伪影的问题,提出Deep-VRM方法,通过将伪影特定视觉信号作为残差路径注入中间层,实现全频谱信号感知,达到鲁棒检测性能。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15751 2026-06-16 cs.SD cs.LG cs.MM eess.AS 新提交 88%

Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models

通过阶段调制进行声学提示以实现音频语言模型中的少样本学习

Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology(韩国科学技术院)

专题命中 指令微调 :language model(title,abstract);prompting(title,abstract);分类 cs.LG

AI总结 提出在音频编码器中引入可训练提示以捕获任务特定声学特征,与文本提示结合提升少样本适应性能,在11个数据集上验证有效性。

Comments Accepted to INTERSPEECH 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15625 2026-06-16 cs.LG cs.NI 新提交 88%

Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts

基于混合专家的大语言模型冲突感知联邦微调

Yijun Lu, Zihan Fang, Pengpeng Qiao, Zheng Lin, Jing Yang, Yuxin Zhang, Por Lip Yee, Zhe Chen, Jun Luo

机构 * Nanyang Technological University(南洋理工大学) University of Malaya(马来亚大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 针对联邦学习中混合专家模型因数据异质性导致的专家优化冲突问题,提出FC-MoE框架,通过重要性加权、梯度共识投影和局部知识保留机制,实现稳定优化并提升非独立同分布环境下的模型性能。

Comments 6 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03489 2026-06-16 cs.CR cs.AI 版本更新 88%

Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs

从错误中学习:面向安全代码LLM的树状自博弈

Wenqi Chen, Ziyan Zhang, Bin Wang, Lin Liu, Hengheng Zhang, Zhengsu Chen

专题命中 指令微调 :LLM(title_cn,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 提出树状自博弈(TSP)框架,将安全代码生成建模为细粒度序列决策过程,通过构建决策树探索安全与脆弱路径,使模型在关键决策节点自我纠正,显著提升代码安全性并实现跨语言泛化。

Comments 18 pages, 3 figures, Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12854 2026-06-12 cs.CL q-bio.QM 新提交 88%

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

小型LLM用于生物医学声明验证:成本效益微调、结构性数据集捷径与跨域泛化

Gaurav Kumar

机构 * Moveworks AI University of California San Diego(加州大学圣迭戈分校)

专题命中 指令微调 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 通过QLoRA微调小型LLM(Phi-3-mini、Qwen2.5-3B、Mistral-7B),在生物医学声明验证中超越GPT-4o和GPT-5(F1提升12%),并发现SciFact数据集的结构性伪影,提出基于结构稳健数据的跨域迁移方法。

Comments 8 pages, 2 figures, 12 tables. To appear at BioNLP Workshop, ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06306 2026-06-05 cs.CL 88%

Decomposing Factual Sycophancy in Language Models: How Size and Instruction Tuning Shape Robustness

分解语言模型中的事实性谄媚:规模与指令调优如何塑造鲁棒性

Victor De Marez, Luna De Bruyne, Walter Daelemans

机构 * Centre for Computational Linguistics, Psycholinguistics and Sociolinguistics University of Antwerp(计算语言学、心理语言学与社会语言学研究中心 荷兰安特卫普大学)

专题命中 指令微调 :language model(title,abstract);instruction tuning(title,abstract);分类 cs.CL

AI总结 通过将事实性谄媚分解为真值边际和操纵敏感性两个通道,研究了模型规模和指令调优对56个开源语言模型(0.3B-32B参数)在13种操纵类型下鲁棒性的影响。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04274 2026-06-04 cs.CL cs.CY 88%

Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit

长存微调:在Reddit上,任务特定Transformer在错误信息响应分类中优于零样本LLM

JooYoung Lee, Lin Tian, Angela Brillantes, Adriana-Simona Mihăiţă, Marian-Andrei Rizoiu

机构 * University of Technology Sydney(悉尼技术大学)

专题命中 指令微调 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 通过对比微调模型与零样本LLM在Reddit错误信息评论分类上的表现,发现微调RoBERTa在宏F1分数上显著优于最佳零样本模型,且成本更低,表明任务特定微调在检测隐性错误信息方面仍更可靠。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.19959 2026-06-03 cs.LG cs.DC 88%

ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models

ParaBlock:面向大语言模型的通信-计算并行块坐标联邦学习

Yujia Wang, Yuanpu Cao, Jinghui Chen

机构 * College of Information Sciences and Technology(信息科学与技术学院) Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。

Comments Accepted by TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.04948 2026-06-02 cs.CL 88%

Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir

将大型语言模型适配到低资源黏着语:LoRA与QLoRA在巴什基尔语上的比较研究

Mullosharaf K. Arabov, Svetlana S. Khaybullina

机构 * Institute of Computational Mathematics and Information Technologies, Kazan Federal University(计算数学与信息科技学院,卡兹安联邦大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 本文比较了LoRA和QLoRA两种参数高效微调方法在低资源黏着语巴什基尔语上的适配效果,发现QLoRA在7B规模模型上能在质量和计算成本间取得有效平衡。

Comments Accepted to CLIB 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.07177 2026-06-02 cs.CR cs.AI 88%

Safe-FedLLM: Delving into the Safety of Federated Large Language Models

Safe-FedLLM:深入探究联邦大语言模型的安全性

Mingxiang Tao, Yu Tian, Wenxuan Tu, Yue Yang, Xue Yang, Xiangyan Tang

机构 * Hainan University(海南大学) Tsinghua University(清华大学) Shanghai Jiao Tong University(上海交通大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文提出Safe-FedLLM,一种基于探针的防御框架,通过三级防御(步骤级、客户端级和阴影级)利用轻量级分类器区分恶意与良性LoRA更新,以增强联邦大语言模型对恶意客户端的鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.16114 2026-06-02 cs.IR cs.AI 88%

GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

GFlowGR:使用生成流网络微调生成式推荐框架

Yejing Wang, Shengyu Zhou, Jinyu Lu, Qidong Liu, Xinhang Li, Wenlin Zhang, Feng Li, Pengjie Wang, Chuan Yu, Jian Xu, Bo Zheng, Xiangyu Zhao

机构 * City University of Hong Kong(城市大学) Alibaba Group(阿里巴巴集团)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 针对生成式推荐中微调步骤忽略未观测正样本导致的曝光偏差问题,提出基于GFlowNets的微调框架GFlowGR,通过自适应轨迹采样器和综合奖励模型整合协同知识,利用GFlowNets的多样生成特性缓解偏差。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.29816 2026-05-29 cs.AI 88%

Harnessing non-adversarial robustness in large language models

利用大语言模型中的非对抗鲁棒性

Qinghua Zhou, Ellina Aleshina, Andrey Lovyagin, Oleg Somov, Mikhail Seleznyov, Alexander Panchenko, Ivan Oseledets, Elena Tutubalina, Ivan Y. Tyukin

机构 * Applied AI Institute, Moscow, Russia(莫斯科应用人工智能研究所) King's College London, London, UK(伦敦国王学院) International Joint Laboratory of AI for Industry, QUST, Qingdao, China(工业人工智能联合实验室)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文通过理论分析和实验,提出了一种基于去偏的微调方法,以提升大语言模型对语义相似但文本不同的提示的鲁棒性,并提供了认证保证。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06431 2026-05-29 cs.AI 88%

LsrIF: Enhancing Logic-Structured Instruction Following of Large Language Models

LsrIF: 增强大语言模型的逻辑结构化指令遵循能力

Qingyu Ren, Qianyu He, Jingwen Chang, Geng Zhang, Jiajie Zhu, Xingzhou Chen, Zhuofei Shi, Jiaqing Liang, Yanghua Xiao, Han Xia, Zeye Sun, Fei Yu

机构 * Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(复旦大学数据科学重点实验室,计算机科学与人工智能学院) School of Data Science, Fudan University(复旦大学数据科学学院) Ant Group(蚂蚁集团)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 提出LsrIF框架,通过构建并行、顺序、条件和嵌套结构的原子约束数据,并采用结构感知的奖励聚合方法,提升大语言模型在逻辑结构化指令遵循任务中的表现。

详情

展开后加载摘要…

URL PDF HTML 收藏