arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 11619 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 11619 篇

2606.24107 2026-07-07 cs.CV cs.AI 新提交 81%

DramaDirector: Geometry-Guided Short Drama Generation

DramaDirector: 几何引导的短剧生成

Hengji Zhou, Sijie Liu, Jianrun Chen, Xingchen Zou, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology(华南理工大学) The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.AI

AI总结 提出几何引导框架DramaDirector,通过检索真实短剧的深度-姿态参考,结合模式约束SFT和GRPO训练规划器,实现从情节到多镜头短剧的生成,在忠实度、一致性和可控性上优于基线。

Comments 20 pages, 17 figures, 6 tables. Code is available at https://github.com/iLearn-Lab/DramaDirector

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01470 2026-07-03 cs.AI 新提交 81%

World Feedback for Clinical Agents: Diagnosing RL in FHIR Environments

临床智能体的世界反馈:在FHIR环境中诊断强化学习

Ananya Mantravadi, Harshit Rajgarhia, Prasanna Desikan, Abhishek Mukherji

机构 * Centific Global Solutions, Inc.(Centific全球解决方案公司)

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.AI

AI总结 针对临床协议执行任务,审计发现MedAgentBench存在静默完成上限,构建MAB-v3后训练Qwen3-8B,揭示能力上限和格式知识障碍是RL性能瓶颈,提出决策/格式知识/查找分类法并给出SFT注入代码、RL学习条件逻辑的修复方案。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.14157 2026-07-03 cs.AI cs.CV 版本更新 81%

Ophiuchus: Incentivizing Tool-augmented "Think with Images" for Joint Medical Segmentation, Understanding and Reasoning

Ophiuchus: 激励工具增强的“图像思考”用于联合医学分割、理解与推理

Yankai Jiang, Yujie Zhang, Peng Zhang, Wenjie Li, Yichen Li, Jintai Chen, Xiaoming Shi, Shihui Zhen

机构 * Zhejiang University(浙江大学) Fudan University(复旦大学) Information Hub, HKUST (Guangzhou)(信息枢纽,香港科技大学(广州))

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.AI

AI总结 提出Ophiuchus框架,通过三阶段训练策略(冷启动SFT、自反思微调、工具强化学习)使MLLM动态聚焦细粒度视觉区域,实现精准医学分割与诊断。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01033 2026-07-02 cs.LG 新提交 81%

The Model Organism Lottery: Model Organism Interpretability Strongly Depends on Training Methodology

模式生物彩票:模式生物可解释性强烈依赖于训练方法

Andrzej Szablewski, Gabriel Konar-Steenberg, Raffaello Fornasiere, Nikita Menon, Stefan Heimersheim

专题命中 指令微调 :SFT(abstract,abstract_cn);language model(abstract);post-training(abstract);分类 cs.LG

AI总结 研究通过七种训练方法构建54个模式生物,发现模式生物可解释性强烈依赖于训练目标、目标行为、模型架构和数据生成流程,集成训练通常比事后方法更不可解释,质疑当前模式生物作为可解释性代理的有效性。

Comments 9 pages, 9 figures, references and appendices

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31099 2026-07-01 cs.CV cs.AI 新提交 81%

Seeing Through Multiple Views: Parameter-Efficient Fine-Tuning via Selective Neurons for Consistent Radiology Report Generation

透视多视图:通过选择性神经元进行参数高效微调以实现一致的放射学报告生成

Yucheng Chen, Jinjing Zhu, Yang Yu, Yufei Shi, Hane Naghshbandi, Jinhua Liu, Angela S. Koh, Fang Fen, Kian Eng Ong, Si Yong Yeo

机构 * MedVisAI Lab(MedVisAI实验室) Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore(新加坡南洋理工大学李光前医学院) Centre of AI in Medicine, Singapore(新加坡人工智能医学中心) The Chinese University of Hong Kong, Sha Tin, New Territories, Hong Kong(香港中文大学) National Heart Centre Singapore (NHCS), Singapore(新加坡国家心脏中心)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出View-PNDF框架,通过检测和微调视图特定神经元,从神经元层面实现多视图X光报告的一致性生成,仅更新少量参数即可提升视图特定报告质量并保持通用性能。

Comments Accepted by MICCAI2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.13368 2026-07-01 cs.AI cs.CV 新提交 81%

IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing

IterCAD:一种用于视觉引导的CAD生成与编辑的迭代多模态智能体

Tao Hu, Jiaxin Ai, Licheng Wen, Xueheng Li, Shu Zou, Siqi Li, Nianchen Deng, Xinyu Cai, Hongbin Zhou, Pinlong Cai, Daocheng Fu, Yu Yang, Hairong Zhang, Botian Shi, Xuemeng Yang

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.AI

AI总结 提出IterCAD,一种闭环交互式CAD生成与编辑的多模态智能体框架,通过渐进式SFT和几何感知强化学习优化,在代码可执行性和几何精度上显著超越现有方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.30263 2026-06-30 cs.CR cs.AI 81%

Defending Against Harmful Supervision Hidden in Benign Samples

防御隐藏在良性样本中的有害监督

Bang An, Yibo Yang, Dandan Guo, Ebtisam Alshehri, Carlos Hinojosa, Bernard Ghanem

机构 * King Abdullah University of Science and Technology(卡塔尔国王 Abdullah 科学与技术大学) School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.AI

AI总结 针对有害监督嵌入良性训练样本的攻击,提出基于双重参考的SFT方法(DR-SFT),通过令牌级正则化缓解有害微调。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29792 2026-06-30 cs.CL 81%

Are Humans Evolved Instruction Followers? An Underlying Inductive Bias Enables Rapid Instructed Task Learning

人类是进化而来的指令遵循者吗?一种潜在的归纳偏置使得快速指令任务学习成为可能

Anjishnu Kumar

机构 * Amazon Alexa AI Seattle, USA(亚马逊Alexa AI西雅图美国)

专题命中 指令微调 :LLM(abstract_cn);large language model(abstract);language model(abstract);instruction tuning(abstract)

AI总结 本文提出人类具有进化形成的指令遵循偏置,即一种归纳偏置,使得从语言快速泛化行为成为可能,并类比大语言模型的指令微调,呼吁跨学科研究。

Comments 4 pages, Position Paper, Published at Neurips 2025 Workshop on Interpreting Cognition in Deep Learning Models - https://neurips.cc/virtual/2025/loc/san-diego/129741

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29265 2026-06-30 cs.CL 81%

MIThinker: A Plug-and-Play Policy-Optimized Thinker For Motivational Interviewing Counseling

MIThinker:一种用于动机性访谈咨询的即插即用策略优化思考器

Yizhe Yang, Palakorn Achananuparp, Heyan Huang, Jing Jiang, Ee-Peng Lim

机构 * Beijing Institute of Technology(北京理工大学) Singapore Management University(新加坡国立大学) Australian National University(澳大利亚国立大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出轻量级思考模型MIThinker,通过逆向工程从咨询师回应中生成治疗性思考,结合监督微调和强化学习训练,以显式对齐咨询策略,提升动机性访谈咨询效果,计算量降低一个数量级。

Comments Accepted to Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.29130 2026-06-30 cs.CL 81%

DistilledGemma: Balanced Efficiency-Accuracy for Person-Place Relation Extraction from Multilingual Historical Articles

DistilledGemma:面向多语言历史文章的人物-地点关系提取的平衡效率与准确性

Youssef Aboelwafa, Ahmed Samir, Nagwa Elmakky, Marwan Torki

专题命中 指令微调 :SFT(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出DistilledGemma系统,采用三阶段知识蒸馏管道,从26B教师模型蒸馏到2.3B学生模型,在HIPE-2026共享任务中实现高效准确的人物-地点关系提取,标准测试集排名第三,二进制测试集排名第二。

Comments The Conference and Labs of the Evaluation Forum (CLEF) 2026 - HIPE Challenge

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.28479 2026-06-30 cs.CR cs.AI 81%

Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs

面向CSIRTs的隐私保护微调中记忆化减少的分解

Cristhian Kapelinski, Diego Kreutz

机构 * Federal University of Pampa(帕纳马联邦大学)

专题命中 指令微调 :language model(abstract);small language model(abstract);SLM(abstract_cn);prompting(abstract)

AI总结 本文首次实证研究DP SGD与HMAC伪匿名化在微调1B-3B小语言模型时的交互作用,发现匹配更新控制可解释66%-132%的记忆化减少,HMAC减少40%-61%的暴露,但模型性能不足以实际应用。

Comments 7 tables, 51 references. Accepted for publication at the 36th Brazilian Conference on Intelligent Systems (BRACIS 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.27069 2026-06-29 cs.CL 新提交 81%

Towards Explainable Adjudicative Variance: Quantifying Judicial Discretion via Gated Multi-Task Learning

迈向可解释的裁判差异:通过门控多任务学习量化司法裁量权

Stanisław Sójka, Felix Steffek, Matthias Grabmair

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.CL

AI总结 提出法官感知门控多任务学习架构,通过细粒度结果分类和门控融合机制区分客观事实与司法裁量,在UK就业法庭数据上以更少参数超越生成式SFT基线,实现可解释的裁判差异量化。

Comments 17 pages (8 pages main text), 5 figures, 9 tables. Accepted to the AI for Law Workshop at the 43rd International Conference on Machine Learning (ICML 2026), Seoul, South Korea

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24993 2026-06-25 cs.LG 新提交 81%

The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

序列学习的几何:李括号预测迁移顺序

John Sweeney

机构 * Sideplane AI

专题命中 指令微调 :SFT(abstract,abstract_cn);LLM(abstract_cn);pretraining(abstract);分类 cs.LG

AI总结 提出李括号对偶性分数预测序列学习中的源域顺序,通过李括号锦标赛实现O(N log N)排序,在指令微调和DPO中达到高准确率。

Comments Accepted to ICML 2026. 20 pages, including appendices

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.22385 2026-06-23 cs.AI cs.CE 新提交 81%

MetaPS: Adaptive Programmatic Strategy Selection for Market Agents

MetaPS:面向市场智能体的自适应程序化策略选择

Jiaxiang Chen, Aotian Luo, Zhouyi Zheng, Weiyi Huang, Chi Zhang, Zenglin Xu

机构 * Fudan University(复旦大学) TensorPacific

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出MetaPS框架,通过模拟市场回滚候选策略并生成监督微调数据,使智能体自适应选择程序化策略,在股票交易和商品交换实验中优于固定策略和直接决策方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.14970 2026-06-23 cs.LG 新提交 81%

Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

基于LMO方法的零阶无参数优化:高效微调的新方法

Dmitriy Bystrov, Daniil Medyakov, Dmitry Bylinkin, Aleksandr Beznosikov

机构 * University of California, Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 针对大模型微调中反向传播内存开销大、零阶优化对步长和平滑参数敏感的问题,提出统一无梯度训练、自适应调参和非欧几里得更新几何的AdaNAGED方法,并在OPT-1.3B模型上验证有效性。

Comments 29 pages, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31201 2026-06-23 cs.CL 版本更新 81%

Point-in-Time Financial RAG with Frozen LLMs and Market-Feedback Adaptive Retrieval

学习信任谁:事件驱动金融RAG中冻结大语言模型的市场反馈自适应检索

Zijie Zhao, Roy E. Welsch

机构 * Massachusetts Institute of Technology(麻省理工学院)

专题命中 指令微调 :LLM(summary_cn,abstract);分类 cs.CL

AI总结 针对事件驱动金融RAG,提出通过外部贝叶斯源记忆更新检索层,利用市场反馈自适应选择证据源,在冻结LLM情况下提升预测和投资组合表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20502 2026-06-19 cs.CR cs.AI cs.SE 新提交 81%

Calibration Without Comprehension: Diagnosing the Limits of Fine-Tuning LLMs for Vulnerability Detection in Systems Software

无理解的校准:诊断微调大语言模型在系统软件漏洞检测中的局限性

Arastoo Zibaeirad, Marco Vieira

机构 * University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)

专题命中 指令微调 :LLM(summary_cn,abstract);分类 cs.AI

AI总结 提出CWE-Trace框架,通过834个Linux内核样本和两个诊断指标(DFI和HDD)评估LLM漏洞检测能力,发现数据污染无实质帮助,微调仅改变输出阈值而非决策策略,模型缺乏真正的安全推理能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.20359 2026-06-19 cs.LG 新提交 81%

Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

训练、检索,还是两者兼用?针对安大略省住宅租赁法的正确法定引用的四组头对头比较

Ali Asaria, Tony Salomone, Deep Gandhi

机构 * Transformer Lab

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.LG

AI总结 研究自诉租户、房东和帮助台工作人员如何获得正确的法定引用,通过四组实验比较微调、检索及混合方法,发现SFT+RAG混合模型在精确匹配上得分最高且无幻觉引用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.19535 2026-06-19 cs.CR cs.LG 新提交 81%

FloatDoor: Platform-Triggered Backdoors in LLMs

FloatDoor: 大语言模型中的平台触发后门

Nils Loose, Jonas Sander, Felix Mächtle, Thomas Eisenbarth

机构 * University of Luebeck(吕贝克大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出FloatDoor,首个输入无关、平台触发的后门攻击,利用浮点运算平台差异,通过两个轻量LoRA适配器在目标平台触发恶意行为,同时保持模型正常效用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.14696 2026-06-19 cs.LG 版本更新 81%

A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't)

对目标指令选择的批判性审视:厘清什么重要(以及什么不重要)

Nihal V. Nayak, Paula Rodriguez-Diaz, Neha Hulkund, Sara Beery, David Alvarez-Melis

机构 * Harvard University(哈佛大学) MIT(麻省理工学院) Kempner Institute(凯门研究所)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文系统解构指令微调中目标指令选择的两大核心要素——数据表示与选择算法,发现基于梯度的表示结合贪心轮询选择在低预算下表现最佳,但收益随预算增加而减弱,并统一了多种算法为近似距离最小化。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.03045 2026-06-17 cs.LG 版本更新 81%

Clarify Before You Draw: Proactive Agents for Robust Text-to-CAD Generation

先澄清再绘制:面向鲁棒文本到CAD生成的主动式智能体

Bo Yuan, Zelin Zhao, Petr Molodyk, Bin Hu, Yongxin Chen

机构 * Georgia Institute of Technology(佐治亚理工学院) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 指令微调 :SFT(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出主动式智能体框架ProCAD,通过澄清代理在代码生成前解决用户提示中的歧义,再通过CAD编码代理生成可执行程序,显著提升鲁棒性,平均Chamfer距离降低79.9%。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.15507 2026-06-16 cs.AI 新提交 81%

Frame-Conditioned Moral Computation in LLaMA 3.1-8B-Instruct: A Mechanistic Interpretability Audit of Ethical Reasoning

LLaMA 3.1-8B-Instruct中的框架条件化道德计算:伦理推理的机械可解释性审计

Ali Dasdan, Manan Shah, W. Russell Neuman, Chad Coleman, Kund Meghani, Safinah Ali

机构 * KD Consulting, CA, USA(KD咨询公司,美国加利福尼亚州) New York University, NY, USA(纽约大学,美国纽约州)

专题命中 指令微调 :RLHF(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 通过机械可解释性平台分析LLaMA 3.1-8B-Instruct在54个道德提示上的内部计算,发现情境锚定效应:领域特定表示主导激活列表顶部,模型道德能力恒定但显著性高度依赖于提示选择的解释框架。

Comments 47 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06794 2026-06-15 cs.CL cs.IR 新提交 81%

TA-RAG: Tone-Aware Retrieval-Augmented Generation for Peer-Support Health Communication

TA-RAG: 面向同伴支持健康沟通的语气感知检索增强生成

Yong-Bin Kang, Anthony McCosker

机构 * Swinburne University of Technology(斯winburne大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出TA-RAG框架,通过轻量级提示在RAG管道中嵌入语气控制(无污名化、可读性调整、受众适应、同理心改写),无需微调模型,提升敏感健康沟通质量。

Comments 5 pages, 5 figures, CIKM 2026 submission manuscript

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12387 2026-06-11 cs.DB cs.AI 新提交 81%

TAHOE: Text-to-SQL with Automated Hint Optimization from Experience

TAHOE: 基于经验的自动提示优化文本到SQL系统

Zhiyi Chen, Jie Song, Peng Li

机构 * ByteDance Inc.(字节跳动公司) Georgia Institute of Technology(佐治亚理工学院)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出TAHOE系统,通过错误驱动的提示学习管道将调试痕迹转化为结构化提示库,结合策略层建模用户意图,在Spider 2.0-Snow上无需更新参数即可显著提升Text-to-SQL性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.12087 2026-06-11 cs.CL 新提交 81%

FORT-Searcher: Synthesizing Shortcut-Resistant Search Tasks for Training Deep Search Agents

FORT-Searcher:合成抗捷径搜索任务以训练深度搜索智能体

Jia Deng, Yimeng Chen, Xiaoqing Xiang, Ziyang Zeng, Shuo Tang, Wayne Xin Zhao, Feng Chang, Chuan Hao, Yuan Wei, Ran Tao, Bryan Dai, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence Renmin University of China(中国人民大学高瓴人工智能学院) KAUST(阿卜杜拉国王科技大学) IQuest Research(IQuest研究院) Shanghai Jiao Tong University(上海交通大学)

专题命中 指令微调 :SFT(summary_cn,abstract);分类 cs.CL

AI总结 提出FORT框架,通过控制四种捷径风险合成抗捷径训练数据,使搜索智能体进行更长的预答案搜索,减少捷径模式,仅用SFT训练即达到最优性能。

Comments 30 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20348 2026-06-11 cs.RO cs.AI cs.MA 版本更新 81%

Bimanual Robot Manipulation via Multi-Agent In-Context Learning

通过多智能体上下文学习的双臂机器人操作

Alessio Palma, Indro Spinelli, Vignesh Prasad, Luca Scofano, Yufeng Jin, Georgia Chalvatzaki, Fabio Galasso

机构 * Sapienza University of Rome(罗马萨皮恩扎大学) TU Darmstadt(达姆施塔特技术大学) Hessian.AI(黑森AI)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);language model(abstract);分类 cs.AI

AI总结 提出BiCICLe框架,将双臂操作建模为多智能体主从问题,通过解耦动作空间实现标准LLM的少样本学习,在TWIN基准上平均成功率70.5%,超越无训练基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.08113 2026-06-11 cs.CL 81%

Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

多模态大语言模型在跨模态间无法最优组合技能

Paula Ontalvilla, Aitor Ormazabal, Gorka Azkune

专题命中 指令微调 :large language model(abstract);language model(abstract);pretraining(abstract);prompting(abstract)

AI总结 本文研究多模态大语言模型跨模态技能组合能力,发现其存在显著差距,并提出链式推理和微调策略以改善,但效果有限。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.02568 2026-06-11 cs.AI 版本更新 81%

MLaGA: Multimodal Large Language and Graph Assistant

MLaGA: 多模态大语言与图助手

Dongzhe Fan, Yi Fang, Jiajin Liu, Djellel Difallah, Qiaoyu Tan

机构 * New York University(纽约大学) New York University Shanghai(纽约大学上海) New York University Brooklyn(纽约大学布鲁克林) Virginia Polytechnic Institute and State University(弗吉尼亚理工大学) New York University Abu Dhabi(纽约大学阿布扎克)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出MLaGA模型,通过结构感知多模态编码器和指令微调,将大语言模型扩展到多模态图数据,在监督和迁移学习任务中优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.08245 2026-06-09 cs.CL 新提交 81%

ZAS-SQL: Distilling Rules from Failures for Zero-Shot Text-to-SQL

ZAS-SQL: 从失败中提炼规则用于零样本文本到SQL

Hongzhou Zheng, Yixin Gou, Wenjia Zhang

机构 * Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海自主智能无人系统科学中心) College of Architecture and Urban Planning, Tongji University(同济大学建筑与城市规划学院) Behavioral and Spatial AI Lab, Peking University & Tongji University(北京大学与同济大学行为与空间人工智能实验室)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 提出ZAS-SQL零样本框架,通过Map-Reduce规则蒸馏从失败案例中提取核心生成规则,结合知识增强模式表示、规则驱动结构化推理和执行引导早停三个模块,在Spider上达到87.2%和88.6%执行准确率,超越多个少样本和微调方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.00357 2026-06-08 cs.AI 版本更新 81%

From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

从“弱”信号到强模型:基于LoRA合并的偏好增量聚合

Qi Sun, Siyue Zhang, Yulin Chen, Yuxiang Xue, Ru Peng, Chen Zhao

机构 * NYU Shanghai(纽约大学上海校区) NTU(国立台湾大学) NYU(纽约大学) ZJU(浙江大学)

专题命中 指令微调 :LLM(abstract_cn);large language model(abstract);language model(abstract);preference optimization(abstract)

AI总结 提出偏好增量聚合(PDA)框架,通过从弱-更弱模型对中提取偏好增量并转化为LoRA适配器,再经几何对齐合并(GAM)聚合多个“弱”信号,以提升强模型性能。

详情

展开后加载摘要…

URL PDF HTML 收藏