GATEAU: Selecting Influential Samples for Long Context Alignment
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Peking University(北京大学);DeepLang AI;Institute for AI, Tsinghua University(清华大学人工智能研究院)
针对长上下文对齐中数据质量难以保证的问题,提出GATEAU框架,通过衡量长程依赖带来的生成与理解难度来识别高影响力样本,从而有效提升模型的指令遵循与长上下文理解能力。
2025-09-15 cs.AI cs.CL
Instruction Mining: Instruction Data Selection for Tuning Large Language Models
LinkedIn(领英);Microsoft Research(微软研究院);Lehigh University(理海大学)
本文提出InstructMining方法,利用自然语言指标自动评估并选择高质量的指令微调数据,结合BlendSearch在10万条数据中筛选出最佳子集,在主流基准上取得SOTA性能。
2024-07-26 cs.AI cs.CL cs.LG
A Survey on Data Selection for LLM Instruction Tuning
Harbin Institute of Technology(哈尔滨工业大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Harbin Institute of Technology (Weihai)(哈尔滨工业大学(威海))
本文综述大语言模型(LLMs)指令微调的数据选择研究,介绍常用指令数据集,提出数据选择方法新分类体系并详述进展、评估策略,指出挑战与前沿方向,助力提升LLMs指令遵循能力并降低训练成本。
2025-08-26 cs.CL
Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases
Beike Inc.(贝壳公司)
ChatGPT的成功最近吸引了众多的努力来复制它,预防调整策略是取得显着成果的关键因素。指令调整不仅显著提高了模型的性能和泛化能力,而且使模型生成的结果更符合人类语音模式。然而,目前的研究很少研究不同数量的指令数据对模型性能的影响,特别是在现实世界的用例。在本文中,我们探讨了大语言模型的性能的基础上,指令微调跨不同规模的指令数据。实验中构建了由12个主要在线用例组成的评估数据集。以Bloomz-7 B1-mt为基础模型,结果表明:1)仅仅增加指令数据量就能导致开放式生成等任务的持续改进; 2)在数学和代码等任务中,随着数据量的增加,模型性能曲线保持相当平坦。我们进一步分析了这些现象的可能原因,并提出了潜在的未来研究方向,如有效地选择高质量的训练数据,缩放的基础模型和专门用于硬任务的训练方法。我们将发布我们的训练和评估数据集,以及模型检查点。
2023-03-26 cs.CL
Instruction Matters: A Simple yet Effective Task Selection for Optimized Instruction Tuning of Specific Tasks
LG AI Research(LG AI研究院);KAIST(韩国科学技术院)
本文提出一种仅利用指令信息选择相关任务的简单高效方法,通过任务选择优化特定任务的指令微调,在多个基准上超越先前方法。
2024-10-17 cs.CL
RECOST: External Knowledge Guided Data-efficient Instruction Tuning
Zhejiang University(浙江大学)
本文提出RECOST框架,利用外部知识评估LLM合成指令数据,结合重排序与多样性采样,在Alpaca等数据集上仅用1%数据即取得更优效果。
2024-02-27 cs.CL
RAISE: Reinforced Adaptive Instruction Selection For Large Language Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);University of Illinois Chicago(伊利诺伊大学香槟分校);Seoul National University(首尔国立大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
RAISE通过强化学习动态选择指令,提升大语言模型微调效率与效果。
2026-02-13 cs.CL
Beyond IID: Optimizing Instruction Learning from the Perspective of Instruction Interaction and Dependency
Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
针对现有指令学习忽略不同类别指令交互依赖的问题,本文研究指令交互依赖模式,提出基于线性规划的指令集优化方法和依赖引导的SFT课程学习方案,在多个基准上取得优于强基线的效果。
2024-09-11 cs.AI cs.CL
Long Is More for Alignment: A Simple but Tough-to-Beat Baseline for Instruction Fine-Tuning
EPFL(洛桑联邦理工学院)
本文提出一种极简基线方法,通过从标准数据集中选择响应最长的1,000条指令进行指令微调,在GPT-4和PaLM-2评判下持续优于LIMA和AlpaGasus等复杂方法,并在多个基准上取得竞争力结果。
2024-06-04 cs.CL
Importance-Aware Data Selection for Efficient LLM Instruction Tuning
本文提出模型指令弱点值(MIWV)指标,利用上下文学习中的回答差异量化指令数据对模型能力提升的重要性,并证明仅用前1%数据微调即可超越全量数据训练效果。
2025-11-10 cs.CL
Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Du Xiaoman Technology (Beijing) Co., Ltd.(度小满科技(北京)有限公司)
针对领域指令数据选择忽视指令联合分布的问题,本文提出 G2IS,利用基于梯度的指令图和梯度游走算法建模指令依赖,从而在低资源领域适应中显著提升训练效率与性能。
2025-02-16 cs.CL
Help me write a poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing
Columbia University(哥伦比亚大学);New York University(纽约大学)
最近在训练大语言模型(LLM)以遵循自然语言指令方面的工作为自然语言界面设计开辟了令人兴奋的机会。基于LLM在计算机辅助创造力领域的先前成功,我们的目标是研究LLM是否可以通过协作提高用户生成内容的质量。我们介绍了CoPoet,一个协作诗歌写作系统。与自动完成用户的文本相反,CoPoet由指定所需文本属性的用户指令控制,例如写一个关于“爱”的句子或写一个以“飞”结尾的句子。我们的系统的核心组成部分是一个语言模型微调上的诗歌写作指令的多样化集合。我们的模型不仅与公开可用的LLM(指令训练)具有竞争力,而且还能够满足看不见的组合指令。一项针对15名合格群众工作者的研究表明,用户成功地用CoPoet写诗,主题从君主制到气候变化。此外,第三方评估者更喜欢合作创作的诗歌,而不是那些没有系统的诗歌。
2022-10-25 cs.CL
Task--Specificity Score: Measuring How Much Instructions Really Matter for Supervision
Lingo Research Group, Indian Institute of Technology Gandhinagar(林戈研究组,印度理工学院冈德hinagar分校);Soket AI(Soket人工智能公司)
任务特异性分数用于衡量指令在监督学习中的重要性,通过对比真实指令与替代指令来提升模型性能。
2026-02-03 cs.AI cs.CL
Tool Retrieval Bridge: Aligning Vague Instructions with Retriever Preferences via Bridge Model
Department of Gastroenterology, Renmin Hospital, Wuhan University(武汉大学人民医院消化内科);School of Computer Science, Wuhan University(武汉大学计算机学院);State Grid Corporation(国家电网公司)
本文提出TRB方法,通过桥模型将模糊指令转化为更具体的指令,提升模糊指令下的工具检索性能,实验表明TRB在多个检索设置下显著提升检索效果。
2026-04-09 cs.CL
Instruction Position Matters in Sequence Generation with Large Language Models
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心)
针对大语言模型长输入下的指令遗忘问题,提出将任务指令移至输入后的方法,经理论分析与多规模模型、多任务实验验证,在零样本条件序列生成上性能提升显著且无额外成本。
2023-08-23 cs.CL
Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions
Stanford University(斯坦福大学);Bocconi University(博科尼大学)
本文研究指令调优模型的安全性问题,发现仅添加3%安全示例即可显著提升LLaMA等模型的安全性,且不损害其能力,但过度调优会导致拒绝安全提示,揭示了帮助性与安全性的权衡。
2024-03-19 cs.CL
MADS: Model-Aware Diverse Core Set Selection for Instruction Tuning
Shandong University(山东大学);Inspurcloud
提出一种基于模型推理时神经激活状态区分数据特征的多样化核心集选择方法,在减少数据量的同时提升大语言模型在多个下游任务上的性能。
2026-05-29 cs.CL
Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出Explore-Instruct方法,通过LLM主动探索和搜索算法生成多样化领域聚焦数据,有效提升特定领域指令覆盖并显著超越多个基线。
2023-10-24 cs.CL
Be Cautious When Merging Unfamiliar LLMs: A Phishing Model Capable of Stealing Privacy
Zhejiang University(浙江大学);University of Virginia(弗吉尼亚大学)
本文提出 PhiMM 隐私攻击,利用伪装成具备专门能力的网络钓鱼模型,在模型合并后通过指令窃取 PII 与 MI,实验显示隐私泄露显著上升。
2025-02-17 cs.CL
Learning Instruction-Following Policies through Open-Ended Instruction Relabeling with Large Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出利用大型语言模型对智能体历史轨迹进行开放式指令重标注,通过识别隐式完成的子任务丰富训练数据,从而在无需大量人工标注的情况下高效学习统一的指令遵循强化学习策略,并在Craftax环境中显著提升了样本效率与策略性能。
2025-06-24 cs.CL cs.LG
REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback
Indian Institute of Technology, Kharagpur(印度理工学院,克哈格普尔)
本文提出REFINE-AF半自动化任务无关框架,利用开源小型LLM自生成指令并结合基于自动化反馈的RL训练,以更低成本生成微调数据,并在63%至66%的任务上显著优于以往方法。
2025-05-10 cs.CL
SCAR: Data Selection via Style Consistency-Aware Response Ranking for Efficient Instruction-Tuning of Large Language Models
School of Computing Technologies, RMIT University, Australia(皇家墨尔本理工大学计算机科技学院);School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);Department of Data Science & AI, Monash University, Australia(墨尔本大学数据科学与人工智能系)
本研究提出SCAR方法,通过语言形式和指令惊异度两个风格要素对训练数据进行一致性排序,仅用0.7%数据即可使微调LLM性能匹敌全量训练效果。
2025-05-31 cs.CL
AdvancedIF: Rubric-Based Benchmarking and Reinforcement Learning for Advancing LLM Instruction Following
Meta Superintelligence Labs(Meta超智能实验室);Princeton University(普林斯顿大学)
本研究提出AdvancedIF基准和RIFL方法,通过规则生成和奖励塑造提升大语言模型的指令跟随能力,在AdvancedIF上实现6.7%的提升。
2025-11-26 cs.CL
ClimateChat: Designing Data and Methods for Instruction Tuning LLMs to Answer Climate Change Queries
Tsinghua University(清华大学)
本研究针对气候变化领域高精度指令数据不足的问题,提出自动化构建指令数据的方法,构建ClimateChat-Corpus数据集并微调得到ClimateChat大语言模型,显著提升了气候变化问答任务性能,为领域大模型训练提供参考。
2025-06-12 cs.AI cs.CL
ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
York University(约克大学);Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
本文提出ChartInstruct,一种基于71K图表生成191K指令的图表专用指令微调数据集,并设计了端到端和流水线两种系统,在四个下游任务上取得最先进结果,提升了图表理解与推理的通用性。
2024-03-14 cs.CL
CyberPal.AI: Empowering LLMs with Expert-Driven Cybersecurity Instructions
IBM Research(IBM研究院);Ben-Gurion University(本古里安大学)
针对大语言模型在网络安全领域应用的挑战,研究构建专家知识驱动的指令数据集SecKnowledge,微调得到安全专用模型CyberPal.AI,并推出综合评估基准SecKnowledge-Eval,性能较基线最高提升24%。
2024-08-17 cs.CL
CIFLEX: Contextual Instruction Flow for Sub-task Execution in Multi-Turn Interactions with a Single On-Device LLM
Qualcomm AI Research(高通人工智能研究院)
针对单设备端LLM多轮交互中子任务切换计算开销高的问题,提出CIFLEX系统,通过复用主任务KV缓存、侧路径注入指令及分层分类子任务选择策略,在不降低性能的前提下显著减少计算量,实现高效的设备端多任务对话。
2025-09-24 cs.CL
Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026
Karlsruhe Institute of Technology(卡尔斯鲁厄理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出一种通用数据增强流水线,通过片段拼接、LLM标签生成和跨语言翻译将短语音语料转换为长语音训练数据,结合似然与最小贝叶斯风险解码解决长语音语义任务退化问题。
2026-06-03 cs.CL eess.AS
Empowering Large Language Models for Textual Data Augmentation
Google DeepMind(谷歌DeepMind);Worcester Polytechnic Institute(伍斯特理工学院);Northwestern University(西北大学)
本文提出一种自动生成并选择任务感知指令的解决方案,赋能LLMs为不同下游任务创建高质量增强数据,在26个少样本学习任务上取得最佳性能。
2024-04-26 cs.AI cs.CL
JsonTuning: Towards Generalizable, Robust, and Controllable Instruction Tuning
The Chinese University of Hong Kong(香港中文大学);Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group(阿里云达摩院);Nanyang Technological University(南洋理工大学)
针对 TextTuning 缺乏显式任务结构的问题,本文提出基于 JSON 的结构到结构指令微调方法 JsonTuning,并在多模型、多基准实验中验证其在性能、鲁棒性和可控性上的一致优势。
2025-06-08 cs.CL
Towards Automatic Continual Learning: A Self-Adaptive Framework for Continual Instruction Tuning
National Supercomputer Center in Tianjin(国家超级计算天津中心);School of Science, Tianjin University of Technology and Education(天津职业技术师范大学理学院)
针对现有持续指令调优方法侧重旧知识保留、忽视新知识选择及领域部署难题,提出带代理模型动态过滤的自适应框架,可降本提效并实现自主更新。
2025-03-20 cs.AI cs.CL
Zero-shot cross-lingual transfer in instruction tuning of large language models
Naver Labs Europe(Naver欧洲实验室)
本研究系统探讨了大型语言模型指令微调中的零样本跨语言迁移,发现只要在超参数调优中考虑多语言性并使用足够数据,仅用英语训练的模型也能在其他语言中生成正确且全面的响应,但存在事实性低和流畅性错误的问题。
2024-04-22 cs.AI cs.CL
SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities
Fudan University(复旦大学)
针对现有语音语言模型级联范式阻碍模态间知识迁移的问题,提出SpeechGPT,通过构建大规模跨模态指令数据集并采用三阶段训练策略,赋予大型语言模型内在的跨模态对话能力,实现单模型对多模态指令的遵循与处理。
2023-05-19 cs.CL
Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出基于提示不确定性的主动指令微调框架,通过模型在扰动提示上的输出分歧识别信息量大的任务进行选择性训练,在NIV2和Self-Instruct数据集上以更少训练任务实现了更好的分布外泛化,并揭示了模糊任务有助于泛化而困难任务无益的规律。
2023-11-01 cs.AI cs.CL
AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
Princeton Language and Intelligence(普林斯顿语言与智能)
AdaptMI提出自适应技能选择方法,仅在模型表现不佳时引入技能示例,并针对缺失技能补充示例,在五个小语言模型上提升数学推理准确率最多6%。
2025-09-10 cs.CL
M2Lingual: Enhancing Multilingual, Multi-Turn Instruction Alignment in Large Language Models
ServiceNow;University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出完全合成的多语言多轮指令微调数据集M2Lingual,利用两步Evol分类法将种子示例转换为复杂指令,覆盖70种语言和17+种NLP任务,有效提升了不同规模LLMs的多语言对齐性能。
2025-03-04 cs.AI cs.CL cs.LG
No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study
Wageningen University and Research(瓦赫宁根大学与研究中心);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Koç University(科克大学);KUIS AI Lab(KUIS人工智能实验室)
研究多语言指令微调中语言集选择问题,通过评估基于多种特征的语言信息选择策略与随机基线对比,发现固定预算下无通用语言选择策略,性能因任务和模型而异,超阈值加语言会致性能下降,还讨论了相关影响和评估陷阱。
2026-07-28 cs.CL cs.LG
CoEdIT: Text Editing by Task-Specific Instruction Tuning
Grammarly(Grammarly公司);University of Minnesota(明尼苏达大学)
CoEdIT是一个通过82K条任务特定指令微调的最先进文本编辑系统,在多个基准上表现优异,体积比最大LLM小60倍,且能泛化至未见和复合编辑指令。
2023-10-23 cs.AI cs.CL
Grounding Natural Language Instructions: Can Large Language Models Capture Spatial Information?
University of Manchester(曼彻斯特大学);Blue Prism AI Labs(蓝棱镜人工智能实验室);ByteDance AI Lab(字节跳动人工智能实验室);Idiap Research Institute(Idiap研究所)
为智能过程自动化设计的模型需要能够使用户界面元素接地。这个界面元素基础的任务集中在将自然语言中的指令链接到它们的目标对象上。尽管BERT和类似的预训练语言模型在几个NLP任务中表现出色,但它们的使用尚未在UI基础领域得到广泛探索。本工作集中于测试和探测三种不同的基于变压器的模型的接地能力:BERT,RobERTa和LayoutLM。我们的主要重点是这些模型的空间推理能力,因为它们在这个领域的重要性。我们观察到,LayoutLM有一个很有前途的优势,在这一领域的应用程序,即使它是为不同的原始目的(代表扫描的文档):学习的空间功能似乎是可转移到UI接地设置,特别是因为他们表现出的能力,区分目标方向之间的自然语言指令。
2021-09-17 cs.AI cs.CL
SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models
Tsinghua University(清华大学);Zhipu AI(智谱AI);California Institute of Technology(加州理工学院)
针对LLMs在复杂科学概念、符号推导和数值计算上的不足,提出自反思指令标注框架构建高质量科学数据集SciInstruct,微调多个模型显著提升其科学与数学推理能力且不损失语言理解能力。
2024-11-18 cs.CL
OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding
Fudan University(复旦大学);MiniMax;Peking University(北京大学)
OctoBench通过评估仓库基础代理编程中的支架意识指令遵循能力,揭示了任务解决与合规性之间的差距,推动更高效的编码代理发展。
2026-01-16 cs.AI cs.CL
TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出任务无关的梯度聚类核心集选择方法(TAGCOS),利用样本梯度聚类和贪心算法,仅用5%数据即可达到接近完整数据集的效果,解决了指令微调数据选择的高效性与准确性问题。
2024-07-21 cs.AI cs.CL cs.LG
NAVER LABS Europe Submission to the Instruction-following 2026 Short Track
NAVER LABS Europe;IIIT Delhi(印度德里国际信息技术学院)
提出SpeechMapper语音投影器和合成SQA数据集fakACL,在更紧凑模型上实现ASR、ST和SQA联合处理,获得IWSLT 2026短轨道并列第一。
2026-07-03 cs.CL
TACOS: Open Tagging and Comparative Scoring for Instruction Fine-Tuning Data Selection
National University of Defense Technology(国防科技大学);Intelligent Game and Decision Lab(智能游戏与决策实验室)
TACOS通过开放标签和比较评分方法提升指令微调数据选择的效率与效果,通过开放域标签和去噪处理增强数据多样性,并通过比较评分避免单一标准的不一致性,实验显示其在多个数据集和模型架构上均表现优异。
2025-07-04 cs.AI cs.CL
Biomedical Visual Instruction Tuning with Clinician Preference Alignment
Stanford University(斯坦福大学);Emory University(埃默里大学);University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
提出BioMed-VITAL框架,通过临床医生偏好对齐生成和选择指令数据,显著提升生物医学多模态模型的视觉对话和医学VQA性能。
2024-07-16 cs.AI cs.CL cs.CV
Do as I Say, Not as I Do: Instruction-Induction Conflict in LLMs
Future Impact Group(未来影响组)
研究探讨了大型语言模型在面对指令与模式完成之间的冲突时的表现,发现指令遵循率在不同模型和指令下差异显著,输出多样性是预测鲁棒性的主要因素。
2026-09-02 cs.AI cs.CL
Text as Images: Can Multimodal Large Language Models Follow Printed Instructions in Pixels?
Apple(苹果公司);Microsoft Research(微软研究院);University of Washington(华盛顿大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
本文提出 VIM 评测像素化印刷指令,在八个基准上揭示开源 MLLM 的显著性能下降,并训练可同时鲁棒遵循文本与视觉模态指令的 v-MLLM。
2024-06-10 cs.AI cs.CL cs.CV
Show and Guide: Instructional-Plan Grounded Vision and Language Model
NOVA School of Science and Technology(NOVA科技学院);NOVA LINCS
本文提出首个多模态计划引导大语言模型MM-PlanLLM,通过对话式视频时刻检索和视觉信息驱动的步骤生成两项任务实现文本计划与视觉信息的跨模态对齐,并采用多任务多阶段训练策略,在计划引导场景下同时提升多模态和文本对话性能。
2024-10-18 cs.CL cs.CV
ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning
Worcester Polytechnic Institute(沃斯特理工学院);ByteDance Inc.(字节跳动公司)
针对指令微调损失与任务性能不对齐的问题,本文提出 ROSE 框架,利用成对偏好损失和影响函数选择任务相关训练数据,仅用 5% 数据即可媲美全量微调并超越现有方法。
2025-08-29 cs.AI cs.CL cs.LG
UITron-Speech: Towards Automated GUI Agents Based on Speech Instructions
UITron-Speech通过语音指令和截图处理,实现首个端到端GUI代理,提升无障碍人机交互的可行性。
2025-11-26 cs.AI cs.CL
DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通信工程研究所);NVIDIA(英伟达)
本研究提出DeSTA2方法,通过自动化生成语音-文本配对数据,在无需语音指令微调数据的情况下为语音语言模型注入副语言理解能力,同时保留大语言模型原有能力,在多个基准上取得优异性能,降低了对标注数据的依赖。
2025-01-27 cs.CL cs.SD eess.AS
PRISM: Probing Reasoning, Instruction, and Source Memory in LLM Hallucinations
HKUST(GZ)(香港科技大学(广州));NYUSH(纽约大学上海分校);DUFE(东华大学);CUHK(SZ)(香港城市大学(深圳));CUFE(中国金融学院)
PRISM通过四个维度分析语言模型幻觉,提供细粒度诊断评估,揭示不同模型在指令遵循、记忆检索和逻辑推理上的权衡。
2026-04-26 cs.AI cs.CL
Key Algorithms for Keyphrase Generation: Instruction-Based LLMs for Russian Scientific Keyphrases
University of Tyumen(秋明大学);Novosibirsk State University(新西伯利亚国立大学)
针对俄语科学关键词生成因形态复杂和数据集有限导致现有方案受限的问题,评估基于提示的LLM方法,发现其无需特定微调即可优于常见基线,还分析了少样本示例选择策略与人工评估结果。
2024-10-23 cs.AI cs.CL
How Do Your Code LLMs Perform? Empowering Code Instruction Tuning with High-Quality Data
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
针对代码指令数据泄漏与质量难辨问题,提出基于复杂度、回答质量和多样性的高效数据剪枝策略,并据此训练 LLaMA3 微调模型 XCoder,以更少数据达到新的最优性能。
2024-09-05 cs.AI cs.CL cs.LG