Improving Influence-based Instruction Tuning Data Selection for Balanced Learning of Diverse Capabilities
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对基于影响力的指令调优数据选择的任务偏向问题,提出BIDS算法,经实验验证其在小比例数据下可实现更均衡性能且优于现有方法。
2026-08-18 cs.AI cs.CL cs.LG
Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models
Alibaba Inc.(阿里巴巴集团);Qwen Team(通义千问团队)
本文提出AutoIF方法,通过将指令遵循数据质量验证转化为代码验证并利用执行反馈生成训练数据,显著提升了Qwen2和LLaMA3在SFT、离线DPO和在线DPO下的指令遵循能力。
2024-07-18 cs.AI cs.CL cs.LG
Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery
Fujitsu Ltd.(富士通公司);ScaDS.AI & TU Dresden(德累斯顿工业大学与ScaDS.AI)
本文提出KG Structure as Prompt方法,将知识图谱结构信息集成到提示学习中,增强小语言模型在基于知识的因果发现任务中的能力,实验证明其在少样本设置下超越多数基线及传统微调方法。
2024-07-30 cs.AI cs.CL
Improving Math Problem Solving in Large Language Models Through Categorization and Strategy Tailoring
Westwood High School(韦斯特伍德高中)
本文提出通过将数学问题分类并采用特定类别解题策略来提升大型语言模型的数学求解能力,设计了高效分类模型并验证了定制策略显著优于非定制方法。
2024-12-21 cs.CL
Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所)
本文提出由融洽关系驱动的虚拟智能体对话策略,通过提示LLM并比较预定义序列与自由形式两种闲聊生成方式,发现自由形式在主观体验评分中表现最佳。
2024-06-14 cs.CL cs.HC
Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks
KU Leuven(鲁汶大学)
深度模型的解释和解释对于依赖它们的系统的广泛采用至关重要。在本文中,我们提出了一种新的解释和解释方案,其中,给定一个预训练模型,我们自动识别与模型所考虑的类集相关的内部特征,而不依赖于额外的注释。我们通过对这组减少的特征的平均可视化来解释模型。然后,在测试时,我们通过将预测的类标签与从识别的特征中获得的支持可视化一起解释网络预测。此外,我们提出了一种方法来解决跨操作在deconvNet为基础的可视化引入的文物。在MNIST、ILSVRC 12、Fashion144k和an8Flower数据集上的实验表明,本文提出的方法能够得到详细的解释,并能很好地覆盖感兴趣类的相关特征
2019-03-08 cs.CV cs.LG stat.ML
Improving Sparse Memory Finetuning
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本文提出稀疏记忆微调方法,通过局部更新显式内存层参数,解决持续学习中的灾难性遗忘问题,并在消费级硬件上验证了其有效性。
2026-04-06 cs.CL cs.LG
Improving Reasoning Capabilities in Small Models through Mixture-of-Layers Distillation with Stepwise Attention on Key Information
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院)
本文提出一种基于分步注意力的混合层蒸馏方法,通过引导学生模型逐步聚焦关键信息,提升小模型的推理能力,并在多个数学和常识推理数据集上取得一致性能提升。
2026-04-17 cs.CL
SMAR: Soft Modality-Aware Routing Strategy for MoE-based Multimodal Large Language Models Preserving Language Capabilities
针对多模态 MoE 模型适配预训练模型时语言能力退化或训练成本高的问题,提出利用 KL 散度控制跨模态路由分布的正则化技术 SMAR,仅需 2.5% 纯文本即能以 86.6% 保留率维持语言能力并保持多模态性能。
2025-06-25 cs.AI cs.CL
Improving the Language Understanding Capabilities of Large Language Models Using Reinforcement Learning
UC San Diego(加州大学圣地亚哥分校)
本研究提出用近端策略优化(PPO)将自然语言理解任务构建为强化学习环境,显著提升大语言模型在GLUE等基准上的性能,并超越GPT-4o,展示了以端任务奖励驱动模型适应的新方向。
2025-09-26 cs.AI cs.CL
Reinforcement Learning for improving Large Language Models' Catalan text simplification capabilities
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
该研究针对低资源语言加泰罗尼亚语,提出结合SARI指标与惩罚项的GRPO奖励函数,后训练IberianLLM-7B-Instruct提升其ATS性能,同时探索跨语言迁移学习但未获显著效果。
2026-09-07 cs.AI cs.CL
Improving Multimodal Large Language Models Using Continual Learning
University of Rochester(罗切斯特大学);Rochester Institute of Technology(罗切斯特理工学院)
本研究将视觉模型集成至LLM视为持续学习问题,评估五种方法缓解遗忘,提出在保持多模态准确率的同时将语言性能退化降低高达15%的技术。
2025-08-13 cs.CL cs.CV cs.LG
Does Table Source Matter? Benchmarking and Improving Multimodal Scientific Table Understanding and Reasoning
The University of Manchester(曼彻斯特大学);Tencent Timi Studio(腾讯天美工作室);Idiap Research Institute(Idiap研究所)
本研究提出多模态科学表格理解框架,含52K预训练样本、12K指令数据和3,114测试基准,证明领域特定数据优于通用数据,并提升数值推理能力。
2025-02-25 cs.CL
mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans
Nara Institute of Science and Technology(奈良科学技术研究所)
本文提出多语言常识问答数据集mCSQA,利用语言模型高效构建并验证问答对,实验表明多语言模型在深层常识问题上跨语言迁移能力有限,凸显了语言特定数据集的必要性。
2024-06-06 cs.AI cs.CL cs.LG
Improving Multilingual Capabilities with Cultural and Local Knowledge in Large Language Models While Enhancing Native Performance
Vantager;Cohere for AI Community;IIT Roorkee(印度理工学院罗尔基);Amazon(亚马逊);Stanford University(斯坦福大学)
针对大语言模型多语言发展不均的问题,研究团队用含文化本地信息的精选印英指令数据微调多款LLM,推出双语模型Mantra-14B,在不损母语性能、不增模型规模与计算开销的前提下提升了双语表现,并开源相关资源助力低资源语言研究。
2025-07-31 cs.AI cs.CL
Beyond Isolation: Multi-Agent Synergy for Improving Knowledge Graph Construction
Zhejiang Lab(之江实验室);Ant Group(蚂蚁集团)
本文提出多智能体协同框架CooperKGC,通过组建可并行处理实体、关系与事件抽取的协作网络,突破大语言模型在知识图谱构建中的孤立式方法,并在多轮交互中提升知识选择、修正与聚合能力。
2024-11-20 cs.AI cs.CL cs.LG
You May Speak Freely: Improving the Fine-Grained Visual Recognition Capabilities of Multimodal Large Language Models with Answer Extraction
University of Massachusetts, Amherst(马萨诸塞大学阿姆赫斯特分校);Brown University(布朗大学)
本文提出nlg2choice方法,通过两阶段策略提升多模态大语言模型在细粒度视觉识别任务中的表现,通过开放性问题和受限解码提高检索效率。
2025-12-09 cs.CL cs.CV
Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education
Stony Brook University(石溪大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过微调开源多语言模型,显著提升了其在单语及双语学生写作评估中的性能,减少了双语评分偏差,支持教育中的真实语言实践。
2024-11-06 cs.AI cs.CL
APT: Improving Specialist LLM Performance with Weakness Case Acquisition and Iterative Preference Training
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China(计算与智能学院,哈尔滨工业大学,深圳,中国);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司);School of Intelligence Science and Engineering, Harbin Institute of Technology, Shenzhen, China(智能科学与工程学院,哈尔滨工业大学,深圳,中国)
本文提出 APT 方法,通过自生成错误案例和相似案例进行迭代偏好训练,在提升大语言模型领域性能的同时保持通用能力不下降。
2025-06-04 cs.CL
iREL at SemEval-2024 Task 9: Improving Conventional Prompting Methods for Brain Teasers
International Institute of Information Technology, Hyderabad (IIIT-H)(国际信息技术研究所(海得拉巴))
本文提出结合静态与动态少样本提示及模型生成推理策略,提升预训练语言模型在BRAINTEASER脑力谜题任务中的横向思维能力,显著优于基线但不及人类。
2024-05-25 cs.CL
Improving Natural Language Capability of Code Large Language Model
Cooperative Innovation Center, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所协同创新中心);University of Chinese Academy of Sciences(中国科学院大学);Integrative Innovation Center, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所综合创新中心);Peking University(北京大学)
针对代码大语言模型自然语言能力不足的问题,提出由AttentionExtractor和AttentionCoder组成、融合传统NLP工具的框架,并构建涵盖五种语言的MultiNL-H基准验证其有效性。
2024-01-25 cs.CL
Improving Text Auto-Completion with Next Phrase Prediction
University of Southern California(南加州大学);Upstage AI Research(Upstage AI 研究院);Singapore University of Technology and Design(新加坡科技设计大学)
语言模型,如GPT-2,在构建文本自动完成任务的句法健全的句子表现良好。然而,这样的模型通常需要相当大的训练努力来适应特定的写作领域(例如,医学)。在本文中,我们提出了一种中间训练策略,以提高预训练的语言模型在文本自动完成任务中的性能,并使其快速适应特定领域。我们的策略包括一个新的自监督训练目标,称为下一个短语预测(NPP),它鼓励语言模型完成部分查询与丰富的短语,并最终提高模型的文本自动完成性能。初步实验表明,我们的方法是能够超越基线的自动完成电子邮件和学术写作领域。
2021-09-15 cs.CL
P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains
Yale University(耶鲁大学);Harvard University(哈佛大学);NVIDIA(英伟达公司);Salesforce Research(Salesforce研究院)
提出P-FOLIO人工标注数据集,通过单步推理规则分类评估并利用多样本提示与微调显著提升LLM逻辑推理能力,在域外数据集上性能提升超10%。
2024-10-11 cs.AI cs.CL
Improving fraud prediction with incremental data balancing technique for massive data streams
Murdoch University(莫道克大学)
在大规模、高度不平衡的数据流中,分类算法的性能取决于有效的平衡策略。在过去,一些平衡策略技术已经应用于批量数据,以解决类不平衡问题。本文提出了一种新的增量式数据平衡框架,它可以工作在大规模的不平衡数据流。在本文中,我们选择赛车算法作为一种自动化的数据平衡技术,优化的平衡技术。本文采用了随机森林分类算法,该算法能够处理海量数据流。我们研究了竞赛算法和随机森林在该框架中的适用性。在欧洲信用卡数据集上的建议框架中应用新技术,提供了比批处理模式更好的结果。所提出的框架是更可扩展的,以处理在线海量数据流。
2019-10-21 cs.LG stat.ML
Improving Implicit Discourse Relation Recognition with Natural Language Explanations from LLMs
本文通过利用LLMs生成的自然语言解释提升隐含话语关系识别的性能和可解释性。
2026-02-25 cs.CL
CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning
Adobe Research(Adobe研究院);Northeastern University(东北大学)
通过 grounded 推理改进指称表达任务,提出CoT Referring方法,提升多模态大语言模型在复杂指称场景中的性能。
2026-01-17 cs.AI cs.CL
Dynamic Alignment for Collective Agency: Toward a Scalable Self-Improving Framework for Open-Ended LLM Alignment
Integral AI
本文提出动态对齐框架,通过集体代理价值实现LLM的自我改进和可扩展对齐。
2025-12-05 cs.AI cs.CL
Improving Factuality and Reasoning in Language Models through Multiagent Debate
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Brain(谷歌大脑)
提出多智能体辩论方法,让多个语言模型实例多轮辩论以达成共识,显著提升了数学与战略推理能力及事实有效性,减少幻觉,可直接应用于黑盒模型。
2023-05-23 cs.AI cs.CL cs.CV
EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
Yonsei University(延世大学)
提出EMCEE框架,通过从LLM自身提取并融合语言特定知识,结合推理输出,显著提升多语言任务性能,尤其在低资源语言上平均提升31.7%。
2026-05-29 cs.AI cs.CL
USB-Rec: An Effective Framework for Improving Conversational Recommendation Capability of Large Language Model
Harbin Institute of Technology(哈尔滨工业大学);Beihang University(北航);Xiaohongshu Inc.(小红书公司)
本文提出USB-Rec框架,通过偏好优化数据集构建和推理阶段自我增强策略,在模型层面提升大语言模型的对话推荐能力,实验验证其优于现有方法。
2025-09-20 cs.AI cs.CL
Catastrophic Cyber Capabilities Benchmark (3CB): Robustly Evaluating LLM Agent Cyber Offense Capabilities
Apart Research(阿帕特研究机构)
提出3CB基准,严格评估LLM智能体网络攻击能力,发现前沿模型具备强大攻击力,而开源小模型能力有限,为安全部署提供工具。
2024-11-02 cs.AI cs.CR cs.LG
Evaluating and Improving the Coreference Capabilities of Machine Translation Models
The Hebrew University of Jerusalem(希伯来大学);Bar Ilan University(巴伊兰大学)
机器翻译(MT)需要广泛的语言能力,当前的端到端模型期望通过观察双语语料库中对齐的句子来隐式地学习这些语言能力。在这项工作中,我们要求:\emph{How well do MT models learn coreference resolution from implicit signal?}为了回答这个问题,我们开发了一种评估方法,从MT输出中获得共指聚类,并在不需要目标语言注释的情况下对其进行评估。我们进一步评估了几个著名的开源和商业MT系统,从英语翻译到六种目标语言,并将它们与三个具有挑战性的基准测试中最先进的共指消解器进行比较。我们的研究结果表明,单语解析器大大优于MT模型。受此结果的启发,我们实验了不同的方法,将共指消解模型的输出纳入MT中,显示出对强基线的改进。
2023-02-16 cs.AI cs.CL cs.LG
Measuring and Improving Model-Moderator Collaboration using Uncertainty Estimation
Jigsaw(Jigsaw公司);Google Research(谷歌研究院)
内容审核通常由人类和机器学习模型之间的协作来执行。然而,它是没有很好地理解如何设计的协作过程,以最大限度地提高组合的主持人模型系统的性能。这项工作提出了一个严格的研究这个问题,专注于一种方法,将模型的不确定性纳入协作过程。首先,我们引入原则性的指标来描述人类主持人的能力约束下的协作系统的性能,量化如何有效地利用人类的决策相结合的系统。使用这些指标,我们进行了一个大型的基准研究,评估国家的最先进的不确定性模型在不同的协作审查策略的性能。我们发现,基于不确定性的策略始终优于广泛使用的策略的基础上的毒性分数,而且审查策略的选择大大改变了整体系统的性能。我们的研究结果表明,严格的指标的重要性,了解和开发有效的主持人模型系统的内容审核,以及在这一领域的不确定性估计的效用。
2021-07-09 cs.CL cs.LG
CultureMINE: Datasets and Methods for Improving the Cultural Capabilities of NLP Systems
Purdue University(普渡大学);University of Pennsylvania(宾夕法尼亚大学)
本文通过分析375余篇论文,系统梳理文化NLP中的能力目标、数据创建与方法趋势,并发布交互式论文列表以促进社区研究。
2026-09-22 cs.CL
AutoGeTS: Knowledge-based Automated Generation of Text Synthetics for Improving Text Classification
FabLab, Inetum(FabLab,Inetum)
针对文本分类数据不足的问题,提出自动化工作流AutoGeTS,利用LLM生成合成数据提升模型性能,并构建集成算法根据类别特征选择最优搜索策略,实验证明其优于单一策略。
2025-08-04 cs.CL cs.LG
Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality
KAIST(韩国科学技术院);Sejong University(世宗大学);Hanyang University(汉阳大学)
针对传统微调提升VLM组合推理会损害多模态能力的问题,提出融合局部硬负样本损失与选择性校准正则化的FSC-CLIP,在保持多模态能力的同时实现了与SOTA相当的组合性。
2024-10-07 cs.AI cs.CL cs.CV
Strength Lies in Differences! Improving Strategy Planning for Non-collaborative Dialogues via Diversified User Simulation
Sichuan University(四川大学);Singapore Management University(新加坡管理大学);Ant Group(蚂蚁集团);National University of Singapore(新加坡国立大学)
针对非协作对话智能体在策略规划中无法整合用户特征及难以泛化至多样化用户的挑战,提出Trip框架,结合用户感知策略规划模块与基于群体的训练范式,有效提升了定制化策略规划能力。
2024-09-22 cs.CL
Improving Multi-turn Emotional Support Dialogue Generation with Lookahead Strategy Planning
Hong Kong Polytechnic University(香港理工大学);Baidu Inc.(百度公司);Tencent Jarvis Lab(腾讯天衍实验室);Université de Montréal(蒙特利尔大学);Mila(米拉人工智能研究院);Sun Yat-sen University(中山大学)
提供情绪支持(ES)以安抚情绪困扰的人是社会交往中的一项基本能力。现有的专家系统会话系统构建研究大多只考虑与用户的单轮交互,过于简单化。相比之下,多回合ES会话系统可以更有效地提供ES,但面临着几个新的技术挑战,包括:(1)如何采取适当的支持策略,以实现长期的对话目标,安慰用户的情绪;(2)如何动态建模用户的状态。在本文中,我们提出了一种新的系统MultiESC来解决这些问题。在策略规划方面,借鉴A* 搜索算法,我们提出了前瞻策略来估计用户使用特定策略后的未来反馈,从而帮助选择能够产生最佳长期效果的策略。对于用户状态建模,MultiESC专注于捕捉用户微妙的情感表达并理解其情感原因。大量的实验表明,MultiESC显着优于竞争对手的基线在对话生成和战略规划。我们的代码可在https://github.com/lwgkzl/MultiESC上获得。
2022-10-09 cs.CL
SimpleGPT: Improving GPT via A Simple Normalization Strategy
SimpleGPT通过SimpleNorm策略提升GPT模型的训练稳定性与性能
2026-02-01 cs.CL cs.CV cs.LG
Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
Microsoft Research India(微软印度研究院)
针对仅解码器大语言模型非英语语言效果有限的问题,提出基于主动遗忘的预训练策略,实现类似仅编码器模型的跨语言迁移,提升多语言表示与下游任务性能。
2025-05-21 cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而,目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略,以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据,以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进:从芬兰语,西日耳曼语和北日耳曼语,以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性,简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Diverse, not Short: A Length-Controlled Data Selection Strategy for Improving Response Diversity of Language Models
University of Massachusetts Lowell(马萨诸塞大学洛维尔分校);Yale University(耶鲁大学);Pennsylvania State University(宾夕法尼亚州立大学);Amazon AGI(亚马逊人工智能研究院)
Diverse-NS通过长度控制的数据选择策略提升语言模型响应多样性,适用于创造性生成任务,并在不同规模模型间展示出显著效果。
2026-01-30 cs.CL
Improving Natural Language Understanding for LLMs via Large-Scale Instruction Synthesis
Ant Group(蚂蚁集团)
针对NLU领域指令数据短缺且多样性不足的问题,本文提出大规模高质量合成指令语料库Hum,并通过人类与LLMs协作机制丰富指令多样性,实验表明其平均提升六个LLMs的NLU能力3.1%且不损害通用能力。
2025-02-06 cs.AI cs.CL
Improving Simultaneous Machine Translation with Monolingual Data
JD Explore Academy(京东探索研究院)
同步机器翻译(SiMT)通常通过从整句神经机器翻译(NMT)模型中提取序列级知识(Seq-KD)来完成。然而,NMT和SiMT之间仍然存在显著的性能差距。在这项工作中,我们建议利用单语数据来改进SiMT,该SiMT学生将Seq-KD提取的双语数据和外部单语数据相结合。在En-Zh和En-Ja新闻领域语料库上的初步实验表明,单语数据可以显着提高翻译质量(例如,+3.15 BLEU on En-Zh)。受同声传译人员行为的启发,我们提出了一种新的SiMT单语采样策略,同时考虑块长度和单调性。实验结果表明,该采样策略避免了SiMT的关键问题--幻觉,性能优于随机采样策略(以及其他传统的典型NMT单语采样策略),并具有更好的可扩展性。我们在En-Zh和En-Ja上实现了平均+0.72 BLEU改进。数据和代码可以在https://github.com/hexuandeng/Mono4SiMT上找到。
2022-12-02 cs.CL
Improving Agent Interactions in Virtual Environments with Language Models
本研究利用语言模型增强Minecraft虚拟环境中智能体的任务理解与交互能力,实验表明较现有方法有显著提升。
2024-02-08 cs.CL
ATEB: Evaluating and Improving Advanced NLP Tasks for Text Embedding Models
Yale University(耶鲁大学);Google Deepmind(谷歌DeepMind);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出ATEB基准评估文本嵌入模型在事实性、安全性等高级NLP任务上的局限,并提出将分类任务重构为检索任务的新方法,通过单任务微调在事实性分类上提升8%,安全性分类上提升13%。
2025-03-03 cs.CL
Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model
Microsoft Dynamics 365 AI(微软Dynamics 365人工智能);Microsoft Research(微软研究院)
Masked语言模型(MLM)框架已被广泛用于自监督语言预训练。在本文中,我们认为,随机抽样的MLM掩模会导致不必要的大梯度方差。因此,我们理论上通过将梯度协方差与两个不同掩码之间的汉明距离(给定特定文本序列)相关来量化梯度方差。为了减少由于掩码采样而产生的方差,我们提出了一种充分探索的掩码策略,将文本序列划分为一定数量的非重叠段。此后,一个段内的标记被掩蔽以用于训练。从理论的角度来看,我们证明了这种新的掩蔽模式产生的梯度具有较小的方差,可以导致更有效的自监督训练。我们从零开始对连续预训练和一般预训练进行了广泛的实验。实验结果证实,这种新的掩蔽策略可以始终优于标准的随机掩蔽。详细的效率分析和消融研究进一步验证了我们在MLM框架下充分探索的掩蔽策略的优势。
2020-10-14 cs.AI cs.CL
Improving Neural Machine Translation by Denoising Training
The University of Sydney(悉尼大学);Beihang University(北京航空航天大学);JD Explore Academy, JD.com(京东探索研究院)
本文提出了一种简单有效的预训练策略{D},使{T}训练DoT,用于神经机器翻译。具体来说,我们在早期阶段使用源端和目标端去噪任务更新模型参数,然后正常调整模型。值得注意的是,我们的方法不增加任何参数或训练步骤,只需要并行数据。实验表明,DoT在12种双语和16种多语言方向(数据大小从80 K到20 M)上持续提高神经机器翻译性能。此外,我们表明,DoT可以补充现有的数据操作策略,即课程学习,知识蒸馏,数据多样化,双向培训和回译。令人鼓舞的是,我们发现DoT在高资源环境中的性能优于昂贵的预训练模型mBART。分析表明,DoT是一种新的领域内跨语言预训练策略,可以提供进一步的改进与任务相关的自我监督。
2022-01-20 cs.CL
Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback
SKL-IOTSC, CIS, University of Macau(SKL-IOTSC、CIS、澳门大学)
本文提出UMed-LVLM及MAU数据集,通过异常感知指令微调和异常感知奖励训练,显著提升医学图像异常检测与理解能力,较基线提升58%。
2025-06-02 cs.AI cs.CL cs.CV
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾厄斯大学)
本研究将自适应RAG系统应用于印度尼西亚语问答,通过机器翻译增强数据,利用复杂度分类器选择回答策略,实验发现多检索策略存在不一致性,揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Improving Imbalanced Text Classification with Dynamic Curriculum Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
预训练语言模型的最新进展提高了文本分类任务的性能。然而,很少有人关注的优先级调度策略的样本在训练过程中。人类获取知识是从简单到复杂的概念逐步进行的,同一材料的难度在不同的学习阶段也会有很大差异。受此启发,本文提出了一种新的基于语言特征和模型容量的自学习动态课程学习(SPDCL)方法。同时,而不是使用静态的课程学习在现有的研究中,我们的SPDCL可以重新排序和重新采样训练数据的难度标准与自适应的从容易到困难的步伐。在多个分类任务上的大量实验表明了SPDCL策略的有效性,特别是对于不平衡数据集。
2022-10-25 cs.AI cs.CL
Improving Retrospective Language Agents via Joint Policy Gradient Optimization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
提出RetroAct智能体框架,通过结合模仿学习和强化学习的两阶段联合策略梯度优化,提升小规模LLM的任务规划与自我反思能力,减少对闭源模型的依赖。
2025-03-03 cs.CL
Benchmarking and Improving LVLMs on Event Extraction from Multimedia Documents
School of Advanced Technology, Xi’an Jiaotong-Liverpool University(先进技术学院,西安交通大学利物浦大学)
本文首次系统评估LVLMs在M2E2数据集上的表现,发现LoRA微调大幅提升性能且跨模态协同效果优越,同时揭示语义精度等关键挑战。
2025-09-16 cs.CL cs.MM
DiTTO: A Feature Representation Imitation Approach for Improving Cross-Lingual Transfer
Microsoft Corporation(微软公司)
Zero-shot跨语言迁移是有前途的,但是已经被证明是次优的,在低资源语言之间的传输性能较差。在这项工作中,我们设想的语言域,以提高zero-shot传输,共同减少源和目标语言之间的功能不一致,并增加预训练的多语言Transformers的泛化能力。我们表明,我们的方法,DiTTO,显着优于标准的zero-shot微调方法在多个数据集上的所有语言使用单独的未标记的实例在目标语言。实验结果表明,联合减少多个目标语言的特征不一致性是成功的跨语言迁移的关键。此外,我们的模型能够更好地跨语言迁移比标准的微调方法,即使在Few-Shot设置。
2023-03-04 cs.AI cs.CL