PustakAI: Curriculum-Aligned and Interactive Textbooks Using Large Language Models
Department of Computer Science and Information Systems（计算机科学与信息系统系）
针对大语言模型适配特定课程内容的挑战，提出PustakAI框架构建对齐印度NCERT大纲的NCERT-QA问答数据集，评测多种提示方法与不同规模LLM作为教育工具的表现。
2025-11-14 cs.AI cs.CL
CURE-Med: Curriculum-Informed Reinforcement Learning for Multilingual Medical Reasoning
University of Virginia（弗吉尼亚大学）；Indian Institute of Technology Patna（印度理工学院帕纳布分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；MBZUAI（中东技术研究所）
本文提出CURE-MED框架，通过课程引导的强化学习提升多语言医学推理的逻辑正确性和语言稳定性，实验表明在13种语言上均优于基线模型，实现了高一致性与高正确率。
2026-04-26 cs.AI cs.CL
HSKBenchmark: Modeling and Benchmarking Chinese Second Language Acquisition in Large Language Models through Curriculum Tuning
HSKBenchmark通过课程调优构建首个中文SLA大语言模型基准，涵盖HSK 3-6级，提供教学文本、合成指令和评估系统，验证LLMs在写作和语法上的表现。
2025-11-19 cs.AI cs.CL
Curriculum-Driven Edubot: A Framework for Developing Language Learning Chatbots Through Synthesizing Conversational Data
Columbia University（哥伦比亚大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
本文提出 Curriculum-Driven EduBot 框架，从教材提取主题并用 LLM 合成对话、微调开源模型，实验表明其在课程引导和适配英语水平方面优于 ChatGPT。
2024-08-03 cs.CL
Scaling LLM Pre-training with Vocabulary Curriculum
Temu（特木科技）
本文提出词汇表课程学习，通过熵引导的词汇扩展与模型优化交替，实现对数线性扩展增益，提升GPT预训练效率，并验证了动态分词的有效性。
2025-02-25 cs.AI cs.CL
Persian-Phi: Efficient Cross-Lingual Adaptation of Compact LLMs via Curriculum Learning
Shahid Beheshti University（沙希德·贝赫谢普大学）
Persian-Phi通过课程学习高效适应紧凑大语言模型，实现波斯语多语言能力的扩展。
2025-12-08 cs.AI cs.CL
Code-Switching Curriculum Learning for Multilingual Transfer in LLMs
KAIST（韩国科学技术院）；NAVER Cloud；Sogang University（西江大学）；NAVER AI Lab
本文提出语码转换课程学习CSCL，通过token级、句子级语码转换到单语语料的渐进训练提升LLM跨语言迁移，并在多语言、多模型实验中验证其增益与公平性。
2025-06-11 cs.AI cs.CL cs.LG
Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution
Arizona State University（亚利桑那州立大学）
针对LLM共同进化中问题多样性崩溃的问题，提出词汇丢弃机制，通过在策略训练和课程生成时随机掩码输出logits维持多样性，在数学推理任务上提升求解器性能平均+4.4点。
2026-07-23 cs.AI cs.CL
Exploring the MIT Mathematics and EECS Curriculum Using Large Language Models
本研究构建了包含4,550道题解的MIT数学与EECS课程数据集，评估发现GPT-4在提示工程下对非图像题解决率达100%，并利用GPT-4自动评分和低维嵌入分析课程先修关系，揭示了语言模型改进相关教育的潜力。
2023-06-24 cs.AI cs.CL cs.LG
CITING: Large Language Models Create Curriculum for Instruction Tuning
Tsinghua University（清华大学）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出 CITING 框架，由教师 LLM 制定评分标准并提供修改，使学生 LLM 在迭代课程中自我纠正；在四个数据集上经 GPT-4 评估显著优于 SFT、RLHF、RRHF 和 RAFT。
2023-10-04 cs.AI cs.CL
Manifold Bandits: Bayesian Curriculum Learning over the Latent Geometry of Large Language Models
University of California, San Diego（加州大学圣迭戈分校）
提出贝叶斯流形课程（BMC）框架，将问题采样建模为流形结构赌博机问题，通过层次任务树和贝叶斯学习引导采样，平衡学习信号、多样性和实用性。
2026-06-19 cs.AI cs.CL cs.LG
Problem-Solving Logic Guided Curriculum In-Context Learning for LLMs Complex Reasoning
School of Artificial Intelligence, Beijing Normal University（人工智能学院，北京师范大学）
本研究提出基于问题解决逻辑的课程化上下文学习方法，通过分析问题解决逻辑选择和排序示例，提升LLM复杂推理能力。
2025-05-30 cs.AI cs.CL
Assessing the Pedagogical Readiness of Large Language Models as AI Tutors in Low-Resource Contexts: A Case Study of Nepal's K-10 Curriculum
本文评估了四个先进LLM在尼泊尔K-10课程中的教学有效性，发现存在显著的课程对齐差距，提出人机协同部署策略和课程特定微调方法。
2026-03-17 cs.AI cs.CL cs.CY
Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Cornell University（康奈尔大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Guangming Laboratory（光明实验室）
针对当前课程微调方法因依赖静态难度指标导致课程僵化的问题，提出能力感知多视角课程指令微调框架CAMPUS，通过动态选择子课程、能力感知调整进度及多种难度调度，显著提升了LLM指令微调性能。
2025-11-03 cs.AI cs.CL
Curriculum-Guided Layer Scaling for Language Model Pretraining
Stanford University（斯坦福大学）
受人类认知发展启发，提出课程引导层缩放框架，通过渐进式层堆叠使数据难度与模型增长同步，在不同参数规模预训练并分层数据，提升模型泛化及零样本性能。
2026-08-04 cs.CL
Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding
Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对现有课程学习方法依赖人工难度指标的问题，提出基于预训练语言模型自身预测难度分数的自适应课程学习范式，通过不同样本排序策略在四个NLU数据集上实现更快收敛与更优性能。
2025-07-13 cs.CL cs.LG
Reasoning Curriculum: Bootstrapping Broad LLM Reasoning from Math
Salesforce AI Research（Salesforce AI研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
提出Reasoning Curriculum两阶段课程学习法，先通过纯数学强化学习激发推理技能，再经混合领域联合强化学习迁移巩固，在多模型上实现持续增益，提供通用推理的紧凑方案。
2025-10-30 cs.AI cs.CL
Generative Entity Typing with Curriculum Learning
Fudan University（复旦大学）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-爱数认知智能联合研究中心）
实体类型化的目的是为给定文本中提到的实体分配类型。传统的基于分类的实体类型化范式存在两个不可克服的缺点：1）无法将实体分配给预定义类型集之外的类型; 2）难以处理Few-Shot和zero-shot情况，即许多长尾类型只有很少甚至没有训练实例。为了克服这些缺点，我们提出了一种新的生成实体类型（GET）的范例：给定一个实体提到的文本，多个类型的实体在文本中扮演的角色生成与预先训练的语言模型（PLM）。然而，PLM倾向于在对实体类型数据集进行微调之后生成粗粒度的类型。此外，我们只有异构的训练数据，其中包括一小部分人工注释的数据和大部分自动生成的低质量数据。为了解决这些问题，我们采用课程学习（CL）训练我们的GET模型上的异构数据，其中的课程可以自我调整与自定进度的学习，根据其理解的类型粒度和数据的异构性。我们在不同语言和下游任务的数据集上进行了大量的实验，证明了我们的GET模型优于最先进的实体类型模型。该代码已在https://github.com/siyuyuan/GET上发布。
2022-10-18 cs.AI cs.CL
Studying the Korean Word-Chain Game with RLVR: Mitigating Reward Conflicts via Curriculum Learning
Seoul National University（首尔大学）
本研究使用基于可验证奖励的强化学习（RLVR）研究韩语单词接龙游戏，发现规则奖励存在冲突，并证明课程学习能有效缓解该冲突，推动多语言谜题任务研究。
2025-10-15 cs.CL cs.LG
Distilling Instruction-following Abilities of Large Language Models with Task-aware Curriculum Planning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Alibaba Cloud Computing（阿里云计算）
本文提出任务感知课程规划蒸馏框架TAPIR，通过oracle LLM筛选困难指令、调整任务分布并逐步提升难度，使小规模学生LLM以更少数据超越更大指令微调模型。
2024-10-03 cs.CL
Infi-MMR: Curriculum-based Unlocking Multimodal Reasoning via Phased Reinforcement Learning in Multimodal Small Language Models
The Hong Kong Polytechnic University（香港理工大学）；Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）；Reallm Labs（Reallm 实验室）；Amazon（亚马逊）；The Hong Kong University of Science and Technology（香港理工大学）
针对多模态小语言模型推理能力弱、数据稀缺及推理易错问题，提出Infi-MMR框架，通过三阶段课程强化学习，显著提升多模态数学与通用推理能力。
2025-06-23 cs.AI cs.CL
RuCL: Stratified Rubric-Based Curriculum Learning for Multimodal Large Language Model Reasoning
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；School of Biomedical Engineering, UNSW Sydney（新南威尔士大学生物医学工程学院）
RuCL通过分层评分标准课程学习提升多模态大语言模型的推理能力，实现7.83%的准确率提升。
2026-03-03 cs.CL
Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；ByteDance Research（字节跳动研究部）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言与语言学研究所）
提出R$^3$方法，通过反向课程强化学习仅用结果监督实现过程监督效果，在八个推理任务上平均提升4.1点，并在GSM8K上超越基线4.2点。
2024-03-17 cs.AI cs.CL cs.LG
Empower Nested Boolean Logic via Self-Supervised Curriculum Learning
Shanghai Jiao Tong University（上海交通大学）；Soochow University（苏州大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文针对语言模型在多重嵌套布尔逻辑上表现不佳的问题，提出了自监督学习方法CLR，通过逐步增加数据中的嵌套逻辑链难度进行课程式训练，显著提升了模型在长距离复杂逻辑上的泛化能力，并促进了一般逻辑任务的性能。
2023-12-31 cs.CL
Large Language Models in K-12 Education: Alignment with State Curriculum Standards and Student Personas
Department of Computer Engineering（计算机工程系）；Brown University（布朗大学）；Data Science Institute（数据科学研究院）
本研究开发基于LLM的流程评估不同LLM与美国各州历史课程标准的对齐程度，并通过控制用户角色实验分析模型对地理、年级、性别和种族的敏感性，发现模型能调整历史主题呈现但可能源于州政治倾向，且对年级适应良好而对种族性别敏感性低，揭示了LLM与课程标准错位对学生学习的潜在风险。
2026-06-03 cs.CL
COGENT: A Curriculum-oriented Framework for Generating Grade-appropriate Educational Content
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (I 2 R)（信息与通信研究机构）；A*STAR
针对生成式AI生成教育内容难匹配课程标准、难适配年级水平等问题，提出面向课程的COGENT框架，融合课程要素、控制可读性并采用好奇导向设计，经多维度评估其生成内容质量比肩或优于人类参考文本，为规模化优质学习资源供给提供可行方案。
2025-06-11 cs.AI cs.CL
TAROT: Test-driven and Capability-adaptive Curriculum Reinforcement Fine-tuning for Code Generation with Large Language Models
Electronics and Telecommunications Research Institute（电信研究所）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Hugging Face；Ant Group（蚂蚁集团）
TAROT通过测试驱动和能力适应的课程强化微调方法，提升大语言模型生成代码的功能正确性和稳健性。
2026-02-17 cs.CL cs.LG cs.SE
VCRL: Variance-based Curriculum Reinforcement Learning for Large Language Models
Alibaba Cloud Computing（阿里云计算）
提出VCRL框架，利用rollout组奖励方差动态调整训练样本难度，实现课程强化学习，在数学推理任务上超越现有基线。
2025-09-24 cs.CL cs.LG
Making LLMs Better Many-to-Many Speech-to-Text Translators with Curriculum Learning
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）；Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
针对多对多语音转文本翻译平行数据稀缺的问题，提出三阶段课程学习策略适配大语言模型翻译能力，在低资源下实现15×14语言对的SOTA性能。
2025-06-16 cs.CL
SARI: Structured Audio Reasoning via Curriculum-Guided Reinforcement Learning
Beike Inc.（贝壳公司）
本文提出 SARI 模型，通过将 GRPO 框架扩展至大型音频语言模型并结合两阶段课程引导的强化学习，验证了显式结构化推理能显著提升音频语言理解的准确率与泛化能力。
2025-04-29 cs.CL
Being Strong Progressively! Enhancing Knowledge Distillation of Large Language Models through a Curriculum Learning Framework
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）
针对大语言模型白盒知识蒸馏中的分布偏移与训练不稳定问题，提出受渐进超负荷启发的课程学习框架POCL，通过由易到难调度样本和逐步升温损失，持续提升多种蒸馏方法的学生模型性能。
2025-06-06 cs.AI cs.CL cs.LG
Let's Be Self-generated via Step by Step: A Curriculum Learning Approach to Automated Reasoning with Large Language Models
East China Normal University（东华大学）；Youtu Lab, Tencent（腾讯优图实验室）；Shanghai Normal University（上海师范大学）
针对CoT提示依赖人力或生成质量不足的问题，受课程学习启发提出LBS3提示方法，通过由易到难的代理查询渐进式引导LLMs生成高质量示例解，在多种推理任务中取得SOTA竞争力。
2025-05-30 cs.CL
CVPO: Enhancing LLM Reinforcement Learning Reasoning via Value-Variance Adaptation and Dynamic Curriculum Learning
针对LLM强化学习推理中反馈精度不足与问题难度漂移问题，提出CVPO方法，通过值方差自适应与动态课程学习优化，在数学任务上性能优于VAPO等基线。
2026-08-05 cs.AI cs.CL cs.LG
AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting
针对强化学习训练混合难度样本时的梯度饥饿、策略退化等问题，提出自适应课程强化学习框架AdaCuRL，通过动态难度匹配、历史回顾等机制，在多推理基准上显著提升LLMs和MLLMs性能。
2025-11-12 cs.AI cs.CL cs.LG
Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models
HiThink Research（海思思考研究院）；Auburn University（奥本大学）；Kent State University（肯特州立大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；LNCC（巴西国家计算科学实验室）；Fudan University（复旦大学）；BEDI Cloud（北电云）
本文提出FibecFed框架，通过基于Fisher信息的自适应课程学习和高效稀疏参数更新，在非IID数据下提升LLM联邦微调的效果与效率，实验显示准确率最高提升45.35%、速度最快加速98.61%。
2024-10-18 cs.AI cs.CL cs.DC
What do Language Models Learn and When? The Implicit Curriculum Hypothesis
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, Data Science and AI Institute, Johns Hopkins University（约翰霍普金斯大学计算机科学系、数据科学与人工智能研究所）；Khoury College of Computer Science, Northeastern University（东北大学Khoury计算机科学学院）；Department of Computer Science, University of Southern California（南加州大学计算机科学系）
研究通过设计简单可组合任务，发现模型技能以可组合顺序出现，且在不同模型间一致，表明预训练过程具有结构性。
2026-04-09 cs.CL
Density-Based Dynamic Curriculum Learning for Intent Detection
Peking University（北京大学）；Meituan（美团）
预训练的语言模型在意图检测任务上取得了显著的性能。然而，由于为每个样本分配了相同的权重，它们遭受简单样本的过拟合和无法很好地学习复杂样本的问题。为了解决这个问题，我们提出了一个基于密度的动态课程学习模型。我们的模型根据样本的特征向量密度定义样本的难度级别。通过这种方式，我们同时利用所有样本的特征向量的总体分布。然后，我们采用了动态的课程学习策略，该策略对不同难度水平的样本给予不同的关注，并在训练过程中改变样本的比例。通过上述操作，简单样本得到良好训练，复杂样本得到增强。在三个开放数据集上的实验表明，该算法能够有效区分简单和复杂样本。此外，我们的模型在强基线上得到了明显的改善。
2021-08-24 cs.CL
From Fragments to Facts: A Curriculum-Driven DPO Approach for Generating Hindi News Veracity Explanations
TCS Research（TCS研究）；Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度理工学院帕纳布计算机科学与工程系）；Indian Institute of Technology Patna（印度理工学院帕纳布）；University of Innsbruck（因斯布鲁克大学）
针对印地语等低资源语言的虚假信息检测，提出一种结合直接偏好优化（DPO）与课程学习的框架，通过引入“实际性”和“精炼度”参数优化解释质量，实验验证了生成连贯、相关解释的有效性。
2026-05-31 cs.CL
DreamReasoner-8B: Block-Size Curriculum Learning for Diffusion Reasoning Models
The University of Hong Kong（香港大学）；Peking University（北京大学）
提出块大小课程学习，通过从细粒度到粗粒度的渐进训练，解决块扩散语言模型在长链推理中性能差距问题，DreamReasoner-8B在数学和代码推理上达到与Qwen3-8B相当的水平。
2026-06-18 cs.CL
Automatic Classification of Pedagogical Materials against CS Curriculum Guidelines
Department of Computer Science（计算机科学系）；The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出利用自然语言处理技术自动分类教学材料，以加速根据CS课程指南评估课程内容覆盖情况的过程。
2026-02-03 cs.CL
Unlocking the Unsolvable: Teacher-Guided Curriculum for Data-Efficient RLVR
Amazon（亚马逊）
本研究提出教师引导的课程学习，利用更强模型的推理轨迹解锁RLVR中不可解问题的训练价值，仅用128个问题达到16倍数据效率，并推出单调前沿课程（MFC）进一步提升性能。
2026-09-15 cs.CL
K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs
Peking University（北京大学）；Institute for Advanced Algorithms Research（先进算法研究所）；OriginHub Technology（OriginHub技术）；Zhongguancun Academy（中关村学院）
本文提出K12-KGraph，基于中小学教材构建的课程对齐知识图谱，用于构建多选基准测试K12-Bench和训练数据集K12-Train，验证课程结构监督在教育模型训练中的高效性。
2026-10-06 cs.CL
Curriculum Guided Massive Multi Agent System Solving For Robust Long Horizon Tasks
Wipro Innovation Networks（威普罗创新网络）
本文提出一种分层多智能体架构，通过空间课程逐步扩展网格区域，使智能体先掌握中央任务再处理外围任务，提升长周期任务的稳定性和推理能力。
2025-12-09 cs.AI cs.CL cs.CV
Progressive Mastery: Customized Curriculum Learning with Guided Prompting for Mathematical Reasoning
Fudan University（复旦大学）；ByteDance Inc.（字节跳动公司）
本文提出定制化课程学习框架CCL，通过模型自适应难度定义和引导提示动态降低样本难度，在五个数学推理基准上显著提升样本利用率与模型性能。
2025-06-04 cs.CL
Can Large Language Models Generalize Procedures Across Representations?
Stanford University（斯坦福大学）
研究大型语言模型在代码、图与自然语言等不同表示间泛化过程的能力，提出两阶段强化学习课程来弥合差距。
2026-06-03 cs.CL cs.LG
Adaptive Learning Systems: Personalized Curriculum Design Using LLM-Powered Analytics
University of Utah（犹他大学）；Tianjin University（天津大学）；University of Pennsylvania（宾夕法尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出利用 LLM 分析实时学习数据并动态调整路径与资源的自适应学习框架，实验表明其可提升参与度、知识保持率并支持以学生为中心的教学。
2025-07-25 cs.CL cs.CY
Less is More: Pre-Training Cross-Lingual Small-Scale Language Models with Cognitively-Plausible Curriculum Learning Strategies
University of Cambridge（剑桥大学）；ALTA Institute, University of Cambridge（剑桥大学ALTA研究所）
针对BabyLM挑战赛中课程学习对小规模语言模型提升有限的问题，本研究基于语言习得理论构建多语系儿童话语年龄排序语料库，验证细粒度语言专属习得启发课程可有效提升模型性能。
2025-02-21 cs.AI cs.CL
Pre-Training Curriculum for Multi-Token Prediction in Language Models
Humboldt-Universität zu Berlin（柏林洪堡大学）
针对小型语言模型在多Token预测目标上的困难，提出正向与反向课程学习策略，发现正向课程能提升下游性能与生成质量并保留自推测解码优势。
2025-05-28 cs.AI cs.CL
Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding
Rose-Hulman Institute of Technology（罗斯-霍曼理工学院）
在大型Transformer语言模型时代，语言评估在诊断模型对自然语言理解的能力和局限性方面发挥着重要作用。然而，目前的评估方法显示出一些显著的缺点。特别是，它们没有提供对语言模型捕获语言理解和推理所必需的不同语言技能的洞察力。因此，它们无法有效地映射出语言理解的各个方面，这些方面对现有模型仍然具有挑战性，这使得很难发现模型和数据集中的潜在限制。在本文中，我们介绍了课程作为一种新的格式的NLI基准评估的广泛覆盖的语言现象。课程包含一组涵盖36种主要语言现象的数据集，以及一个评估程序，用于诊断语言模型如何捕捉不同类型语言现象的推理技能。我们表明，这种语言现象驱动的基准可以作为诊断模型行为和验证模型学习质量的有效工具。此外，我们的实验提供了对现有基准数据集和最先进模型的限制的深入了解，这可能会鼓励未来对重新设计数据集，模型架构和学习目标的研究。
2022-05-04 cs.AI cs.CL
Curriculum Recommendations Using Transformer Base Model with InfoNCE Loss And Language Switching Method
Northern Arizona University（北亚利桑那大学）；Trine University（特里尼大学）；Arizona State University（亚利桑那州立大学）
针对课程推荐中的内容冲突与翻译歧义，本文提出结合 Transformer Base Model、InfoNCE Loss 和语言切换策略的方法，并在跨语言内容对齐预测中取得0.66314的交叉验证分数。
2024-01-18 cs.AI cs.CL
A technical curriculum on language-oriented artificial intelligence in translation and specialised communication
Institute of Translation and Multilingual Communication（翻译与多语言交流研究所）；TH Köln – University of Applied Sciences Cologne（TH Köln应用科学大学）
本文提出一门培养翻译与专业沟通领域AI技术能力的课程，通过系统学习向量嵌入、神经网络基础等技术，提升用户在AI驱动环境中的数字韧性。
2026-02-12 cs.AI cs.CL cs.HC
LaSQuE: Improved Zero-Shot Classification from Explanations Through Quantifier Modeling and Curriculum Learning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
人类智力的一个标志是纯粹从语言中学习新概念的能力。最近的几种方法已经探索了通过自然语言监督来训练机器学习模型。然而，这些方法在利用语言量词（如“总是”或“很少”）和模仿人类在组成学习复杂的任务。在这里，我们提出了LaSQuE，一种可以通过使用三种新策略从语言解释中学习zero-shot分类器的方法-（1）对解释中的语言量词的语义进行建模（包括利用序数强度关系，例如“总是”>“可能”），（2）使用基于注意力的机制从多个解释中聚合信息，以及（3）通过课程学习进行模型训练。有了这些策略，LaSQuE的性能优于之前的工作，在推广到看不见的真实世界分类任务时，绝对增益高达7%。
2022-12-18 cs.CL
Efficient Pre-training of Masked Language Model via Concept-based Curriculum Masking
Korea University（高丽大学）；The Catholic University of Korea（韩国天主教大学）
掩蔽语言建模（MLM）已被广泛用于预训练有效的双向表示，但会产生大量的训练成本。在本文中，我们提出了一种新的基于概念的课程掩蔽（CCM）方法，有效地预训练语言模型。CCM与现有的课程学习方法有两个关键的区别，以有效地反映传销的性质。首先，我们引入了一个精心设计的语言难度标准，用于评估每个令牌的MLM难度。第二，我们构建了一个课程，通过检索知识图谱，逐渐掩盖与先前掩蔽的单词相关的单词。实验结果表明，CCM显著提高了预训练效率。具体来说，用CCM训练的模型在一般语言理解评估基准上显示出与原始BERT相当的性能，而训练成本只有原来的一半。
2022-12-15 cs.CL
Curriculum Learning for Vision-and-Language Navigation
Fudan University（复旦大学）；Princeton University（普林斯顿大学）
视觉和语言导航（VLN）是一项任务，其中智能体在人类指令下在具体的室内环境中导航。以前的作品忽略了样本难度的分布，我们认为，这可能会降低他们的代理性能。为了解决这个问题，我们提出了一种新的基于知识的VLN任务的训练范式，可以平衡人类的先验知识和智能体对训练样本的学习进度。我们制定了课程设计的原则，并重新安排基准房间到房间（R2R）数据集，使其适合课程培训。实验表明，我们的方法是模型无关的，可以显着提高性能，泛化能力，和当前国家的最先进的导航代理的训练效率，而不增加模型的复杂性。
2021-11-14 cs.AI cs.CL cs.CV
