Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing
Amazon Web Services(亚马逊网络服务)
本文提出支持 512K token 上下文的开源 7B 模型 MegaBeam-Mistral-7B,在 HELMET、RULER 和 BABILong 上验证其高效长上下文处理与推理能力。
2025-05-13 cs.CL cs.LG
PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training
Microsoft Corporation(微软公司);School of Computer Science, Peking University(北京大学计算机学院);National Key Laboratory for Multimedia Information Processing, Peking University(北京大学多媒体信息处理国家重点实验室)
本文提出位置跳跃式训练方法PoSE,通过在固定上下文窗口内划分块并操纵位置索引来模拟长输入,从而以极低开销将LLM上下文窗口高效扩展至128k以上。
2024-02-21 cs.CL cs.LG
Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs
Meta;Harvard University(哈佛大学);Kempner Institute at Harvard(哈佛大学凯普纳研究所);OpenAI
针对长上下文LLM的测试时训练方法通过针对性梯度更新克服静态自注意力限制,显著提升模型性能。
2025-12-15 cs.CL cs.LG
Fine-Tuning Pre-Trained Language Models Effectively by Optimizing Subnetworks Adaptively
Peking University(北京大学)
最近,大规模预训练的语言模型在广泛的下游任务上取得了令人印象深刻的结果。然而,在有限的目标数据集上微调一个非常大规模的预训练语言模型通常会受到过拟合和表示退化的困扰。在本文中,我们提出了一种动态参数选择(DPS)算法的大规模预训练模型在微调,自适应地选择一个更有前途的子网络进行基于梯度的反向传播的分期更新。在GLUE基准测试上的实验表明,DPS在整体性能和稳定性方面优于以前的微调方法,并且在可变预训练语言模型的情况下始终取得更好的结果。此外,DPS在域外迁移实验和低资源场景下都有很大的改善,表明它能够保持稳定的一般上下文特征,减少表示坍塌。我们在https://github.com/ZhangHaojie077/DPS上发布代码
2022-11-03 cs.AI cs.CL
On the Importance of Effectively Adapting Pretrained Language Models for Active Learning
University of Sheffield(谢菲尔德大学);University of Le Mans(勒芒大学)
自然语言处理(NLP)中的最新主动学习(AL)方法使用现成的预训练语言模型(LM)提出。在本文中,我们认为,这些LM不适应有效的下游任务在AL,我们探讨如何解决这个问题。我们建议首先通过使用所有可用的未标记数据继续训练来使预训练的LM适应目标任务,然后将其用于AL。我们还提出了一种简单而有效的微调方法,以确保在AL期间在低资源和高资源场景下都能正确训练适应的LM。我们的实验表明,与标准微调方法相比,我们的方法提供了大量的数据效率改进,这表明一个糟糕的训练策略对AL来说可能是灾难性的。
2022-03-02 cs.CL
Adjoint sharding for very long context training of state space models
Amazon(亚马逊);Duke University(杜克大学)
本文提出伴随分片技术,通过在训练期间分片梯度计算大幅降低内存需求,使状态空间大模型能在超长上下文上进行训练,并在 1.27B 参数模型上将最大上下文长度从 35K 提升至超过 100K token。
2025-01-01 cs.AI cs.CL cs.LG
Structured Packing in LLM Training Improves Long Context Utilization
University of Warsaw(华沙大学);IDEAS NCBR;Google DeepMind(谷歌DeepMind);Institute of Mathematics Polish Academy of Sciences(波兰科学院数学研究所);xAI
本研究提出SPLiCe方法,通过检索将相关文档结构化打包成长上下文训练样本,在3B至13B模型上提升长上下文任务性能并缓解中间丢失现象。
2025-02-27 cs.CL
Towards Context-Robust LLMs: A Gated Representation Fine-tuning Approach
Michigan State University(密歇根州立大学)
针对结合外部上下文的大语言模型易过度依赖外部知识、受误导性上下文影响的问题,提出轻量即插即用的门控表示微调方法Grft,通过门控机制和低秩表示适配器,用极少参数和样本即可让模型具备上下文鲁棒性。
2025-02-22 cs.CL cs.IR
Large language models effectively leverage document-level context for literary translation, but critical errors persist
Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
通过严格人工评估发现,Gpt-3.5一次性翻译文学段落比逐句翻译质量更高且错误更少,但仍存在关键错误需人工干预,并公开了相关数据集。
2023-05-22 cs.CL
MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
Microsoft(微软)
本文提出MTraining方法,通过动态稀疏注意力机制解决超长上下文训练中的计算不平衡和通信开销问题,实现了Qwen2.5-3B模型上下文窗口从32K扩展到512K,并在多个下游任务中达到6倍更高的训练吞吐量同时保持模型准确性。
2026-05-19 cs.CL cs.DC cs.LG
Fast Training Dataset Attribution via In-Context Learning
Amazon(亚马逊);University of Washington(华盛顿大学)
本研究针对指令微调大语言模型输出的训练数据贡献估算问题,提出基于相似度和混合分布模型的两种上下文学习归因方法,实验证明混合模型对检索噪声鲁棒性更强,估算更可靠。
2025-03-18 cs.AI cs.CL cs.LG
Pre-Training to Learn in Context
Tsinghua University(清华大学);Microsoft Research(微软研究院)
提出PICL框架,通过在纯文本语料库的内在任务上预训练模型,增强语言模型的上下文学习能力,实验证明其在多任务上优于基线及4倍参数的更大模型。
2023-05-16 cs.CL
InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
Tsinghua University(清华大学);Massachusetts Institution of Technology(麻省理工学院);Renmin University of China(中国人民大学)
提出无训练记忆方法InfLLM,通过外部记忆单元和高效查找机制,使预训练LLM无需微调即可处理超长序列,性能媲美持续训练基线,支持1M长度。
2024-05-28 cs.AI cs.CL cs.LG
An Investigation of Large Language Models for Real-World Hate Speech Detection
University at Buffalo(纽约州立大学布法罗分校);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Union County Magnet High School(联合县磁石高中);East Chapel Hill High School(东教堂山高中);Minhang Corsspoint Academy(闵行交汇点学院)
本研究针对在线仇恨言论检测的上下文依赖问题,利用五个数据集评估大型语言模型(LLMs),并提出四种提示策略,发现精心设计的推理提示能充分利用LLMs知识库捕捉上下文,显著超越现有基准模型。
2024-01-07 cs.AI cs.CL cs.CY
LADM: Long-context Training Data Selection with Attention-based Dependency Measurement for LLMs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Zhongguancun Academy, Beijing, China(中关村学院,北京,中国);Wuhan AI Research(武汉人工智能研究所)
针对LLM长上下文训练数据质量难以衡量的问题,提出基于注意力依赖度量的数据选择框架LADM,利用注意力机制捕捉上下文依赖以高效筛选高质量数据,仅用1B tokens持续训练即显著提升多任务性能。
2025-10-13 cs.CL
Context Tuning for In-Context Optimization
Agentic Learning AI Lab(智能代理学习AI实验室)
介绍上下文调整方法,利用模型固有上下文学习能力从示例初始化可训练记忆表示并优化,提升少样本适应能力,在多基准测试中表现优于其他方法。
2026-07-07 cs.AI cs.CL cs.LG
Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution
South China University of Technology(华南理工大学);The University of Hong Kong(香港大学)
研究揭示大语言模型在解决上下文冲突时通过几何位移机制实现模拟采纳,而非单纯抑制知识幅度。
2026-02-06 cs.CL cs.CY cs.LG
Comparing Pre-trained Human Language Models: Is it Better with Human Context as Groups, Individual Traits, or Both?
Stony Brook University(史蒂文斯布鲁克大学);Bocconi University(博科尼大学)
本文比较了在预训练语言模型中融入群体属性、个体特质及二者组合三种人类上下文方法,在五个用户级和文档级任务上发现并无普适最佳方案,但以人为中心的语言建模为不同方法提供了发展空间。
2024-07-18 cs.AI cs.CL cs.LG
From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models
NVIDIA(英伟达)
本文提出从128K扩展到4M token的超长上下文LLM高效训练方案,基于Llama3.1-Instruct构建UltraLong-8B,在长上下文基准上取得最优性能并保持短上下文能力。
2025-04-08 cs.AI cs.CL cs.LG
Building on Efficient Foundations: Effectively Training LLMs with Structured Feedforward Layers
EPFL(洛桑联邦理工学院);Google DeepMind(谷歌DeepMind)
本研究针对Transformer LLM中计算密集的前馈网络,采用低秩和块对角结构化参数化,从零训练至1.3B参数,提出自引导训练改善训练动态,证明结构化网络在扩展FLOPs和过度训练中更高效,以更少参数和更低损失优于密集模型。
2024-11-05 cs.CL
Long Context Alignment with Short Instructions and Synthesized Positions
Peking University(北京大学);University of Washington(华盛顿大学);University of Edinburgh(爱丁堡大学);The Ohio State University(俄亥俄州立大学)
本文提出 SkipAlign,通过在短指令样本中策略性插入跳过位置来合成长程依赖,从而无需扩展训练数据长度即可增强 LLM 的长上下文对齐能力。
2024-05-07 cs.CL
Learning Conceptual-Contextual Embeddings for Medical Text
University of Oregon(俄勒冈大学);Baidu Research(百度研究院);Tsinghua University(清华大学)
外部知识对于自然语言理解任务通常是有用的。我们引入了一个上下文文本表示模型,称为概念上下文(CC)嵌入,它将结构化知识的文本表示。与实体嵌入方法不同,我们的方法将知识图谱编码为上下文模型。CC嵌入可以很容易地重复用于各种任务,就像预先训练的语言模型一样。我们的模型有效地利用语义泛化编码的巨大UMLS数据库。电子健康记录(EHRs)和医疗文本处理基准测试的实验表明,我们的模型提供了一个监督医疗NLP任务的性能大大提高。
2020-03-12 cs.CL
PerceptionGPT: Effectively Fusing Visual Perception into LLM
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
PerceptionGPT通过将LLM令牌嵌入作为空间信息载体,结合轻量级视觉编码器与解码器,实现端到端视觉感知,以更少参数和数据高效完成检测、分割等任务。
2023-11-11 cs.CL cs.CV
A Little Goes a Long Way: Efficient Long Context Training and Inference with Partial Contexts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司)
针对长上下文LLM训练和部署开销大的问题,提出LongGen,将长度扩展与GPU友好的KV缓存缩减架构结合,通过混合注意力层和轻量训练,实现训练加速、内存减少及性能提升。
2024-12-05 cs.CL
FastCuRL: Curriculum Reinforcement Learning with Stage-wise Context Scaling for Efficient Training R1-like Reasoning Models
Tencent Hunyuan(腾讯文英)
本文提出FastCuRL课程强化学习框架,通过分阶段上下文缩放提升R1类推理模型训练效率,在多个竞赛级基准上以更少训练资源超越现有模型。
2025-09-20 cs.CL
Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究提出信息丰度悖论,发现长上下文训练会使模型减少参数化知识编码、增加对上下文的依赖,预训练和微调中均存在性能先升后降或鲁棒性降低的现象,表明近无穷大上下文缩放并非仅靠更多数据。
2026-08-14 cs.AI cs.CL
Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context
Department of Electrical and Computer Engineering, Seoul National University(电子与计算机工程系,首尔国立大学);AIIS, ASRI, INMC, ISRC, and IPAI, Seoul National University(人工智能研究所、人工智能研究机构、智能网络中心、智能系统研究所以及人工智能与公共政策研究所,首尔国立大学)
本文提出上下文重复(CoRe)方法,通过重复呈现上下文解决LLMs多跳推理中的错序上下文问题,提升F1分数最高30%p,准确率最高70%p,并缓解“中间迷失”问题。
2025-04-29 cs.CL
llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length
Kyoto University(京都大学);NII LLMC(日本信息处理学会大语言模型中心)
本文提出llm-jp-modernbert,一个在8192上下文长度的大规模日语语料上训练的ModernBERT编码器模型,虽下游任务未超基线,但在掩码填充和句子嵌入分析中表现良好,并开源模型与代码。
2025-04-22 cs.CL
Sensivity of LLMs' Explanations to the Training Randomness:Context, Class & Task Dependencies
UCLouvain(列日大学)
本文研究了LLM解释对训练随机性的敏感性,发现任务对敏感性影响最大,类别次之,上下文影响最小。
2026-03-09 cs.CL
TrajLong: Co-Designing Agentic and Long-Context Supervision for Mid-Training
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hunyuan Team, Tencent(腾讯混元团队);Peking University(北京大学)
本文提出TrajLong框架,将智能体轨迹编译为长上下文训练任务,通过密集监督增强三种原子能力,在多个基准上验证了性能提升。
2026-10-06 cs.CL
ICPC: In-context Prompt Compression with Faster Inference
Southern University of Science and Technology(南方科技大学)
本文提出ICPC方法,利用编码器计算词概率和信息量来自适应压缩提示,减少信息损失并提升压缩速度,在多种NLP任务上验证了其有效性和高效性。
2025-01-03 cs.AI cs.CL
When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training
National University of Singapore(新加坡国立大学);Sea AI Lab(Sea AI实验室)
针对BFloat16格式下RoPE在长上下文训练中因精度有限出现数值问题的现象,提出即插即用的AnchorAttention方法,将首个token作为共享锚点,显著提升长上下文性能,训练时间减少超50%且保留通用任务能力。
2024-11-26 cs.CL
Misspelling Correction with Pre-trained Contextual Language Model
Purdue University(普渡大学)
拼写不规则,现在被称为拼写错误,已经发现了几个世纪。作为人类,我们能够根据它们在句子中的位置,感知的发音和上下文来理解大多数拼写错误的单词。与人类不同,计算机系统不具备人脑所具备的方便的自动完成功能。虽然许多程序提供拼写校正功能,但许多系统不考虑上下文。此外,人工智能系统的功能是按照它们被训练的方式来运行的。由于目前许多自然语言处理(NLP)系统都是在语法正确的文本数据上训练的,因此许多系统在对抗性示例时很脆弱,但正确拼写的文本处理对学习至关重要。在本文中,我们研究了如何在上下文中纠正拼写错误,使用预训练的语言模型BERT。我们提出了两个实验,基于BERT和编辑距离算法,排名和选择候选更正。实验结果表明,当适当结合时,BERT和编辑距离的上下文词嵌入能够有效地纠正拼写错误。
2021-01-08 cs.CL
Multi-Source (Pre-)Training for Cross-Domain Measurement, Unit and Context Extraction
BASF Digital Solutions GmbH(巴斯夫数字解决方案有限公司);BASF SE(巴斯夫股份公司);University of Mannheim(曼海姆大学)
本文提出基于预训练语言模型的多源跨领域测量与上下文抽取方法,通过多源任务自适应预训练和微调验证跨领域泛化能力,发现多源训练整体最优而单源训练在各自领域更优,并公开了跨领域语料库。
2023-08-05 cs.CL
Embedding-based In-Context Prompt Training for Enhancing LLMs as Text Encoders
Institute of Science Tokyo(东京科学研究院);Tencent(腾讯)
本文提出EPIC方法,通过上下文学习生成高质量嵌入,减少计算负担,实验表明在MTEB基准上取得新突破。
2026-05-02 cs.CL
MemeArena: Automating Context-Aware Unbiased Evaluation of Harmfulness Understanding for Multimodal Large Language Models
Hong Kong Baptist University(香港 Baptist 大学);Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学)
本文提出基于智能体的竞技场式评估框架MemeArena,通过模拟多样解释语境并整合多视角共识,实现对多模态大语言模型有害性理解的无偏评估,其判定结果与人类偏好高度一致。
2025-10-31 cs.AI cs.CL
LongAttn: Selecting Long-context Training Data via Token-level Attention
Peking University(北京大学);Qiyuan Tech(奇安信科技)
提出LongAttn框架,利用LLM的自注意力机制在Token级量化长距离依赖,实现更准确高效的长上下文训练数据选择,并构建了高质量数据集LongABC-32K。
2025-02-27 cs.CL
Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking
Columbia University(哥伦比亚大学)
具有大型预训练语言模型(PLM)的基于XML的方法在许多NLP任务中表现出令人印象深刻的独立性能。这些模型通过添加一些标记的上下文范例来指导输出生成而得到进一步改进。然而,对于更复杂的任务,如对话状态跟踪(DST),设计可靠地传达所需意图的提示是不平凡的,导致不稳定的结果。此外,建立对话任务的上下文范例是困难的,因为对话上下文很长,而模型输入长度相对较短。为了克服这些问题,我们首先将元学习方案适应于对话域,从而稳定模型在各种提示下表现良好的能力。我们还设计了一种新的训练方法来改进香草检索机制,以找到理想的上下文示例。最后,我们引入了一个显着性模型来限制对话文本的长度,使我们能够在每个查询中包含更多的样本。实际上,我们能够在MultiWOZ上实现极具竞争力的Few-Shot DST结果。
2023-02-12 cs.CL
Context-Aware Membership Inference Attacks against Pre-trained Large Language Models
Mohamed bin Zayed University of Artificial Intelligence(莫扎伊德·本·扎耶德人工智能大学);Brave Software(Brave软件公司);Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
本文提出一种针对预训练LLMs的新型成员推理攻击方法,通过将统计测试适应于数据点内子序列的困惑度动态,有效解决了以往方法忽略LLMs生成特性的问题,显著提升了攻击性能并揭示了模型依赖上下文的记忆模式。
2025-09-16 cs.AI cs.CL cs.CR
Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Decilion;Xiaohongshu Inc(小红书科技有限公司)
针对长上下文训练数据稀缺、短文本性能下降及注意力效率低的问题,本文提出 UtK 数据增强策略,通过打乱文档块构造交织长文本并训练模型定位相关片段,在 7B/72B 模型上显著提升 RULER 表现。
2024-09-07 cs.AI cs.CL
Profiling What Matters: Context-Aware Item Profiles from Large-Scale Metadata for LLM Recommenders
Korea University(高丽大学);KT Corporation(KT公司)
针对LLM推荐系统中物品侧信息利用不足的问题,提出CAIRO框架,通过结构化元数据、轻量级画像器生成上下文特异性物品画像,提升了LLM重排序性能。
2026-08-24 cs.AI cs.CL cs.IR
In-Context Learning with Representations: Contextual Generalization of Trained Transformers
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);The Ohio State University(俄亥俄州立大学)
本文研究Transformer在非线性回归任务中的训练动态,证明一层多头Transformer能线性收敛至全局最小值并执行岭回归,首次可证明地展示其能从少量示例中学习上下文模板信息以泛化到未见示例和任务。
2024-09-25 cs.CL cs.IT cs.LG
Concept-aware Training Improves In-context Learning Ability of Language Models
Masaryk University(马萨里克大学)
本文提出概念感知训练(CoAT)方法,通过构建促使语言模型捕获类比推理概念的训练场景,使其仅用单一任务的两个数据集即可媲美在1600+任务上训练的更大模型,显著提升上下文学习能力。
2023-05-23 cs.AI cs.CL
Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities
Department of Computer Science, Cornell University(康奈尔大学计算机科学系)
本文提出DiSC方法,通过上下文蒸馏实现持续知识适应,有效平衡新知识学习与原有能力保持。
2026-02-17 cs.AI cs.CL
DCG-SQL: Enhancing In-Context Learning for Text-to-SQL with Deep Contextual Schema Link Graph
Department of Artificial Intelligence, Sungkyunkwan University(人工智能系,成均馆大学);Department of Immersive Media Engineering, Sungkyunkwan University(沉浸媒体工程系,成均馆大学);Department of Computer Science and Engineering, Sungkyunkwan University(计算机科学与工程系,成均馆大学)
本文提出 DCG-SQL,通过深度上下文章节链接图表示问题与数据库模式的语义关系并检索示例,从而在大小型 LLM 上均提升 Spider 的 Text-to-SQL 性能与效率。
2025-07-22 cs.AI cs.CL
LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models
Kunlun Inc(昆仑公司);Skywork Team(天工团队)
本文提出了LongSkywork长上下文大语言模型及其高效训练方案,通过在标准SFT后引入长上下文SFT阶段及两种合成数据方法,显著提升了模型处理20万token的能力,其13B版本性能媲美Claude2.1。
2024-06-02 cs.AI cs.CL
Self-Guided Test-Time Training for Long-Context LLMs
Meta AI;University of Virginia(弗吉尼亚大学)
研究针对长上下文语言模型处理中单纯扩窗口不能有效利用长输入、准确率易降的问题,提出自引导测试时训练(S-TTT)方法,通过模型识别证据跨度并仅对选定跨度训练,在两个基准上提升了模型准确率。
2026-07-13 cs.AI cs.CL
Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models
Microsoft Research Asia(微软亚洲研究院);The University of Chicago(芝加哥大学);University of Pittsburgh(匹兹堡大学)
本文提出检索增强的大语言模型方法,通过定制检索模块与检索引导指令微调突破序列长度限制,实现表格数据上的可扩展上下文学习,在69个数据集上显著提升性能并展现独特优势。
2025-02-05 cs.AI cs.CL
MetaICL: Learning to Learn In Context
Meta AI;Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
我们介绍了MetaICL(用于上下文学习的元训练),这是一种用于少样本学习的新元训练框架,其中预训练的语言模型被调整为在大量训练任务集上进行上下文学习。这种元训练使模型能够在测试时更有效地在上下文中学习新任务,只需在没有参数更新或特定于任务的模板的情况下对一些训练样本进行调节。我们在一个由142个NLP数据集组成的大型,多样化的任务集合上进行了实验,包括分类,问答,自然语言推理,释义检测等,跨越七个不同的元训练/目标分割。MetaICL优于一系列基准,包括没有元训练的上下文学习和多任务学习,然后是zero-shot迁移。我们发现,对于从元训练任务中转移领域的目标任务来说,收益特别显着,并且使用不同的元训练任务集是改进的关键。我们还表明,MetaICL接近(有时甚至超过)在目标任务上完全微调的模型的性能,并且优于具有近8倍参数的更大模型。最后,我们表明,MetaICL是人类编写的指令的补充,最好的性能可以通过结合这两种方法来实现。
2022-05-03 cs.AI cs.CL
Contextual Skipgram: Training Word Representation Using Context Information
Korea University(高丽大学)
skip-gram(SG)模型通过从非结构化文本数据中预测中心词周围的词来学习词表示。然而,并非上下文窗口中的所有单词都有助于中心单词的含义。例如,不太相关的词可能在上下文窗口中,从而阻碍SG模型学习更好质量的表示。在本文中,我们提出了一个增强版本的SG,利用上下文信息来产生单词表示。提出的模型,上下文跳跃gram,旨在预测上下文的中心词和上下文信息的话。这个简单的想法有助于减少无关词对训练过程的影响,从而增强最终的表现
2021-02-17 cs.CL cs.LG
Trained Agentic Context Management
本文通过让模型用工具调用自身并读取上下文词元,在8K上下文内微调小模型,使其在长文档任务上媲美百万上下文的GPT-5.4。
2026-10-05 cs.CL cs.LG
MMLongBench: Benchmarking Long-Context Vision-Language Models Effectively and Thoroughly
CSE Department, HKUST(香港科技大学计算机科学与工程系);Tencent AI Seattle Lab(腾讯AI西雅图实验室);University of Edinburgh(爱丁堡大学);NVIDIA AI Technology Center (NVAITC), NVIDIA, Santa Clara, USA(英伟达圣克拉拉人工智能技术中心)
MMLongBench是首个覆盖多任务、多图像类型和多种输入长度的长上下文视觉-语言基准,含13,331个示例,评估46个模型,发现单任务表现不足以衡量整体能力,且推理能力与长上下文性能正相关。
2025-10-06 cs.CL cs.CV
Deep Contextualized Self-training for Low Resource Dependency Parsing
Technion, IIT(以色列理工学院)
神经依存句法分析已经被证明是非常有效的,在许多领域和语言上都取得了最先进的结果。不幸的是,它需要大量的标记数据,这是昂贵和费力的创建。在本文中,我们提出了一个自我训练算法,通过训练解析器自己的输出来消除这个注释瓶颈。我们的深度上下文自训练(DCST)算法利用在序列标记任务上训练的表示模型,这些任务在应用于未标记数据时从解析器的输出中导出,并通过门控机制将这些模型与基础解析器集成。我们在多种语言中进行了实验,无论是在低资源域中还是在跨域设置中,并证明DCST大大优于传统的自我训练以及最近的半监督训练方法。
2019-11-11 cs.CL cs.LG
SplaXBERT: Leveraging Mixed Precision Training and Context Splitting for Question Answering
National University of Singapore, School of Computing(新加坡国立大学计算机学院)
本研究提出基于ALBERT-xlarge的SplaXBERT模型,结合上下文切分与混合精度训练,在SQuAD v1.1长文本问答任务中准确率与资源效率均优于传统BERT类模型。
2024-12-07 cs.CL cs.LG