S3Eval: A Synthetic, Scalable, Systematic Evaluation Suite for Large Language Models
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Sea AI Lab(海洋人工智能实验室)
针对超长上下文能力难以人工评估的问题,本文提出可控制长度与难度的合成评估套件 S3Eval,并以 S3Eval-Standard 验证其与真实基准相关且对现有 LLM 具有挑战性。
2024-04-06 cs.CL
SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Technion, NVIDIA(技术学院与NVIDIA);University of Oxford(牛津大学);School of Electronics Engineering(电子工程学院);Computer Science, Peking University(计算机科学,北京大学)
本文提出SHINE,一种可扩展的上下文超网络,用于在单次传递中将多样且有意义的上下文映射到高质量的LoRA适配器,通过重用冻结LLM的自身参数和引入架构创新,克服了先前超网络的关键限制,以较少的参数实现了强大的表达能力。
2026-10-20 cs.AI cs.CL
Synthetic Context Generation for Question Generation
Rice University(莱斯大学);Adobe(奥多比公司)
针对问题生成任务中带上下文的领域数据集难获取的问题,提出用大语言模型基于问答对生成合成上下文来训练QG模型,实验证明合成上下文有效,微调小模型性能优于提示大模型,且与真实上下文效果相当。
2024-06-19 cs.CL cs.LG
CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰霍普金斯大学)
CoPE通过软剪裁RoPE的低频成分,有效提升长上下文LLM的性能,实现可扩展的免费午餐。
2026-02-05 cs.AI cs.CL cs.LG
Case2Code: Scalable Synthetic Data for Code Generation
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对现有基于教师模型的合成数据难以扩展的问题,本文提出Case2Code归纳推理任务,结合LLMs生成程序输入并执行获取输出以大规模合成数据,训练后的模型在相关任务上性能提升,验证了该方法的潜力。
2025-02-08 cs.CL
CoT-ICL Lab: A Synthetic Framework for Studying Chain-of-Thought Learning from In-Context Demonstrations
New York University(纽约大学)
CoT-ICL Lab通过合成数据集解耦因果结构与处理函数,研究思维链上下文学习,发现深度对CoT关键,更多示例助浅层模型匹敌深层性能。
2025-05-21 cs.AI cs.CL cs.LG
Scaling Laws of Synthetic Data for Language Models
Microsoft(微软公司);HKUST(香港科技大学);Peking University(北京大学);Penn State University(宾夕法尼亚州立大学)
针对大语言模型预训练网络数据耗尽的问题,提出可扩展框架SynthLLM,通过图算法重组文档高层概念生成合成数据,验证其符合缩放定律且性能优于现有方法,为模型性能持续提升提供可行路径。
2025-10-05 cs.AI cs.CL
OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment
Purdue University(普渡大学);Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);University at Albany(阿尔巴尼大学)
OpenRubrics 提出了一种基于对比的 rubric 生成方法,通过大规模(提示,rubric)对提升奖励建模和大语言模型对齐的性能。
2026-02-03 cs.CL
SCRIBE: Scalable Contextual Representations of Interpretable Brain-Grounded Semantics
Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所)
本研究提出基于神经科学语义空间的SCRIBE框架,其可生成可解释词级语义表示,在行为与脑成像实验中表现优于非上下文表示,为大脑自然语言语义研究提供了可扩展基础。
2026-10-16 cs.AI cs.CL
Scalable In-Context Learning on Tabular Data via Retrieval-Augmented Large Language Models
Microsoft Research Asia(微软亚洲研究院);The University of Chicago(芝加哥大学);University of Pittsburgh(匹兹堡大学)
本文提出检索增强的大语言模型方法,通过定制检索模块与检索引导指令微调突破序列长度限制,实现表格数据上的可扩展上下文学习,在69个数据集上显著提升性能并展现独特优势。
2025-02-05 cs.AI cs.CL
Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration
Data Science(数据科学);Marketing Data Scientist(市场数据科学家)
针对CAG难以扩展至大型动态知识库的问题,提出ACC动态压缩管理上下文,并结合选择性检索构建混合CAG-RAG框架,提升效率、可扩展性与多跳推理能力。
2025-05-13 cs.AI cs.CL
Context Parallelism for Scalable Million-Token Inference
Meta Platforms, Inc.(元平台公司)
本文提出上下文并行方法,在128块H100 GPU上实现Llama3 405B模型百万级token预填充仅需77秒,通过两种无损环形注意力变体覆盖多种场景,并在RDMA和TCP互连下均展现近线性扩展。
2025-04-21 cs.AI cs.DC cs.LG
Scaling Instruction-Tuned LLMs to Million-Token Contexts via Hierarchical Synthetic Data Generation
Harvard University(哈佛大学);Together AI;University of Chicago(芝加哥大学)
针对LLMs长上下文推理能力不足及长上下文数据稀缺问题,提出分层合成数据生成策略与分步RoPE缩放训练,扩展模型至百万token上下文,在长上下文基准和通用任务上表现良好。
2025-04-17 cs.AI cs.CL
Scalable Defense against In-the-wild Jailbreaking Attacks with Safety Context Retrieval
School of EECS, Peking University(电子工程系,北京大学);School of Mathematical Sciences, Peking University(数学系,北京大学);State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(通用人工智能国家重点实验室,智能科学与技术学校,北京大学);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学)
本研究提出安全上下文检索(SCR),一种基于检索增强生成的可扩展防御范式,通过检索安全对齐示例增强LLM对越狱攻击的鲁棒性,实验证明其对既有和新出现的攻击策略均有效。
2025-05-21 cs.AI cs.CL cs.CR
SagaScale: A Realistic, Scalable, and High-Quality Long-Context Benchmark Built from Full-Length Novels
Tsinghua University(清华大学);Tencent(腾讯);Peking University(北京大学)
SagaScale基于完整小说构建,提供长上下文基准,通过自动化数据收集管道,评估12个LLMs和三种方法,揭示LLM在长上下文处理中的表现差异及Agentic RAG的改进效果。
2025-12-27 cs.AI cs.CL
EMCEE: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
Yonsei University(延世大学)
提出EMCEE框架,通过从LLM自身提取并融合语言特定知识,结合推理输出,显著提升多语言任务性能,尤其在低资源语言上平均提升31.7%。
2026-05-29 cs.AI cs.CL
MapTrace: Scalable Data Generation for Route Tracing on Maps
Google XR(谷歌XR);University of Pennsylvania(宾夕法尼亚大学)
MapTrace通过合成数据生成提升地图路线追踪性能,微调模型使成功率提升6.4个百分点,减少路径追踪误差。
2025-12-22 cs.AI cs.CV
Modular Techniques for Synthetic Long-Context Data Generation in Language Model Training and Evaluation
ServiceNow
针对长上下文高质量数据集匮乏制约大语言模型发展的问题,本研究提出模块化合成数据生成框架,支持多种训练对齐目标与四类生成范式,可构建适配训练与评估的可控长上下文数据集。
2025-09-04 cs.AI cs.CL
Scalable Frame-based Construction of Sociocultural NormBases for Socially-Aware Dialogues
Monash University(莫纳什大学)
本文提出利用大语言模型和上下文框架从社交对话中可扩展地构建中文社会文化规范库,并通过合成数据与RAG模型验证了规范质量和下游任务效果。
2024-10-04 cs.AI cs.CL cs.IR
Generative Models for Synthetic Data: Transforming Data Mining in the GenAI Era
Arizona State University(亚利桑那州立大学);University of Notre Dame(圣母大学);University of Maryland(马里兰大学)
本教程系统介绍大型语言模型、扩散模型等生成模型在合成数据生成中的基础与最新进展,涵盖方法、框架、评估及应用,旨在帮助研究者利用生成式合成数据应对数据稀缺、隐私和标注挑战,推动数据挖掘实践。
2025-08-27 cs.AI cs.LG
Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs
The Beacom College of Computer and Cyber Sciences(贝科姆计算机与网络科学学院);Dakota State University(达科他州立大学)
本文研究利用LLM结合合成数据生成与求职评论数据集进行内部威胁情绪检测,通过对比专家评分验证其有效性,并提出一种克服数据获取伦理与后勤障碍的可扩展检测方案。
2025-04-07 cs.AI cs.CL cs.CR
Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL
The University of Melbourne(墨尔本大学);Google Research Australia(谷歌澳大利亚研究院)
针对多轮对话中信息碎片化导致LLM准确率下降65%的问题,提出通过训练模型维护紧凑滚动记忆而非增长历史来缓解,并引入低成本分片流水线将单轮QA转换为多轮碎片化情节,训练的记忆增强策略显著提升多轮准确率并零样本泛化到更难任务。
2026-06-15 cs.CL
Scaling Arabic Medical Chatbots Using Synthetic Data: Enhancing Generative AI with Synthetic Patient Records
Dept. of Computer Science, Qatar University, Doha, Qatar(计算机科学系,卡塔尔大学,多哈)
针对阿拉伯语医疗数据稀缺问题,提出利用ChatGPT-4o和Gemini生成8万条合成问答对扩充训练集,微调多个LLM的实验表明合成数据有效提升了模型性能,其中ChatGPT-4o数据表现更优。
2025-09-12 cs.CL
Counting-Stars: A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context Large Language Models
Tencent Hunyuan(腾讯混元)
本文提出Counting-Stars基准,通过搜索和推理两项计数任务评估长上下文LLM的多证据检索能力,实验发现Gemini 1.5 Pro总体最佳且GPT-4 Turbo最稳定,并指出模型在长文本和复杂任务上仍有改进空间。
2024-12-24 cs.CL
Probing How Scalable Table Data Enhances General Long-Context Reasoning
Large Language Model Department, Tencent(腾讯大语言模型部门);Xi'an Jiaotong University, Xi'an, China(西安交通大学);Fudan University, Shanghai, China(复旦大学)
本文研究表格数据对长上下文推理的增强作用,通过分析表格依赖结构揭示周期性非消失依赖,并提出TableLong框架提升推理能力,实验显示在多个基准上提升8.24%。
2026-03-23 cs.CL
Training Needs Trustworthy Worlds: Verified Synthetic Web Environments for Agent Learning
University of Pennsylvania(宾夕法尼亚大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Pace University(佩斯大学)
该研究构建可执行、可审计的合成Web环境,修复缺陷后用于训练Web智能体,提升了可行任务率与PPO策略性能,增强了向多个基准的迁移能力,为智能体学习提供了可靠训练基底。
2026-09-29 cs.AI
SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents
Cornell University(康奈尔大学);The Hong Kong University of Science and Technology(香港科技大学);The Ohio State University(俄亥俄州立大学);Hong Kong Baptist University(香港浸会大学)
提出SING框架,通过构建意图-工具图并动态检索工具,在长周期任务中提升工具发现准确率,Global Recall@5提高59.8%,下游成功率提高28.9%。
2026-06-17 cs.CL
DocIE@XLLM25: In-Context Learning for Information Extraction using Fully Synthetic Demonstrations
ScaDS.AI & TU Dresden(ScaDS.AI与德累斯顿技术大学)
本文提出一种全自动流水线,结合合成数据生成与检索式上下文学习,在零样本下进行文档级实体和关系抽取,并构建了5k篇摘要、59k实体和30k三元组的合成数据集,实验表明该任务仍具挑战性。
2025-07-08 cs.CL
SynClaimEval: A Framework for Evaluating the Utility of Synthetic Data in Long-Context Claim Verification
University of Pittsburgh(匹兹堡大学);Zillow Inc.(Zillow公司)
该研究针对长上下文主张验证中合成数据效用评估的需求,提出SynClaimEval框架,从输入特征、合成逻辑和解释质量三方面评估,实验证明其能提升模型验证性能和解释质量,为相关任务提供可扩展数据方案。
2025-11-12 cs.CL
Privacy-Preserving Synthetic Review Generation with Diverse Writing Styles Using LLMs
Department of Computer Science and Engineering(计算机科学与工程系);Santa Clara University(圣克拉拉大学);eBay(eBay公司)
针对LLM合成评论文本的多样性与隐私风险,本文建立多维评估指标,揭示现有模型局限,并提出基于提示的方法以增强风格多样性并保护隐私。
2025-07-24 cs.CL cs.CR cs.LG
HGMF: A Hierarchical Gaussian Mixture Framework for Scalable Tool Invocation within the Model Context Protocol
Zhejiang University Binjiang Institute of Zhejiang University(浙江大学);Jimei University(集美大学);Zhejiang University GenTel.io(浙江大学)
HGMF通过分层高斯混合框架提升大规模工具库中的工具调用准确率与效率。
2026-01-08 cs.AI
ArchAgent: Scalable Legacy Software Architecture Recovery with LLMs
HiThink Research(慧思研究);University of Science and Technology of China(中国科学技术大学)
ArchAgent通过结合静态分析、自适应分段和LLM合成,实现大规模遗留软件架构的高效恢复与多视图业务对齐。
2026-01-19 cs.AI cs.SE
Persona Generators: Generating Diverse Synthetic Personas for Arbitrary Contexts
Google DeepMind(谷歌DeepMind)
提出Persona Generators,通过迭代进化优化生成覆盖广泛意见和偏好的多样化合成人格,在六个多样性指标上显著优于现有基线。
2026-05-25 cs.AI
LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data
IDEA Research, International Digital Economy Academy(IDEA研究院,国际数字经济学院);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));DataArc Tech Ltd.(DataArc科技有限公司);Hithink RoyalFlush Information Network Co., Ltd(Hithink皇家Flush信息网络有限公司)
提出LongFaith流水线,通过整合真实数据和基于引用的推理提示合成忠实长上下文推理指令数据集,显著提升了LLM在长上下文推理与问答任务上的性能。
2025-05-29 cs.CL
Towards Scalable Meta-Learning of near-optimal Interpretable Models via Synthetic Model Generations
Capital One
本文提出一种通过合成采样近最优决策树生成大规模预训练数据的方法,结合MetaTree Transformer架构,以更低计算成本实现与真实数据或最优树预训练相当的性能,推动可解释决策树元学习的可扩展发展。
2026-10-09 cs.AI cs.CL cs.LG
Mix-and-Match: Scalable Dialog Response Retrieval using Gaussian Mixture Embeddings
IBM Research(IBM研究院)
基于嵌入的对话响应检索方法将上下文响应对嵌入为嵌入空间中的点。这些方法是可扩展的,但无法解释上下文响应对之间存在的复杂的多对多关系。另一方面,有一些方法通过多层神经网络联合提供上下文-响应对。这些方法可以模拟上下文-响应对之间的复杂关系,但当响应集适度大(>100)时无法扩展。在本文中,我们通过提出一个可扩展的模型,可以学习上下文响应对之间的复杂关系,结合了这两个世界的最佳。具体而言,该模型将上下文以及响应映射到嵌入空间上的概率分布。我们通过优化由训练数据中的上下文响应对引起的分布之间的Kullback-Leibler散度来训练模型。我们表明,所得到的模型实现了更好的性能相比,其他基于嵌入的方法公开可用的会话数据。
2022-04-06 cs.AI cs.CL
OmniChat: Enhancing Spoken Dialogue Systems with Scalable Synthetic Data for Diverse Scenarios
Zhejiang University(浙江大学);Meituan(美团)
本文提出利用大规模合成数据构建 ShareChatX 数据集,并基于此设计多轮对话系统 OmniChat,通过异构特征融合优化多样场景下的对话能力,在 DailyTalk 上取得最先进结果。
2025-01-02 cs.CL cs.HC cs.SD
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science(计算与数据科学学院);College of Computing(计算学院)
针对上下文偏置模型在合成数据训练中的过拟合问题,提出关键词感知损失函数,增强TCPGen方法,将Whisper适配10小时合成数据后,词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
A Typology of Synthetic Datasets for Dialogue Processing in Clinical Contexts
本文探讨了临床情境下对话处理中合成数据集的创建、评估与应用,提出了一种新的分类体系以促进数据合成类型的比较和评估。
2026-03-16 cs.AI cs.CL
Multilingual Embeddings Jointly Induced from Contexts and Concepts: Simple, Strong and Scalable
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
在自然语言处理中,由局部语境引入的词嵌入是普遍存在的。一个简单有效的基于上下文的多语言嵌入学习器是Levy等人(2017)的S-ID(句子ID)方法。另一项工作是从概念中引入高性能的多语言嵌入(Dufter等人,2018年)。在本文中,我们提出了Co+Co,一个简单的和可扩展的方法,结合了基于上下文和基于概念的学习。从句子对齐的语料库中,通过采样提取概念;然后在嵌入学习中将单词与其概念ID和句子ID相关联。这是第一个成功结合基于上下文和基于概念的嵌入式学习的工作。我们表明,Co+Co表现良好的两个不同的应用场景:并行圣经语料库(1000+语言,低资源)和EuroParl(12种语言,高资源)。在适用于两个语料库的方法中,Co+Co在我们的六个任务的评估设置中表现最好。
2020-04-30 cs.CL
FastContext: an efficient and scalable implementation of the ConText algorithm
University of Utah(犹他大学)
目的:开发和评估FastContext,一种高效、可扩展的ConText算法实现,适用于超大规模临床自然语言处理。背景资料:上下文算法在检测临床叙述中的经验者、否定状态和概念提及的时间性方面具有最先进的准确性。然而,其当前实现的速度限制阻碍了其在大数据处理中的使用。研究方法:我们通过对ConText规则进行散列来开发FastContext,并将其速度和准确性与两种广泛使用的Java实现JavaConText和GeneralConText进行了比较。结果如下:与本研究中用于比较的其他两种实现相比,FastContext的运行速度快了两个数量级,并且由于规则增加而减速较少。此外,FastContext随着规则的增加(添加新规则的预期结果)不断获得准确性的提高,而其他两个实现则没有。结论:FastContext是流行的ConText算法的一种高效、可扩展的实现,适用于非常大的临床语料库上的自然语言应用。
2019-04-30 cs.CL cs.DS
Understanding Synthetic Context Extension via Retrieval Heads
Department of Computer Science, The University of Texas at Austin, Texas, USA(计算机科学系,德克萨斯大学奥斯汀分校)
本文研究了合成上下文扩展在长上下文任务中的微调效果,发现合成数据训练的模型虽不及真实数据,但其性能差异可通过负责长上下文检索的“检索头”来解释和预测,揭示了合成数据微调的机制。
2025-05-27 cs.CL
Image-Text Out-Of-Context Detection Using Synthetic Multimodal Misinformation
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(情报学研究所);The University of Tokyo(东京大学)
针对多模态虚假信息,提出基于合成数据生成的图像-文本上下文外检测方法,创建专用数据集并开发高效检测器,实验验证其有效性。
2024-01-29 cs.AI cs.CL cs.CV
Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
本文提出一种语音引导的机器翻译框架,通过融合语音和文本提升多语言翻译性能,并在多个基准上取得新突破。
2026-03-03 cs.CL
BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer
Carnegie Mellon University(卡内基梅隆大学)
对话状态跟踪(DST)中一个重要但很少解决的问题是动态本体的可扩展性(例如,电影、餐馆)和看不见的槽值。我们专注于一个特定的条件,其中本体是未知的状态跟踪器,但目标槽值(除了没有和dontcare),可能在训练过程中看不见,可以在对话上下文中找到的词段。先前的方法通常依赖于从n-gram枚举或时隙标记器输出的候选生成,这可能是低效的或遭受错误传播。我们提出了BERT-DST,一个端到端的对话状态跟踪器,直接从对话上下文中提取插槽值。我们使用BERT作为对话上下文编码器,其上下文化的语言表示适合于可扩展的DST,以从其语义上下文中识别槽值。此外,我们采用编码器参数共享在所有槽有两个优点:(1)参数的数量不与本体线性增长。(2)语言表征知识可以在槽之间转移。实证评估表明,跨时隙参数共享的BERT-DST在基准可扩展DST数据集Sim-M和Sim-R上的性能优于先前的工作,并在标准DSTC 2和WOZ 2.0数据集上实现了有竞争力的性能。
2019-07-05 cs.CL
LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有长上下文推理基准覆盖不足的问题,本文提出通过上下文扩展构建的合成基准LongReason,对21个大语言模型评估后发现多数模型随上下文变长性能显著下降,该基准已开源。
2025-11-17 cs.CL
Zero-Shot Contextual Embeddings via Offline Synthetic Corpus Generation
Delft University of Technology(代尔夫特理工大学)
提出零样本上下文适应框架ZEST,通过离线合成紧凑代理语料库替代真实语料库访问,在无需微调或重训练的情况下生成领域适应嵌入,性能接近完全访问目标语料库的模型。
2025-06-30 cs.CL cs.IR
SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling
NVIDIA(英伟达)
SWAN-GPT通过交替使用无位置编码层和滑动窗口旋转位置编码注意力层,结合推理时注意力分数动态缩放,在不额外训练的情况下实现长上下文外推,并支持高效转换现有预训练模型。
2025-04-11 cs.CL
Modeling Context With Linear Attention for Scalable Document-Level Translation
MIT(麻省理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);AWS AI(亚马逊云科技人工智能);University of Washington(华盛顿大学)
文档级机器翻译利用句子间的依赖关系来产生更连贯和一致的翻译。然而,这些模型,主要是基于Transformers,很难扩展到长的文件,因为他们的注意层在序列长度的二次复杂性。最近的努力,有效的注意力提高可扩展性,但其对文件翻译的影响仍然是未知的。在这项工作中,我们研究了Peng et al.(2021)最近提出的线性注意力模型对文档翻译的有效性,并通过一个新的门来增强它,以促进近因诱导偏差。我们在IWITOS 2015和OpenSubtitles 2018上对Transformer模型进行了评估,结果表明,在具有类似或更好BLEU分数的长序列上,解码速度大幅提高。我们表明,间接门进一步提高了IWESTs的翻译质量。
2022-10-16 cs.CL
Learning to Rank Context for Named Entity Recognition Using a Synthetic Dataset
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室)
针对长文档 NER 的上下文检索缺乏监督问题,本文用 Alpaca 构造合成训练集,并训练基于 BERT 的神经上下文检索器,在 40 部英文小说第一章数据集上超过多个检索基线。
2024-04-08 cs.CL
ReSSFormer: A Recursive Sparse Structured Transformer for Scalable and Long-Context Reasoning
Columbia University(哥伦比亚大学);Hebei Institute of Communications(河北通信学院)
针对Transformer在长上下文推理、效率和结构泛化上的痛点,提出整合循环推理记忆单元、自适应稀疏注意力和自组织编码器结构的ReSSFormer,在多类任务同等算力参数下性能优于强基线。
2025-10-02 cs.CL cs.NI
CultureCLIP: Empowering CLIP with Cultural Awareness through Synthetic Images and Contextualized Captions
Hong Kong University of Science and Technology(香港理工大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);University of Copenhagen(哥本哈根大学)
本文提出CultureCLIP,通过构建合成文化数据集CulTwin并采用定制对比学习微调CLIP,显著提升了模型对视觉相似但文化含义不同概念的细粒度识别能力,同时保持了原有泛化性能。
2025-07-16 cs.CL cs.CV
SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
Intel Labs(英特尔实验室);Amazon(亚马逊)
本文提出含 200 多万带上下文文档问答对的大规模合成多模态数据集 SK-VQA,用于训练和评测上下文增强型 MLLM,并验证其可提升上下文感知 VQA 与多模态 RAG 泛化能力。
2025-06-09 cs.CL cs.CV
Dont Stop Early: Scalable Enterprise Deep Research with Controlled Information Flow and Evidence-Aware Termination
Salesforce AI Research(Salesforce AI研究院)
本文提出了一种可扩展的企业深度研究架构EDR,通过分解请求、本地化上下文和强制证据充分性标准来解决信息覆盖不均、上下文爆炸和过早终止的问题,提升企业研究的一致性和深度。
2026-04-27 cs.CL cs.SE