Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安技术教育大学);Deakin University(迪肯大学)
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中,我们调查的问题,提高性能的人工智能系统在理解文档图像,特别是在训练数据是有限的情况下。我们提出了一种新的微调方法,使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络,并使用策略梯度训练来更新模型,以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明,我们的微调机制始终提高了最先进的信息提取器的性能,特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
UReader: Universal OCR-free Visually-situated Language Understanding with Multimodal Large Language Model
East China Normal University(华东师范大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Renmin University of China(中国人民大学)
本研究提出基于MLLM的通用无OCR视觉场景语言理解模型UReader,仅微调1.2%参数,通过统一指令联合微调多任务、引入辅助任务和形状自适应裁剪模块,在5个领域10项任务中8项达SOTA。
2023-10-08 cs.AI cs.CV
Docopilot: Improving Multimodal Models for Document-Level Understanding
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学);Nankai University(南开大学);Fudan University(复旦大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对多页文档理解不足及RAG方法缺陷,本文提出Doc-750K数据集并开发原生多模态模型Docopilot,在不依赖检索的情况下实现更优的文档级理解性能。
2025-07-19 cs.CL cs.CV
PP-DocBee: Improving Multimodal Document Understanding Through a Bag of Tricks
PaddlePaddle Team, Baidu Inc.(百度公司)
本报告提出 PP-DocBee 多模态大模型,通过数据合成策略与动态采样等训练技巧,在文档图像理解任务上取得 SOTA 性能。
2025-06-26 cs.AI cs.CL cs.CV
TextMonkey: An OCR-Free Large Multimodal Model for Understanding Document
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);Kingsoft(金山软件)
TextMonkey是一种无OCR的大型多模态模型,通过移位窗口注意力、标记筛选和文本定位增强,在12个基准上显著提升文档理解性能,并在OCRBench上创下561分的新纪录。
2024-03-15 cs.AI cs.CV
Towards Improving Document Understanding: An Exploration on Text-Grounding via MLLMs
University of Science and Technology of China(中国科学技术大学)
针对文档理解中文本定位能力挖掘不足的问题,提出TGDoc模型,通过构建含9.9万份演示文稿的数据集和1.2万条带位置信息的对话指令微调MLLMs,在多个文本密集基准上达SOTA性能。
2023-12-15 cs.CV
ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction
University of British Columbia(不列颠哥伦比亚大学);Microsoft Research(微软研究院)
ReVision通过去除冗余视觉片段,减少token使用并提升成功率,使代理能处理更长轨迹。
2026-10-27 cs.CL
Improving Cross-Modal Understanding in Visual Dialog via Contrastive Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
可视化对话是一项具有挑战性的视觉语言任务,因为可视化对话代理需要在对图像内容和对话历史进行推理后回答一系列问题。虽然现有的方法试图处理视觉对话中的跨模态理解,但它们仍然不足以基于对视觉和文本上下文的理解来对候选答案进行排序。本文基于视觉语言预训练模型VD-BERT,分析了视觉对话中的跨模态理解问题,提出了一种新的提高视觉对话跨模态理解的方法ICMU。ICMU通过基于四向对比学习区分不同的拉取输入(即拉取图像、问题或答案)来增强跨模态理解。此外,ICMU利用单轮视觉问答来增强视觉对话模型的跨模态理解,以处理多轮视觉接地对话。实验结果表明,该方法提高了可视化对话模型的跨模态理解能力,在VisDial数据集上取得了满意的效果。
2022-04-15 cs.CL cs.CV
XNLI 2.0: Improving XNLI dataset and performance on Cross Lingual Understanding (XLU)
JSS Academy of Technical Education(JSS技术教育学院)
自然语言处理系统严重依赖于注释数据的可用性来训练实用模型。首先,模型在英语数据集上训练。近年来,由于使用不同语言工作的必要性急剧增加,在多语言理解方面取得了重大进展。其中一个突出的观点是,由于现在有这么多预先训练的多语言模型,我们可以利用它们来完成跨语言理解任务。使用跨语言理解和自然语言推理,可以训练模型,其应用扩展到训练语言之外。我们可以利用机器翻译的强大功能,跳过将数据集从一种语言翻译成另一种语言这一令人厌烦的部分。在这项工作中,我们专注于通过将MNLI数据集重新翻译成XNLI中存在的所有14种不同语言来改进原始XNLI数据集,包括使用Google翻译的XNLI测试和开发集。我们还通过训练所有15种语言的模型并分析它们在自然语言推理任务上的性能来进行实验。然后,我们扩大我们的边界,以调查我们是否可以通过用英语以外的语言训练模型来提高低资源语言(如斯瓦希里语和乌尔都语)的性能。
2023-01-16 cs.CL cs.LG
VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
由于视觉感知可以提供丰富的信息,超越文本描述的世界理解,有越来越多的兴趣,利用视觉基础的语言学习。最近,通过使用文本到图像检索模型的预测作为语言模型监督的标签,语音化(Tan和Bansal,2020)引起了人们的关注。尽管它的成功,该方法遭受的近似误差使用有限的图像标签和缺乏词汇多样性的一个小的图像-文本数据集。为了克服这些局限性,我们提出了VidLanKD,视频语言知识蒸馏方法,提高语言理解。我们在视频-文本数据集上训练多模态教师模型,然后将其知识转移到具有文本数据集的学生语言模型。为了避免近似误差,我们建议使用不同的知识蒸馏目标。此外,使用大规模的视频文本数据集有助于学习多样化和更丰富的词汇。在我们的实验中,VidLanKD在几个下游语言理解任务(包括GLUE、SQuAD和SWAG)上实现了比纯文本语言模型和语音化模型一致的改进。我们还通过评估GLUE诊断,PIQA和TRACIE数据集来展示我们模型的改进的世界知识,物理推理和时间推理能力。最后,我们提出了全面的消融研究,以及可视化的学习文本到视频接地结果,我们的教师和学生语言模型。我们的代码和模型可在https://github.com/zinengtang/VidLanKD上获得
2021-10-19 cs.AI cs.CL cs.CV
Benchmarking and Improving Large Vision-Language Models for Fundamental Visual Graph Understanding and Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China(计算与智能研究院,哈尔滨工业大学,深圳);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室,深圳);School of Intelligence Science and Engineering, Harbin Institute of Technology, Shenzhen, China(智能科学与工程学院,哈尔滨工业大学,深圳)
本文提出涵盖22项任务的 VGCure 基准评估14个 LVLMs 的图理解推理能力,并设计结构感知自监督微调框架以提升其图学习性能与鲁棒性。
2025-06-06 cs.CL cs.CV
Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
人类通过听、说、写、读以及与多模态现实世界的互动来学习语言。现有的语言预训练框架显示了纯文本自我监督的有效性,而我们在本文中探索了视觉监督语言模型的想法。我们发现阻碍这一探索的主要原因是视觉语言数据集和纯语言语料库之间在数量和分布上的巨大差异。因此,我们开发了一种名为“vokenization”的技术,通过将语言标记映射到其相关图像(我们称之为“vokens”),将多模态对齐外推到仅语言数据。“vokenizer”是在相对较小的图像描述数据集上训练的,然后我们将其应用于为大型语言语料库生成vokens。使用这些上下文生成的voken进行训练,我们的视觉监督语言模型在多个纯语言任务(如GLUE,SQuAD和SWAG)上显示出比自监督替代方案一致的改进。代码和预训练模型可在https://github.com/airsplay/vokenization上公开获取
2020-10-14 cs.AI cs.CL cs.CV
RoBiologyDataChoiceQA: A Romanian Dataset for improving Biology understanding of Large Language Models
University of Bucharest(布加勒斯特大学)
本文构建含约14,000题的罗马尼亚语生物选择题数据集RoBiologyDataChoiceQA,并通过基准测试、提示工程与微调实验评估LLM的科学推理及低资源语言领域理解能力。
2025-09-30 cs.CL cs.LG
LLM Probing with Contrastive Eigenproblems: Improving Understanding and Applicability of CCS
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文重新审视了无监督探针方法CCS,将其双项目标优化问题重新表述为特征值问题,提出相对对比一致性以获得闭式解,在保持性能的同时解决了随机初始化敏感性问题,并扩展了多变量适用性。
2025-11-03 cs.CL cs.LG
Understanding and Improving Information Transfer in Multi-Task Learning
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
我们研究多任务学习方法,使用共享的功能表示的所有任务。为了更好地理解任务信息的传输,我们研究了一种架构,该架构具有所有任务的共享模块和每个任务的单独输出模块。我们在线性和ReLU激活模型上研究了这种设置的理论。我们的主要观察是,任务的数据是否对齐可以显着影响多任务学习的性能。我们发现,任务数据之间的不对齐会导致负迁移(或损害性能),并提供了充分的条件,为正迁移。受理论见解的启发,我们表明,对齐任务的嵌入层可以在GLUE基准测试和情感分析任务上实现多任务训练和迁移学习的性能提升;例如,使用我们的对齐方法,5个GLUE任务的GLUE得分平均提高了2.35%。我们还设计了一个基于SVD的任务权重调整方案,并表明它提高了多标签图像数据集上多任务训练的鲁棒性。
2020-05-02 cs.CL cs.LG
Verbs in Action: Improving verb understanding in video-language models
University of Oxford(牛津大学);Google Research(谷歌研究院)
本文提出动词聚焦对比(VFC)框架,通过利用大语言模型生成困难负样本并施加细粒度动词短语对齐损失,显著提升了基于CLIP的视频-语言模型在动词理解相关任务上的零样本性能。
2023-04-13 cs.AI cs.CL cs.CV
pyvene: A Library for Understanding and Improving PyTorch Models via Interventions
Stanford University(斯坦福大学);Pr(Ai)R Group(Pr(Ai)R集团)
本研究推出开源Python库pyvene,支持对多种PyTorch模块进行可定制的静态或含可训练参数的干预,提供统一可扩展框架用于神经模型干预与模型共享,可应用于模型编辑、可解释性等AI领域。
2024-03-12 cs.CL cs.LG
CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries
University of Macau(澳门大学);Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院);Squirrel AI(松鼠AI);Lehigh University(理海大学);William & Mary(威廉玛丽学院)
本文构建了覆盖188个国家/地区的大规模多元文化基准CultureVerse,并提出在其上微调的CultureVLM系列模型,显著提升了视觉-语言模型的文化理解能力,同时保持通用性能不下降。
2025-01-02 cs.AI cs.CL cs.CV
SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);School of Computer Science(计算机科学学院);Baidu Inc.(百度公司);School of Computer Science, Wuhan University(武汉大学计算机学院)
SUDER 提出利用理解与生成任务的对偶性,通过自监督双重奖励机制自我改进统一大型多模态模型,无需外部监督即可提升性能,尤其在文生图任务上效果显著。
2025-09-08 cs.AI cs.CL cs.CV
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Explaining and Improving Model Behavior with k Nearest Neighbor Representations
Salesforce Research(Salesforce研究院)
NLP中的可解释性技术主要集中在使用注意力可视化或基于标记的梯度显着图来理解个体预测。我们建议使用k近邻(kNN)表示来识别负责模型预测的训练样本,并获得对模型行为的语料库级别的理解。除了可解释性,我们表明,kNN表示是有效的发现学习虚假的关联,识别错误标记的例子,并提高微调模型的性能。我们专注于自然语言推理(NLI)作为一个案例研究和实验多个数据集。我们的方法部署回退到kNN的BERT和RoBERTa的例子与低模型的信心,没有任何更新的模型参数。我们的研究结果表明,kNN方法使微调模型对对抗性输入更具鲁棒性。
2020-10-18 cs.CL cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research(谷歌研究院)
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制,但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此,我们研究了注意力/Transformer网络的训练问题,并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地,我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后,我们将重新表述为一个凸优化问题,这是可解释的,更容易优化。此外,作为凸分析的副产品,我们揭示了一种隐式正则化机制,它可以促进令牌之间的稀疏性。因此,我们不仅改进了注意力/Transformer网络的优化,而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性,通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses
Amazon(亚马逊)
在现代口语语言理解(SLU)系统中,自然语言理解(NLU)模块将来自自动语音识别(ASR)模块的语音的解释作为输入。NLU模块通常在下游任务(如域和意图分类)中使用给定语音的第一个最佳解释。然而,ASR模块可能会错误地识别一些语音,并且第一最佳解释可能是错误的和有噪声的。仅仅依赖第一个最佳解释可能会使下游任务的性能非最佳。为了解决这个问题,我们引入了一系列简单而有效的模型,通过集体利用ASR模块的n-最好的语音解释来提高对输入语音的语义的理解。
2020-01-11 cs.CL cs.SD eess.AS
Understanding and Improving Layer Normalization
Peking University(北京大学)
层归一化(LayerNorm)是一种对中间层的分布进行归一化的技术。它可以实现更平滑的梯度,更快的训练和更好的泛化精度。然而,目前还不清楚有效性来自何处。在本文中,我们的主要贡献是进一步理解LayerNorm。许多先前的研究认为LayerNorm的成功来自于前向归一化。与他们不同的是,我们发现均值和方差的导数比通过重新居中和重新缩放后向梯度的前向归一化更重要。此外,我们发现LayerNorm的参数,包括偏置和增益,增加了过拟合的风险,并且在大多数情况下不起作用。实验表明,没有偏差和增益的简单版本的LayerNorm(LayerNorm-simple)在四个数据集上的性能优于LayerNorm。它在En-Vi机器翻译上取得了最先进的性能。为了解决过拟合问题,我们提出了一种新的归一化方法,自适应归一化(AdaNorm),通过用一个新的变换函数代替偏置和增益。实验表明,AdaNorm在八个数据集中的七个上表现出比LayerNorm更好的结果。
2019-11-16 cs.CL cs.LG stat.ML
Dual Inference for Improving Language Understanding and Generation
National Taiwan University(台湾大学)
自然语言理解(NLU)和自然语言生成(NLG)任务具有很强的双重关系,其中NLU旨在基于自然语言话语预测语义标签,而NLG则相反。以往的工作主要集中在利用模型训练中的对偶性,以获得性能更好的模型。然而,考虑到当前NLP领域中模型规模的快速增长,有时我们可能很难重新训练整个NLU和NLG模型。为了更好地解决这个问题,本文提出在推理阶段利用对偶性,而不需要再训练。在三个基准数据集上的实验结果表明,该方法在自然语言理解和自然语言生成两个方面都是有效的,具有很大的实际应用潜力。
2020-10-15 cs.CL
Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室)
本研究针对大型语言模型受约束文本生成问题,对主流开源模型在词汇、结构和关系约束下的生成能力进行了评估与改进,并发布相关基准与数据集以促进未来研究。
2024-03-21 cs.CL
Improving Table Understanding with LLMs and Entity-Oriented Search
Monash University(莫纳什大学);Qualcomm AI Research(高通人工智能研究)
针对现有方法依赖预处理、缺乏上下文的问题,提出面向实体的搜索方法,利用语义相似性和实体绑定提升LLMs表格理解能力,首次引入图查询语言,在两个基准上获最优性能。
2025-08-23 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University(北京大学)
由于无监督学习方法对上下文变化过于敏感,因此多义词的无监督学习表示产生了大量的伪多义。在本文中,我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法,称为前RPCA,旨在检测伪多感官和真正的多感官。与Ex-RPCA,我们的经验表明,伪多感官系统产生的无监督的方法。此外,多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度(SCWS)数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
HAIC: Improving Human Action Understanding and Generation with Better Captions for Multi-modal Large Language Models
Kuaishou Technology(快手科技);Shandong University(山东省大学)
本文提出两阶段人类动作视频标注流程,构建 HAICTrain 与 HAICBench,证明高质量描述数据可同时提升 MLLM 的动作理解和文本到视频生成能力。
2025-06-08 cs.CL cs.CV cs.MM
Improving Fine-grained Visual Understanding in VLMs through Text-Only Training
Yonsei University(延世大学);Seoul National University(首尔大学);Sejong University(世宗大学);The University of Suwon(水原大学);MODULABS
本研究探讨了通过纯文本训练提升视觉语言模型细粒度视觉理解能力的可行性,实验证明该方法效果媲美图文训练且大幅降低计算成本,为资源受限环境提供高效路径。
2024-12-17 cs.CL
Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs
MBZUAI(穆罕默德·本·扎耶德人工智能大学);HYU ERICA(汉阳大学ERICA校区);Pengcheng Laboratory(鹏城实验室);CMU(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Petuum(Petuum公司);SYSU(中山大学)
针对多模态大语言模型在网页理解和HTML代码生成上的不足,提出Web2Code基准,包含大规模网页到代码数据集与评估框架,显著提升了模型的网页理解及代码生成能力并惠及通用视觉领域。
2024-11-17 cs.AI cs.CL cs.CV
A scalable framework for learning from implicit user feedback to improve natural language understanding in large-scale conversational AI systems
自然语言理解(NLU)是对话AI或数字助理系统中的一个既定组件,负责产生对用户请求的语义理解。我们提出了一种可扩展的自动方法,通过利用隐式用户反馈来改善大规模会话AI系统中的NLU,并洞察到用户交互数据和对话上下文具有丰富的嵌入式信息,可以从中推断用户满意度和意图。特别是,我们提出了一个通用的领域不可知框架,用于管理新的监督数据,以改善来自实时生产流量的NLU。通过一组广泛的实验,我们展示了应用该框架和改进大规模生产系统的NLU的结果,并展示了其在10个领域的影响。
2021-09-10 cs.CL
ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning
Tencent Inc.(腾讯公司);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
预训练的语言模型(PLM)在各种下游自然语言处理(NLP)任务上表现出卓越的性能。然而,传统的预训练目标并没有显式地对文本中的关系事实进行建模,这对于文本理解至关重要。为了解决这个问题,我们提出了一个新的对比学习框架ERICA,以获得对文本中的实体及其关系的深入理解。具体来说,我们定义了两个新的预训练任务,以更好地理解实体和关系:(1)实体判别任务,以区分哪个尾部实体可以由给定的头部实体和关系推断出来;(2)关系判别任务,以区分两个关系在语义上是否接近,这涉及复杂的关系推理。实验结果表明,ERICA可以改善典型的PLM(BERT和RoBERTa)在几个语言理解任务,包括关系抽取,实体类型和问答,特别是在低资源设置。
2021-05-26 cs.AI cs.CL
Jointly Improving Language Understanding and Generation with Quality-Weighted Weak Supervision of Automatic Labeling
Saarland University(萨尔大学);Microsoft Corporation(微软公司)
神经自然语言生成(NLG)和理解(NLU)模型是数据饥渴型的,需要大量的注释数据才能具有竞争力。最近的框架通过生成模型解决了这一瓶颈,生成模型可以大规模合成弱标签,其中少量的训练标签是专家策划的,其余的数据是自动注释的。我们遵循这种方法,通过使用微调的GPT-2自动构建大规模弱标记数据,并采用半监督框架来联合训练NLG和NLU模型。该框架根据估计的标签质量来调整模型的参数更新。在E2 E和天气基准测试中,我们证明了这种弱监督训练范式在低资源场景下是一种有效的方法,并且当使用100%的训练数据时,在两个数据集上的性能优于基准系统。
2021-02-06 cs.AI cs.CL
ILuvUI: Instruction-tuned LangUage-Vision modeling of UIs from Machine Conversations
Aalto University(阿尔托大学);Apple(苹果公司)
针对UI训练数据不足导致VLM在UI任务表现差的问题,提出无需人工标注的UI配对数据生成方法,构建33.5K对话数据集微调UI专用对话VLM,验证了其在检测、导航等任务的有效性。
2023-10-07 cs.AI cs.CL cs.CV
ML-LMCL: Mutual Learning and Large-Margin Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
Peking University(北京大学)
针对ASR错误影响口语理解性能的问题,提出ML-LMCL框架,通过互学习在手动与ASR转录文本间共享知识,引入距离极化正则化器避免推远相似对,并采用循环退火调度缓解KL消失,在三个数据集上达到最先进性能。
2023-11-19 cs.CL
ASR error management for improving spoken language understanding
Le Mans University(勒芒大学);University of Avignon(阿维尼翁大学);McGill University(麦吉尔大学)
本文讨论的问题,自动语音识别(ASR)的错误检测和使用,以提高口语语言理解(SLU)系统。在这项研究中,SLU任务包括自动提取,从ASR transmittance,语义概念和概念/值对,例如旅游信息系统。提出了一种方法,用于丰富的语义标签与错误的特定标签的集合,并通过使用最近提出的神经方法的基础上词嵌入来计算良好校准的ASR置信度的措施。实验结果表明,它是可能的,以减少显着的概念/值出错率与最先进的系统的状态,优于以前公布的结果性能相同的实验数据。它还表明,结合SLU方法的基础上的条件随机场与神经编码器/解码器的注意力为基础的架构,它可以有效地识别信心岛和不确定的语义输出段,用于决定适当的错误处理行动的对话管理器策略。
2017-05-26 cs.AI cs.CL cs.NE
Improving Grounded Natural Language Understanding through Human-Robot Dialog
University of Washington(华盛顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tufts University(塔夫茨大学)
机器人的自然语言理解可能需要大量的特定于领域和平台的工程。例如,移动机器人在环境中拾取和放置物体以满足人类命令,我们可以指定人类用来发出此类命令的语言,并将概念词(如红色)与物理对象属性联系起来。一种方法来减轻这种工程的一个新的领域是使机器人在人类环境中动态适应-不断学习新的语言结构和感知概念。在这项工作中,我们提出了一个端到端的管道,用于将自然语言命令转换为离散的机器人动作,并使用澄清对话框来共同提高语言解析和概念基础。我们在Amazon Mechanical Turk上的虚拟环境中对该代理进行训练和评估,并将学习的代理转移到物理机器人平台上,以便在现实世界中进行演示。
2019-03-01 cs.CL cs.HC
Improving Multi-Task Deep Neural Networks via Knowledge Distillation for Natural Language Understanding
Microsoft Research(微软研究院);Microsoft Dynamics 365 AI(微软 Dynamics 365 AI)
本文探讨了使用知识蒸馏来改进多任务深度神经网络(MT-DNN)(Liu et al.,2019),用于跨多个自然语言理解任务学习文本表示。虽然集成学习可以提高模型性能,但服务于大型DNN(如MT-DNN)的集成可能非常昂贵。在这里,我们应用知识蒸馏方法(Hinton等人,2015年,在多任务学习环境中。对于每个任务,我们训练不同MT-DNN(教师)的集合,其性能优于任何单个模型,然后通过多任务学习来训练单个MT-DNN(学生)以从这些集合教师获得\emph{distill}知识。我们发现,经过提炼的MT-DNN在9个GLUE任务中的7个上显著优于原始MT-DNN,将GLUE基准测试(单个模型)推高到83.7%(1.5%的绝对改进\footnote{ Based on the GLUE leaderboard at https://gluebenchmark.com/leaderboard as of April 1, 2019.})。代码和预训练模型将在https://github.com/namisan/mt-dnn上公开提供。
2019-04-20 cs.CL
Improving Long Text Understanding with Knowledge Distilled from Summarization Model
The Chinese University of Hong Kong(香港中文大学);Hong Kong University(香港大学);Peking University(北京大学)
提出 Gist Detector,从摘要模型蒸馏主旨检测知识并生成主旨感知表示,以增强下游模型,在三类长文本任务上显著提升基线性能。
2024-05-08 cs.AI cs.CL
Improving Agent Interactions in Virtual Environments with Language Models
本研究利用语言模型增强Minecraft虚拟环境中智能体的任务理解与交互能力,实验表明较现有方法有显著提升。
2024-02-08 cs.CL
Improving End-to-End Models for Set Prediction in Spoken Language Understanding
IBM Research AI(IBM研究院人工智能部门)
口语语言理解(SLU)系统的目标是确定输入语音信号的含义,这与旨在产生逐字记录的语音识别不同。端到端(E2 E)语音建模的进步使得仅在语义实体上进行训练成为可能,这比逐字记录的收集便宜得多。我们专注于这个集合预测问题,其中实体顺序是未指定的。使用两类E2 E模型,RNN传感器和基于注意力的编码器-解码器,我们表明,当训练实体序列以口语顺序排列时,这些模型工作得最好。为了提高E2 E SLU模型时,实体的发言顺序是未知的,我们提出了一种新的数据增强技术,以及隐式注意力为基础的对齐方法来推断的发言顺序。RNN-T的F1得分显著增加了11%以上,基于注意力的编码器-解码器SLU模型的F1得分增加了约2%,优于先前报道的结果。
2022-01-28 cs.CL cs.LG cs.SD
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding
Amazon AWS AI Labs(亚马逊AWS人工智能实验室)
文本到SQL语义解析的研究主要依赖于解析器本身或基于简单启发式的方法来理解自然语言查询。在合成SQL查询时,解析器没有可用的NLQ的显式语义信息,这导致不理想的泛化性能。此外,没有词汇级细粒度的查询理解,查询和数据库之间的链接只能依赖于模糊字符串匹配,这导致在实际应用中的次优性能。鉴于此,本文提出了一个通用的,模块化的神经语义解析框架,是基于令牌级细粒度查询理解。我们的框架包括三个模块:命名实体识别器(NER),神经实体链接器(NEL)和神经语义解析器(NSP)。NER模型通过对查询和数据库进行联合建模,分析用户意图并识别查询中的实体。NEL模型将类型化实体链接到数据库中的模式和单元值。解析器模型利用可用的语义信息和链接结果,并基于动态生成的语法合成树结构的SQL查询。在最新发布的语义解析数据集SQUALL上的实验表明,该模型在WikiTableQuestions(WTQ)测试集上的执行准确率为56.8%,比现有模型高出2.7%.
2022-09-28 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Towards Understanding and Improving Refusal in Compressed Models via Mechanistic Interpretability
The Ohio State University(俄亥俄州立大学)
本文从机制可解释性视角研究压缩模型的安全性问题,通过分析拒绝行为机制,提出一种轻量高效的方法以在不影响性能的前提下提升压缩模型的安全性。
2025-04-05 cs.AI cs.CL
Does Table Source Matter? Benchmarking and Improving Multimodal Scientific Table Understanding and Reasoning
The University of Manchester(曼彻斯特大学);Tencent Timi Studio(腾讯天美工作室);Idiap Research Institute(Idiap研究所)
本研究提出多模态科学表格理解框架,含52K预训练样本、12K指令数据和3,114测试基准,证明领域特定数据优于通用数据,并提升数值推理能力。
2025-02-25 cs.CL
LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);National Key Laboratory of General Artificial Intelligence, BIGAI(BIGAI通用人工智能全国重点实验室)
提出 LIFT 框架,通过测试时调整模型参数适应上下文,使短上下文模型高效处理长输入,结合上下文学习在长上下文基准上显著提升性能。
2024-12-18 cs.AI cs.CL
Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);University of Alberta(阿尔伯塔大学)
在本文中,我们提出了一个实质性的一步,更好地理解SOTA序列到序列(Seq 2Seq)神经机器翻译~(NMT)的预训练。我们专注于研究联合预训练解码器的影响,这是Seq 2Seq预训练和以前基于编码器的NMT预训练方法之间的主要区别。通过对三种语言对进行精心设计的实验,我们发现Seq 2Seq预训练是一把双刃剑:一方面,它有助于NMT模型产生更多样化的翻译,减少与充分性相关的翻译错误。另一方面,Seq 2Seq预训练和NMT微调之间的差异限制了翻译质量(即,域差异)并引起过估计问题(即,客观差异)。基于这些观察,我们进一步提出了简单有效的策略,命名为域内预训练和输入自适应,以弥补域和目标的差异,分别。在几个语言对上的实验结果表明,我们的方法可以在Seq 2Seq预训练后持续提高翻译性能和模型鲁棒性。
2022-03-16 cs.AI cs.CL
Improving Textless Spoken Language Understanding with Discrete Units as Intermediate Target
National Taiwan University(台湾大学);Meta AI
本文提出以自监督语音模型中的离散单元作为中间指导来改进无文本口语理解,在五个SLU基准上超越基线,并提升少样本学习和抗噪能力。
2023-07-08 cs.CL eess.AS
StochasTok: Improving Fine-Grained Subword Understanding in LLMs
FLAIR, University of Oxford(FLAIR,牛津大学);University of Oxford(牛津大学);National University of Singapore(新加坡国立大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出StochasTok,一种高效的随机分词方法,通过在训练中随机分割token,提升LLM在子词层面的任务表现,包括字符计数和数学任务。
2026-04-20 cs.CL
Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary
University of Oxford(牛津大学);Vienna University of Technology(维也纳工业大学)
针对预训练语言模型生成不一致预测的问题,提出基于概念角色理论从词典学习概念关系并结合参数整合技术的方法,能同时提升多种一致性并高效应用于多语言。
2023-10-24 cs.CL
Characterising divergence between heuristic and language-model ratings of mobile user interface quality
Metropolitan University(大都会大学)
本文利用RICO数据集构建评估语料库,通过启发式基线与多语言模型对比,系统检验LLM在移动UI质量评估中的可靠性,并归纳失败分类及架构解释。
2026-11-11 cs.CL cs.HC cs.SE
Improving Clinical Document Understanding on COVID-19 Research with Spark NLP
John Snow Labs Inc.(约翰斯诺实验室公司)
在全球COVID-19大流行之后,研究该病毒的科学论文数量大幅增加,导致对自动化文字审查的兴趣增加。我们提出了一个临床文本挖掘系统,在三个方面改进了以前的努力。首先,它可以识别超过100种不同的实体类型,包括健康,解剖,风险因素和不良事件的社会决定因素,以及其他常用的临床和生物医学实体。其次,文本处理管道包括断言状态检测,以区分存在、不存在、有条件或关于患者以外的某人的临床事实。第三,使用的深度学习模型比以前更准确,利用了最先进的预训练命名实体识别模型的集成管道,并改进了以前的断言状态检测的最佳性能基准。我们举例说明如何从COVID-19开放研究数据集(CORD-19)中提取趋势和见解,例如最常见的疾病和症状,以及最常见的生命体征和EKG结果。该系统使用Spark NLP库构建,该库原生支持扩展以使用分布式集群,利用GPU,可配置和可重用的NLP管道,医疗保健特定嵌入以及训练模型以支持新实体类型或人类语言而无需更改代码的能力。
2020-12-07 cs.CL cs.IR
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University(汉阳大学)
知识蒸馏(KD)是模型压缩的一种常用方法,它利用教师传授的知识来增强轻量级模型的能力。特别地,KD已被用于Transformer编码器(如BERT)的量化感知训练(QAT)中,以利用降低精度的权重参数来提高学生模型的准确性。然而,很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中,我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是,我们发现,以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此,我们提出了两种KD方法:注意力地图和注意力输出损失。此外,我们探讨了这两种损失的统一,以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明,所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL