ASR-Roundtrip Evaluation Can Mask Context- and Convention-Dependent Reading Errors in Chinese News TTS
研究发现ASR往返评估可掩盖中文新闻TTS的依赖上下文和惯例的朗读错误，经MiMo、CosyVoice等审计及Qwen3-ASR、Paraformer验证，该评估仅适用于筛选，无法作为独立基准。
2026-08-12 cs.CL
Which phoneme-to-viseme maps best improve visual-only computer lip-reading?
University of East Anglia（东英吉利大学）
所有当前视觉语音识别系统的关键假设是存在称为视位的视觉语音单元，其可以映射到声学语音单元，即音素。尽管有一些出版的地图，但很少看到这些测试的有效性，特别是在视觉唇读（许多作品使用视听语音）。在这里，我们检查了120个映射，并考虑是否有任何在谈话者之间是稳定的。我们展示了一种方法，用于设计从一个自动唇读系统的音素混淆的基础上的地图，我们提出了新的映射，显示个人谈话者的改进。
2017-10-03 cs.CL cs.CV eess.AS
An Empirical Analysis of Deep Audio-Visual Models for Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）
在这个项目中，我们致力于语音识别，特别是基于视频帧和音频预测单个单词。在卷积神经网络的支持下，最近的语音识别和唇读模型可以与人类水平的性能相媲美。我们重新实现了最先进的模型并进行了推导。然后，我们进行了丰富的实验，包括注意力机制的有效性，更准确的残差网络作为具有预训练权重的骨干，以及我们的模型对有/无噪声的音频输入的敏感性。
2018-12-21 cs.CL cs.CV
Quantitative Analysis of Audio-Visual Tasks: An Information-Theoretic Perspective
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文从信息论视角对唇读、音视频语音识别和视觉到语音合成等任务进行定量分析，通过考察不同模态间的信息交集，揭示了任务难点与模态整合的潜在收益。
2024-09-29 cs.CL cs.MM cs.SD
Ruby-ASR: Evidence-Preserving Supervision for Joint Orthographic and Lexical-Reading Recognition
Ruby-ASR通过将识别目标细化为跨度绑定的正字法-词汇读音序列，在五个日语基准上提升了词汇读音恢复，同时保持正字法转录质量。
2026-09-24 cs.AI cs.CL
Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Horizon Robotics（地平线机器人）
训练基于transformer的模型需要大量的数据，而在多模态中获得对齐和标记的数据是相当昂贵的，特别是对于视听语音识别（AVSR）。因此，使用未标记的单峰数据非常有意义。另一方面，尽管大规模自监督学习的有效性在音频和视觉模式中都得到了很好的证实，但如何将这些预先训练的模型集成到多模式场景中仍然没有得到充分的探索。在这项工作中，我们成功地利用单峰自监督学习，以促进多模态AVSR。特别是，音频和视觉前端在大规模单峰数据集上进行训练，然后我们将两个前端的组件集成到一个更大的多模态框架中，该框架通过CTC和seq2seq解码的组合学习将并行视听数据识别为字符。我们发现，这两个组件继承自单峰自监督学习合作良好，从而导致多模态框架产生竞争力的结果，通过微调。我们的模型是实验验证的单词级和单词级的任务。特别是，即使没有一个外部的语言模型，我们提出的模型提高了国家的最先进的性能上广泛接受的唇读句子2（LRS 2）数据集的大幅度，相对提高了30%。
2022-03-26 cs.AI cs.CL cs.CV
Sentence Extraction-Based Machine Reading Comprehension for Vietnamese
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
自然语言处理的发展，特别是机器阅读理解的发展，引起了研究界的极大关注。近年来，越南语机器阅读理解任务有一些大规模的数据集，如NAP-ViQuAD和NAP-ViNewsQA。然而，这些数据集在为研究服务的答案上并不多样化。在本文中，我们介绍了第一个用于评估越南语中基于句子提取的机器阅读理解的数据集-ViWikiQA。ViWikiQA数据集是从ViWikiQA数据集转换而来的，由23.074个问题-答案组成，基于174篇维基百科越南语文章的5.109个段落。我们提出了一个转换算法来创建数据集的句子提取为基础的机器阅读理解和三种类型的方法，句子提取为基础的机器阅读理解在越南语。我们的实验表明，最好的机器模型是XLM-R_Large，它在我们的数据集上实现了85.97%的精确匹配（EM）和88.77%的F1分数。此外，我们分析了越南语的问题类型和上下文对MRC模型性能的影响方面的实验结果，从而显示了我们向语言处理社区提出的EST-ViWikiQA数据集的挑战。
2021-06-11 cs.CL
Evidence Sentence Extraction for Machine Reading Comprehension
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Tencent AI Lab（腾讯人工智能实验室）；Cornell（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
在过去的几年里，在一些有限的机器阅读理解（MRC）任务上取得了显着的成功。然而，仍然很难解释现有MRC模型的预测。在本文中，我们专注于提取证据句子，可以解释或支持多项选择MRC任务的答案，其中大多数答案选项不能直接从参考文档中提取。由于在大多数情况下，缺乏地面真理证据句子标签，我们采用远程监督产生不完美的标签，然后使用它们来训练证据句子提取器。为了去除噪声标签，我们应用最近提出的深度概率逻辑学习框架，将句子级和跨句子语言指标用于间接监督。我们将提取的证据句子输入到现有的MRC模型中，并评估三个具有挑战性的多项选择MRC数据集（MultiRC、RACE和DREAM）的端到端性能，实现与将完整参考文档作为输入的相同模型相当或更好的性能。据我们所知，这是第一个工作提取证据句的多项选择MRC。
2019-09-24 cs.CL
Retrieving Event-related Human Brain Dynamics from Natural Sentence Reading
University of Tasmania（塔斯马尼亚大学）
在神经科学和心理语言学中，人们在阅读自然语言时记录的脑电信号通常被用作解释人类语言理解的认知方法。以往的研究表明，人在阅读过程中的注视和激活与大脑的某些区域有关，但何时以及如何跨时域和频域测量大脑动力学尚不清楚。在这项研究中，我们提出了第一个分析的事件相关脑电位（ERP），和事件相关的频谱扰动（ERSP）的基准数据集，其中包括同步EEG和相关的眼动跟踪记录从人类自然阅读实验任务。我们的研究结果表明，在刺激后（开始阅读每个句子）在枕区的162 ms左右诱发的峰值，表明大脑检索词汇和语义视觉信息处理接近200 ms从句子开始。枕叶200 ms左右的ERP在短反应时和长反应时分别呈现负功率和正功率。此外，相对于基线，200 ms左右的枕叶ERSP显示高伽马功率增加，低β和低伽马功率降低。我们的研究结果表明，大多数语义感知反应发生在200毫秒左右的α，β和γ频段的EEG信号。我们的研究结果也提供了潜在的影响，促进认知自然语言处理模型的评估从脑电动力学。
2021-03-29 cs.CL
Sentence-level Event Detection without Triggers via Prompt Learning and Machine Reading Comprehension
Guangdong University of Technology（广东工业大学）
针对传统句子级事件检测中触发词标注耗时费力且高度依赖其准确性的问题，提出一种基于机器阅读理解和提示学习的无触发词双塔模型，在ACE2005和MAVEN基准上取得竞争力性能。
2023-06-25 cs.CL
From Bag of Sentences to Document: Distantly Supervised Relation Extraction via Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
远程监督是一种很有前途的关系抽取方法，但经常受到噪声标签问题的困扰。传统的DS方法通常将实体对表示为一组句子，并使用多示例学习技术对标签进行去噪。然而，基于袋的范例，未能利用句间级和实体级的证据关系抽取，其去噪算法往往是专门的和复杂的。在本文中，我们提出了一个新的DS范式-基于文档的远程监督，模型关系抽取作为一个基于文档的机器阅读理解（MRC）的任务。通过将关于实体的所有句子重新组织为文档，并通过使用关系特定问题查询文档来提取关系，基于文档的DS范式可以同时编码和利用所有句子级、句间级和实体级证据。设计了一种新的损失函数DSLoss（distantsupervisoryloss），该函数仅使用$\langle$文档、问题、答案$\rangle$元组就能有效地训练MRC模型，从而从本质上解决了噪声标签问题。实验表明，我们的方法实现了新的国家的最先进的DS性能。
2020-12-09 cs.CL
Audio Caption in a Car Setting with a Sentence-Level Loss
Shanghai Jiao Tong University（上海交通大学）
字幕在图像和视频理解中引起了广泛的关注，而对音频字幕的研究较少。本文贡献了一个普通话注释的数据集内的汽车场景的音频字幕。提出了一种与GRU编码器-解码器模型串联使用的字幕级损失，以生成与人类注释具有更高语义相似性的字幕。我们在新提出的Car数据集，以前发布的Mandarin Hospital数据集和Joint数据集上评估了该模型，表明其在不同场景中的泛化能力。可以观察到所有指标的改进，包括经典的自然语言生成（NLG）指标、句子丰富度和人类评估评级。然而，尽管现在可以自动生成详细的音频字幕，但人工注释在许多方面仍然优于模型字幕。
2020-10-23 cs.CL cs.SD eess.AS
Power in Numbers: Robust reading comprehension by finetuning with four adversarial sentences per example
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对阅读理解模型易受对抗性句子干扰的问题，使用 ELECTRA-Small 在加入一至五句对抗句的 SQuAD v1.1 上微调，发现四至五句可显著提升跨数据集鲁棒性。
2024-01-18 cs.CL
A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading
Zhejiang University（浙江大学）
唇读的目的是从说话者的嘴部动作中解读文本。近年来，唇读方法在单词和句子两个层面上都取得了很大的进步。然而，与英语不同，汉语普通话是一种基于音调的语言，依赖于音高来区分词汇或语法意义，这大大增加了唇读任务的歧义。在本文中，我们提出了一个级联序列到序列模型（CSMCM）的汉语普通话唇读，明确模型的音调时，预测的句子。声调是基于视觉信息和句法结构建模的，并与视觉信息和句法结构一起用于预测句子。为了评估CSSMCM，收集并发布了一个名为CMLR（汉语普通话唇读）的数据集，该数据集由中国网络电视网站上的10万多个自然句子组成。在CMLR数据集上进行训练时，所提出的CSMCM超过了最先进的唇读框架的性能，这证实了汉语普通话唇读声调显式建模的有效性。
2019-11-28 cs.CL cs.CV
Human Sentence Processing: Recurrence or Attention?
Radboud University（拉德堡德大学）
递归神经网络（RNN）长期以来一直是人类句子处理的计算模型的感兴趣的架构。最近推出的Transformer架构在许多自然语言处理任务上优于RNN，但对其建模人类语言处理的能力知之甚少。我们比较了基于Transformer和RNN的语言模型在衡量人类阅读努力方面的能力。我们的分析表明，Transformers在解释英语句子阅读过程中的自定阅读时间和神经活动方面优于RNN，挑战了人们普遍认为的人类句子处理涉及循环和即时处理的观点，并为基于线索的检索提供了证据。
2021-05-04 cs.CL
A Sentence Cloze Dataset for Chinese Machine Reading Comprehension
Research Center for SCIR, Harbin Institute of Technology（哈尔滨工业大学SCIR研究中心）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China（科大讯飞研究中心认知智能国家重点实验室）；iFLYTEK AI Research (Hebei), Langfang, China（科大讯飞（河北）人工智能研究院，廊坊）
由于中国NLP社区的不断努力，越来越多的中文机器阅读理解数据集变得可用。为了增加这一领域的多样性，在本文中，我们提出了一个新的任务称为句子完形填空式机器阅读理解（SC-MRC）。这个任务的目的是将正确的候选句子填入有几个空格的文章中。我们建立了一个名为CMRC 2019的中国数据集，以评估SC-MRC任务的难度。此外，为了增加难度，我们还制作了与正确候选人相似的假候选人，这需要机器在上下文中判断它们的正确性。建议的数据集包含超过10万个空白（问题）在超过10 K的段落，这是源于中国的叙事故事。为了评估数据集，我们基于预训练的模型实现了几个基线系统，结果表明，最先进的模型仍然远远低于人类的表现。我们发布数据集和基线系统，以进一步促进我们的社区。资源可通过https://github.com/ymcui/cmrc2019获得
2020-11-02 cs.CL
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-sentence Dependency Graph
Emory University（埃默里大学）；NEC Laboratories America（NEC美国实验室）
我们的目标是跨语言机器阅读理解（MRC）的任务，在直接zero-shot设置，通过合并的句法特征，从普遍的相似性（UD），我们使用的关键特征是每个句子内的句法关系。虽然以前的工作已经证明了有效的语法引导的MRC模型，我们建议采用句间的句法关系，除了基本的句内关系，进一步利用在多句输入的MRC任务的句法依赖。在我们的方法中，我们建立了句子间依赖图（ISDG）连接依赖树，以形成跨句子的全局句法关系。然后，我们提出了ISDG编码器，编码的全球依赖图，通过一跳和多跳依赖路径明确地解决句子间的关系。在三个多语言MRC数据集（XQuAD，MLQA，TyDiQA-GoldP）上的实验表明，我们的编码器只在英语上训练，能够提高所有14个测试集的zero-shot性能，覆盖8种语言，平均提高高达3.8 F1 / 5.2 EM，某些语言的5.2 F1 / 11.2 EM。进一步的分析表明，这种改进可以归因于对跨语言一致性句法路径的关注。
2022-03-15 cs.CL cs.LG
To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times
Massachusetts Institute of Technology（麻省理工学院）；Universidad Politécnica de Madrid（马德里理工大学）
本文研究了大语言模型在句子层面可记忆性和阅读时间的预测能力，通过微调提升预测效果，发现其在不同任务上的表现存在显著差异，提示在使用LLM提示替代人类认知测量时需谨慎。
2026-03-12 cs.CL
R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference
SenseTime（商汤科技）；National University of Defense Technology（国防科技大学）；Singapore Management University（新加坡管理大学）
文档级自然语言推理（Document-level natural language inference，DOCNLI）是自然语言处理领域的一个新的挑战性课题，旨在判断一对假设和前提文档之间的蕴涵关系。目前的数据集和基线基本上遵循文件级别的设置，但未能解决较长文件引起的问题。在本文中，我们建立了一个通用的解决方案，命名为检索，阅读和融合（R2 F）的框架，和一个新的设置，通过分析的主要挑战DOCNLI：可解释性，长程依赖，跨句子推理。该框架的基本思想是将文档级任务简化为一组文档级任务，并利用证据的力量提高性能和可解释性。对于每个假设句，框架从前提中检索证据句，并读取以估计其可信度。然后对文档级结果进行融合，判断文档之间的关系。对于设置，我们提供补充证据和蕴涵标签注释的假设句子，可解释性研究。实验结果表明，R2 F框架可以获得最先进的性能，并对各种证据检索方法具有鲁棒性。此外，它可以给出更多的解释性预测结果。我们的模型和代码在https://github.com/phoenixsecularbird/R2F上发布。
2022-10-22 cs.CL
Document-Level Event Extraction via Human-Like Reading Process
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
文档级事件提取（DEE）特别棘手，因为它带来了两个挑战：分散参数和多事件。第一个挑战意味着一个事件记录的参数可以驻留在文档中的不同句子中，而第二个挑战反映了一个文档可以同时包含多个这样的事件记录。本文从人类阅读认知的角度出发，提出了一种基于文本事件的人类阅读启发提取器（Human Reading inspired Extractor for Document Events，HRE），该方法将文本事件分解为粗读和精读两个迭代阶段。具体而言，第一阶段浏览文档以检测事件的发生，第二阶段用于提取特定的事件参数。对于每一个具体的事件角色，精细阅读从句子到字符分层工作，以确定跨句子的论点，从而解决分散的论点问题。同时，通过多轮的粗读探索，发现未检测到的事件，从而解决了多事件问题。实验结果表明，HRE优于以往的竞争方法。
2022-02-07 cs.CL
Attention-aware semantic relevance predicting Chinese sentence reading
University of Tübingen（蒂宾根大学）
本文提出注意力感知的语义相关性计算方法，结合上下文贡献与期望效应，能更准确预测中文阅读眼动注视时长，并支持语义预视效益的存在。
2024-03-27 cs.CL cs.LG
Predicting the Relative Difficulty of Single Sentences With and Without Surrounding Context
Carnegie Mellon University（卡内基梅隆大学）；University of Oregon（俄勒冈大学）；University of Michigan（密歇根大学）
在许多重要的自然语言应用中出现了准确预测一组句子的相对阅读难度的问题，例如为智能语言辅导系统寻找和策划有效的使用示例。然而，虽然大量的研究已经探索了文档和文本级别的阅读难度，但在评估单个句子的可读性方面所涉及的特殊挑战却很少受到关注，特别是在考虑周围段落的作用时。我们介绍和评估一种新的方法来估计一组句子的相对阅读难度，有和没有周围的背景。使用不同的词汇和语法特征集，我们探索使用逻辑回归预测成对相对难度的模型，并检查使用贝叶斯评级系统聚合成对难度标签以形成最终排名所产生的排名。我们还比较了有和没有上下文评估的句子的排名，发现上下文特征可以帮助预测这两种情况下相对难度判断的差异。
2016-10-25 cs.CL
SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading
University of Potsdam（波茨坦大学）
SEAM模型首次将眼动控制与句子处理整合，结合SWIFT和Lewis-Vasishth模型，通过贝叶斯推断再现阅读中的相似性干扰眼动模式。
2023-12-20 cs.CL q-bio.NC
ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading
The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）
针对现有TTS系统在长文本朗读中忽略跨句上下文、计算成本高的问题，本研究提出ContextSpeech系统，通过内存缓存循环机制、层级文本语义和线性化自注意力，在保障效率的同时提升了段落朗读的语音质量与韵律表现力。
2023-10-07 cs.AI cs.CL eess.AS
Does Attention Mechanism Possess the Feature of Human Reading? A Perspective of Sentiment Classification Task
Nanjing University of Science and Technology（南京理工大学）
【目的】为了理解一个句子的意思，人类可以专注于句子中的重要单词，这反映了我们的眼睛在不同的注视时间或时间停留在每个单词上。因此，一些研究利用眼动跟踪值来优化深度学习模型中的注意力机制。但这些研究缺乏对这种做法合理性的解释。注意力机制是否具备人类阅读的这一特征，还有待探讨。[设计/方法/方式]我们进行了情感分类任务的实验。首先，我们从两个开放源代码的眼动语料库中获得眼动值来描述人类阅读的特征。然后，从情感分类模型中学习每个句子的机器注意力值。最后，进行了比较，以分析机器注意力值和眼动跟踪值。[发现]通过实验，我们发现注意力机制可以集中在重要的词上，例如形容词、副词和情感词，这些词对于判断情感分类任务中句子的情感很有价值。它具有人类阅读的特点，阅读时关注句子中的重要单词。由于对注意力机制的学习不足，导致一些单词的聚焦错误。眼动跟踪值可以帮助注意力机制纠正这种错误并提高模型性能。[独创性/价值]我们的研究不仅为利用眼动跟踪值优化注意力机制的研究提供了合理的解释，也为注意力机制的可解释性提供了新的启示。
2022-09-08 cs.CL cs.HC
LLM surprisal is necessary but not sufficient to capture English garden-path effects: Evidence from joint latent modeling of reading paradigms
Department of Linguistics, University of Potsdam（语言学系，波茨坦大学）；Center for Data Science/Department of Linguistics, New York University（数据科学中心/语言学系，纽约大学）
本文通过联合潜在建模阅读范式，提出了一种更准确的句子消歧模型，证明LLM的惊喜值不足以解释人类阅读行为。
2026-09-25 cs.CL
STRUCTURALCOST: A controlled reading time dataset for modeling human sentence processing difficulty
LLF, CNRS, Université Paris Cité（巴黎西岱大学语言与法国语言学实验室，法国国家科学研究中心）；COLT, Universitat Pompeu Fabra（庞培法布拉大学计算语言学与语言技术实验室）；Unicog, Neurospin, CEA（法国原子能委员会神经自旋神经影像研究中心，认知神经科学单元）；LNC2, ENS-PSL（巴黎高等师范学院认知神经科学实验室）；INSERM, CNRS（法国国家健康与医学研究院，法国国家科学研究中心）
本文提出STRUCTURALCOST数据集，包含475名参与者的40,800个观测，用于隔离长距离主谓依存解析成本，并发现语言模型低估了人类整合成本，为评估模型认知合理性提供数据。
2026-10-07 cs.AI cs.CL
Disentangling Homophemes in Lip Reading using Perplexity Analysis
London South Bank University（伦敦南岸大学）；Xi’an VANXUM Electronics Technology Co. Ltd.（西安万旭电子科技有限公司）
与使用ASCII字符和单词相比，使用视位作为分类模式的自动唇读的性能取得了较小的成功，这主要是由于不同单词共享相同视位的问题。生成式预训练Transformer是一种有效的自回归语言模型，用于自然语言处理中的许多任务，包括句子预测和文本分类。本文提出了一个新的应用，并将其应用于唇读的背景下，它作为一个语言模型转换的视觉语音形式的视位，语言的形式的单词和句子。该网络使用搜索最佳困惑来执行视位到单词的映射，因此是一个解决一对多映射问题的方案，该问题存在于各种单词中，这些单词在说话时听起来不同，看起来相同。本文提出了一种方法来解决一对多的映射问题时，执行自动唇读仅使用视觉线索在两个单独的情况下：第一种情况是在单词的边界，即开始和结束一个词，是未知的;和第二种情况是在边界是已知的。来自基准BBC数据集"Lip Reading Sentences in the Wild"（LRS 2）的句子被分类为具有10.7%的字符出错率和18.0%的单词出错率。本文的主要贡献是提出了一种方法，预测的话，通过使用困惑分析时，只有视觉线索，使用自回归语言模型。
2020-11-28 cs.CL
U3E: Unsupervised and Erasure-based Evidence Extraction for Machine Reading Comprehension
Beijing Institute of Technology（北京理工大学）
机器阅读理解（MRC）中的更多任务除了需要答案预测外，还需要提取支持答案的证据句子。然而，证据句的标注通常是费时费力的。针对这一问题，考虑到现有的证据提取方法大多是半监督的，提出了一种无监督的证据提取方法（U3E）。U3E将文档中的重复级特征擦除后的变化作为输入，模拟人类记忆力下降导致的问题解决能力下降。为了在充分理解原文语义的基础上进行选择，我们还提出了快速选择最佳记忆模型的指标。为了比较U3E和典型的证据提取方法，并研究其在证据提取中的有效性，我们在不同的数据集上进行了实验。实验结果表明，U3E算法简单有效，不仅能更准确地提取证据，而且能显著提高模型性能。
2022-10-22 cs.CL
ZuCo 2.0: A Dataset of Physiological Recordings During Natural Reading and Annotation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们记录并预处理了ZuCo 2.0，这是一个新的数据集，在自然阅读和注释过程中同时进行眼动跟踪和脑电图。该语料库包含739个句子的凝视和大脑活动数据，其中349个在正常阅读范式中，390个在特定任务范式中，其中18名参与者主动搜索给定句子中的语义关系类型作为语言注释任务。这个新的数据集通过提供旨在分析自然阅读和注释之间认知处理差异的实验来补充ZuCo 1.0。这些数据可以在这里免费获得：https://osf.io/2urht/。
2020-03-07 cs.CL cs.HC
Deep Learning for Assessment of Oral Reading Fluency
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本研究针对教师评估口语阅读流畅度耗费大量资源的问题，基于专家标注的儿童音频数据集，采用预训练的 wav2vec2.0 模型进行端到端建模，评估了多种系统变体性能并探究了影响流畅度感知的词汇与声学韵律特征。
2024-06-01 cs.CL cs.SD eess.AS
Select, Answer and Explain: Interpretable Multi-hop Reading Comprehension over Multiple Documents
JD AI Research（京东AI研究院）
可解释多跳阅读理解是一个具有挑战性的问题，因为它需要对多个信息源进行推理，并通过提供支持证据来解释答案预测。在本文中，我们提出了一个有效的和可解释的选择，回答和解释（SAE）系统来解决多文档RC问题。我们的系统首先过滤掉与答案无关的文档，从而减少分散注意力的信息量。这是通过一个新的成对学习排名损失训练的文档分类器实现的。然后将所选择的答案相关文档输入到模型中，以联合预测答案和支持句子。该模型是优化的多任务学习目标上的令牌水平的答案预测和句子水平的支持句子预测，以及这两个任务之间的注意力为基础的互动。HotpotQA，一个具有挑战性的多跳RC数据集进行评估，建议SAE系统实现最高的竞争力的性能相比，其他现有的系统在排行榜上的分心设置。
2020-02-10 cs.CL
Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
尽管最近在机器阅读理解（MRC）方面取得了成功，但学习高质量的MRC模型仍然需要大规模的标记训练数据，即使使用强大的预训练语言模型（PLM）。PLM的预训练任务不是问答或基于MRC的任务，使得现有的PLM无法直接用于无监督的MRC。具体来说，MRC的目标是从给定的文档中找到一个准确的答案，而PLM则专注于句子中的标记填充。在本文中，我们提出了一个新的框架，无监督MRC。首先，我们提出通过自监督学习来学习发现文档中的答案跨度，通过为MRC - Spotting-MLM设计一个自监督借口任务。解决这个任务需要捕捉文档中句子之间的深层交互。其次，我们在推理阶段采用简单的句子重写策略，以减轻问题和文档之间的表达不匹配。实验表明，我们的方法实现了一个新的国家的最先进的性能无监督MRC。
2021-07-19 cs.CL
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA（电气工程系 斯坦福大学）
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力，并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务，无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
Bilingual Text Extraction as Reading Comprehension
NTT Corporation（日本电信电话株式会社）
在本文中，我们提出了一种方法来自动提取双语文本从嘈杂的平行语料库框架的问题作为一个标记级的跨度预测，如SQuAD风格的阅读理解。为了提取目标文档的跨度，即给定源句子（跨度）的翻译，我们使用QANet或多语言BERT。QANet可以从头开始针对特定的并行语料库进行训练，而多语言BERT可以利用预先训练的多语言表示。对于使用QANet的跨度预测方法，我们引入了一种使用整数线性规划的总体优化方法，以实现预测并行跨度的一致性。我们使用具有两种语言对（En-Fr和En-Ja）的模拟嘈杂并行语料库进行并行句子提取实验，发现使用QANet的方法比使用两个双向RNN编码器的基线方法实现了更好的准确性，特别是对于遥远的语言对（En-Ja）。我们还进行了一个句子对齐实验，使用En-Ja报纸的文章，发现所提出的方法，使用多语言BERT实现了显着更好的准确性比基线方法，使用双语词典和动态规划。
2020-04-29 cs.CL
DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology（云从科技）
多项选择阅读理解是一项具有挑战性的任务，需要在给定段落和问题时从一组候选选项中选择答案。以往的方法在对篇章与问题之间的关系建模时，通常只计算问题感知的篇章表征，而忽略了问题感知的篇章表征，这显然不能充分利用篇章与问题之间的信息。在这项工作中，我们提出了双协同匹配网络（DCMN）模型之间的关系通道，问题和答案选项双向。此外，受人类解决多项选择题的启发，我们将两种阅读策略整合到我们的模型中：（i）段落句子选择，找到最突出的支持句子来回答问题，（ii）答案选项交互，编码答案选项之间的比较信息。DCMN结合两种策略（DCMN+）在来自不同领域的五个多项选择阅读理解数据集上获得了最先进的结果：RACE，SemEval-2018 Task 11，ROCStories，COIN，MCTest。
2020-01-16 cs.CL
An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal
The University of Tokyo（东京大学）；NINJAL；NII LLMC（日本国家研究所语言模型中心）；MBZUAI（穆桑大学人工智能研究所）
本文通过微调神经语言模型，证明其能通过惊奇度解释路径效应，并提升对自然语料阅读时间的预测能力，同时引发对惊奇度理论的质疑。
2026-04-20 cs.CL
Generating and Evaluating Tests for K-12 Students with Language Model Simulations: A Case Study on Sentence Reading Efficiency
Stanford University（斯坦福大学）
本研究通过微调大型语言模型模拟学生回答，结合GPT-4生成和筛选项目，并采用最优传输技术生成平行测试，在234名2至8年级学生中验证了生成测试与专家编写测试的高相关性（r=0.93）。
2023-10-10 cs.CL cs.LG
EMMT: A simultaneous eye-tracking, 4-electrode EEG and audio corpus for multi-modal reading and translation scenarios
Charles University（查理大学）
我们提出了眼动多模态翻译（EMMT）语料库，一个数据集包含单眼眼动记录，音频和4电极脑电图（EEG）数据的43名参与者。我们的目标是收集认知信号的参与者从事一些语言密集型任务，涉及不同的文本图像刺激设置时，从英语翻译到捷克语的反应。每个参与者被暴露于32个文本-图像刺激对，并被要求（1）阅读英语句子，（2）将其翻译成捷克语，（3）查阅图像，（4）再次翻译，更新或重复先前的翻译。文本刺激包括200个独特的句子，616个独特的单词，加上200个独特的图像作为视觉刺激。这些录音是在两周内收集的，所有参与研究的人都是捷克本地人，英语水平很高。由于研究中涉及的任务的性质和参与者的数量相对较大，语料库非常适合翻译过程研究，认知科学等学科的研究。
2022-04-06 cs.CL cs.HC
Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
针对语言学习者阅读难文查字典耗时分心的问题，提出结合眼动与语言特征、用GPT-3.5生成简化句的视线驱动句子简化系统，经19名学习者实验验证可准确评估理解度并提升可读性。
2023-09-30 cs.CL cs.HC
Learning Open Information Extraction of Implicit Relations from Reading Comprehension Datasets
The Wharton School（沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）；Western Engineering（西部工程学院）；University of Western Ontario（西安大略大学）
句子中两个实体之间的关系通常由语序和常识暗示，而不是明确的谓语。例如，很明显，“美联储主席鲍威尔表示加息”意味着（鲍威尔，是美联储主席）和（鲍威尔，为美联储工作）。这些元组与显式谓词元组一样重要（鲍威尔指出，利率上升），但在传统的开放信息抽取（OpenIE）系统下召回率要低得多。隐式元组是我们对这种类型的提取的术语，其中关系不存在于输入句子中。相对于其他NLP任务，OpenIE的训练数据非常少，而且没有一个专注于隐式关系。我们开发了一个开源的，基于解析的工具，用于将大型阅读理解数据集转换为OpenIE数据集，并发布了一个比以前的句子数量大35倍的数据集。在此数据上训练的基线神经模型在隐式提取任务上优于以前的方法。
2019-05-15 cs.CL cs.IR cs.LG
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
Decomposing predictability: Semantic feature overlap between words and the dynamics of reading for meaning
University of Wuppertal（伍珀塔尔大学）
本研究采用计算的方法来考察语义限制在正常阅读中的作用。这种方法避免了传统的可预测性措施固有的混乱，允许在理论上更深入的语义处理帐户。我们从一个词之间的关联的定义的基础上显着的日志可能性，两个词共同出现在一个大型文本语料库的句子经常在一起。刺激词之间的直接关联被控制，启动词和目标词之间的语义特征重叠被它们的共同关联所操纵。刺激由代词、动词、冠词、形容词和名词等形式的句子组成，然后是一系列封闭类词，如。G.“她骑着灰象踏上了她众多探索之旅中的一次”结果表明，动名重叠减少了目标名词的单一注视和首次注视时间，形容词重叠减少了过去注视时间。激活的动态传播的帐户表明，联想的启动词需要一段时间才能成为激活：动词可以对目标名词的早期眼动措施提出三个字后，而形容词是之前提出的目标，这导致句子重新检查后，困难的形容词-名词语义整合。
2019-12-06 cs.CL
Learning to Ask: Neural Question Generation for Reading Comprehension
Cornell University（康奈尔大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了阅读理解中从篇章中自动生成句子的问题。我们引入了一个基于注意力的序列学习模型的任务，并研究了编码句子与段落级信息的效果。与以前的所有工作相比，我们的模型不依赖于手工制作的规则或复杂的NLP管道;相反，它是通过序列到序列学习的端到端可训练的。自动评估结果表明，我们的系统显着优于国家的最先进的基于规则的系统。在人类评估中，我们的系统生成的问题也被评为更自然（即，语法性、流畅性）和更难回答（就句法和词汇与原文的分歧以及回答所需的推理而言）。
2017-04-29 cs.AI cs.CL
Dual Alignment Between Language Model Layers and Human Sentence Processing
MBZUAI；Tohoku University（东北大学）；UC San Diego（南加州大学）；The University of Tokyo（东京大学）；Georgetown University（乔治城大学）
研究探讨了语言模型内部层在处理语法歧义时对人类认知努力的估计能力，发现后期层更准确但仍低估人类数据，揭示了人类与语言模型在句子加工中的不同模式。
2026-04-20 cs.CL
Readers make targeted regressions to plausible errors in reanalysis of "noisy-channel garden-path" sentences
MIT Brain and Cognitive Sciences（麻省理工学院脑与认知科学）
研究探讨了读者在处理‘噪声通道花园路径’句子时如何通过后续信息定位可能的错误，揭示了阅读动态中的定向回归现象及对噪声通道语言理解理论的影响。
2026-05-18 cs.CL
Neural Speed Reading with Structural-Jump-LSTM
University of Copenhagen（哥本哈根大学）
递归神经网络（RNN）可以通过顺序地“读取”输入标记并输出每个标记的分布式表示来对自然语言进行建模。由于RNN的顺序性，推理时间与输入长度呈线性关系，所有输入都被读取，而不管它们的重要性如何。加快这种推理的努力，被称为“神经速读”，要么忽略要么跳过部分输入。我们提出了Structural-Jump-LSTM：第一个在推理过程中跳过和跳转文本的神经快速阅读模型。该模型由标准LSTM和两个代理组成：一个能够在阅读时跳过单个单词，另一个能够利用标点结构（子句子分隔符（，：），句子结束符号（.！？），或文本标记的结尾）以在阅读单词之后向前跳转。我们的模型与所有五种最先进的神经阅读模型进行了全面的实验评估，结果表明，Structural-Jump-LSTM实现了最佳的整体浮点运算（FLOP）减少（因此更快），同时保持了相同的准确性，甚至与阅读整个文本的普通LSTM相比有所提高。
2019-04-02 cs.CL cs.LG stat.ML
Meta Sequence Learning for Generating Adequate Question-Answer Pairs
创建多项选择题来评估给定文章的阅读理解，涉及到根据文档的要点生成问答对（QAP）。我们提出了一个学习计划，以产生足够的QAP通过元序列表示的句子。Meta序列是包括语义和句法标签的向量序列。特别是，我们设计了一个计划称为MetaQA学习Meta序列从训练数据，形成一个陈述句（MD）和相应的疑问句（MIs）的Meta序列对。在给定的陈述句上，经过训练的MetaQA模型将其转换为Meta序列，找到匹配的MD，并使用相应的MI和输入句子来生成QAP。我们使用语义角色标注，词性标记和命名实体识别来实现英语语言的MetaQA，并表明在一个小数据集上进行训练，MetaQA有效地生成了大量语法和语义正确的QAP，准确率超过97%。
2021-09-30 cs.CL
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
University of Amsterdam（阿姆斯特丹大学）；Northeastern University（东北大学）；Technion – IIT（以色列理工学院）
该研究针对自回归Transformer语言模型增量语言输入处理特征不明的问题，通过稀疏自编码器分析花园路径句处理机制，发现模型兼具句法特征与浅层启发式特征、同时考量两种解读且不复用相关特征回答后续问题。
2024-12-06 cs.CL
Single-Pass, Depth-Selective Reading for Multi-Aspect Sentiment Analysis
Universiti Malaya, Malaysia（马来大学，马来西亚）；Suzhou University of Technology, China（苏州科技学院，中国）；VinUniversity, Vietnam（文大学，越南）
本文提出DABS框架，通过单次编码构建可重用的深度有序基底，使多方面情感分析在保持性能的同时减少60%的端到端计算量。
2026-05-20 cs.AI cs.CL
Lip Reading for Low-resource Languages by Learning and Combining General Speech Knowledge and Language-specific Knowledge
KAIST（韩国科学技术院）
本文针对低资源语言唇读数据不足的问题，提出从高资源语言学习通用唇动知识，并结合语言特定记忆增强解码器（LMDecoder）利用音频-文本数据学习语言知识，从而高效构建低资源语言唇读模型。
2024-01-12 cs.CL cs.CV cs.SD
The role of inhibitory control in garden-path sentence processing: A Chinese-English bilingual perspective
Guangdong University of Foreign Studies（广东外语外贸大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本研究从汉英双语视角探究抑制控制在花园路径句加工中的作用，发现其不影响母语花园路径恢复，与二语熟练度呈复杂关联，还确定了双语研究中测量抑制控制的优选Stroop任务版本。
2024-12-13 cs.CL
Hierarchical RNN with Static Sentence-Level Attention for Text-Based Speaker Change Detection
Peking University（北京大学）；AdeptMind Research（AdeptMind研究院）
说话人切换检测是对话建模中的一项重要任务。我们的论文解决了基于文本的SCD的问题，它不同于现有的基于音频的研究，并且在各种场景中是有用的，例如，处理说话者身份缺失的对话记录（例如，OpenSubtitle），以及用文本信息增强音频SCD。我们制定了基于文本的SCD作为一个匹配问题的话语之前和之后的某个决策点，我们提出了一个分层递归神经网络（RNN）与静态的注意力水平。实验结果表明，神经网络始终实现更好的性能比基于特征的方法，我们的注意力为基础的模型显着优于非注意力神经网络。
2018-09-28 cs.CL
Relation-aware Video Reading Comprehension for Temporal Language Grounding
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology Co., Ltd（云从科技集团股份有限公司）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
视频中的时间语言基础旨在定位与给定查询语句相关的时间跨度。以前的方法将其视为边界回归任务或跨度提取任务。本文提出了一种基于时间语言的视频阅读理解框架，并提出了一种基于时间感知网络的视频阅读理解框架（RaNet），该框架通过粗-细的选择-查询交互和选择-选择关系构建，从预定义的答案集合中选择一个视频时刻。提出了一个选择查询交互器，以匹配视觉和文本信息同时在搜索时刻和令牌时刻的水平，导致粗和细的跨模态的交互。此外，一个新的多选择关系构造器引入利用图卷积捕捉视频时刻的选择之间的依赖关系的最佳选择。在ActivityNet-Captions、TACoS和Charades-STA上进行的大量实验证明了该方法的有效性。代码已可用。
2021-12-01 cs.CL cs.CV
