Every word counts: A multilingual analysis of individual human alignment with model attention
University of Copenhagen（哥本哈根大学）
人类的固定模式已被证明与基于变形金刚的注意力密切相关。这些相关性分析通常在不考虑参与者之间的个体差异的情况下进行，并且大多数是在单语数据集上进行的，因此很难概括结果。在本文中，我们分析了13种不同语言的说话者在母语（L1）和英语作为语言学习者（L2）阅读的眼动数据。我们发现语言之间存在相当大的差异，但个人阅读行为，如跳过率，总阅读时间和词汇知识（LexTALE）影响人类和模型之间的对齐程度，应在未来的研究中考虑。
2022-10-05 cs.CL
ROPE: Reading Order Equivariant Positional Encoding for Graph-based Document Information Extraction
Google Cloud AI（谷歌云人工智能）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）
自然的单词阅读顺序是从表单文档中提取信息抽取的关键。尽管图卷积网络（GCN）在建模文档的空间布局模式方面取得了最新进展，但它们捕获图中给定单词级节点表示的阅读顺序的能力有限。我们提出了阅读顺序等变位置编码（ROPE），一种新的位置编码技术，旨在理解顺序呈现的话在文件中。ROPE生成唯一的阅读顺序代码的相邻单词相对于给定的单词级图形连接的目标单词。我们研究了两个基本的文档实体提取任务，包括单词标记和单词分组的公共FUNSD数据集和大规模支付数据集。我们表明，ROPE一贯改善现有的GCN与利润高达8.4%F1分数。
2021-06-21 cs.CL cs.LG
Do VLMs Align Better with Humans than LLMs during Natural Reading?
Department of Mechanical and Vehicle Engineering, Chongqing University（重庆大学机械与车辆工程学院）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学与翻译系）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所）
通过严格文本设置比较LLM和VLM，发现多模态预训练在自然阅读中未带来全局性人类对齐优势，但视觉语义内容强的句子中VLM有选择性优势。
2026-08-05 cs.CL q-bio.NC
Text-Based Approaches to Item Alignment to Content Standards in Large-Scale Reading & Writing Tests
University of Maryland, College Park（马里兰大学帕克分校）
本研究探讨微调小型语言模型在大规模读写考试中自动化题目与内容标准对齐的性能，发现包含更多题目文本数据显著提升效果，且微调SLMs优于基于嵌入的监督机器学习模型。
2025-10-11 cs.CL
Equipping Transformer with Random-Access Reading for Long-Context Understanding
University of Chicago（芝加哥大学）；Google（谷歌）；Google Research（谷歌研究院）
针对Transformer处理长上下文时需顺序读取全部标记的低效问题，提出随机访问阅读策略，使模型能跳过不相关标记，实验验证其有效性。
2024-05-21 cs.CL
JUMPER: Learning When to Make Classification Decisions in Reading
Tsinghua University（清华大学）
在早期，文本分类通常是通过基于特征的机器学习模型来完成的;最近，深度神经网络作为一种强大的学习机器，使处理原始输入成为可能。然而，现有的端到端神经网络缺乏对预测的明确解释。在本文中，我们提出了一个新的框架，跳跃，灵感来自文本阅读的认知过程，模型文本分类作为一个顺序的决策过程。基本上，JUMPER是一个神经系统，它顺序扫描一段文本，并在它希望的时候做出分类决定。分类结果和何时进行分类都是决策过程的一部分，决策过程由策略网络控制，并使用强化学习进行训练。实验结果表明，经过适当训练的JUMPER具有以下特性：（1）只要证据足够，它就可以做出决策，因此可以减少30-40%的文本阅读量，并且经常找到预测的关键理由。(2)它在几个基准和工业数据集中实现了比最先进的模型更好或相当的分类精度。
2018-07-06 cs.AI cs.CL cs.IR
Graph Sequential Network for Reasoning over Sequences
JD AI Research（京东人工智能研究院）
最近，图神经网络（GNN）已成功地应用于各种需要推理的NLP任务，如多跳机器阅读理解。在本文中，我们考虑了一种新的情况下，推理是需要从序列，即序列数据的图形节点建立的图形。现有的GNN模型通过首先将节点序列总结为固定维向量，然后将GNN应用于这些向量来实现这一目标。为了避免早期摘要中固有的信息丢失，并使GNN输出上的顺序标记任务可行，我们提出了一种称为图顺序网络（GSN）的新型GNN，它具有一种新的消息传递算法，该算法基于节点与每个邻居之间的共同关注。我们验证了建议的GSN两个NLP任务：可解释的多跳阅读理解HotpotQA和基于图形的事实验证FEVER。这两项任务都需要对多个文档或句子进行推理。我们的实验结果表明，建议GSN达到更好的性能比标准的GNN为基础的方法。
2020-04-04 cs.AI cs.CL cs.LG
OASST-ETC Dataset: Alignment Signals from Eye-tracking Analysis of LLM Responses
Telefónica Scientific Research（Telefónica科学研究中心）；Universitat Politècnica de Catalunya（巴塞罗那理工大学）
本文提出 OASST-ETC 眼动追踪语料库，通过分析 24 名参与者阅读 LLM 响应的眼动模式，揭示偏好与非偏好响应的认知差异，并发现人类阅读指标与 transformer 注意力模式在偏好响应中相关性更强，为将眼动数据融入对齐方法提供新资源。
2025-06-03 cs.AI cs.CL
Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior?
Colgate University（科尔盖特大学）
本文研究在 BabyLM 等发展合理性数据上使用课程训练神经语言模型能否改善其与人类阅读行为的一致性，发现课程虽略有助于语法知识习得，但不足以使模型预测更符合人类语言处理。
2023-11-30 cs.CL
Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Mila, Polytechnique Montréal（蒙特利尔大学理工学院 Mila）；Microsoft Research, Montréal（微软研究院（蒙特利尔））；Facebook（脸书）；Amazon AI（亚马逊人工智能）
本文解决了阅读理解的问题，在长期的叙述文件很容易跨越数千个令牌。我们提出了一个基于课程学习（CL）的指针生成器框架，用于对大型文档进行阅读/采样，从而基于交替上下文难度的概念实现神经模型的多样化训练。这可以被解释为训练期间的域随机化和/或生成预训练的一种形式。为此，指针生成器的使用软化了在上下文中获得答案的要求，使我们能够构建用于学习的各种训练样本。此外，我们提出了一个新的内省对齐层（IAL），其中的原因分解对齐使用基于块的自我注意。我们在NarrativeQA阅读理解基准测试上评估了我们提出的方法，实现了最先进的性能，通过BLEU-4上的$51\%$相对改进和Rouge-L上的$17\%$相对改进来改进现有基线。广泛消融证实了我们提出的IAL和CL组件的有效性。
2019-05-26 cs.AI cs.CL cs.IR
Dual Alignment Between Language Model Layers and Human Sentence Processing
MBZUAI；Tohoku University（东北大学）；UC San Diego（南加州大学）；The University of Tokyo（东京大学）；Georgetown University（乔治城大学）
研究探讨了语言模型内部层在处理语法歧义时对人类认知努力的估计能力，发现后期层更准确但仍低估人类数据，揭示了人类与语言模型在句子加工中的不同模式。
2026-04-20 cs.CL
Learning to Search in Long Documents Using Document Structure
Tel Aviv University（特拉维夫大学）
阅读理解模型是基于递归神经网络，顺序处理的文件令牌。随着兴趣转向回答更长文档上的更复杂问题，大部分文本的顺序阅读成为一个实质性的瓶颈。受人类如何使用文档结构的启发，我们提出了一个新的阅读理解框架。我们将文档表示为树，并对一个代理进行建模，该代理学会在文档树中交错快速导航，并提取更昂贵的答案。为了鼓励对文档树的探索，我们提出了一种基于深度Q网络（DQN）的新算法，该算法在训练时策略性地对树节点进行采样。从经验上讲，我们发现我们的算法提高了问答性能相比，DQN和一个强大的信息检索（IR）基线，并集成我们的模型与IR基线的结果在性能上进一步提高。
2018-09-10 cs.CL cs.IR
Bridging LSTM Architecture and the Neural Dynamics during Reading
Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海市智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）
近年来，长短期记忆神经网络（LSTM）由于其在许多任务中的成功而引起了广泛的兴趣。LSTM架构由一个存储单元和三个门组成，看起来类似于大脑中的神经元网络。然而，仍然缺乏LSTM架构的认知可扩展性及其工作机制的证据。在本文中，我们通过将LSTM的内部结构与受试者阅读故事时通过fMRI观察到的大脑活动相结合来研究LSTM的认知可扩展性。实验结果表明，LSTM中的人工记忆向量可以准确地预测观察到的顺序大脑活动，表明LSTM架构与故事阅读认知过程之间的相关性。
2016-04-22 cs.AI cs.CL cs.LG
EvoEdit: Evolving Null-space Alignment for Robust and Efficient Knowledge Editing
Institute for Clarity in Documentation（文档清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕默研究实验室）
EvoEdit通过序列空域对齐缓解知识编辑中的灾难性干扰，实现稳定高效的模型更新，实验显示其性能优于现有方法且速度提升达3.53倍。
2026-04-06 cs.CL cs.LG
Contextual Recurrent Units for Cloze-style Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
递归神经网络（RNN）是一种处理序列数据的强大模型，特别是在各种自然语言处理任务中得到了广泛的应用。在本文中，我们提出了上下文递归单元（CRU）增强局部上下文表示在神经网络。建议的CRU将卷积神经网络（CNN）注入到循环单元中，以增强对局部上下文进行建模的能力，并减少即使在双向RNN中的单词歧义。我们在文档级和文档级建模NLP任务上测试了CRU模型：情感分类和阅读理解。实验结果表明，提出的CRU模型可以给出显着的改进，传统的CNN或RNN模型，包括双向条件，以及各种国家的最先进的系统上的两个任务，显示其有前途的扩展到其他NLP任务以及。
2019-11-14 cs.CL
Back to the Future -- Sequential Alignment of Text Representations
University of Copenhagen（哥本哈根大学）；Eindhoven University of Technology（埃因霍温理工大学）
语言在与自然语言处理任务相关的许多方面随着时间的推移而演变。例如，最近在出版物中出现的标记“BERT”和“ELMO”指的是神经网络架构而不是人。这种类型的时间信号通常被忽视，但如果旨在在延长的时间段内部署机器学习模型，则很重要。特别是，语言的演变导致数据漂移的时间步骤之间的顺序决策任务。这些任务的例子包括预测年度会议的论文接受度（定期）或预测Twitter上谣言的作者立场（不定期）。受计算机视觉成功的启发，我们通过顺序对齐学习的表示来解决数据漂移问题。我们评估了三个具有挑战性的任务，这些任务在时间尺度、语言单位和领域方面各不相同。这些任务表明我们的方法优于几个强基线，包括使用所有可用的数据。我们认为，由于其计算费用低，顺序对齐是一个实用的解决方案，以处理语言的演变。
2019-11-22 cs.CL stat.ML
Generating Image Descriptions via Sequential Cross-Modal Alignment Guided by Human Gaze
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
当说话者描述一个图像时，他们倾向于在提到物体之前先看一下物体。在本文中，我们研究这种顺序跨模态对齐通过模拟图像描述生成过程的计算。我们以最先进的图像描述系统为出发点，开发了几种模型变体，利用语言生产过程中记录的人类凝视模式的信息。特别是，我们提出了第一种方法，图像描述生成的视觉处理建模$\textit{sequentially}$。我们的实验和分析证实，更好的描述，可以通过利用凝视驱动的注意，并阐明人类的认知过程，通过比较不同的方式对齐的凝视模态与语言生产。我们发现，处理凝视数据顺序导致的描述，更好地对齐那些由扬声器，更多样化，更自然的${-}$，特别是当凝视编码与一个专门的经常性组件。
2020-11-09 cs.CL cs.CV
Attention-Guided Answer Distillation for Machine Reading Comprehension
National University of Defense Technology（中国人民解放军国防科技大学）；Microsoft Research Asia（微软亚洲研究院）
尽管目前的阅读理解系统已经取得了显着的进步，他们有前途的表现往往是在获得的成本，使众多的模型的合奏。此外，现有的方法也容易受到对抗攻击。本文通过利用知识蒸馏来解决这些问题，知识蒸馏的目的是将知识从集成模型转移到单个模型。我们首先证明了香草知识蒸馏应用于答案跨度预测是有效的阅读理解系统。然后，我们提出了两种新的方法，不仅惩罚预测混乱的答案，但也指导训练与对齐信息从合奏。实验表明，与集成教师相比，我们最好的学生模型在SQuAD测试集上的F1只有0.4%的轻微下降，而在推理过程中运行速度快了12倍。它甚至在对抗性SQuAD数据集和NarrativeQA基准测试中优于教师。
2018-09-17 cs.CL
QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
当前的端到端机器阅读和问答（Q\&A）模型主要基于具有注意力的递归神经网络（RNN）。尽管它们取得了成功，但由于RNN的顺序性，这些模型在训练和推理方面往往都很慢。我们提出了一种新的Q\&A架构，称为QANet，它不需要递归网络：它的编码器仅由卷积和自注意组成，其中卷积模型局部交互和自注意模型全局交互。在SQuAD数据集上，我们的模型在训练方面快3倍到13倍，在推理方面快4倍到9倍，同时达到与递归模型相同的准确性。加速增益允许我们用更多的数据训练模型。因此，我们将我们的模型与通过神经机器翻译模型的反向翻译生成的数据相结合。在SQuAD数据集上，我们使用增强数据进行训练的单个模型在测试集上获得了84.6的F1分数，这明显优于最好的F1分数81.8。
2018-04-23 cs.AI cs.CL cs.LG
Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning
KAIST（韩国科学技术院）；AITRICS
在多种语言上联合预训练的多语言模型在各种多语言下游任务上取得了卓越的性能。此外，在单个单语下游任务上进行微调的模型已被证明可以推广到看不见的语言。在本文中，我们首先表明，这是至关重要的，这些任务之间的梯度对齐，以最大限度地提高知识转移，同时最大限度地减少负转移。尽管其重要性，现有的梯度对齐方法要么有一个完全不同的目的，忽略任务间的对齐，或旨在解决持续学习的问题，而效率低下的方式。由于任务之间的梯度不一致，模型遭受严重的负迁移，其形式是对从预训练中获得的知识的灾难性遗忘。为了克服这些限制，我们提出了一种简单而有效的方法，可以有效地调整任务之间的梯度。具体来说，我们通过从所有任务中顺序采样批次来执行每个内部优化，然后是Reptile外部更新。由于我们的方法在任务之间对齐了梯度，模型变得不那么容易受到负迁移和灾难性遗忘的影响。我们在各种多任务学习和zero-shot跨语言迁移任务上广泛验证了我们的方法，其中我们的方法在很大程度上优于我们考虑的所有相关基线。
2022-02-28 cs.CL
Timesteps of Mamba Align with Human Reading Times
研究发现状态空间语言模型Mamba的每词时间步长能显著预测人类阅读时间，即使控制GPT-2惊讶度等已知预测因子后仍显著，表明Mamba可作为研究人类实时语言处理的新工具。
2026-06-29 cs.CL
Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection
School of Life Sciences, IDG/McGovern Institute for Brain Research（生命科学学院，IDG/麦戈文脑科学研究所）；Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center（计算机科学与技术系，人工智能研究所，清华大学-博世联合机器学习中心，THBI实验室，BNRist中心）；Tsinghua University, Beijing, China（清华大学，北京，中国）
本文通过持续学习视角研究安全对齐与通用能力退化之间的权衡，提出OGPSA方法通过正交梯度投影提升安全性和实用性，实验显示在不同训练流程中显著改善安全-效用权衡。
2026-05-12 cs.CL cs.LG
CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation
University of Cambridge（剑桥大学）；Google（谷歌公司）
提出CALRec两阶段LLM微调框架，结合对比损失与语言建模损失，显著提升序列推荐性能并超越基线。
2024-08-23 cs.AI cs.CL cs.IR
The Model Knows When to Stop: Training-Free Early Stopping for Long-Context Reading
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Edge Hill University（边山大学）
提出免训练的答案收敛停止规则，通过测量模型答案的自信与稳定状态实现自适应早停，在长上下文阅读中保持准确率并节省计算，无需额外训练。
2026-09-29 cs.CL cs.LG
Reinforced Mnemonic Reader for Machine Reading Comprehension
National University of Defense Technology（国防科技大学）；Fudan University（复旦大学）；Microsoft Research（微软研究院）
在本文中，我们介绍了强化助记符阅读器的机器阅读理解任务，它提高了以前的注意读者在两个方面。首先，提出了一种重注意机制，通过直接访问多轮对齐结构中时间记忆的过去注意力来细化当前注意力，从而避免注意力冗余和注意力不足的问题。其次，一种新的优化方法，称为动态临界强化学习，被引入到扩展的标准监督方法。它总是鼓励预测一个更可接受的答案，以解决收敛抑制问题发生在传统的强化学习算法。在斯坦福大学问答数据集（SQuAD）上的大量实验表明，该模型取得了较好的效果。与此同时，我们的模型在两个对抗SQuAD数据集上的精确匹配和F1指标方面都比以前的系统高出6%以上。
2018-06-06 cs.CL
Multi-hop Reading Comprehension via Deep Reinforcement Learning based Document Traversal
University of New South Wales（新南威尔士大学）
近年来，随着高质量的问答（QA）数据集的出现，阅读理解受到了极大的关注。尽管最先进的方法实现了强大的整体准确性，但多跳（MH）推理仍然特别具有挑战性。为了具体解决MH-QA问题，我们提出了一种基于深度强化学习的方法，该方法能够在大量文档集合中学习顺序推理，以便将查询感知的固定大小上下文子集传递给现有模型进行答案提取。我们的方法由两个阶段组成：一个链接器，它将提供的支持文档分解成句子图，和一个提取器，它根据当前问题和已经访问过的句子学习在哪里查找。链接器的结果是在句子级别上形成了一种新颖的图形结构，它保留了逻辑流，同时仍然允许在文档之间快速移动。重要的是，我们证明了所得到的图的稀疏性是不变的上下文大小。这意味着Deep-RL训练的提取器所需的决策更少，从而使系统能够有效地扩展到大型文档集合。在文档遍历步骤中顺序决策的重要性是通过与标准IE方法的比较来证明的，并且我们还引入了一个基于BM 25的IR基线，该基线仅检索与查询相关的文档。我们在最近提出的QAngaroo基准上研究了我们的方法与现有模型的集成，并实现了全面准确性的一致提高，以及训练时间的2- 3倍减少。
2019-05-23 cs.AI cs.CL cs.NE
Inference-Time Alignment of Diffusion Models via Trust-Region Iterative Twisted Sequential Monte Carlo
Duke University（杜克大学）；Morgan Stanley（摩根大通）
提出信任区域迭代扭曲序贯蒙特卡洛（TRI-TSMC）框架，通过迭代学习扭曲函数来改进扩散模型推理时的对齐，在文本生成和文本到图像生成任务上优于现有方法。
2026-05-24 cs.AI cs.CL cs.CV
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
Georgetown University（乔治城大学）；The Ohio State University（俄亥俄州立大学）；UC San Diego（加州大学圣迭戈分校）
该研究在不同模型规模与训练语料下系统比较多种注意力记忆机制，发现对中间词元内容敏感的约束与人类阅读时间匹配度最高，且动态记忆课程下心理测量拟合度与语法能力存在分离，提示Transformer无法作为通用认知模型。
2026-10-26 cs.CL
SPEAR: Distilling Domain-Adaptive Reasoning Skeletons via Sequential Symbolic Alignment in Reinforcement Learning
University of Pittsburgh（匹兹堡大学）；University of Connecticut（康涅狄格大学）
该研究提出无训练即插即用的SPEAR方法，通过序列符号对齐实现强化学习下的领域自适应推理骨架蒸馏，利用LCS提供密集奖励缩小师生模型推理差距。
2026-10-14 cs.CL
Multilingual Extractive Reading Comprehension by Runtime Machine Translation
The University of Tokyo（东京大学）；Salesforce Research（赛富时研究院）
尽管最近在阅读理解（RC）方面的工作，但由于缺乏其他语言的大规模数据集，进展主要限于英语。在这项工作中，我们介绍了第一个RC系统的语言没有RC训练数据。给定没有RC训练数据的目标语言和具有RC训练数据的枢轴语言（例如英语），我们的方法通过将枢轴语言中的竞争RC模型与专注的神经机器翻译（NMT）模型相结合来利用枢轴语言中的现有RC资源。我们首先将数据从目标语言转换为枢轴语言，然后使用枢轴语言中的RC模型获得答案。最后，我们使用NMT模型中的软对齐注意力分数来恢复原始语言中的相应答案。我们创建两个非英语语言，即日语和法语的RC数据的评估集，以评估我们的方法。这些数据集上的实验结果表明，我们的方法显着优于一个国家的最先进的产品级机器翻译系统的回译基线。
2018-11-02 cs.CL
Alignment Analysis of Sequential Segmentation of Lexicons to Improve Automatic Cognate Detection
Big Data Institute（大数据研究所）；Hong Kong University of Science and Technology（香港科技大学）
信息检索中的排序函数经常被用于搜索引擎中，以向查询推荐相关答案。本文利用这一概念的信息检索，并适用于问题域的同源检测。本文的主要贡献是：（1）位置分割，它结合了顺序的概念;（2）图形错误建模，推导出的转换。目前的研究工作主要集中在分类问题上，即区分一对词是否同源。本文主要研究一个较难的问题，即我们能否从给定的输入中预测出一个可能的同源词。我们的研究表明，当语言建模平滑方法作为检索功能，并与位置分割和错误建模结合使用时，在同源词的分类和预测方面，都比竞争基线得到了更好的结果。源代码位于：https://github.com/pranav-ust/cognates
2018-11-20 cs.CL cs.IR
Probing for Reading Times
ETH Zürich（苏黎世联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University College London（伦敦大学学院）
本文通过眼动追踪数据，利用正则化线性回归比较语言模型各层表示在预测阅读时间等指标上的表现，发现早期层表示在预测早期眼动指标上优于 surprisal，但对总阅读时间而言 surprisal 仍更优。
2026-04-20 cs.CL
Bidirectional Machine Reading Comprehension for Aspect Sentiment Triplet Extraction
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；Cloopen Research（容联云研究院）
Aspect sentiment triplet extraction（ASTE）是细粒度意见挖掘中的一个新兴任务，它的目的是从评论句子中识别出Aspect及其相应的意见表达和情感。由于ASTE由多个子任务组成，包括意见实体提取，关系检测和情感分类，因此适当地捕获和利用它们之间的关联是至关重要和具有挑战性的。在本文中，我们将ASTE任务转化为一个多轮机器阅读理解（MTMRC）任务，并提出了一个双向MRC（BMRC）框架来解决这一挑战。具体而言，我们设计了三种类型的查询，包括非限制性提取查询，限制性提取查询和情感分类查询，以建立不同的子任务之间的关联。此外，考虑到一个方面的情感三元组可以从一个方面或意见表达，我们设计了一个双向的MRC结构。一个方向顺序地识别方面，意见表达和情感，以获得三元组，而另一个方向首先识别意见表达，然后是方面，最后是情感。通过使这两个方向相互补充，我们的框架可以更全面地识别三胞胎。为了验证我们的方法的有效性，我们在四个基准数据集上进行了广泛的实验。实验结果表明，BMRC达到了最先进的性能。
2021-03-13 cs.CL
Learning to Skim Text
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
递归神经网络在自然语言处理的许多子领域都显示出很大的前景，从文档分类到机器翻译再到自动问答。尽管有这样的承诺，但许多循环模型必须逐字阅读整个文本，这使得处理长文档的速度很慢。例如，很难使用递归网络来阅读一本书并回答有关它的问题。在本文中，我们提出了一种阅读文本的方法，同时在必要时跳过不相关的信息。底层模型是一个循环网络，它在阅读输入文本的几个单词后学习跳多远。我们采用标准的政策梯度方法训练模型，使离散的跳跃决策。在我们对四个不同任务的基准测试中，包括数字预测，情感分析，新闻文章分类和自动问答，我们提出的模型，一个带有跳跃的修改后的LSTM，比标准的顺序LSTM快6倍，同时保持相同甚至更好的准确性。
2017-04-29 cs.CL cs.LG
SimulLR: Simultaneous Lip Reading Transducer with Attention-Guided Adaptive Memory
Zhejiang University（浙江大学）
唇读是一种不依赖于音频流，根据给定的唇动视频来识别口语句子的方法，由于其在许多场景中的应用而引起了人们的极大兴趣。虽然探索唇读的先前工作已经取得了显着的成就，但它们都是以非同时的方式进行训练的，其中生成的预测需要访问完整的视频。为了突破这一限制，我们研究了同时唇读任务，并从三个方面设计了具有注意力引导自适应记忆的同时唇读传感器SimulLR：（1）为了解决单调对齐的挑战，同时考虑到同时设置下生成的句子的句法结构，我们建立了一个基于转换器的模型，并设计了几个有效的训练策略，包括CTC预训练，模型热身和课程学习，促进唇读传感器的训练。(2)为了更好地学习同步编码器的时空表示，我们构建了一个截断的3D卷积和时间限制的自注意层，以执行包含固定数量帧的视频段内的帧到帧的交互。(3)在实时场景下，尤其是海量视频数据的存储，使得历史信息往往是有限的。因此，我们设计了一种新的注意力引导的自适应记忆，以组织历史片段的语义信息，并以可接受的计算感知延迟增强视觉表征。实验结果表明，与现有的非同时翻译方法相比，SimulLR的翻译加速比达到了9.10 $\times$，具有一定的竞争力，表明了本文方法的有效性.
2021-08-31 cs.CL cs.CV
Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）
提出X-STA方法，通过注意力教师迁移答案跨度、梯度解缠知识共享和多粒度语义对齐，提升跨语言机器阅读理解性能，在三个数据集上超越现有最优方法。
2023-11-12 cs.CL
A Recipe for Creating Multimodal Aligned Datasets for Sequential Tasks
Salesforce Research（Salesforce研究院）；Microsoft Research（微软研究院）
许多高级过程任务可以分解为指令序列，这些指令序列在顺序和工具选择方面有所不同。在烹饪领域，网络提供了许多部分重叠的文本和视频食谱（即程序），描述如何制作相同的菜肴（即高级任务）。将不同来源的同一道菜的说明对齐，可以产生描述性的视觉解释，这些解释在语义上比传统的文本说明丰富得多，为了解现实世界的程序是如何构建的提供了常识性的见解。学习对齐这些不同的指令集是具有挑战性的，因为：a）不同的食谱在指令顺序和成分使用方面各不相同; b）视频指令可能会有噪音，并且往往包含比文本指令更多的信息。为了解决这些挑战，我们首先使用一种无监督的对齐算法，该算法可以学习同一道菜的不同食谱的指令之间的成对对齐。然后，我们使用一个图形算法来获得多个文本和多个视频食谱相同的菜之间的联合对齐。我们发布了Microsoft Research Multimodal Aligned Recipe Corpus，其中包含4，262道菜肴之间的150 K成对比对，具有丰富的常识信息。
2020-05-19 cs.CL
Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books
University of Toronto（多伦多大学）；Massachusetts Institute of Technology（麻省理工学院）
书籍是一个丰富的细粒度信息来源，一个人物，一个物体或一个场景看起来像什么，以及高层次的语义，一个人在想什么，感觉以及这些状态如何通过一个故事演变。本文旨在将书籍与其电影版本对齐，以便为视觉内容提供丰富的描述性解释，这些内容在语义上远远超出了当前数据集中可用的标题。为了对齐电影和书籍，我们利用了一个神经句子嵌入，它是从一个大型的书籍语料库中以无监督的方式训练的，以及一个视频-文本神经嵌入，用于计算电影剪辑和书中句子之间的相似性。我们提出了一个上下文感知的CNN，结合来自多个来源的信息。我们展示了电影/书籍对齐的良好定量性能，并展示了几个定性的例子，展示了我们的模型可以用于任务的多样性。
2015-06-22 cs.CL cs.CV
Structure leads and dominates comprehension in naturalistic reading
Department of Brain and Cognitive Sciences, University of Rochester（罗切斯特大学脑科学与认知科学系）；Department of Linguistics and Modern Languages, the Chinese University of Hong Kong（香港中文大学语言学与现代语言系）；Department of Language Science, University of California Irvine（加州大学 Irvine 分校语言科学系）
本研究通过同步脑电图和眼动追踪，结合贝叶斯网络建模和回归分析，探究层级句法结构与统计因素在在线理解中的相对强度，发现层级结构在阅读前即可影响理解，但其强度因行为或神经层面而异。
2026-06-23 cs.CL q-bio.NC
PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents
The Chinese University of Hong Kong（香港中文大学）
PARSER通过并行子智能体读取和主智能体迭代散射-聚集推理解耦读取与推理，用强化学习优化，在多跳问答中显著提升精度并降低延迟。
2026-09-29 cs.CL
AutoFAIR : Automatic Data FAIRification via Machine Reading
Shanghai Jiao Tong University（上海交通大学）；Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences（中国科学院地理科学与资源研究所）
本文提出 AutoFAIR 架构，通过操作对齐、Web Reader 元数据抽取及本体引导的语义匹配，自动提升数据的 FAIR 性，并在山地灾害等数据上验证其效果。
2024-08-07 cs.AI cs.CL cs.LG
The Shmoop Corpus: A Dataset of Stories with Loosely Aligned Summaries
University of Toronto（多伦多大学）；Vector Institute（矢量研究院）；Inria（法国国家信息与自动化研究所）；NVIDIA（英伟达）
理解故事对于机器来说是一个具有挑战性的阅读理解问题，因为它需要阅读大量文本并遵循长距离依赖关系。在本文中，我们介绍了Shmoop语料库：一个包含231个故事的数据集，每个章节（7，234章）都有详细的多段摘要，其中摘要按时间顺序与故事章节对齐。从语料库中，我们构建了一套常见的NLP任务，包括完形填空问答和简化形式的摘要，作为阅读理解的基准。然后，我们表明，时间序列对齐提供了一个强大的监督信号，基于学习的方法可以利用这些任务的显着改善。我们相信，这个语料库的独特结构提供了一个重要的立足点，使机器的故事理解更平易近人。
2020-01-01 cs.AI cs.CL
AI Alignment Breaks at the Edge
University of Notre Dame（诺丁汉大学）；Emory University（埃默里大学）
本文探讨了AI对齐在边缘案例中的失效问题，提出了一种新的对齐方法，通过识别和处理价值冲突、多方利益分歧和认知模糊性来改进AI的安全性和有效性。
2026-05-17 cs.CL
Psychometric Predictive Power of Large Language Models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The University of Tokyo（东京大学）；The University of Melbourne（墨尔本大学）
该研究从认知建模角度发现，指令调优未提升大语言模型模拟人类阅读行为的表现，特定提示虽能改善其心理测量预测能力但仍不及小型基础模型，纯下一词概率仍是人类阅读行为的强预测因子。
2024-04-15 cs.AI cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
Unsupervised TTS Acoustic Modeling for TTS with Conditional Disentangled Sequential VAE
Tencent AI Lab（腾讯AI实验室）
本研究提出无需文本音频配对的无监督TTS声学模型UTTS，基于C-DSVAE主干与解纠缠表示学习，通过对齐转换实现零样本多说话人合成，经评估语音自然度与可懂度优异。
2024-10-06 cs.AI cs.CL cs.LG
