Sensor2Text: Enabling Natural Language Interactions for Daily Activity Tracking Using Wearable Sensors
Chinese Academy of Sciences(中国科学院);SIAT(深圳先进技术研究院);Massachusetts Institute of Technology(麻省理工学院);Vanderbilt University(范德堡大学);University of SIAT(深圳大学)
本文提出 Sensor2Text,通过迁移学习、师生网络、编码器-解码器架构与大语言模型,使可穿戴传感器数据支持日常活动识别、描述及自然语言问答,并在保护隐私和突破视野限制方面优于或比肩视觉-语言模型。
2024-10-26 cs.AI cs.HC cs.LG
SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions
University of California San Diego(加州大学圣迭戈分校);Georgia Institute of Technology(佐治亚理工学院)
SensorChat是首个面向长时长高频传感器数据的端到端问答系统,通过问题分解、数据查询与答案组装三阶段流水线,结合大语言模型,同时高效回答定量与定性问题,准确率显著优于现有系统。
2025-07-18 cs.AI cs.HC
EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Question Answering
EgoCross提出一个跨领域眼动视频问答基准,评估多模态大语言模型在不同领域中的泛化能力,揭示现有模型在非日常领域任务中的局限性。
2026-03-10 cs.AI cs.CV
Towards Answering Open-ended Ethical Quandary Questions
The Hong Kong University of Science and Technology(香港科技大学)
基于大语言模型(LLM)的强大功能,各种NLP任务已经取得了相当大的进步,许多NLP应用程序部署在我们的日常生活中。在这项工作中,我们挑战的能力与伦理困境生成问答的新任务法学硕士。道德困境问题更具有挑战性,因为一个单一的困境可能存在多个相互冲突的答案。我们探讨了目前的能力,法学硕士提供一个答案,以苏格拉底哲学的方法,而不是提供一个封闭的答案,像一个神谕的不同观点的审议交流的道德困境。我们提出了一个模型,搜索不同的道德原则适用于道德困境,并产生一个答案的条件下,所选择的原则,通过基于样本的少样本学习。我们还讨论了这一任务所涉及的剩余挑战和伦理问题,并提出了通过明确纳入人类价值观来开发负责任的NLP系统的方向。
2023-02-01 cs.AI cs.CL cs.LG
Direct optimization of F-measure for retrieval-based personal question answering
Amazon(亚马逊)
口语技术的最新进展和许多面向客户的产品的推出,已经引起了广泛的客户对智能个人助理的依赖,他们的许多日常任务。在本文中,我们提出了一个系统,以减少用户的认知负荷,通过扩展个人助理与长期的个人记忆,用户可以存储和检索的语音,任意的信息。该问题被框定为基于神经检索的问答系统,其中答案是从先前存储的用户记忆中选择的。我们建议使用强化学习直接优化端到端检索性能(由F1分数衡量),从而在我们的实验测试集上获得更好的性能。
2018-09-28 cs.CL cs.IR cs.LG
Identifying Unclear Questions in Community Question Answering Websites
University of Twente(特文特大学);University of Stavanger(斯塔万格大学)
每天都有数千个复杂的自然语言问题提交给社区问答网站,使其成为当今最重要的信息源之一。然而,提交的问题往往不清楚,如果没有专家社区成员的进一步澄清问题,就无法回答。这项研究是第一次调查将问题分类为明确或不明确的复杂任务,即,如果需要进一步澄清我们构建了一个新的数据集,并提出了一个分类方法,是基于类似的问题的概念。这种方法相比,国家的最先进的文本分类基线。我们的主要发现是,类似的问题的方法是一个可行的替代方案,可以用来作为一个垫脚石对发展的支持用户界面的问题制定。
2019-01-18 cs.CL cs.IR
From Chat Logs to Collective Insights: Aggregative Question Answering
University of Waterloo(滑铁卢大学);Cornell University(康奈尔大学)
本文提出聚合式问答任务,要求模型基于大规模用户与聊天机器人对话日志进行聚合推理,并构建含6027个问题的WildChat-AQA基准,揭示现有方法在效果与成本上的不足。
2025-09-20 cs.AI cs.CL cs.LG
COLD: Causal reasOning in cLosed Daily activities
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
为评估LLM的类人因果推理能力,本文提出COLD框架,基于日常活动构建约900万条因果查询,评估发现LLM在简单日常活动的因果推理上仍具挑战,并通过后门标准探索其因果推理能力。
2024-11-29 cs.AI cs.CL cs.LG
OmniRAG-Agent: Agentic Omnimodal Reasoning for Low-Resource Long Audio-Video Question Answering
本文提出OmniRAG-Agent,通过构建图像音频检索增强生成模块和代理循环,解决低资源长音频视频问答中的高成本编码、弱细粒度检索等问题,实验表明其在低资源环境下表现优异。
2026-03-30 cs.CL
MobQA: A Benchmark Dataset for Semantic Understanding of Human Mobility Data through Question Answering
The University of Tokyo \ AIP Japan Tokyo;Nara Institute of Science;The University of Tokyo \ AIP
本文提出MobQA基准数据集,通过5,800个涵盖事实检索、多项选择推理和自由解释的问答对评估LLMs对人类移动数据的语义理解,发现模型在事实检索上表现好但语义推理和解释能力不足。
2025-08-15 cs.CL
Question Answering as Programming for Solving Time-Sensitive Questions
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Microsoft(微软)
针对LLMs因无法基于表层语义进行严格推理而难以解决时间敏感问答的问题,提出QAaP框架,将问答任务转化为编程任务,通过生成结构化代码从候选答案中选择最佳匹配项,在多个数据集上取得显著提升。
2023-10-20 cs.CL
TimelineQA: A Benchmark for Question Answering over Timelines
Meta;Cornell University(康奈尔大学)
本文提出并公开发布面向生活日志查询的 TimelineQA 基准,通过虚构人物时间线评估多种先进问答模型,揭示原子查询与多跳聚合查询下不同方法的性能差异。
2023-06-01 cs.AI cs.CL cs.IR
MFORT-QA: Multi-hop Few-shot Open Rich Table Question Answering
AllianceBernstein(联博);Vanderbilt University(范德堡大学)
本文提出MFORT-QA方法,通过少样本学习、思维链提示和检索增强生成相结合的多跳推理流程,提升开放富表格问答的准确性,并在OTT-QA上验证其优于抽取式方法。
2024-03-28 cs.AI cs.CL
Large Language Model for Table Processing: A Survey
School of Information, Renmin University of China(中国人民大学信息学院);WPS Office, Kingsoft Co.(金山办公软件有限公司)
本综述全面梳理大语言模型及视觉语言模型在表格处理领域的相关任务、训练技术与提示工程应用,并指出当前面临的用户输入多样、思维链推理慢等挑战。
2024-10-24 cs.AI cs.CL
Down and Across: Introducing Crossword-Solving as a New NLP Benchmark
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
解决填字游戏需要不同的推理能力,获得关于语言和世界的大量知识,以及满足谜题结构所施加的约束的能力。在这项工作中,我们介绍解决填字游戏作为一个新的自然语言理解任务。我们发布了一个纵横字谜语料库的规范,该语料库收集自《纽约时报》25年来的每日纵横字谜,共包含约9000个字谜。这些谜题包括一系列不同的线索:历史的、事实的、词义、同义词/反义词、填空、缩写、前缀/后缀、文字游戏和跨语言,以及取决于其他线索答案的线索。我们单独发布的线索答案对从这些难题作为一个开放域的问答数据集包含超过50万个独特的线索答案对。对于问答任务,我们的基线包括几个序列到序列和基于检索的生成模型。我们还引入了一个非参数的约束满足基线解决整个填字游戏。最后,我们提出了一个评估框架,其中包括几个互补的性能指标。
2022-05-20 cs.AI cs.CL
Bidirectional Attention Flow for Machine Comprehension
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
机器理解(MC)回答关于给定上下文段落的查询,需要对上下文和查询之间的复杂交互进行建模。近年来,注意力机制已被成功地扩展到MC。通常,这些方法使用注意力来集中在上下文的一小部分上,并用固定大小的向量对其进行总结,在时间上耦合注意力,和/或通常形成单向注意力。在本文中,我们介绍了双向注意流(BIDAF)网络,一个多阶段的分层过程,表示在不同级别的粒度的上下文,并使用双向注意流机制,以获得一个查询感知上下文表示没有早期总结。实验结果表明,该模型在Stanford问答Dataset(SQuAD)和CNN/DailyMail完形填空测试中取得了较好的成绩。
2018-06-21 cs.CL
A case study of Generative AI in MSX Sales Copilot: Improving seller productivity with a real-time question-answering system for content recommendation
Microsoft(微软)
本文提出面向微软MSX销售场景的实时问答内容推荐系统,利用LLM嵌入、提示词工程及双编码器加交叉编码器架构,在数秒内从大型销售内容库中精准推荐相关材料,并已集成至生产环境以提升卖家生产力。
2024-01-04 cs.AI cs.IR cs.LG
Query Expansion for Cross-Language Question Re-Ranking
Johns Hopkins University(约翰斯·霍普金斯大学)
社区问答(CQA)平台已经成为每天提问和回答问题的非常受欢迎的论坛。虽然这些论坛是社区知识的丰富宝库,但由于非正式讨论的开放性质,它们对寻找相关答案和类似问题提出了挑战。此外,如果该平台允许以多种语言提问和回答,我们将面临匹配跨语言信息的额外挑战。在这项工作中,我们专注于跨语言问题重新排序共享任务,其目的是找到可能用不同语言编写的现有问题。我们的贡献是探索查询扩展技术,这个问题。我们调查的基础上的扩展词嵌入,DBpedia的概念链接,和Hypernym,并表明,他们优于现有的国家的最先进的方法。
2019-04-16 cs.CL cs.IR
A Graph-guided Multi-round Retrieval Method for Conversational Open-domain Question Answering
The Hong Kong Polytechnic University(香港理工大学);Shandong University(山东大学)
近年来,会话智能体为人们提供了一种自然、便捷的获取信息的途径,会话问答(QA)也成为一个新的研究课题。在当前流行的会话式问答任务中,会话式开放域问答(英语:Conversational open-domain QA)要求从Web上检索相关段落以提取准确答案,是一种实用性较强但研究较少的问答任务。如何更好地捕捉和充分挖掘会话中的历史语境,以利于有效的大规模检索,这是一个主要的挑战。目前的研究主要是利用历史问题来提炼当前问题或增强其代表性,而历史答案和当前答案之间的关系,这也是这项任务的关键,是完全被忽视的。为了解决这个问题,我们提出了一种新的图引导检索方法来模拟会话轮之间的答案之间的关系。特别是,它利用了一个通道图从超链接连接的段落,包含历史答案和潜在的当前答案,检索更多的相关段落,为后续的答案提取。此外,为了在历史语境中收集更多的互补信息,我们还建议结合多轮相关反馈技术来探讨检索语境对当前问题理解的影响。在公开数据集上的实验结果验证了该方法的有效性。值得注意的是,预测历史答案和真实历史答案的F1分数分别提高了5%和11%。
2021-04-17 cs.CL cs.IR
FACTIFY3M: A Benchmark for Multimodal Fact Verification with Explainability through 5W Question-Answering
University of South Carolina(南卡罗来纳大学);UCLA(加州大学洛杉矶分校);Amazon AI(亚马逊人工智能);Stanford University(斯坦福大学)
本文提出包含300万样本的多模态事实核查基准FACTIFY3M,融合文本声明、ChatGPT改写、关联图像、稳定扩散生成图像、像素级热力图、5W问答对及对抗性假新闻,以提升可解释性和检测能力。
2023-10-31 cs.AI cs.CL cs.CV
Solar Intelligence
University of Arizona(亚利桑那大学)
本文提出Solar Intelligence,一个混合检索增强框架,统一结构化太阳能分析、基于证据的科学问答和机器学习预测,集成多源数据,提供每日辐照度、温度和风速预测,支持多种使用方式。
2026-09-15 cs.AI
Sign Language Question Answering: A New Task, Benchmark, and Baseline for Sign Language Understanding
该研究提出手语问答新任务,构建基于PHOENIX14T与CSL-Daily的SignQA基准,设计带特定模块的基线模型,实验显示其在各问题类别上优于代表性视觉-语言模型。
2026-07-31 cs.AI cs.CV
The First EgoCross Challenge at EgoVis 2026: Cross-Domain Egocentric Video Question Answering
本文介绍2026年EgoVis研讨会举办的首届EgoCross跨域自我中心视频问答挑战赛,含两个赛道,共获1500余份提交,公布结果与获胜方案,资源公开以推进相关研究。
2026-08-06 cs.AI cs.CV
PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
Alibaba Group(阿里巴巴集团)
自监督预训练,如BERT,MASS和BART,已经成为一种强大的自然语言理解和生成技术。现有的预训练技术采用自编码和/或自回归目标来训练基于transformer的模型,通过从具有一些掩蔽令牌的损坏文本中恢复原始单词令牌。现有技术的训练目标通常与许多语言生成任务的目标不一致,例如生成式问答和会话响应生成,用于产生给定上下文的新文本。这项工作提出了一种新的计划,共同预训练的自编码和自回归语言模型上的大型未标记的语料库,专门设计用于生成新的文本条件下的上下文PALM。新方案消除了现有去噪方案在预训练和微调之间引入的不匹配,其中生成多于重建原始文本。一组广泛的实验表明,PALM在各种语言生成基准测试中取得了新的最先进的结果,包括生成式问答(官方MARCO排行榜上的排名1),CNN/DailyMail以及Gigaword上的抽象摘要,SQuAD上的问题生成以及Cornell Movie Dialogues上的会话响应生成。
2020-09-20 cs.CL
Text Understanding with the Attention Sum Reader Network
IBM Watson(IBM沃森)
最近出现了几个大型的完形填空式上下文问答数据集:CNN和Daily Mail新闻数据和儿童图书测试。由于这些数据集的大小,相关的文本理解任务非常适合深度学习技术,目前似乎优于所有替代方法。我们提出了一个新的,简单的模型,使用注意力直接从上下文中选择答案,而不是像在类似的模型中通常使用混合表示的话在文档中计算答案。这使得该模型特别适合于回答是文档中的单个单词的问答问题。我们的模型在所有评估的数据集上设置了新的艺术状态。
2016-06-24 cs.CL
MimeQA: Towards Socially-Intelligent Nonverbal Foundation Models
Massachusetts Institute of Technology(麻省理工学院);Imperial College London(伦敦帝国理工学院)
MimeQA通过引入非语言互动数据集,评估视频大语言模型在非语言社会推理中的表现,发现其准确率较低,人类表现更优。
2025-11-30 cs.AI cs.CL cs.CV
Action based Network for Conversation Question Reformulation
Trip.com Group(携程集团)
会话问答需要正确解释问题的能力。然而,由于人们对日常会话中的共指和省略现象难以理解,现有的模型还不能令人满意。尽管生成语言学研究取得了显著的进展,但仍然存在语义不完备性的问题。本文提出了一种基于动作的方法来恢复问题的完整表达。具体来说,我们首先确定共指或省略在问句中的位置,同时为每个候选跨度分配相应的动作。然后,我们在对话上下文中寻找与候选线索相关的匹配短语。最后,根据预测的动作,我们决定是否用匹配的信息替换共指或补充省略。在Restoration-200 K数据集上,我们证明了我们的方法在英语和汉语话语重写任务上的有效性,将最先进的EM(精确匹配)分别提高了3.9%和ROUGE-L提高了1.0%。
2021-11-29 cs.CL
OKBench: Democratizing LLM Evaluation with Fully Automated, On-Demand, Open Knowledge Benchmarking
University of Chicago(芝加哥大学);TTI-Chicago(芝加哥技术研究所);UC Santa Barbara(圣巴巴拉大学);Stony Brook University(石溪大学)
针对静态知识基准无法捕捉动态知识、集中式编纂滞后于LLM发展的问题,提出全自动智能体框架OKBench,按需生成新闻领域动态知识基准,评估显示其能揭示模型应对新信息的行为并验证检索对缩小模型性能差距的作用。
2025-10-31 cs.AI cs.CL
BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science
Westlake University(西湖大学);Zhejiang University(浙江大学);Samsung AI Center, Cambridge(三星剑桥人工智能中心)
本文提出BioKGBench基准,将理解文献分解为科学声明验证和知识图谱问答两种原子能力,并设计KGCheck智能体任务,通过RAG识别知识图谱事实错误,发现现有智能体表现不足,同时提出BKGAgent基线并验证其有效性。
2024-06-29 cs.AI cs.CL
Companion-style QA Assistance in Ego-Vision
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
提出BuddyVQA基准和MyBuddy助手,通过多模态思维链推理解决自我中心视频中的伴侣式问答,显著提升基础模型性能。
2026-09-09 cs.AI cs.CV
QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance
North Dakota State University(北达科他州立大学)
本文提出QuIM-RAG,通过从文档块生成潜在问题并与用户查询进行倒排索引匹配来改进检索,在500多页自定义语料库上以BERT-Score和RAGAS验证其优于传统RAG。
2025-01-06 cs.AI cs.CL cs.LG
BAND: Biomedical Alert News Dataset
University of Cambridge(剑桥大学);McGill University(麦吉尔大学);University of Glasgow(格拉斯哥大学)
针对传染病暴发监测中缺乏注释数据的问题,提出BAND数据集,含1,508个样本和30个流行病学问题,提供NER、QA、EE基准任务,为流行病学和NLP研究提供资源。
2023-10-15 cs.AI cs.CL
Frontier AI performance across the business disciplines: a case-grounded benchmark of knowledge work and analytical reasoning
The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院);Carnegie Mellon University(卡内基梅隆大学);Harvard Business School, Harvard University(哈佛大学哈佛商学院)
研究针对人工智能在白领分析性知识工作衡量上的差距,利用顶尖商学院案例教学法构建BusinessCaseBench基准,发现前沿AI模型在此基准上得分高且能力提升快,为商学院及相关职业角色带来启示。
2026-08-12 cs.AI cs.CL
Robust Uncertainty Quantification for Factual Generation of Large Language Models
School of Cyberspace Security, Beijing University of Posts and Telecommunications(网络安全学院,北京邮电大学)
本文提出了一种新颖的鲁棒不确定性量化方法,用于评估大型语言模型在生成多事实任务中的可靠性,通过构建陷阱问题集验证了其有效性,提升了对抗性提问下的模型鲁棒性。
2026-01-01 cs.AI cs.CL
Genie: Achieving Human Parity in Content-Grounded Datasets Generation
IBM Israel Research Lab(IBM以色列研究院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院)
本文提出三阶段数据生成方法 Genie,通过内容准备、任务示例生成与质量过滤,为 LFQA、摘要和信息抽取构建高质量合成数据,并证明其训练效果达到或超过人工数据。
2024-01-25 cs.AI cs.CL cs.LG
Analysis of Watson's Strategies for Playing Jeopardy!
IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心)
IBM Watson需要问答技术的重大进步才能玩Jeopardy!在冠军级别--节目要求对具有挑战性的自然语言问题快速回答,广泛的一般知识,高精度和准确的置信度估计。此外,Jeopardy!具有四种具有重要战略意义的决策类型:(1)每日双倍下注;(2)最后的危险下注;(3)在控制棋盘时选择下一个方格;(4)决定是否尝试回答,即,“进来吧。与简单的“经验法则”策略相比,使用复杂的策略来做出这些决定,正确地考虑游戏状态和未来事件的概率,可以显着提高玩家的整体获胜机会。本文介绍了我们的方法来开发屈臣氏的游戏策略,包括开发一个忠实的模拟模型,然后使用学习和蒙特卡洛方法在模拟器中,以优化屈臣氏的战略决策。在详细描述了我们的每一种游戏策略算法之后,我们特别关注验证模拟器预测的准确性,并记录使用我们的方法的性能改进。定量性能的好处示出相对于两个简单的启发式策略,和实际的人类参赛者在历史情节的表现。我们进一步扩展了我们对人类游戏的分析,以获得一些有价值的和违反直觉的例子,说明人类参赛者如何提高他们在节目中的表现。
2014-02-04 cs.AI
Are Large Language Models Really Robust to Word-Level Perturbations?
Columbia University(哥伦比亚大学);Tsinghua University(清华大学);The University of Sydney(悉尼大学);JD Explore(京东探索研究院);Tencent AI Lab(腾讯人工智能实验室)
本文提出 TREvaL,用预训练奖励模型评估 LLM 在开放式长对话中对词级扰动的鲁棒性,发现其普遍脆弱且 SFT、RLHF 后鲁棒性趋于下降。
2023-09-27 cs.AI cs.CL
Muffin or Chihuahua? Challenging Multimodal Large Language Models with Multipanel VQA
University of California, Santa Cruz(加州大学圣克鲁兹分校);eBay(eBay公司)
本文提出MultipanelVQA基准,包含6,600组多面板图像问答三元组,通过合成图像系统评估布局等因素对多模态大语言模型多面板视觉推理能力的影响,并给出改进见解。
2024-06-27 cs.AI cs.CL cs.CV
Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents
University of Science and Technology of China(中国科学技术大学)
本文提出指令性文档对话式问答基准 InsCoQA 及 LLM 辅助评估器 InsEval,用于评测大型语言模型在多文档中检索、解释和总结分步指导的能力。
2024-10-01 cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University(纽约大学);Facebook AI(Facebook人工智能)
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议,称为QAGS(发音为“kags”),旨在确定事实的不一致,在生成的摘要。QAGS基于这样一种直觉:如果我们询问有关摘要及其来源的问题,如果摘要与来源事实上一致,我们将得到类似的答案。为了评估QAGS,我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断(Hermann等人,2015)和XSUM(Narayan等人,2018年)总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外,QAGS提供了一种自然形式的可解释性:在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具,在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
Evaluating the Performance of ChatGPT for Spam Email Detection
本研究评估ChatGPT在中英文邮件数据集上的垃圾邮件识别能力,对比基准方法后发现其在低资源中文数据集表现更优,为其在资源受限语言领域的应用提供见解。
2025-02-12 cs.AI cs.CL cs.CY
Joint Image Captioning and Question Answering
Department of Computer Science(计算机科学系);The University of Texas at Austin(德克萨斯大学奥斯汀分校);cs.utexas.edu(德克萨斯大学奥斯汀分校计算机科学系(注:此处原文本中cs.utexas.edu为邮箱域名,按规则不应提取为机构,正确应为The University of Texas at Austin))
提出视觉问题需要获取日常常识,并对图像中不同部分之间的语义联系进行建模,这对于VQA系统来说太难了,只能从答案中学习。同时,使用束搜索策略的图像描述系统倾向于生成相似的字幕并且不能区分描述图像。为了解决上述问题,我们提出了一个系统,使这两个任务相互补偿,这是能够联合产生图像字幕和回答视觉问题。特别是,我们利用问题和图像的功能来生成问题相关的字幕,并使用生成的字幕作为额外的功能,提供新的知识的VQA系统。对于图像描述,我们的系统在VQA任务的相对改进以及使用自动化度量的竞争结果方面获得了更多信息的结果。将我们的系统应用于VQA任务,我们在VQA v2数据集上的结果使用生成的标题达到65.8%,在验证集中使用注释标题达到69.1%,在测试标准集中达到68.4%。此外,10个模型的集合导致69.7%的测试标准分裂。
2018-05-22 cs.CL cs.CV
SearchQA: A New Q&A Dataset Augmented with Context from a Search Engine
Driversiti
我们公开发布了一个新的大规模数据集,称为SearchQA,用于机器理解或问答。与最近发布的数据集(例如DeepMind CNN/DailyMail和SQuAD)不同,拟议的SearchQA的构建是为了反映一般问题回答的完整管道。也就是说,我们不是从现有的文章开始并生成问题-答案对,而是从现有的问题-答案对开始,从J!存档,并增加它与谷歌检索的文本片段。按照这种方法,我们构建了SearchQA,它由超过14万个问答对组成,每对平均有49.6个片段。SearchQA的每个问题-答案-上下文元组都带有额外的元数据,例如片段的URL,我们相信这将是未来研究的宝贵资源。我们进行了人工评估,并测试了两种基线方法,一种是简单的单词选择,另一种是基于SearchQA的深度学习。我们表明,人类和机器的性能之间存在着有意义的差距。这表明,所提出的数据集可以很好地作为问答的基准。
2017-06-11 cs.CL
Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);Fudan University(复旦大学);Sichuan University(四川大学)
本文提出云-设备协作多模态参数生成框架CDC-MMPG,通过云端FDA和ADR为端侧轻量模型生成适配参数,无需反向传播即可实现高效多模态模型适配,并在视频问答与检索任务中验证了有效性。
2024-11-18 cs.AI cs.DC cs.LG
EgoEsportsQA: An Egocentric Video Benchmark for Perception and Reasoning in Esports
Renmin University of China(中国人民大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出EgoEsportsQA基准,通过六阶段流程收集1745对高质量问答对,评估视频大语言模型在虚拟环境中的感知与推理能力,揭示模型在战术推理和微操作方面的不足。
2026-04-20 cs.AI cs.CV cs.MM
Indirect Question Answering in English, German and Bavarian: A Challenging Task for High- and Low-Resource Languages Alike
MaiNLP lab, Center for Information and Language Processing, LMU Munich, Germany(MaiNLP实验室,信息与语言处理中心,慕尼黑大学,德国);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心,德国)
本文研究了间接问答任务的挑战,通过多语言语料库发现其在不同语言中表现不佳,指出需大量训练数据和解决标签模糊性问题。
2026-06-28 cs.CL
Measuring User's Mental Models of Speech Translation in Human-AI Collaboration
University of Maryland, College Park(马里兰大学学院公园分校)
通过跨语言问答框架研究用户对语音翻译系统的心理模型,发现用户通过实践和源语言知识能更好地预测系统错误,且提供语音转录有助于改善心理模型。
2026-06-24 cs.CL cs.HC
TRAVELER: A Benchmark for Evaluating Temporal Reasoning across Vague, Implicit and Explicit References
Bielefeld University(比勒菲尔德大学);Honda Research Institute Europe(本田欧洲研究机构)
本文提出了TRAVELER基准,用于评估LLMs在显式、隐式和模糊时间引用上的推理能力,发现随着事件集增大和引用模糊性增加,模型性能显著下降。
2025-05-02 cs.CL