How To Avoid Being Eaten By a Grue: Exploration Strategies for Text-Adventure Agents
Georgia Institute of Technology(佐治亚理工学院)
基于文本的游戏--其中一个智能体通过文本自然语言与世界互动--给我们提出了组合大小的动作空间的问题。大多数当前的强化学习算法不能够有效地处理每回合如此大量的可能动作。因此,差的样本效率导致代理无法通过瓶颈状态,在瓶颈状态下,代理无法继续,因为它们没有看到正确的动作序列来通过瓶颈足够的次数以得到充分的加强。在强化学习中使用知识图谱的基础上,我们引入了两种新的游戏状态探索策略。我们将我们的探索策略与经典文本冒险游戏Zork 1的强大基线进行比较,在Zork 1中,先前的代理人无法通过瓶颈,代理人被Grue吃掉。
2020-02-19 cs.AI cs.CL cs.LG
TALES: Text Adventure Learning Environment Suite
University of California, San Diego(加州大学圣迭戈分校);Microsoft Research Montréal(微软研究院蒙特利尔分部);Johns Hopkins University(约翰霍普金斯大学)
本文提出TALES,一个由合成和人类编写的文本冒险游戏组成的套件,用于评估大型语言模型在顺序决策中的多种推理能力。实验显示,尽管模型在合成游戏上表现良好,但在人类设计的游戏中成功率不足15%。
2025-04-24 cs.AI cs.CL
Learning to Speak and Act in a Fantasy Text Adventure Game
Facebook AI Research(脸书人工智能研究院);LORIA, Nancy(洛里亚研究所(南锡));University College London(伦敦大学学院)
我们介绍了一个大规模的众包文本冒险游戏作为研究平台,研究接地对话。在其中,代理人可以感知,表达和行动,同时与其他代理人进行对话。模型和人类都可以在游戏中扮演角色。我们描述了在这种情况下训练最先进的生成和检索模型的结果。我们表明,除了使用过去的对话,这些模型能够有效地使用底层世界的状态来调节他们的预测。特别是,我们表明,接地的本地环境的细节,包括位置描述,和对象(及其启示)和字符(及其以前的行动),它允许更好地预测代理的行为和对话。我们分析了在这种情况下成功接地所需的成分,以及这些因素中的每一个如何与能够成功说话和行动的代理人相关。
2019-03-07 cs.AI cs.CL
Learn How to Cook a New Recipe in a New House: Using Map Familiarization, Curriculum Learning, and Bandit Feedback to Learn Families of Text-Based Adventure Games
Information Sciences Institute/University of Southern California(南加州大学信息科学研究所)
我们考虑学习玩基于文本的计算机冒险游戏家族的任务,即,具有共同主题(例如烹饪)和目标(例如根据食谱准备一顿饭)但具有不同细节的完全文本环境;这种游戏的新实例对于人类来说在短暂接触该类型之后相对简单地掌握,但对于计算机代理来说奇怪地难以学习。我们发现,在单实例动作视频游戏中成功实现超人表现的深度Q学习策略,在采用与人类学习行为相关的简单策略时,可以应用于学习文本视频游戏系列。具体来说,我们建立代理,学习解决简单的情况下,更复杂的使用课程学习,熟悉自己在一个不熟悉的环境中,通过导航之前采取行动,并探索不确定的环境更彻底地使用上下文多臂强盗决策政策。我们展示了在合理的基线上改进的任务完成率,当评估该主题的从未见过的游戏时。
2020-04-20 cs.AI cs.CL
Interactive Fiction Games: A Colossal Adventure
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院);Microsoft Research Montréal(微软研究院蒙特利尔分院)
人类智能的一个标志是理解和交流语言的能力。交互式小说游戏是完全基于文本的模拟环境,玩家发出文本命令来影响环境的变化和故事的进展。我们认为,如果游戏是一个很好的测试平台,研究基于语言的自主智能体。特别是,IF游戏结合了组合动作空间、语言理解和常识推理的挑战。为了促进基于语言的代理的快速发展,我们介绍杰里科,人工IF游戏的学习环境,并进行了全面的研究,文本代理在一组丰富的游戏,突出的方向,代理可以改善。
2020-02-25 cs.AI cs.CL
NAIL: A General Interactive Fiction Agent
Microsoft Research(微软研究院);Apple(苹果公司)
交互式小说(IF)游戏是复杂的文本决策问题。本文介绍了NAIL,一个自主智能体的一般分析器为基础的IF游戏。NAIL赢得了2018年文本冒险AI竞赛,在那里它被评估了20个看不见的游戏。本文介绍了架构,发展和见解支撑NAIL的性能。
2019-02-14 cs.AI
Playing With AI: How Do State-Of-The-Art Large Language Models Perform in the 1977 Text-Based Adventure Game Zork?
University of Twente(特文特大学)
本文评估了当前最先进的大语言模型在1977年文本冒险游戏Zork中的表现,发现其在问题解决和推理能力上存在显著局限。
2026-01-27 cs.AI cs.CL
Digital Peter: Dataset, Competition and Handwriting Recognition Methods
Sber(俄罗斯联邦储蓄银行);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Lomonosov MSU(罗蒙诺索夫莫斯科国立大学);STC-innovations(STC创新公司);University of London(伦敦大学);OCRV;AIRI(AIRI人工智能研究所)
本文提出了一个新的彼得大帝的手稿数据集,并描述了一个分割过程,转换成行的文件的初始图像。新的数据集可能有助于研究人员训练手写文本识别模型,作为比较不同模型的基准。它由9694个图像和文本文件组成,对应于历史文献中的行。开放式机器学习竞赛Digital Peter就是基于所考虑的数据集举办的。本文介绍了本次比赛的基本解决方案以及更先进的手写文本识别方法。完整的数据集和所有代码都是公开的。
2021-08-28 cs.AI cs.CV cs.LG
Red Dragon AI at TextGraphs 2019 Shared Task: Language Model Assisted Explanation Generation
Red Dragon AI(红龙人工智能)
TextGraphs-13解释再生共享任务要求参与者开发方法来重建基本科学问题的黄金解释。红龙AI的参赛作品直接使用了问题和说明文本的语言,而不是构建一个单独的图形表示。我们提交的排行榜将我们放在了比赛的第三位,但我们在这里提出了三种提高复杂性的方法,每一种方法在比赛结束后的测试集中得分都越来越高。
2019-11-20 cs.AI cs.CL cs.IR
ICDAR 2025 Competition on End-to-End Document Image Machine Translation Towards Complex Layouts
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Fanyu AI Laboratory, Zhongke Fanyu Technology Company Ltd.(中科泛宇人工智能实验室,中科泛宇科技有限公司)
ICDAR 2025竞赛聚焦于复杂布局文档图像的端到端机器翻译,通过OCR-free和OCR-based两个赛道推动多模态文档理解领域的发展。
2026-03-10 cs.AI cs.CV
Transfer in Deep Reinforcement Learning using Knowledge Graphs
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
文本冒险游戏,玩家必须通过文本描述来理解世界,并通过文本描述来宣布行动,为语言中的基础行动提供了一块垫脚石。先前的工作已经证明,使用知识图谱作为状态表示和问答来预训练深度Q网络有助于更快的控制策略转移。在本文中,我们探讨了使用知识图谱作为一种表示领域知识转移训练文本冒险玩强化学习代理。我们的方法在多个计算机生成和人类创作的游戏中进行了测试,这些游戏在领域和复杂性方面各不相同,并证明我们的迁移学习方法可以让我们更快地学习更高质量的控制策略。
2019-08-19 cs.AI cs.CL cs.LG
ICDAR 2021 Competition on Components Segmentation Task of Document Photos
Polytechnic School of Pernambuco - University of Pernambuco(伯南布哥大学伯南布哥理工学院);PRHLT Research Center, Universitat Politécnica de Valéncia(瓦伦西亚理工大学PRHLT研究中心);University of Bari(巴里大学)
本文介绍了在第16届国际文档分析与识别会议(ICDAR 2021)背景下准备的文档照片组件分割任务的短期竞争。这项比赛旨在汇集研究人员在识别文件图像处理领域的工作,并为他们提供一个合适的基准,比较他们的技术对文件图像的组成部分分割任务。提出了三个挑战任务,需要在提供的数据集上执行不同的分割分配。收集的数据来自几种类型的巴西身份证件,其个人信息被方便地替换。有16名参与者的部分或全部三个任务的结果显示不同的比率所采用的指标,如骰子相似系数从0.06到0.99不等。参赛者采用不同的策略应用不同的深度学习模型,以在每个任务中取得最佳结果。所获得的结果表明,目前应用的方法来解决所提出的任务之一(文件边界检测)已经很好地建立。然而,对于其他两个挑战性的任务(文本区域和手写签名检测)的研究和开发更强大的方法仍然需要达到可接受的结果。
2021-07-09 cs.AI cs.CV cs.LG
Thespian: Multi-Character Text Role-Playing Game Agents
Georgia Institute of Technology(佐治亚理工学院)
提出Thespian框架,通过软提示和注意力机制使智能体学习并扮演多个角色,在多角色与少样本学习上优于现有方法。
2023-08-03 cs.AI cs.CL
Market-Bench: Benchmarking Large Language Models on Economic and Trade Competition
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出Market-Bench,通过经济贸易竞争评估大语言模型在经济相关任务中的能力,发现LLM在竞争中表现差异显著,只有少数能持续获利。
2026-04-19 cs.AI
Generating Interactive Worlds with Text
Facebook AI Research(脸书人工智能研究院);LORIA(洛林计算机科学及其应用实验室);University College London(伦敦大学学院)
从程序上生成有凝聚力和有趣的游戏环境是具有挑战性和耗时的。为了使游戏元素之间的关系是自然的,常识必须编码到元素的安排。在这项工作中,我们研究了一种机器学习方法,用于使用多玩家文本冒险游戏环境LIGHT中的内容创建世界。我们引入了基于神经网络的模型,将位置、角色和对象组成一个连贯的整体。除了基于现有元素创建世界外,我们的模型还可以生成新的游戏内容。人类还可以利用我们的模型来交互式地帮助构建世界。我们表明,与其他基于机器学习的世界构建算法相比,我们的方法创建的游戏环境是有凝聚力的,多样的,并首选人类评估。
2019-12-04 cs.AI cs.CL cs.LG
TextQuests: How Good are LLMs at Text-Based Video Games?
Center for AI Safety(人工智能安全中心);Carnegie Mellon University(卡内基梅隆大学);Gray Swan AI(灰天鹅AI)
本文提出基于互动小说的基准TextQuests,通过禁止外部工具专注评估LLM智能体在长上下文探索性环境中的持续自主推理与独立解决问题能力。
2025-08-13 cs.AI cs.CL
PingAn-VCGroup's Solution for ICDAR 2021 Competition on Scientific Literature Parsing Task B: Table Recognition to HTML
Visual Computing Group, Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司视觉计算组);Ping An Technology Company(平安科技公司)
本文介绍了ICDAR 2021竞赛科学文献解析任务B的解决方案:HTML的表格识别。该方法将表格内容识别任务分为表格结构识别、文本行检测、文本行识别和文本框分配四个子任务,表格结构识别算法是基于MASTER [1]算法定制的。PSENet [2]用于检测表格图像中的每个文本行。对于文本行识别,我们的模型也建立在MASTER上。最后,在框分配阶段,将PSENet检测到的文本框与表结构预测重构的结构项相关联,并将文本行的识别内容填充到相应的结构项中。我们提出的方法在开发阶段的9,115个验证样本上获得了96.84%TEDS分数,在最终评估阶段的9,064个样本上获得了96.32%TEDS分数。
2021-05-05 cs.AI cs.CV
Modeling Worlds in Text
Georgia Institute of Technology(佐治亚理工学院)
我们提供了一个数据集,使学习代理的创建,可以建立基于知识图谱的世界模型的互动叙事。交互式叙事-或文本冒险游戏-是部分可观察的环境,结构为长的谜题或任务,其中智能体纯粹通过文本自然语言感知世界并与世界互动。每个单独的游戏通常包含数百个地点、角色和对象--每个都有自己独特的描述--提供了一个机会来研究为基于语言的代理提供在这样的世界中操作所需的结构化内存的问题。我们的数据集提供了丰富的自然语言观察与以下内容之间的24198个映射:(1)以地图形式反映世界状态的知识图谱;(2)保证引起特定世界状态变化的自然语言动作。训练数据是在多种类型的27场比赛中收集的,并且包含测试集中9场额外比赛的另外7836个保持实例。我们进一步提供基线模型,使用基于规则的,问答和序列学习方法,除了数据和相应的学习任务的分析。
2021-06-17 cs.AI cs.CL
Technical Report: Competition Solution For Modelscope-Sora
本报告介绍了Modelscope-Sora挑战赛的解决方案,通过视频描述生成、过滤和加速等数据处理技术提升训练数据质量,从而改善文本到视频生成模型的性能。
2024-09-24 cs.AI cs.CV
The Dota 2 Bot Competition
多人在线对战区域(MOBA)游戏是最近在视频游戏行业和国际电子竞技领域取得的巨大成功。这些游戏鼓励团队协调和合作,短期和长期规划,在实时组合的动作和战略游戏。游戏中的人工智能和计算智能研究竞赛提供了关于人工智能技术在不同游戏类型中的研究和应用的各种挑战。这些事件被AI/CI社区广泛接受为一种AI基准,强烈影响该领域的许多其他研究领域。本文介绍并详细描述了Dota 2 Bot比赛以及支持该比赛的Dota 2 AI框架。该挑战赛旨在加入MOBA和AI/CI游戏比赛,邀请参赛者提交AI控制器,用于成功的MOBA \textit{Defense of the Ancients 2}(Dota 2)进行1v 1比赛,旨在促进实时游戏AI技术的研究。Dota 2 AI框架利用实际的Dota 2游戏改装功能,使外部AI控制器能够使用实际Dota 2游戏改装功能的原始免费游戏game.se连接到实际Dota 2游戏比赛,使外部AI控制器能够使用原始免费游戏连接到实际Dota 2游戏比赛。
2021-03-04 cs.AI
Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach
St. Petersburg Federal Research Center of the Russian Academy of Sciences (SPC RAS)(俄罗斯科学院圣彼得堡联邦研究中心);HSE University(圣彼得堡高等经济学院);ITMO University(圣彼得堡国立信息技术机械与光学大学)
针对第十一届ABAW竞赛的视频级矛盾情绪和犹豫情绪识别,提出以文本为中心的多模态方法,用文本残差融合模型结合多种特征,实验表明该方法能有效提高识别性能,无需大型模型集成。
2026-07-22 cs.AI cs.CV
Many Heads but One Brain: Fusion Brain -- a Competition and a Single Multimodal Multitask Architecture
University of Helsinki(赫尔辛基大学);Artificial Intelligence Research Institute(人工智能研究院)
为了支持AI社区的当前趋势,我们提出了名为Fusion Brain的AI Journey 2021挑战赛,这是第一个旨在制作通用架构的竞赛,该架构可以处理不同的模式(在这种情况下,图像,文本和代码)并解决视觉和语言的多个任务。Fusion Brain Challenge结合了以下特定任务:Code 2code翻译、手写文本识别、Zero-shot目标检测和视觉问答。我们为每个任务创建了数据集,以测试参与者的提交。此外,我们还收集并公开了一个新的手写数据集,包括94,128对图像和文本,包括英语和俄语。我们还提出了一个多模式和多任务架构-一个基线解决方案,其中心是一个冻结的基础模型,并已在融合模式和单任务模式下进行了训练。所提出的融合方法被证明是有竞争力的,更节能的任务相比。
2022-12-28 cs.AI cs.CL cs.CV
SmurfCat at PAN 2024 TextDetox: Alignment of Multilingual Transformers for Text Detoxification
PAN Lab(PAN实验室)
本研究针对PAN-2024多语言文本去毒任务,通过数据增强构建额外平行数据集,微调mT0、Aya等多语言模型并应用ORPO对齐,37亿参数模型取得乌克兰语SOTA结果,竞赛获自动评估第一、人工评估第二。
2024-07-10 cs.AI cs.CL
DeepPavlov at SemEval-2024 Task 8: Leveraging Transfer Learning for Detecting Boundaries of Machine-Generated Texts
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
针对人机混合写作的文本边界检测需求,DeepPavlov团队提出基于DeBERTaV3有监督微调的数据增强流水线,在SemEval-2024任务8中取得了最优MAE成绩。
2024-05-17 cs.AI cs.CL
The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models
Stanford University(斯坦福大学);University of Washington(华盛顿大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);USI Lugano(卢加诺大学)
研究发现多模态语言模型在视觉任务中表现不佳,通过质心替换方法揭示语言表征优于视觉,通过文本质心对比解码提升准确率,不同训练方法影响结果。
2026-08-11 cs.AI cs.CL cs.CV
ColorShapeLinks: A board game AI competition for educators and students
Lusófona University(卢索福纳大学)
ColorShapeLinks是一个专门为视频游戏开发的学生和教育工作者设计的AI棋盘游戏竞赛框架,具有开放性和可访问性。比赛是基于一个任意大小版本的Simlexity棋盘游戏,其座右铭是“简单易学,复杂精通”,奇怪的是也适用于人工智能智能体。ColorShapeLinks提供基于图形和文本的前端,以及使用行业标准工具和遵循软件工程最佳实践构建的完全开放和文档化的开发框架。ColorShapeLinks不仅是一个竞赛,而且既是一个游戏,也是一个框架,教育工作者和学生可以扩展和使用它来举办自己的竞赛。它已成功用于运行AI类的内部比赛,以及在IEEE游戏会议上举办国际AI比赛。
2021-02-26 cs.AI cs.CY cs.HC
RMIT-ADM+S at the MMU-RAG NeurIPS 2025 Competition
RMIT University(皇家墨尔本理工大学)
RMIT-ADM+S系统通过Routing-to-RAG架构在NeurIPS 2025 MMU-RAG比赛中获胜,实现了高效检索增强生成和复杂科研任务处理。
2026-02-24 cs.AI cs.CL cs.IR
Malinowski in the Age of AI: Can large language models create a text game based on an anthropological classic?
Freie Universität Berlin(柏林自由大学);Institut für Angewandte Informatik(应用信息学研究所);Fraunhofer FOKUS(弗劳恩霍夫开放通信系统研究所)
本文通过与人类学家协作并采用设计思维迭代,利用GPT3.5基于《西太平洋的航海者》制作三个文本游戏原型,评估LLM传播人类学知识的潜力与局限。
2024-10-27 cs.AI cs.CY cs.HC
You Have Thirteen Hours in Which to Solve the Labyrinth: Enhancing AI Game Masters with Function Calling
Amazon Web Services(亚马逊网络服务);University of Pennsylvania(宾夕法尼亚大学)
针对大语言模型局限下文本游戏AI游戏主持人连贯性不足的问题,本文提出在桌面角色扮演游戏中利用函数调用集成游戏专属控制的方法,经人工评估和单元测试验证,可提升叙事质量与状态一致性,优化游戏体验。
2024-09-11 cs.AI cs.CL
NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track
NightFeats
提出一种结构化多智能体RAG系统NightFeats,通过检索、策展和组合三阶段分解知识合成,引入时序语义重排序、矛盾协调和引用保留架构,在MMU-RAGent竞赛中超越商业基线。
2026-06-11 cs.AI cs.CL cs.IR
What Would Jiminy Cricket Do? Towards Agents That Behave Morally
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
在做日常决定时,人们受良心的指引,一种内在的是非感。相比之下,人工代理目前没有被赋予道德感。因此,当他们在忽视道德问题的环境中训练时,他们可能会学会不道德的行为,比如暴力视频游戏。随着在许多环境中进行预训练的一般能力代理的出现,有必要减轻来自教导不道德行为的环境的遗传偏见。为了促进代理商的发展,避免造成肆意伤害,我们介绍了Jiminy Cricket,一个环境套件,25个基于文本的冒险游戏,具有数千个不同的,道德上突出的场景。通过注释每个可能的游戏状态,Jiminy Cricket环境可以有力地评估智能体是否可以在最大化奖励的同时采取道德行为。使用具有常识道德知识的模型,我们创建了一个基本的人工良心,用于评估和指导代理。在广泛的实验中,我们发现人工良心方法可以引导代理人进行道德行为,而不会牺牲性能。
2022-02-08 cs.AI cs.CL cs.CY
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University(名古屋大学)
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统,通过构建共同基础和基于文本的轮流发言,提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO