Beyond Reflection: Affirmation as a Promising Behavioral Marker Associated with Quality in Text-Based Counseling
The University of Electro-Communications(东京电机大学)
该研究针对AI辅助文本咨询中咨询师行为与对话质量关联的未知问题,基于KokoroChat数据集分析发现肯定比反思更与咨询质量相关,且该信号可迁移至ESConv数据集,为相关培训和系统设计提供经验依据。
2026-08-28 cs.CL
Multi-dimensional Assessment and Explainable Feedback for Counselor Responses to Client Resistance in Text-based Counseling with LLMs
Zhejiang University(浙江大学);Westlake University(西湖大学)
本文提出多维评估与可解释反馈框架,用于评估LLM在文本心理咨询中对来访者抵触的响应质量,实验表明其在区分沟通机制质量上优于现有模型。
2026-02-25 cs.CL
Beyond Empathy: Integrating Diagnostic and Therapeutic Reasoning with Large Language Models for Mental Health Counseling
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济发展实验室);SKL-IOTSC, CIS, University of Macau(澳门科学馆物联网与智慧城市研究中心);Shandong University(山东大学);Auckland University of Technology(技术大学(奥克兰));University of Electronic Science and Technology of China(电子科技大学)
针对现有LLM心理咨询缺乏临床诊断推理与多元治疗策略的问题,提出首个系统整合诊断与治疗推理的模型PsyLLM,通过自动化数据合成流水线生成临床对齐数据,并在四个维度的新基准上显著超越基线模型。
2026-11-06 cs.CL
Conversation Model Fine-Tuning for Classifying Client Utterances in Counseling Dialogues
KAIST(韩国科学技术院);Trost, Humart Company, Inc.(Humart公司Trost部门)
最近基于文本的在线咨询应用程序的激增使我们能够收集和分析咨询师和客户之间的互动。这些交互的数据集可以用于学习将客户话语自动分类为帮助咨询师诊断客户状态和预测咨询结果的类别。通过适当的匿名化,我们收集咨询师与客户的对话,定义有意义的类别的客户话语与专业咨询师,并开发了一种新的神经网络模型分类的客户话语。我们的模型ConvMFiT的中心思想是一个预先训练的会话模型,它由一个从域外语料库构建的通用语言模型和两个从未标记的域内对话构建的角色特定的语言模型组成。分类结果表明,ConvMFiT优于最先进的比较模型。此外,学习模型中的注意力权重确认该模型为每个类别找到了预期的语言模式。
2019-03-31 cs.CL cs.LG stat.ML
AnnaAgent: Dynamic Evolution Agent System with Multi-Session Memory for Realistic Seeker Simulation
School of Computer Science and Engineering, Northeastern University(计算机科学与工程学院,东北大学);Mental Health Education Center, Northeastern University(心理健康教育中心,东北大学);School of Sociology and Psychology, Central University of Finance and Economics(社会学与心理学学院,中央财经大学);School of Psychology, Northeast Normal University(心理学学院,东北师范大学)
AnnaAgent通过三级记忆和基于真实对话训练的情绪调节器与抱怨引导器,实现动态演化与多会话记忆,从而在心理咨询中更逼真地模拟求助者。
2025-06-10 cs.AI cs.CL
Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions
School of Engineering, Westlake University(西lake大学工程学院)
提出Interactive Agents框架,通过LLM-LLM角色扮演生成高质量心理咨询对话数据,解决隐私、成本和扩展性问题,并验证其治疗有效性和模型性能。
2026-05-26 cs.CL cs.IR
ConvCounsel: A Conversational Dataset for Student Counseling
针对现有心理健康对话数据集存在伦理限制、难以直接用于学生咨询场景的问题,本文提出聚焦积极倾听策略的多模态对话数据集ConvCounsel,并基于该数据集构建语音对话系统NYCUKA,验证了数据集的实用价值。
2024-11-01 cs.CL
Graph2Counsel: Clinically Grounded Synthetic Counseling Dialogue Generation from Client Psychological Graphs
UKP Lab, Department of Computer Science and Hessian Center for AI (hessian.AI), Technische Universität Darmstadt(德国达姆施塔特技术大学UKP实验室、计算机科学系和海森人工智能中心(hessian.AI));Zuse School ELIZA(Zuse学院ELIZA);National Research Center for Applied Cybersecurity ATHENE(应用网络安全国家研究中心ATHENE);Indian Institute of Technology Delhi(印度德里理工学院);Yardi School of Artificial Intelligence(Yardi人工智能学院);University of Louisville(路易斯维尔大学);University of Toledo(托莱多大学)
本文提出Graph2Counsel框架,通过客户端心理图谱生成合成咨询对话,提升数据真实性与质量,实验表明其在特定性、咨询师能力等方面优于现有数据集。
2026-09-01 cs.CL
Correction of Errors in Preference Ratings from Automated Metrics for Text Generation
Centre for Artificial Intelligence(人工智能中心);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
本文提出一种统计模型来刻画自动化指标在系统偏好排名中的错误,并通过融合人工与自动评分,在三类文本生成任务上以约半数人工标注达到95%一致的评估结论。
2023-06-06 cs.AI cs.CL
On the Effectiveness of Automated Metrics for Text Generation Systems
Centre for Artificial Intelligence(人工智能中心);ZHAW School of Engineering(苏黎世应用科学大学工程学院)
文本生成领域的一个主要挑战是评估,因为我们缺乏一个健全的理论,可以利用它来提取评估活动的指导方针。在这项工作中,我们提出了这样一个理论,结合不同来源的不确定性,如不完善的自动化指标和测试集大小不够的第一步。该理论具有实际应用,例如确定在给定设置中可靠区分一组文本生成系统的性能所需的样本数量。我们展示了该理论在WMT 21和Spot-The-Bot评估数据上的应用,并概述了如何利用它来改进评估协议的可靠性、鲁棒性和评估结果的重要性。
2022-10-24 cs.AI cs.CL
When Automated Assessment Meets Automated Content Generation: Examining Text Quality in the Era of GPTs
University of Notre Dame(圣母大学);Georgia Tech(佐治亚理工学院);Shenzhen University(深圳大学)
本文构建涵盖评分模型、人类与GPT作文及统计分析的框架,基于18,460篇作文实证发现Transformer PLM给GPT文本评分平均高10–15%,揭示生成式AI对自动评分的影响。
2023-09-25 cs.AI cs.CL
Ace-CEFR -- A Dataset for Automated Evaluation of the Linguistic Difficulty of Conversational Texts for LLM Applications
针对短对话文本语言难度评估需求未被满足的问题,研究推出经专家标注难度等级的英语对话数据集Ace-CEFR,实验显示基于该数据集训练的模型难度测量准确度优于人类专家且延迟适配生产环境,数据集已公开供研发使用。
2025-06-16 cs.AI cs.CL
Epistemological Bias As a Means for the Automated Detection of Injustices in Text
University of Illinois at Chicago(伊利诺伊大学香槟分校);IBM Research(IBM研究院)
本文提出结合知识论的自动化框架,用于检测文本中的隐含不公正现象,通过NLP模型提升检测效率并提供可解释性。
2026-01-27 cs.AI cs.CL
Toward Automated Quest Generation in Text-Adventure Games
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
交互式小说,或文本冒险,是玩家完全通过文本描述和文本动作与世界互动的游戏。文本冒险游戏通常被构造为谜题或任务,其中玩家必须以特定顺序执行特定动作才能成功。在本文中,我们考虑的问题,程序生成一个任务,定义为一系列的行动所需的进展朝着一个目标,在文本冒险游戏。文本环境中的任务生成具有挑战性,因为它们必须是语义连贯的。我们提出并评估了两种任务生成技术:(1)马尔可夫模型,(2)神经生成模型。我们特别关注生成关于烹饪的任务,并根据食谱数据训练我们的模型。我们评估我们的技术与人类参与者的研究看感知的创造力和连贯性。
2020-08-19 cs.AI cs.CL
ASTAR: Automated induction of STAndardized radiology Reporting templates from large-scale clinical free-text corpora
Tsinghua University(清华大学);Sichuan University(四川大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Southeast University(东南大学)
该研究针对放射学报告模板构建的人工瓶颈,提出基于LLM的ASTAR框架,从大规模临床自由文本语料库自动生成标准化模板,实验显示其性能优于专家构建的模板,大幅缩短模板开发时间。
2026-08-24 cs.AI cs.CL
Automated Speech Generation from UN General Assembly Statements: Mapping Risks in AI Generated Texts
United Nations Global Pulse(联合国全球脉动);Durham University(杜伦大学)
自动文本生成已广泛应用于营销和机器人等许多领域,并用于创建聊天机器人,产品评论和写诗。然而,合成文本的能力存在许多潜在风险,而获得构建生成模型所需的技术正变得越来越容易。这项工作与联合国和其他民间社会组织的努力保持一致,以强调恶意使用文本生成软件所产生的潜在政治和社会风险及其对人权的潜在影响。作为一个案例研究,我们提出了一个实验的结果,通过在联合国大会上的演讲数据集上微调预训练的AWD-LSTM模型来生成政治领导人风格的言论。这项工作强调了这一点可以实现的容易性,以及将这些技术与其他技术相结合的威胁。
2019-06-05 cs.AI cs.CL
Judging LLM-as-a-Judge: Concerning Rubric Artifacts in LLM-based Automated Text Generation Evaluation
Centre for Responsible AI (CeRAI)(负责任人工智能中心(CeRAI));Wadhwani School of Data Science and AI (WSAI)(瓦德瓦尼数据科学与人工智能学院(WSAI));IIT Madras(印度理工学院马德拉斯分校)
该研究发现LLM-as-a-Judge评估中,仅评分标准就能让分类器达到可观预测性能,且评判者无法可靠更新决策,凸显此类评估的可靠性问题及方法学研究的必要性。
2026-09-04 cs.AI cs.CL
Automated Medical Report Generation for ECG Data: Bridging Medical Text and Signal Processing with Deep Learning
Zuse Institut Berlin(柏林Zuse研究所);BIOTRONIK SE & Co KG(百多力公司)
本研究将深度学习驱动的图像描述生成技术应用于心电图数据,提出基于编码器-解码器的方法,利用医疗专业人员撰写的报告训练模型生成类临床医生解读,性能显著优于现有模型,源代码公开且具临床应用潜力。
2024-12-05 cs.AI cs.CL
Comparing Computational Architectures for Automated Journalism
大多数NLG系统都是按照基于模板或基于流水线的架构设计的。最近提出的用于数据到文本生成的神经模型具有端到端的深度学习风格,它在没有显式中介表示的情况下处理自然语言中的非语言输入。本研究比较了最常用的方法,从结构化数据生成巴西葡萄牙语文本。结果表明,生成过程中明确的中间步骤比神经端到端架构生成的文本更好,避免了数据幻觉,同时更好地概括了看不见的输入。代码和语料库是公开的。
2022-10-08 cs.AI cs.CL
Beyond Static Rules: Automated Discovery of Latent Vulnerabilities in Text-to-SQL
Shanghai University of Finance and Economics(上海财经大学);Beihang University(北京航空航天大学);Deepexi Technology Co. Ltd.(深圳市智元机器有限公司);Southern University of Science and Technology(南方科技大学)
研究LLMs在文本到SQL任务中潜在可靠性问题,提出SAGE框架,通过生成漏洞假设、参考漏洞法典设计扰动来发现潜在故障模式,实验证明其能发现大量故障案例及法典的跨模型转移性。
2026-07-07 cs.AI cs.CL
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University(麦考瑞大学);CSIRO Australia(澳大利亚联邦科学与工业研究组织)
循证医学(EBM)的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究,从业者经常发现自己的信息超载。因此,自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要(ATS)技术的技术-针对压缩大型医学文本的任务。然而,为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学,特定领域的需求,循证医学,自动摘要技术,以及它们是如何被应用到迄今为止。我们设想,这项调查将作为第一资源,为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Automated Spelling Correction for Clinical Text Mining in Russian
ITMO University(ITMO大学)
本文的主要目标是开发一个拼写检查模块的俄语临床文本。所描述的方法结合字符串距离测量算法和机器学习嵌入方法的技术。我们的整体精度为0.86,词法精度为-0.975,错误精度为0.74。针对拼写错误、否定、体验者和时态检测等问题,我们开发了拼写检查器作为医学文本挖掘工具的一部分。
2020-04-10 cs.CL
Challenges and Applications of Automated Extraction of Socio-political Events from Text (CASE 2022): Workshop and Shared Task Report
KNAW Humanities Cluster(荷兰皇家艺术与科学学院人文集群);European Commission(欧盟委员会);University of Cagliari(卡利亚里大学);Sabanci University(萨班哲大学);Koc University(科奇大学)
我们提供了在EMNLP 2022范围内举行的第五版CASE研讨会的摘要。研讨会包括常规文件、两个主旨发言、共同任务参与者的工作文件和任务概述文件。该研讨会汇集了跨技术和社会科学领域的事件信息收集的所有方面。除了在深度上的进展外,多模式方法的提交和接受表明了这一跨学科研究主题的扩大。
2022-11-21 cs.AI cs.CL cs.LG
ANEA: Automated (Named) Entity Annotation for German Domain-Specific Texts
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学)
命名实体识别(NER)是一项重要的任务,其目的是解决命名实体的通用类别,例如,人物、地点、组织和时间。尽管它在许多用例中的常见和可行的使用,但NER几乎不适用于一般类别次优的领域,如工程或医学。为了促进特定领域类型的NER,我们提出了ANEA,一个自动化(命名)实体注释器,以协助人类注释创建特定领域的NER语料库时,给定一组特定领域的文本德语文本集合。在我们的评估中,我们发现ANEA自动识别最能代表文本内容的术语,识别连贯术语组,并为这些组提取和分配描述性标签,即,将文本数据集注释到域(命名)实体中。
2021-12-13 cs.CL
Text to model via SysML: Automated generation of dynamical system computational models from unstructured natural language text via enhanced System Modeling Language diagrams
Department of Engineering, University of Cambridge, Trumpington Street, Cambridge, UK(剑桥大学工程系,特鲁布里奇顿街,剑桥,英国)
本文提出利用领域和专家知识,通过SysML图自动从相关文档和输入文档生成动态系统计算模型,提升工程动态系统设计和部署效率。
2026-04-22 cs.AI cs.CE cs.CL
Automated Text Scoring in the Age of Generative AI for the GPU-poor
本文面向“GPU匮乏者”评估开源小规模GLM在自动化文本评分中的性能与效率,证明微调可获得可用但非SOTA的效果,并初步探索其生成评分反馈的能力。
2024-07-02 cs.AI cs.CL cs.LG
Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions
ServiceNow(ServiceNow公司)
该研究构建了首个TTS维度级元评估基准,测试发现MOS预测器聚焦声学信号质量,Audio-LLM评估器检测能力具选择性且依赖提示,两类方法均难捕捉语言结构化语音错误,相关资源已公开。
2026-10-23 cs.AI cs.CL cs.SD
OASYS: Domain-Agnostic Automated System for Constructing Knowledge Base from Unstructured Text
Kakao Enterprise(Kakao企业)
近年来,创建和管理知识库已成为零售产品和企业领域的关键。我们提出了一个自动知识库建设系统,挖掘数据的文件。该系统可以在训练过程中生成训练数据,无需人工干预。因此,它是领域无关的可训练的,只使用目标领域文本语料库和预定义的知识库。这个系统被称为OASYS,是第一个以韩语为基础的系统。此外,我们还构建了一个新的人类注释的基准数据集的韩国维基百科语料库与韩国DBpedia配对,以帮助系统评估。在人工标注的基准测试数据集上的系统性能结果是有意义的,并且表明仅在自动生成的数据上训练的OASYS生成的知识库是有用的。我们提供了一个人工注释的测试数据集和一个自动生成的数据集。
2022-06-29 cs.AI cs.CL cs.LG
Toward Real-World Chinese Psychological Support Dialogues: CPsDD Dataset and a Co-Evolving Multi-Agent System
针对中文心理支持数据集稀缺问题,提出微调大模型生成数据并构建CPsDD数据集,同时开发协同进化多智能体系统CADSS,在策略预测和ESC任务上达到最优性能。
2025-07-10 cs.AI cs.CL cs.MA
Automated Detection and Analysis of Power Words in Persuasive Text Using Natural Language Processing
VIT Bhopal University(VIT博帕尔大学)
本文提出基于自定义词典和Python包The Text Monger的强力词自动检测方法,通过分析小说、演讲和营销材料评估强力词对情感和读者参与度的影响,为内容创作者和广告商提供实用策略。
2024-09-28 cs.CL
Automated Gradient-Driven Parameter Sharing for Low-Resource Multilingual Speech-to-Text Translation
School of Data Science(数据科学学院)
本文提出通过挖掘训练梯度信息自动确定层间共享模式的方法,提升多语言语音翻译的收敛性与翻译质量。
2026-09-18 cs.CL
Automated Creation and Human-assisted Curation of Computable Scientific Models from Code and Text
GE Research(GE研究院)
科学模型是更好地理解和预测复杂系统行为的关键。科学模型的最全面的表现形式,包括支持其可用性的关键假设和参数,通常嵌入在相关的源代码和文档中,这些代码和文档可能采用各种(可能过时的)编程实践和语言。如果领域专家不熟悉代码,他们就无法完全理解科学模型的实现。此外,快速的研究和开发迭代使得跟上不断发展的科学模型代码库具有挑战性。为了应对这些挑战,我们开发了一个系统,用于自动创建和人工辅助管理可计算科学模型的知识图谱,该模型在任何相关的内联注释和外部文档的上下文中分析模型的代码。我们的系统使用知识驱动以及数据驱动的方法来识别和提取相关的概念,从文本文档的代码和方程语义注释模型使用领域术语。这些模型被转换为可执行的Python函数,然后可以进一步组成复杂的工作流,以回答不同形式的领域驱动问题。我们目前的实验结果使用数据集的代码和相关的文本来自美国宇航局的高超音速空气动力学网站。
2022-01-28 cs.AI cs.CL cs.SE
Multimodal Automated Fact-Checking: A Survey
University of Cambridge(剑桥大学)
本文提出多模态自动事实核查框架,系统综述文本、图像、音频和视频四类模态下的基准与模型,并指出当前局限与未来方向。
2023-10-25 cs.AI cs.CL cs.CV
An Automated Text Categorization Framework based on Hyperparameter Optimization
CONACyT Consejo Nacional de Ciencia y Tecnología(墨西哥国家科学技术委员会);INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación(INFOTEC 信息与通信技术研究与创新中心)
各种各样的文本任务,如主题或垃圾邮件识别,用户分析和情感分析可以作为一个监督学习问题,并使用文本分类器来解决。一个文本分类器由几个子过程组成,其中一些是一般的,足以适用于任何监督学习问题,而其他人是专门设计来解决一个特定的任务,使用复杂的和计算昂贵的过程,如词形还原,语法分析等,与传统的方法相反,我们提出了一个最小的和广泛的系统,能够处理文本分类任务独立的领域和语言,即microTC。它由一些易于实现的文本转换、文本表示和一个监督学习算法组成。这些作品甚至在非正式书面文本领域也产生了竞争性的分类器。我们提供了一个详细的描述microTC随着广泛的实验比较与相关的国家的最先进的方法。在30个不同的数据集上比较了mircoTC。在准确性方面,microTC在20个数据集中获得了最佳性能,而在其余10个数据集中获得了竞争性结果。比较的数据集包括几个问题,如主题和极性分类,垃圾邮件检测,用户分析和作者归属。此外,重要的是要声明,我们的方法允许使用该技术,即使没有机器学习和自然语言处理的知识。
2017-09-14 cs.AI cs.CL stat.ML
A fully automated and scalable Parallel Data Augmentation for Low Resource Languages using Image and Text Analytics
Infosys(英矽斯);BITS Pilani(比斯·皮兰)
本文提出一种全自动可扩展方法,利用图像和文本分析从报纸中提取双语平行语料,构建两种语言组合的数据集,并在机器翻译任务上提升近3个BLEU点。
2025-10-15 cs.CL
EXPATS: A Toolkit for Explainable Automated Text Scoring
LegalForce, Inc.(LegalForce 公司);Octanove Labs(Octanove 实验室)
自动文本评分(ATS)任务,如自动作文评分和可读性评估,是自然语言处理的重要教育应用。由于其模型和预测的可解释性,基于手工特征的传统机器学习(ML)算法仍然广泛用于ATS任务。实践者通常需要尝试各种模型(包括深度和传统的ML模型)、特征和训练目标(回归和分类),尽管现代深度学习框架(如PyTorch)需要深度ML专业知识才能充分利用。在本文中,我们提出了EXPATS,一个开源的框架,允许其用户开发和实验不同的ATS模型快速提供灵活的组件,易于使用的配置系统,和命令行界面。该工具包还提供了与语言解释性工具(LIT)的无缝集成,以便可以解释和可视化模型及其预测。我们还描述了两个案例研究,我们建立ATS模型,以最小的工程努力迅速。该工具包可在\url{https://github.com/octanove/expats}上获得。
2021-04-07 cs.CL
Automated News Summarization Using Transformers
Delhi Technological University(德里理工大学)
在线可用的文本数据量正在以非常快的速度增加,因此文本摘要变得至关重要。大多数现代推荐和文本分类系统都需要处理大量的数据。手动生成冗长文章的精确和流畅的摘要是一项非常烦人和耗时的任务。因此,为数据生成自动摘要并使用它来训练机器学习模型将使这些模型具有空间和时间效率。摘要的生成有两种不同的方法:抽取式摘要和抽象式摘要。提取技术从原始文档中识别出相关句子,并仅从文本中提取那些句子。而在摘要技术中,摘要是在解释原文之后生成的,因此使其更加复杂。在本文中,我们将全面比较几个基于Transformer架构的文本摘要预训练模型。为了进行分析和比较,我们使用了BBC新闻数据集,该数据集包含可用于摘要的文本数据和人类生成的摘要,用于评估和比较机器学习模型生成的摘要。
2021-04-23 cs.CL
An Unsupervised Domain-Independent Framework for Automated Detection of Persuasion Tactics in Text
Carnegie Mellon University(卡内基梅隆大学)
随着社交媒体的日益增长,人们开始严重依赖其中共享的信息来形成意见和做出决定。虽然这种依赖是各种当事方宣传信息的动力,但也使人们容易受到诽谤、错误信息、恐怖主义和掠夺性进展的剥削。在这项工作中,我们的目标是理解和发现这种说服的尝试。现有的作品检测说服文本中使用的词汇特征检测说服策略,没有利用可能的结构中所使用的策略。我们制定的任务作为一个多类分类问题,并提出了一个无监督的,独立于域的机器学习框架,用于检测文本中使用的说服类型,它利用了固有的句子结构中存在的不同的说服策略。与现有的工作相比,我们的工作显示出有希望的结果。
2019-12-13 cs.AI cs.CL cs.LG
AutoGeTS: Knowledge-based Automated Generation of Text Synthetics for Improving Text Classification
FabLab, Inetum(FabLab,Inetum)
针对文本分类数据不足的问题,提出自动化工作流AutoGeTS,利用LLM生成合成数据提升模型性能,并构建集成算法根据类别特征选择最优搜索策略,实验证明其优于单一策略。
2025-08-04 cs.CL cs.LG
Automated Textbook Auditing with Multi-Agent LLM Systems
University of Bucharest(布加勒斯特大学);Dimitrie Cantemir Christian University(迪米特里·坎泰米尔基督教大学)
研究旨在确保教材质量,提出人工智能教科书审核器这一多智能体管道,通过事实技术与语法双轨道分析生成报告,经判断智能体过滤误报,支持两种摄取模式且可领域适配,在两本教科书上验证可减少人工查找问题工作量。
2026-07-14 cs.AI cs.CL cs.CY
On the Feasibility of Automated Detection of Allusive Text Reuse
University of Antwerp(安特卫普大学);University of Notre Dame(圣母大学)
典故文本重用的检测是特别具有挑战性的,由于稀疏的证据,典故参考依赖-通常基于没有或很少的共享单词。可以说,词汇语义可以诉诸,因为揭示词之间的语义关系有可能增加的支持下的典故和减轻词汇稀疏。另一个障碍是缺乏评价基准语料库,这主要是由于注释过程的解释性很强。在本文中,我们的目的是阐明自动典故检测的可行性。我们从信息检索的角度来处理这个问题,其中参考文本作为查询和参考文本作为相关的文件被检索,并估计基准语料库编译的难度由一个新的注释者之间的协议研究查询分割。此外,我们调查在何种程度上来自分布模型和本体的词汇语义信息的整合可以帮助检索典故重用的情况。结果表明,(i)尽管协议分数低,使用手动查询大大提高了检索性能相对于一个窗口的方法,以及(ii)检索性能可以适度提高与分布式语义。
2019-05-08 cs.CL
Automated Scoring of Arabic Text Using Large Language Models: A Literature Review
Laboratoire d’Informatique et de Mathématiques LIM, Amar Telidji University(阿马尔·特里吉大学计算机与数学实验室)
本文综述了基于大型语言模型的阿拉伯语文本自动评分方法,包括简答题评分和作文评分,提出了包含五个维度的分类体系,并对比分析了现有研究的方法、数据集和性能。
2026-06-11 cs.CL
Automated Action Model Acquisition from Narrative Texts
Australian National University(澳大利亚国立大学);Tencent AI lab(腾讯人工智能实验室)
针对叙事规划中动作模型自动获取的瓶颈问题,提出无监督系统NaRuto,从叙事文本提取结构化事件并结合常识关系等生成规划式动作模型,质量优于全自动化方法、媲美半自动化方法。
2023-07-17 cs.CL cs.IR cs.LG
Automated Text Identification Using CNN and Training Dynamics
University of Bucharest(布加勒斯特大学);Faculty of Mathematics and Computer Science(数学与计算机科学学院)
该研究利用 Data Maps 从置信度、可变性和正确性分析 AuTexTification 数据集的训练动态,并通过经典 CNN 验证仅使用模糊样本子集训练可提升分布外泛化。
2024-05-18 cs.CL
Challenges and Applications of Automated Extraction of Socio-political Events from Text (CASE 2023): Workshop and Shared Task Report
KNAW Humanities Cluster(荷兰皇家艺术与科学院人文集群);European Commission(欧盟委员会);Koc University(科奇大学);Virginia Tech(弗吉尼亚理工大学);National University of Singapore(新加坡国立大学)
本文总结第六届CASE研讨会,介绍其在RANLP 2023中的论文、主题演讲及共享任务,涵盖文本与多模态事件信息收集,推动跨领域事件提取研究进展。
2023-12-02 cs.CL
An Automated Evaluation Metric for Chinese Text Entry
在本文中,我们提出了一个自动评估指标的文本输入。我们还考虑了对现有文本输入评估指标的可能改进,如最小字符串距离出错率,每个字符的错误次数,每次更正的成本,以及MacKenzie提出的统一方法,使它们能够适应中文文本的特殊性。目前的中文文本录入评估方法缺乏对打字速度和准确性的综合考虑。我们的目标是消除由于人为因素而产生的偏见。首先,我们提出了一个新的度量,称为校正惩罚(P),基于费茨定律和希克定律。其次,将其转化为信息论的近似摊余成本。本文还分析了不同上下文长度的中文文本输入法的AAC。
2007-04-27 cs.CL cs.HC
The Automated Verification of Textual Claims (AVeriTeC) Shared Task
Queen Mary University of London(伦敦玛丽女王大学);University of Cambridge(剑桥大学);Meta;King’s College London(伦敦国王学院);Amazon AGI(亚马逊AGI);KAIST(韩国科学技术院)
本文介绍AVeriTeC文本声明自动验证共享任务,说明其证据检索与真实性预测的任务要求、AVeriTeC评分规则,公布21份参赛作品中18份超基线、TUDA_MAI团队以63%得分获胜等结果及关键结论。
2024-10-31 cs.CL
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Army Research Laboratory(陆军研究实验室)
短语挖掘是文本分析的基本任务之一,其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的,受过训练的语言分析器,因此可能在新领域和体裁的文本语料库上的性能不令人满意,而无需额外但昂贵的适应。近年来,一些数据驱动的方法已经被成功地开发出来,用于从大量特定领域的文本中提取短语。然而,没有一个最先进的模型是完全自动化的,因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语,其规模远远大于人类专家所产生的规模,因此在本文中,我们提出了一种用于自动短语挖掘的新框架AutoPhrase,该框架以有效的方式利用了大量的高质量短语,并与有限的人类标记短语相比,实现了更好的性能。此外,我们开发了一个POS引导的短语分割模型,它结合了浅层句法信息的词性(POS)标签,以进一步提高性能,当一个POS标签可用。请注意,AutoPhrase可以支持任何语言,只要通用知识库(例如,Wikipedia),同时受益于但不需要POS标记器。与最先进的方法相比,新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
LLM-Rubric: A Multidimensional, Calibrated Approach to Automated Evaluation of Natural Language Texts
Microsoft(微软)
本文提出LLM-Rubric框架,通过训练小型前馈神经网络校准多个LLM对评分标准问题的回答分布,以预测人类评判者的多维标注,在对话系统评估中将用户满意度预测误差降至0.5以下,较未校准基线提升2倍。
2024-12-31 cs.CL
Automated Lexical Coverage for Language Learning: From General to Specialized Word Lists
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);School of Data Science(数据科学学院)
本文提出一种基于目标文本自动生成专业词表的方法,相比通用词表能以更少词汇达到95%的文本覆盖率,并实现自动化、可扩展的词汇学习资源构建。
2026-06-03 cs.CL
An Automated End-to-End Open-Source Software for High-Quality Text-to-Speech Dataset Generation
aiXplain, Inc.(aiXplain公司);Translated, Inc.(Translated公司)
本文提出一种自动化端到端开源软件,通过融入语言特定音素分布、自动化录音与质量保证及格式处理,为TTS模型高效生成高质量训练数据集。
2024-02-26 cs.AI cs.CL cs.LG
Automated Answer Validation using Text Similarity
IBM Research India(IBM印度研究院);Tata Consultancy Services(塔塔咨询服务公司)
本文面向自动化答案验证,实现 Siamese neural network 监督模型,提出泛化的文本相似度方案,并与同类方法比较。
2024-01-13 cs.CL cs.IR
DAHL: Domain-specific Automated Hallucination Evaluation of Long-Form Text through a Benchmark Dataset in Biomedicine
Seoul National University(首尔大学)
本文提出DAHL基准数据集与自动化评估系统,通过将响应解构为原子单元计算DAHL分数,深入评估生物医学领域长文本生成中的事实冲突幻觉,实验发现模型规模超过70至80亿参数后事实准确性提升有限。
2024-11-14 cs.CL
DCMM-SQL: Automated Data-Centric Pipeline and Multi-Model Collaboration Training for Text-to-SQL Model
Platform and Content Group, Tencent(腾讯平台与内容组)
本文提出DCMM-SQL,一种自动化数据为中心流水线与多模型协作训练方法,通过自适应数据修复、错误数据增强及多模型集成,显著提升Text-to-SQL任务准确率,在轻量级模型中取得第一名。
2025-10-27 cs.CL