Ehud Reiter, Craig Thomson
We propose a shared task on methodologies and algorithms for evaluating the accuracy of generated texts. Participants will measure the accuracy of basketball game summaries produced by NLG systems from basketball box score data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
FACE: Evaluating Natural Language Generation with Fourier Analysis of Cross-Entropy
本文提出FACE指标，基于语言交叉熵的傅里叶分析来衡量模型生成与人类语言的相似度，实验证明其能有效识别模型差距、随规模扩展且与人类判断高度相关。
A Course Shared Task on Evaluating LLM Output for Clinical Questions
本文介绍了一项在FoLT课程中组织的共享任务，旨在评估大语言模型对健康相关临床问题生成有害回答的输出，并报告任务设计及学生反馈，为NLP教学和课程作业设计提供参考。
A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation
提出符号学感知框架，通过保真度和覆盖率两指标评估文本间符号学对齐，发现覆盖率低于保真度且低温下LLM与人工数据对齐最佳。
Style or Content? Evaluating Style Classifiers with Controlled Content Overlap
提出控制内容重叠的评估方法，通过并行圣经翻译构建参数α，发现低重叠模型依赖内容线索，高重叠模型更鲁棒，为分离风格学习与内容捷径提供诊断。
Evaluating Cross-Lingual Unlearning in Multilingual Language Models
本文研究了多语言语言模型中的跨语言反学习，发现子空间投影方法在去除非训练语言事实方面表现最佳，揭示了权重空间几何结构对多语言遗忘的影响。
CorPipe at CRAC 2025: Evaluating Multilingual Encoders for Multilingual Coreference Resolution
CorPipe 25 通过从 TensorFlow 完全重实现为 PyTorch，在 CRAC 2025 多语言共指消解共享任务的 LLM 与无约束赛道中均以 8 个百分点优势夺冠。
Evaluating GPT-3.5's Awareness and Summarization Abilities for European Constitutional Texts with Shared Topics
该研究针对欧洲宪法中公民权利与义务这类跨国家的共同主题，提出将生成式摘要应用于多来源宪法文本的新场景，验证了GPT-3.5可生成信息丰富、连贯忠实的相关摘要。
Discovering a Shared Logical Subspace: Steering LLM Logical Reasoning via Alignment of Natural-Language and Symbolic Views
本文提出通过对齐自然语言和符号视角的逻辑子空间来提升LLM的多步逻辑推理能力，通过实验验证该方法在四个基准测试中提升了准确率并具备良好的泛化能力。
PhysNLU: A Language Resource for Evaluating Natural Language Understanding and Explanation Coherence in Physics
本文构建PhysNLU数据集集合，从句子排序、位置、章节预测和话语连贯性等方面评估语言模型对物理解释的理解能力，并通过基线揭示现有模型的不足。
ArabicNLU 2024: The First Arabic Natural Language Understanding Shared Task
本文介绍了首届ArabicNLU 2024共享任务，涵盖WSD和LMD两个子任务，提供了SALMA和IDRISI-DA等新数据集，并报告了最终评估结果以推动阿拉伯语NLU技术发展。
Evaluating Large Language Models for Document-grounded Response Generation in Information-Seeking Dialogues
本文评估ChatGPT等大型语言模型在信息寻求对话中基于文档生成响应的能力，通过Chat-Completion和LlamaIndex两种方法在MultiDoc2Dial语料库上进行人工评估，发现ChatGPT变体虽更易产生幻觉但评分仍高于共
Brain Score Tracks Shared Properties of Languages: Evidence from Many Natural Languages and Structured Sequences
研究通过训练语言模型并评估其脑评分表现，发现多种自然语言和结构化数据在脑评分上表现相似，表明模型能提取语言共性，但高评分不一定代表人类级处理能力。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。