发表机构
University of Bucharest（布加勒斯特大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
UniBuc团队在SemEval-2024任务2中，通过定制提示和输入操作，利用SOLAR Instruct模型无需微调，在临床试验NLI任务上取得0.72一致性分数，排名第14，并发现模型依赖简单启发式方法的倾向。
AI 中文摘要
本文描述了UniBuc团队在解决SemEval 2024任务2：临床试验安全生物医学自然语言推理中的方法。我们使用了SOLAR Instruct，无需任何微调，同时专注于输入操作和定制提示。通过为各个CTR部分定制提示，在零样本和少样本设置下，我们成功获得了0.72的一致性分数，在排行榜上排名第14。我们深入的错误分析显示，我们的模型倾向于走捷径并依赖简单的启发式方法，尤其是在处理语义保持变化时。
英文摘要
This paper describes the approach of the UniBuc team in tackling the SemEval 2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials. We used SOLAR Instruct, without any fine-tuning, while focusing on input manipulation and tailored prompting. By customizing prompts for individual CTR sections, in both zero-shot and few-shots settings, we managed to achieve a consistency score of 0.72, ranking 14th in the leaderboard. Our thorough error analysis revealed that our model has a tendency to take shortcuts and rely on simple heuristics, especially when dealing with semantic-preserving changes.
