真相、信任与麻烦：边缘上的医疗AI
Truth, Trust, and Trouble: Medical AI on the Edge
AI总结：
通过一个包含1000多个健康问题的基准测试框架，评估Mistral-7B、BioMistral-7B-DARE和AlpaCare-13B三个模型在诚实、有用性和无害性方面的表现，发现AlpaCare-13B准确率最高（91.7%）且无害性最佳（0.92），而领域微调可提升安全性，少样本提示能提高准确率，但复杂查询下有用性下降。
摘要：
大型语言模型（LLMs）通过实现自动医疗问答，在转变数字健康方面具有巨大潜力。然而，确保这些模型满足事实准确性、有用性和安全性等关键行业标准仍然是一个挑战，尤其是对于开源解决方案。我们提出了一个严格的基准测试框架，使用超过1000个健康问题的数据集。我们评估了模型在诚实、有用性和无害性方面的性能。我们的结果突出了评估模型——Mistral-7B、BioMistral-7B-DARE和AlpaCare-13B——在事实可靠性和安全性之间的权衡。AlpaCare-13B达到了最高的准确率（91.7%）和无害性（0.92），而BioMistral-7B-DARE中的领域特定微调尽管规模较小，却提高了安全性（0.90）。少样本提示将准确率从78%提高到85%，并且所有模型在复杂查询上的有用性均有所下降，凸显了临床问答中持续存在的挑战。
英文摘要：
Large Language Models (LLMs) hold significant promise for transforming digital health by enabling automated medical question answering. However, ensuring these models meet critical industry standards for factual accuracy, usefulness, and safety remains a challenge, especially for open-source solutions. We present a rigorous benchmarking framework using a dataset of over 1,000 health questions. We assess model performance across honesty, helpfulness, and harmlessness. Our results highlight trade-offs between factual reliability and safety among evaluated models -- Mistral-7B, BioMistral-7B-DARE, and AlpaCare-13B. AlpaCare-13B achieves the highest accuracy (91.7%) and harmlessness (0.92), while domain-specific tuning in BioMistral-7B-DARE boosts safety (0.90) despite its smaller scale. Few-shot prompting improves accuracy from 78% to 85%, and all models show reduced helpfulness on complex queries, highlighting ongoing challenges in clinical QA.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
