基准测试大型语言模型的波动性
Benchmarking Large Language Model Volatility
AI总结：
本研究通过美国股市投资的新闻情绪分析案例，揭示了LLM非确定性输出在金融文本任务中的显著波动性及其对投资组合的下游影响，并评估了温度调整与输出集成两种补救措施的代价，为金融决策中的不确定性管理提供了实用见解。
摘要：
大型语言模型（LLM）非确定性输出对金融文本理解任务的影响尚未得到充分研究。通过一个基于新闻情绪分析投资美国股票市场的引人注目的案例研究，我们揭示了句子级情绪分类结果中的显著变异性，凸显了LLM输出的固有波动性。这些不确定性向下游传递，导致投资组合构建和收益方面出现更大的差异。虽然调整语言模型解码器中的温度参数提供了一种潜在的补救措施，但代价是抑制了创造力。同样，虽然集成多个输出减轻了波动性输出的影响，但它需要大量的计算投入。本研究为从业者提供了宝贵的见解，以熟练应对将LLM整合到金融决策中的不确定性，特别是在由非确定性信息决定的场景中。
英文摘要：
The impact of non-deterministic outputs from Large Language Models (LLMs) is not well examined for financial text understanding tasks. Through a compelling case study on investing in the US equity market via news sentiment analysis, we uncover substantial variability in sentence-level sentiment classification results, underscoring the innate volatility of LLM outputs. These uncertainties cascade downstream, leading to more significant variations in portfolio construction and return. While tweaking the temperature parameter in the language model decoder presents a potential remedy, it comes at the expense of stifled creativity. Similarly, while ensembling multiple outputs mitigates the effect of volatile outputs, it demands a notable computational investment. This work furnishes practitioners with invaluable insights for adeptly navigating uncertainty in the integration of LLMs into financial decision-making, particularly in scenarios dictated by non-deterministic information.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
