贝勒大学经济学院的Pham Hoang Van和Scott Cunningham两位教授近期基于OpenAI的GPT系列模型——GPT-3.5与GPT-4，对大型语言模型在事件预测方面的能力进行了深入研究。

在这项研究中，两位教授采用了直接预测和未来叙述两种不同的提示方法，共进行了100次实验。他们利用ChatGPT模型，该模型的训练数据截止至2021年9月，对2022年发生的一系列事件进行了多维度的评估。

实验结果显示，当采用直接预测的方式时，ChatGPT的表现并不尽如人意。例如，在预测2022年奥斯卡最佳男主角的任务中，其准确率仅为25%左右。然而，当研究人员改变策略，采用未来叙述的提示方法时，ChatGPT的准确率大幅提升至97%，成功预测出最佳男主角为国际巨星Will Smith，同时对于女主角的预测也同样精准。

两位教授指出，与直接预测相比，未来叙述的提问方式更能有效地激发ChatGPT潜在的创造力、联想能力和数据分析预测能力。这种提问方式还能巧妙地规避OpenAI内置的一些安全管理设定，使得模型能够更自由地发挥。

以健康咨询为例，当直接向ChatGPT提问关于尿血的问题时，模型会谨慎地建议立即就医，避免延误治疗。但如果采用未来叙述的方式，将问题设置为询问某种病症的症状和治疗方法时，ChatGPT就能提供更为详尽和有帮助的答案。

未来叙述提示方法是一种独特的提问技巧，它要求ChatGPT讲述一个发生在未来的故事情节，其中涉及需要预测的事件和数据。这种方法的巧妙之处在于，它将未来当作已经发生的过去，使得模型能够在更广泛的叙事上下文中进行推理和生成。

作为经济学院的教授，Van和Cunningham还尝试使用ChatGPT进行宏观经济预测。在直接提问时，模型同样选择了拒绝回答。但当采用未来叙述的方法，要求ChatGPT模拟美联邦储备委员会主席Jerome Powell在未来的某个时间点发表演讲时，模型展现出了令人满意的预测能力。

具体来说，ChatGPT在预测通货膨胀率方面表现出了一定的准确性，其预测结果与密歇根大学消费者预期调查的数据相当接近。在失业率预测方面，ChatGPT的预测结果也与实际数据高度吻合。

然而，研究人员也指出，尽管ChatGPT在娱乐行业和宏观经济预测方面展现出了不俗的能力，但整体而言，其预测准确率仍然无法完全与人类专家相媲美。在处理涉及复杂经济机制和需要精细调整的任务时，ChatGPT仍然无法替代人类专家的直觉、经验和对实时数据的敏感性。

此外，ChatGPT的预测能力还受到其训练数据截止日期和范围的限制，以及在生成预测时可能面临的伦理和法律约束。因此，尽管大型语言模型在预测方面取得了一定的进展，但在实际应用中仍需谨慎对待。

论文详细描述了实验过程、结果以及对于ChatGPT预测能力的深入分析，读者可通过访问https://arxiv.org/abs/2404.07396获取更多信息。