C-Eval是一个全面的中文基础模型评估套件,由上海交通大学、清华大学和爱丁堡大学的研究人员在2023年5月份联合推出。它的主要功能是评测大模型的中文理解能力。

image.png

C-Eval包含了13948个多项选择题,这些题目涵盖了52个不同的学科,包括人文、社科、理工以及其他专业四个大方向,并且分为四个难度级别:中学、高中、大学和专业测试。此外,C-Eval还包含了一个更具挑战性的子集C-Eval Hard,它包含了8个具有挑战性的数学、物理和化学科目,需要更高的推理能力才能解决。

C-Eval的推出,为AI大模型的研发和测试提供了全面而深入的评估标准,有助于分析基础模型的重要优势和缺点,并能促进这些模型的发展和增长。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

类似网站