AI模型评测

C-Eval

C-Eval是一个适用于大语言模型的多层次多学科中文评估套件,由上海交通大学、清华大学和爱丁堡大学研究人员在2023年5月份联合推出,用以评测大模型中文理解能力。

Open LLM Leaderboard

Open LLM Leaderboard 是 HuggingFace 推出的开源大模型排行榜单,基于 Eleuther AI Language Model Evaluation Harness 封装。社区在发布了大量的大型语言模型和聊天机器人后,往往伴随着对其性能的夸大宣传,很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此,Hugging Face 使用 Eleuther AI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架,用于在大量不同的评估任务上测试生成式语言模型。Ope

MMLU

MMLU是一种针对大模型的语言理解能力的测评,涵盖57项任务,包括初等数学、美国历史、计算机科学、法律等,用以评测大模型基本的知识覆盖范围和理解能力。该测试的语言是英文。