AI模型评测

Chatbot Arena

Chatbot Arena是一个大型语言模型的基准平台,采用众包方式进行匿名随机对战。用户可以通过demo体验地址进入对战平台,输入自己感兴趣的问题,提交问题后,匿名模型会两两对战,分别生成相关答案,需要用户对答案做出评判。支持多轮对话,最终使用Elo评分系统对大模型的能力进行综合评估。

MMLU

MMLU是一种针对大模型的语言理解能力的测评,涵盖57项任务,包括初等数学、美国历史、计算机科学、法律等,用以评测大模型基本的知识覆盖范围和理解能力。该测试的语言是英文。

Open LLM Leaderboard

Open LLM Leaderboard 是 HuggingFace 推出的开源大模型排行榜单,基于 Eleuther AI Language Model Evaluation Harness 封装。社区在发布了大量的大型语言模型和聊天机器人后,往往伴随着对其性能的夸大宣传,很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此,Hugging Face 使用 Eleuther AI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架,用于在大量不同的评估任务上测试生成式语言模型。Ope