AI模型评测
  1. 首页
  2. AI模型评测

列表

MMBench

MMBench

MMBench是一个多模态基准测试，由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员推出。该体系开发了一个综合评估流程，从感知到认知能力逐级细分评估，覆盖20项细粒度能力，从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测，循环打乱选项验证输出结果的一致性，基于ChatGPT精准匹配模型回复至选项。MMBench的特点和优势包括基于感知与推理的评估维度逐级细分、更具鲁棒性的评估方式、更可靠的模型输出提取方法等。
AI实用工具 2024年05月19日
MMLU

MMLU

MMLU是一种针对大模型的语言理解能力的测评，涵盖57项任务，包括初等数学、美国历史、计算机科学、法律等，用以评测大模型基本的知识覆盖范围和理解能力。该测试的语言是英文。
AI实用工具 2024年05月20日
Open LLM Leaderboard

Open LLM Leaderboard

Open LLM Leaderboard 是 HuggingFace 推出的开源大模型排行榜单，基于 Eleuther AI Language Model Evaluation Harness 封装。社区在发布了大量的大型语言模型和聊天机器人后，往往伴随着对其性能的夸大宣传，很难过滤出开源社区取得的真正进展以及目前的最先进模型。因此，Hugging Face 使用 Eleuther AI语言模型评估框架对模型进行四个关键基准测试评估。这是一个统一的框架，用于在大量不同的评估任务上测试生成式语言模型。Ope
AI实用工具 2024年05月20日