AI模型评测

1. 首页
2. AI模型评测

PubMedQA

PubMedQA是一个涵盖了1K专家标注、61.2K未标注和211.3K个人工生成的QA实例的生物医学研究问答数据集，该排行榜目前已收录18个模型的医学测试得分。

AI实用工具 2024年05月18日 0 点赞 0 评论 125 浏览

H2O EvalGPT

H2O EvalGPT 是 H2O.ai 用于评估和比较 LLM 大模型的开放工具，它提供了一个平台来了解模型在大量任务和基准测试中的性能。通过相关性、透明度、速度和更新、范围以及交互性和人工一致性等特点，H2O EvalGPT 可以帮助用户为项目选择最有效的模型完成具体任务。

AI实用工具 2024年05月21日 0 点赞 0 评论 150 浏览

LLMEval3

LLMEval-3是由复旦大学NLP实验室推出的大模型评测基准，涵盖哲学、经济学、法学、教育学、文学、历史学、理学、工学、农学、医学、军事学、管理学、艺术学等教育部划定的13个学科门类、50余个二级学科，共计约20W道标准生成式问答题目。

AI实用工具 2024年05月18日 0 点赞 0 评论 126 浏览

Chatbot Arena

Chatbot Arena是一个大型语言模型的基准平台，采用众包方式进行匿名随机对战。用户可以通过demo体验地址进入对战平台，输入自己感兴趣的问题，提交问题后，匿名模型会两两对战，分别生成相关答案，需要用户对答案做出评判。支持多轮对话，最终使用Elo评分系统对大模型的能力进行综合评估。

AI实用工具 2024年05月22日 0 点赞 0 评论 218 浏览

HELM

HELM是由斯坦福大学推出的大模型评测体系，主要包括场景、适配、指标三个模块。它评测主要覆盖的是英语，有7个指标，包括准确率、不确定性/校准、鲁棒性、公平性、偏差、毒性、推断效率。任务包括问答、信息检索、摘要、文本分类等。

AI实用工具 2024年05月21日 0 点赞 0 评论 188 浏览

MMBench

MMBench是一个多模态基准测试，由上海人工智能实验室、南洋理工大学、香港中文大学、新加坡国立大学和浙江大学的研究人员推出。该体系开发了一个综合评估流程，从感知到认知能力逐级细分评估，覆盖20项细粒度能力，从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测，循环打乱选项验证输出结果的一致性，基于ChatGPT精准匹配模型回复至选项。MMBench的特点和优势包括基于感知与推理的评估维度逐级细分、更具鲁棒性的评估方式、更可靠的模型输出提取方法等。

AI实用工具 2024年05月19日 0 点赞 0 评论 213 浏览

CMMLU

CMMLU是一个完全中国化的中文测试基准，涵盖了从基础学科到高级专业水平的67个主题，包括需要计算和推理的自然科学、需要知识的人文科学和社会科学，以及需要生活常识的中国驾驶规则等。许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。

AI实用工具 2024年05月21日 0 点赞 0 评论 186 浏览

OpenCompass

OpenCompass是由上海人工智能实验室于2023年8月正式推出的大模型开放评测体系，通过完整开源可复现的评测框架，支持大语言模型、多模态模型各类模型的一站式评测，并定期公布评测结果榜单。

AI实用工具 2024年05月22日 0 点赞 0 评论 209 浏览

SuperCLUE

SuperCLUE是一个中文通用大模型综合性评测基准，从三个不同的维度评价模型的能力。其中基础能力包括语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等10项能力。专业能力涵盖了从数学、物理、地理到社会科学等50多项能力。中文特性能力针对有中文特点的任务，包括中文成语、诗歌、文学、字形等10项多种能力。

AI实用工具 2024年05月19日 0 点赞 0 评论 193 浏览

FlagEval

FlagEval（天秤）是一个由智源研究院联合多个高校团队打造的大模型评测平台，采用“能力—任务—指标”三维评测框架，旨在提供全面、细致的评测结果。该平台提供了30多种能力、5种任务和4大类指标，共600多个维度的全面评测，任务维度包括22个主客观评测数据集和84433道题目。

AI实用工具 2024年05月22日 0 点赞 0 评论 194 浏览