详细介绍
工具简介
SuperBench(superbench 大模型评测榜单)是由清华大学基础模型研究中心联合中关村实验室于2024年共同发布的大模型综合能力评测榜单。作为一个独立的第三方非盈利性评测机构,SuperBench致力于为大模型领域提供科学、客观、公平、公正、公开的评测标准,推动国内大模型技术、生态和应用的健康发展。其官网入口为 fm.ai.tsinghua.edu.cn/superbench,用户可在网页端直接访问榜单、数据集与评测报告。
在大模型百花齐放的时代,模型能力的强弱往往难以用单一指标衡量。SuperBench团队依托在大模型领域多年的研究积累,构建了一整套完整的评测框架,并率先提出了五项大模型原生评测基准,在此基础上不断丰富评测维度。评测结果以双月级报告的形式对外发布,团队持续优化评测方法、补充新的测试数据,并跟踪新的主流开源和闭源模型,从而促进大模型技术进步和产业落地。
与许多静态榜单不同,SuperBench强调评测的开放性、动态性、科学性与权威性。它结合开源数据集与闭源数据集,并计划推出公开验证集与封闭测试集,既帮助模型优化,又防止刷题;每个评测周期会刷新题目与类型,避免静态考题导致的过拟合和作弊现象。团队还研发了裁判模型 CritiqueLLM 等自研评测算法,并构建了 SuperBench 检测平台,确保评测结果科学可靠、过程可追溯。
主要功能
评测榜单展示
SuperBench官网首页提供直观的评测榜单入口,用户可查看不同模型在各项基准上的排名情况。榜单以排名、模型名称等维度呈现,帮助开发者、研究者快速了解当前主流大模型的综合能力分布,为模型选型提供参考依据。
评测数据集管理
平台设有独立的“评测数据集”板块,汇集了用于评测的多种数据集资源。数据集结合开源与闭源内容,并规划公开验证集与封闭测试集,既服务于模型优化,也保障评测的防刷题能力,让评测结果更具参考价值。
双月评测报告
SuperBench以双月级报告的形式对外发布评测结果,报告会持续跟踪新的主流开源和闭源模型,并不断优化评测方法、补充测试数据。用户可通过“报告”栏目获取阶段性评测结论,了解模型能力的动态变化趋势。
加入评测通道
平台提供“加入评测”入口,模型开发者或团队可提交模型参与评测。这一开放机制让更多模型能够进入统一评测体系,保证评测覆盖面的广泛性,也让榜单能够持续吸纳新模型、保持活力。
动态与资讯更新
官网设有“动态”栏目,用于发布评测相关的更新信息、榜单变化及活动通知。用户可以借此跟踪评测体系的迭代节奏,及时了解新基准、新数据集和新报告的上线情况。
自研裁判模型与检测平台
SuperBench团队研发了裁判模型 CritiqueLLM 等自研评测算法,并构建了 SuperBench 检测平台,用于支撑大规模、标准化的模型评测。这些技术手段保障了评测过程的科学性与结果的可信度,是榜单权威性的重要技术基础。
产品优势
开放性
SuperBench评测数据集结合开源数据集与闭源数据集,后续版本将推出公开的验证集与封闭的测试集。这种设计既有助于模型优化,又能有效防止刷题行为,兼顾了开放共享与评测严谨性。
动态性
平台定期发布评测结果与报告,并在每个周期刷新评测数据集的题目与类型。动态更新机制避免了静态考题导致的过拟合现象,可以有效防止作弊,使榜单能够真实反映模型当前的能力水平。
科学性
团队基于公平、公正、公开的原则专门设计了一整套评测体系,包含五大原生评测基准,并在此基础上构建了 SuperBench 检测平台,研发了裁判模型 CritiqueLLM 等自研评测算法,从体系设计到算法实现多层保障评测结果的科学可靠。
权威性
SuperBench由清华大学和中关村实验室联合发布,属于独立的第三方非盈利性评测机构。评测体系公开透明、评测过程可追溯,这种背靠学术机构的中立属性,使其在众多商业榜单中具备较强的公信力。
使用方法
SuperBench为纯 Web 平台,使用流程较为简洁:
- 访问官网:在浏览器中打开 fm.ai.tsinghua.edu.cn/superbench,进入首页。
- 浏览榜单:点击“评测榜单”或首页“最新榜单”入口,查看各模型的排名与评测结果。
- 查阅数据集与报告:通过“评测数据集”和“报告”栏目,了解评测所用的数据资源与阶段性结论。
- 提交模型参与评测:如有需要,点击“加入评测”按提示提交模型信息,参与统一评测。
- 关注动态:定期查看“动态”栏目,跟踪榜单更新与新报告发布。
应用场景
- 模型选型参考:企业在选择基础模型时,可参考榜单排名与报告结论,降低选型试错成本。
- 学术研究:研究者可借助公开的评测基准与数据集,开展模型能力分析与对比研究。
- 模型开发优化:开发者可通过参与评测获取反馈,定位模型短板,指导后续优化方向。
- 行业趋势观察:媒体、投资机构与从业者可通过双月报告跟踪大模型能力演进与格局变化。


