基准测试

本章节主要介绍基准测试的创建、结果查看、停止和删除操作。基准测试使用固定测试方法直连单个vLLM副本，用于测量模型部署的响应延迟和吞吐能力。在云平台顶部导航栏中，依次选择［产品与服务］-［大模型服务］-［基准测试］，即可进入“基准测试”页面。

查看基准测试

在“基准测试”页面中，可查看已经创建的测试任务。列表中显示名称、模型部署、测试类型、输出吞吐、TTFT P95、状态、部门/项目和创建时间等信息。

需要重新获取基准测试列表时，可单击列表上方的“刷新”图标。需要查找测试任务时，可通过列表右上角的筛选框设置过滤条件。

单击基准测试名称，可进入对应的详情页面。单击模型部署名称，可进入对应的模型部署详情页面。

创建基准测试

前提条件

• 已经创建使用vLLM推理引擎的模型部署。
• 目标模型部署已经进入就绪状态。

操作步骤

1. 在“基准测试”页面中，单击创建测试，弹出“创建基准测试”对话框。
2. 配置参数后，单击开始测试。

参数	说明
名称	该基准测试任务的名称。
模型部署	需要执行基准测试的模型部署。选项中同时显示模型部署的当前状态。
测试类型	基准测试使用的测试类型，例如延迟测试。

说明：

• 页面中带有“*”的参数为必填参数。
• 当前页面显示的方法版本为beacon-benchmark/v1。
• 测试方法的固定输出Token数为128。

开始测试后，可返回“基准测试”页面查看测试状态和结果摘要。测试完成后，状态显示为已完成。

查看测试结果

在“基准测试”页面中，单击基准测试名称，可进入“基准测试详情”页面。

查看基本信息

“基本信息”区域显示以下内容：

信息	说明
名称	基准测试任务的名称。
ID	基准测试任务在系统中的唯一标识。
模型部署	当前测试使用的模型部署。
模型名称	当前测试使用的模型名称。
部门	基准测试任务所属的部门。
项目	基准测试任务所属的项目。
状态	基准测试任务当前的运行状态。
测试类型	当前测试使用的测试类型。
并发数	测试请求的并发数量。
创建时间	基准测试任务的创建时间。
更新时间	基准测试任务的最近更新时间。

查看结果指标

“测试结果”区域显示测试任务的吞吐、请求和延迟指标。

吞吐及请求指标包括：

指标	说明
输出吞吐	模型每秒输出的Token数量。
输入吞吐	模型每秒处理的输入Token数量。
总请求数	测试期间发送的请求总数。
成功请求数	测试期间成功完成的请求数量。
失败请求数	测试期间执行失败的请求数量。
未完成请求数	测试结束时尚未完成的请求数量。
错误率	失败请求在总请求中的占比。
输入Token均值	每个请求包含的平均输入Token数量。
输出Token均值	每个请求生成的平均输出Token数量。
测试耗时	当前基准测试任务的总运行时长。

延迟指标包括：

指标	说明
TTFT	Time to First Token，模型从收到请求到输出首个Token所需的时间。
TPOT	Time Per Output Token，模型生成每个输出Token所需的平均时间。
请求延迟	请求从发送到完成所需的时间。

TTFT、TPOT和请求延迟分别显示均值、P50、P95和P99数据。

测试结果底部同时显示当前模型部署使用的AI加速卡和推理引擎镜像。

需要重新获取测试结果时，可单击页面右上角的“刷新”图标。

停止基准测试

基准测试正在运行时，可以停止测试。

• 在“基准测试”页面中，找到待操作测试任务，单击操作列中的停止。
• 在“基准测试详情”页面中，依次单击更多操作-停止。

根据页面提示完成操作。

删除基准测试

可以删除单个基准测试，也可以在列表中批量删除测试任务。

删除单个基准测试

1. 在“基准测试”页面中，找到待操作测试任务，单击操作列中的删除；也可以进入基准测试详情页面，依次单击更多操作-删除。
2. 根据页面提示完成删除操作。

批量删除基准测试

1. 在“基准测试”页面中，勾选一个或多个待操作测试任务。
2. 单击列表上方的删除基准测试。
3. 根据页面提示完成删除操作。