本章节主要介绍在推理引擎页面中查看和创建推理引擎，以及查看详情、编辑、重命名、克隆和删除推理引擎等操作。推理引擎用于配置模型推理所需的镜像、启动命令、启动参数和算力资源，可在模型部署时复用。在云平台顶部导航栏中，依次选择［产品与服务］-［大模型服务］-［推理引擎］，即可进入“推理引擎”页面。

查看推理引擎

在“推理引擎”页面中，可查看当前已经创建的推理引擎。列表中显示名称、类型、镜像、CPU、内存、AI加速卡、部门/项目和创建时间等信息。

需要重新获取推理引擎列表时，可单击列表上方的“刷新”图标。需要查找推理引擎时，可通过列表右上角的筛选框设置过滤条件。

单击推理引擎名称，可进入对应的详情页面。

创建推理引擎

在“推理引擎”页面中，单击创建推理引擎，弹出“创建推理引擎”对话框。
配置参数后，单击创建，完成操作。

参数	说明
名称	该推理引擎的名称。
描述	该推理引擎的说明信息。
引擎可见性	该推理引擎的可见性。该参数值可选`私有引擎`或`公有引擎`。
类型	该推理引擎的类型，例如vLLM。
CPU	运行该推理引擎需要使用的CPU资源。
内存（Gi）	运行该推理引擎需要使用的内存资源。
AI加速卡型号	运行该推理引擎需要使用的AI加速卡型号。
数量（张）	运行该推理引擎需要使用的AI加速卡数量。
架构	推理引擎适用的处理器架构。该参数值可选`X86架构`或`ARM架构`。
镜像	推理引擎使用的容器镜像及镜像版本。
启动命令	容器启动时执行的命令。每行输入一个参数，每行不要包含空格。
启动参数	推理引擎启动时使用的参数。每行输入一个参数，每行不要包含空格。
环境变量	推理引擎运行时使用的环境变量。分别输入变量名和值；需要配置多个环境变量时，可单击`添加`继续配置。

说明：

页面中带有“*”的参数为必填参数。

选择AI加速卡型号后，页面显示对应的资源名称及当前单节点可用数量。

配置多张AI加速卡时，请确认模型与推理后端兼容对应的张量并行数量。页面提示通常使用2张、4张或8张AI加速卡时兼容性更好。

默认模型根目录为/mnt/models。

配置启动命令或启动参数后，可单击格式化整理输入内容。

平台仅支持使用8000端口。

启动参数支持使用${SERVED_MODEL_NAME}变量。在创建模型部署时，系统可将该变量动态替换为模型名称。

查看详情

在“推理引擎”页面中，单击推理引擎名称，可进入“推理引擎详情”页面。

详情页面显示以下信息：

信息	说明
名称	推理引擎的名称。
ID	推理引擎在系统中的唯一标识。
引擎可见性	推理引擎的可见性类型。
类型	推理引擎的类型。
架构	推理引擎适用的处理器架构。
创建时间	推理引擎的创建时间。
更新时间	推理引擎信息的最近更新时间。
部门	推理引擎所属的部门。
项目	推理引擎所属的项目。
镜像	推理引擎使用的容器镜像。
CPU	推理引擎配置的CPU资源。
内存（Gi）	推理引擎配置的内存资源。
AI加速卡	推理引擎配置的AI加速卡型号和数量。
启动命令	推理引擎的容器启动命令。
启动参数	推理引擎启动时使用的参数。
环境变量	推理引擎运行时使用的环境变量。

需要重新获取详情信息时，可单击页面右上角的“刷新”图标。

编辑推理引擎

可以从推理引擎列表或推理引擎详情页面编辑推理引擎。

在“推理引擎”页面中，找到待操作推理引擎，单击操作列中的编辑。
在“推理引擎详情”页面中，依次单击更多操作-编辑。

修改推理引擎的配置后，根据页面提示完成保存。

重命名推理引擎

可以从推理引擎列表或推理引擎详情页面重命名推理引擎。

在“推理引擎”页面中，找到待操作推理引擎，单击操作列中的重命名。
在“推理引擎详情”页面中，依次单击更多操作-重命名。

输入新的推理引擎名称后，根据页面提示完成操作。

克隆推理引擎

克隆推理引擎时，系统将已有推理引擎的配置填入“克隆推理引擎”对话框。您可以在原配置的基础上修改名称、资源和运行参数，快速创建新的推理引擎。

在“推理引擎”页面中，单击待操作推理引擎操作列中的更多-克隆；也可以进入推理引擎详情页面，依次单击更多操作-克隆。
在“克隆推理引擎”对话框中修改名称、描述、引擎可见性、算力资源、架构、镜像、启动命令、启动参数或环境变量。
单击克隆，完成操作。

删除推理引擎

可以删除单个推理引擎，也可以在列表中批量删除推理引擎。

删除单个推理引擎

在“推理引擎”页面中，找到待操作推理引擎，单击操作列中的更多-删除；也可以进入推理引擎详情页面，依次单击更多操作-删除。
根据页面提示完成删除操作。

批量删除推理引擎

在“推理引擎”页面中，勾选一个或多个待操作推理引擎。
单击列表上方的删除推理引擎。
根据页面提示完成删除操作。