本章节主要介绍模型部署的创建和运行管理操作，包括查看模型部署、创建模型部署、查看基本信息和运行状态、查看监控指标与日志、使用终端，以及启动、停止、重命名和删除模型部署等。在云平台顶部导航栏中，依次选择［产品与服务］-［大模型服务］-［模型部署］，即可进入“模型部署”页面。

查看模型部署

在“模型部署”页面中，可查看当前已经创建的模型部署。列表中显示名称、模型文件、推理引擎、副本数、CPU/内存、AI加速卡、状态、部门/项目和创建时间等信息。

需要重新获取模型部署列表时，可单击列表上方的“刷新”图标。需要查找模型部署时，可通过列表右上角的筛选框设置过滤条件。

模型部署常见状态包括：

状态	说明
未就绪	模型部署尚未进入可以正常提供服务的状态。
就绪	模型部署已经准备完成，可以正常提供服务。

单击模型部署名称，可进入对应的详情页面。单击模型文件或推理引擎名称，可查看对应资源的信息。

创建模型部署

前提条件

模型文件已经添加至模型仓库，或者已经获取可用的模型文件OCI地址。
已经创建与目标模型和运行环境匹配的推理引擎。
当前项目具有模型部署所需的CPU、内存和AI加速卡资源。

操作步骤

在“模型部署”页面中，单击新建模型部署，弹出“新建模型部署”对话框。
配置参数后，单击创建，完成操作。

也可以在“模型广场”中进入目标模型的详情页面，单击部署，进入模型部署创建页面。

参数	说明
部署名称	该模型部署的名称。
副本数	该模型部署需要创建的运行副本数量。
推理引擎	该模型部署使用的推理引擎。模型部署默认使用所选推理引擎的镜像、启动参数和算力资源等配置。
架构	所选推理引擎适用的处理器架构。
模型文件	模型文件的配置方式。该参数值可选`从模型仓库选择`或`手动输入 OCI 地址`。
模型仓库	选择`从模型仓库选择`时，选择模型文件所在的模型仓库。
模型文件	选择`从模型仓库选择`时，从所选仓库中选择用于部署的模型文件。
OCI地址	模型文件对应的OCI地址。选择`从模型仓库选择`后，页面显示所选模型文件的OCI地址；选择`手动输入 OCI 地址`时，需要输入模型文件的OCI地址。
SERVED_MODEL_NAME	模型部署对外提供服务时使用的模型名称。填写后，系统将以环境变量`SERVED_MODEL_NAME`的形式注入部署容器。
启动命令	当前模型部署使用的启动命令。每行输入一个参数，每行不要包含空格。
启动参数	当前模型部署使用的启动参数。每行输入一个参数，每行不要包含空格。
环境变量	当前模型部署使用的环境变量。分别输入变量名和值；需要配置多个环境变量时，可单击`添加`继续配置。

说明：

页面中带有“*”的参数为必填参数。

选择推理引擎后，模型部署默认使用该推理引擎的镜像、启动命令、启动参数和算力资源等配置。

SERVED_MODEL_NAME需要在推理引擎的启动参数中被引用后才会生效，例如--served-model-name ${SERVED_MODEL_NAME}。

创建页面右侧的资源配额区域显示CPU和内存的已使用资源、本次新增资源及总配额。

高级配置

需要覆盖所选推理引擎的启动命令、启动参数或环境变量时，单击高级配置（覆盖启动命令/参数/环境变量）展开高级配置。

高级配置仅应用于当前模型部署，不会修改原推理引擎。配置项留空时，模型部署继续使用所选推理引擎中的默认值。

配置启动命令或启动参数后，可单击格式化整理输入内容。

查看基本信息

在“模型部署”页面中，单击模型部署名称进入详情页面，然后选择基本信息页签。

“基本信息”区域中显示名称、ID、副本数、Pod数、状态、类型、创建时间、更新时间、部门、项目、运行时长和服务地址等信息。

“模型文件”区域中显示模型文件名称、模型文件地址和模型名称等信息。

“推理引擎”区域中显示推理引擎名称、镜像、CPU、内存、AI加速卡、启动命令、启动参数和环境变量等信息。

需要重新获取模型部署信息时，可单击页面右上角的“刷新”图标。

查看运行状态

在模型部署详情页面中，选择状态页签，可查看该模型部署包含的Pod及其运行状态。

Pod列表显示以下信息：

信息	说明
名称	Pod的名称。
阶段	Pod当前所处的运行阶段。
就绪	Pod中已经就绪的容器数量和容器总数。
重启	Pod的重启次数。
节点	Pod所在的计算节点。
启动时间	Pod的启动时间。
运行时长	Pod从启动至当前的运行时长。

查看监控

在模型部署详情页面中，选择监控页签，可查看模型服务专项指标和运行时资源指标。

页面支持选择监控时间范围和目标副本，并按照固定间隔自动刷新监控数据。

专项指标包括：

首Token延迟（TTFT）。
单Token生成时间（TPOT）。
总Token吞吐量。
输入Token吞吐量。
输出Token吞吐量。

运行时资源指标包括：

CPU使用。
内存使用。
网络接收速率。
网络发送速率。

查看日志

在模型部署详情页面中，选择日志页签，可查看模型部署中指定Pod和容器的运行日志。

在Pod下拉列表中选择需要查看的Pod。
在容器下拉列表中选择需要查看的容器。
查看所选容器输出的运行日志。

勾选实时刷新后，页面持续获取最新日志。需要清除页面中已经显示的日志时，可单击清空。

使用终端

在模型部署详情页面中，选择终端页签，可进入模型部署中指定容器的终端。

在Pod下拉列表中选择需要连接的Pod。
在容器下拉列表中选择需要连接的容器。
等待连接状态显示为已连接后，在终端中执行所需命令。

切换Pod或容器后，终端将重新建立连接。

启动模型部署

模型部署处于停止状态时，可执行启动操作。

在“模型部署”页面中，找到待操作模型部署。
单击操作列中的启动。
根据页面提示完成操作。

停止模型部署

可以从模型部署列表或详情页面停止模型部署。

在“模型部署”页面中，找到待操作模型部署，单击操作列中的停止。
在模型部署详情页面中，依次单击更多操作-停止。

根据页面提示完成操作。

重命名模型部署

在模型部署详情页面中，依次单击更多操作-重命名。
输入新的模型部署名称。
根据页面提示完成操作。

删除模型部署

可以删除单个模型部署，也可以在列表中批量删除模型部署。

删除单个模型部署

在“模型部署”页面中，找到待操作模型部署，单击操作列中的更多-删除；也可以进入模型部署详情页面，依次单击更多操作-删除。
根据页面提示完成删除操作。

批量删除模型部署

在“模型部署”页面中，勾选一个或多个待操作模型部署。
单击列表上方的删除模型部署。
根据页面提示完成删除操作。