产品介绍
Beacon 是 EasyStack 云平台提供的大模型服务云产品，用于统一管理模型资产、部署模型推理服务，并向业务应用提供模型访问能力。
用户可以通过模型广场和模型仓库创建、导入及管理模型，使用推理引擎配置模型运行所需的镜像、计算资源和启动参数，并通过模型部署将模型发布为在线推理服务。
Beacon 支持接入平台内部的模型部署及外部 OpenAI 兼容服务，通过模型网关提供统一的模型访问入口。同时，用户可以使用模型体验验证模型服务能力，通过基准测试测试模型部署的推理性能，并结合套餐管理、API Key 和 Token 用量管理模型服务的访问范围、调用身份、调用限额及使用情况。
产品优势
统一管理模型资产
统一管理模型、模型文件和推理引擎。支持通过 ModelScope、Hugging Face 地址导入模型文件或从本地上传模型文件，并通过模型广场集中维护模型的提供者、模型类型、任务类型和推理配置。
适配多种推理资源
支持 NVIDIA GPU、海光 DCU 和昇腾 NPU 等 AI 加速卡，并提供基于 vLLM 和 SGLang 的推理引擎镜像。用户可以根据模型和硬件环境配置计算资源、系统架构、推理镜像及启动参数。
统一接入模型服务
支持接入平台内部的模型部署和外部 OpenAI 兼容服务，并通过模型网关为不同模型服务提供统一访问入口。模型网关支持为同一模型配置多个后端，并按照优先级和权重进行服务选择。
管理模型调用过程
通过套餐控制模型网关路由的访问范围以及请求和 Token 限额，并通过 API Key 管理模型服务的调用身份。结合模型体验、基准测试和 Token 用量，可以完成模型能力验证、推理性能测试及调用情况查看。
主要功能
模型广场
用于创建和管理模型。支持按照模型提供者、模型类型和任务类型检索模型，并查看模型描述、模型文件及关联的推理引擎。创建模型时，可以绑定模型仓库中的已有模型文件，也可以导入新的模型文件。
模型仓库
支持通过 ModelScope、Hugging Face 地址导入模型文件或从本地上传模型文件，并通过公共仓库和私有仓库统一存储及管理模型文件。支持设置仓库容量、查看任务进度和管理 LoRA 微调模型文件。
推理引擎
用于配置模型部署所需的推理环境。支持配置 CPU、内存、AI 加速卡型号与数量、x86 或 ARM 架构、推理镜像、启动命令、启动参数和环境变量。推理引擎可以作为配置模板重复用于模型部署。
模型部署
用于将模型文件部署为在线推理服务。支持选择模型文件和推理引擎、配置部署副本数及模型名称，并对模型部署执行启动、停止、重命名和删除操作。用户可以查看模型部署的 Pod 状态、运行监控、容器日志和终端。
AI 服务提供者
用于将模型服务接入 Beacon。内部 AI 服务提供者可以关联平台中的模型部署；外部 AI 服务提供者可以配置 OpenAI 兼容的访问地址和访问密钥。
模型网关
用于为模型服务提供统一访问入口。支持配置路由域名、对外模型及 AI 服务提供者后端。同一条路由可以包含多个模型，同一模型可以关联多个后端，并按照优先级和权重进行服务选择。路由还可以关联 IP 黑白名单进行访问控制。
模型体验
用于直接验证模型服务能力。用户可以粘贴 API Key，选择模型网关路由和模型，体验对话、图片生成、视觉或 OCR、语音等模型能力。
基准测试
用于测试模型部署的推理性能。用户可以选择已就绪的模型部署创建测试，并查看输入吞吐、输出吞吐、首 Token 延迟、单 Token 生成耗时、请求延迟、错误率和测试耗时等结果。
套餐管理
用于管理模型服务的访问范围和调用限额。支持配置请求限速、Token 限速及套餐允许访问的模型网关路由，并支持将套餐共享给其他项目。
API Key
用于标识模型服务的调用身份。API Key 可以绑定套餐，并通过签发的密钥访问套餐授权的模型网关路由。同一 API Key 可以持有多个密钥，以便进行密钥轮换。
Token 用量
用于查看模型服务的调用情况和 Token 消耗。支持按照部门、项目、用户、API Key、入口域名和模型查看调用汇总及最近请求，并支持导出报表和查看模型用量趋势。
