Loading
close

使用场景

time 更新时间:2026-10-08 16:41:12

大模型服务

  • 模型资产统一管理

    当企业需要使用多个来源、不同类型的模型时,分散保存的模型文件难以统一查找、维护和复用。

    Beacon 提供模型广场和模型仓库,支持通过 ModelScope、Hugging Face 地址导入模型文件或从本地上传模型文件,并统一管理模型的提供者、模型类型、任务类型、模型文件和推理配置。

  • 模型推理服务部署

    当企业需要将大语言模型、文生图、OCR、语音转文本、重排序或向量检索等模型部署为在线服务时,需要根据模型和硬件环境准备对应的推理资源及运行配置。

    Beacon 支持配置推理引擎使用的 AI 加速卡、系统架构、推理镜像、计算资源和启动参数,并通过模型部署将模型发布为在线推理服务。

  • 内外部模型服务统一接入

    当业务同时使用平台内部部署的模型和外部 AI 服务时,不同服务的访问地址及后端配置难以统一管理。

    Beacon 支持通过 AI 服务提供者接入内部模型部署和外部 OpenAI 兼容服务,并通过模型网关统一配置访问域名、对外模型和路由后端。

  • 模型服务访问与调用管理

    当不同项目或业务需要访问不同的模型服务时,需要控制可访问的模型范围、请求频率和 Token 使用额度。

    Beacon 支持通过套餐配置可访问的模型网关路由、请求限速和 Token 限速,并通过 API Key 管理模型服务的调用身份和访问权限。

  • 模型能力验证与调用分析

    当用户需要在业务接入前验证模型效果和推理性能,或在模型投入使用后查看调用情况时,需要统一的验证、测试和用量查看能力。

    Beacon 提供模型体验、基准测试和 Token 用量功能,支持验证对话、图片生成、视觉或 OCR、语音等模型能力,查看模型推理性能、调用次数及 Token 消耗。

此篇文章对你是否有帮助?
没帮助
locked-file

您暂无权限访问该产品