模型服务及访问配置

在使用模型服务前，需要先进行访问配置，故先做模型网关配置再做模型体验配置。

模型网关配置

1. 功能概述

模型网关是大模型服务平台的对外服务统一接入层，负责将内部部署的模型服务封装为标准化的对外访问入口，支持按模型名称分发请求到对应后端服务，提供多后端优先级调度、权重分流、域名管理、IP 访问控制等能力。通过网关可实现模型服务的统一对外发布、流量路由与安全管控，同时可与套餐体系联动实现调用限流与配额管理。

2. 操作入口与列表说明

1. 登录大模型服务平台，在左侧主导航栏点击 模型网关，进入路由管理列表页。
2. 页面右上角功能：
   • 根域名：点击可查看与修改平台网关的根域名，所有路由的二级域名均基于根域名拼接生成。
   • 创建路由：点击打开路由创建弹窗，新建对外访问路由。
3. 列表字段说明：
   • 名称：路由的标识名称。
   • 域名：路由对外提供服务的完整访问域名。
   • 模型：该路由下挂载的对外模型数量与标识。
   • AI 服务提供者：路由后端对接的 AI 服务来源。
   • 状态：路由当前运行状态。
   • 部门 / 项目、创建时间：归属信息与创建时间。
   • 操作列：支持对单个路由进行编辑、删除、详情查看等操作。
4. 列表顶部功能：
   • 刷新按钮：同步最新的路由配置与状态数据。
   • 删除路由：勾选多个路由后，可执行批量删除。
   • 筛选与搜索：通过右上角筛选条件与搜索框快速定位目标路由。

3. 根域名管理

根域名是所有网关路由的基础域名后缀，平台支持自定义根域名，满足不同业务的域名规范要求。

3.1 修改根域名

1. 点击页面右上角的 根域名 按钮，弹出修改根域名弹窗。
2. 配置项说明：
   • 当前根域名：展示当前平台默认使用的根域名，如 beacon.ai。
   • 新根域名：输入要修改的目标根域名。
3. 修改影响说明：
   • 修改后，新建路由将默认使用新的根域名。
   • 已有路由继续使用原根域名，不会自动迁移。
   • 环境中可同时存在多个根域名；编辑已有路由时，可选择保留原域名或切换至当前根域名。
4. 确认无误后，点击 确认修改 生效；点击 取消 放弃修改。

4. 创建路由

点击「创建路由」后，按以下步骤完成配置，带 * 标识为必填项。

4.1 基础配置

表格

配置项	必填性	说明
名称	必填	输入路由的名称，用于标识与管理该路由。
二级域名	必填	输入路由的二级域名前缀，平台将自动拼接为 二级域名.根域名 的完整访问地址。要求：全平台唯一，不可与已有路由重复。

4.2 模型 → 后端映射配置

路由核心配置，定义请求分发规则：一条路由可配置多个模型，按请求体中的 model 参数将请求路由到对应 AI 服务；每个模型下可挂载多个后端实例，实现容灾与流量分流。

分发规则

• 模型路由：根据请求中的模型名称，匹配到对应模型分组，转发至该分组下的后端服务。
• 后端优先级：优先级数值越小越优先，作为主用后端；高优先级后端故障时，自动切换到低优先级后端（兜底）。
• 同优先级分流：同一优先级的多个后端，按配置的权重比例分配流量。
• 后端模型必须从所选后端服务可查询的模型列表中选择。

模型配置项

每个模型分组包含以下配置：

表格

配置项	必填性	说明
对外模型名称	选填	调用方使用的模型标识名称。若留空，选择后端模型名称后将自动填入相同的名称作为对外模型名。
后端	必填	下拉选择后端的 AI 服务提供者 / 部署服务。
后端模型名称	必填	选择对应后端服务中实际部署的模型名称。
优先级	必填	填写整数数值，数值越小优先级越高；默认值为 0。
权重	必填	同优先级下的流量分配权重，数值越大分配的流量越多；默认值为 1。

操作说明

• 点击 添加后端：为当前模型新增一个后端实例，用于配置多后端容灾或流量分流。
• 点击 添加模型：为当前路由新增一个模型分组，支持多模型共用同一个网关域名。
• 点击模型分组右上角的 删除：移除整个模型分组。
• 点击后端左侧的红色删除按钮：移除单个后端实例。

4.3 IP 访问控制（黑白名单）

用于对路由的访问来源进行安全管控，下拉选择控制模式：

• 白名单（只允许列出的 IP）：仅白名单内的 IP 地址可以访问该路由，其他 IP 均被拦截。
• 黑名单（屏蔽列出的 IP）：黑名单内的 IP 地址被禁止访问，其他 IP 均可正常访问。
• 不选择则默认不开启 IP 访问控制，所有来源均可访问。

4.4 提交创建

所有配置确认无误后，点击弹窗右下角 创建，完成路由创建；点击 取消 放弃创建并关闭弹窗。

5. 路由管理

5.1 编辑路由

在操作列点击「编辑」，可修改路由的域名、模型后端映射、IP 访问控制等配置；修改保存后实时生效。

5.2 删除路由

• 单个删除：在操作列执行删除操作。
• 批量删除：勾选多个路由后，点击顶部「删除路由」批量删除。
• 注意：删除后路由对外访问地址立即失效，无法恢复，请确认业务无影响后再操作。

5.3 状态管理

可对路由执行启用 / 禁用操作，禁用后路由对外停止服务，适用于紧急下线场景。

6. 注意事项

1. 域名唯一性：二级域名全平台唯一，创建前请确认无重名；根域名修改后，新建路由请留意域名后缀变化。
2. 后端匹配：后端模型名称必须与所选后端服务中实际部署的模型一致，否则会导致请求转发失败。
3. 优先级与权重：合理配置后端优先级实现主备容灾，同优先级按权重分流；建议至少配置 2 个不同优先级的后端，保障服务可用性。
4. IP 名单规范：黑白名单请准确填写 IP 地址，配置错误可能导致合法用户无法访问或异常访问未被拦截。
5. 根域名修改：修改根域名不会自动迁移已有路由，如需统一域名需逐个编辑已有路由进行切换。
6. 服务可用性：路由创建后，请验证接口连通性与模型转发正确性，再正式对外提供服务。

模型体验配置

1. 功能概述

模型体验是大模型服务平台的在线测试与效果对比工具，支持通过网关路由与 API Key 直接调用已部署的模型服务，覆盖对话、图片生成、视觉 / OCR、语音四大类模型场景。平台支持 1~4 列多模型同屏对比，相同输入可同步返回多个模型的输出结果，帮助快速验证模型效果、完成选型对比与功能调试。

2. 通用操作说明

2.1 操作入口

登录大模型服务平台，在左侧主导航栏点击 模型体验，即可进入体验页面。

2.2 前置配置：API Key

• 所有体验场景均需先配置 API Key，为必填项。
• 在页面顶部的 API Key 输入框中，粘贴 sk- 开头的有效密钥；密钥仅在当前会话保留，关闭页面后不会持久化存储。
• 注意：请确保 API Key 已绑定有效套餐，且拥有对应路由的访问权限，否则调用会失败。

2.3 对比布局切换

页面右上角提供布局切换按钮，支持四种对比模式：

• 1 列布局：单模型体验，适合单个模型深度测试。
• 2 列布局：双模型横向对比，适合 A/B 效果验证。
• 3 列布局：三模型横向对比。
• 4 列布局：四模型田字格对比，适合多模型集中选型。

切换布局后，所有对比模型使用相同的输入参数与请求内容，同步返回结果。

2.4 模型选择通用规则

每个对比模型栏均需按以下步骤选择目标模型：

1. 先选择路由：下拉选择已在模型网关中创建的访问路由。
2. 再选择模型：下拉选择该路由下挂载的对应模型。
3. 所有对比模型配置完成后，输入统一的请求内容，即可同步调用并展示结果。

3. 对话体验

对话体验用于测试大语言模型的对话、问答、内容生成等文本交互能力，支持自定义推理参数，多模型同步对比回复效果。

3.1 请求参数配置

参数将应用于所有对比模型，点击「收起参数」可折叠参数面板；点击「恢复默认」可一键还原为初始值。

表格

参数	默认值	说明
系统提示词	空	可选，定义模型的角色定位、回答风格、约束条件等，会作用于整个对话上下文。
Temperature	0.7	控制输出的随机性，取值范围 0~2；数值越低输出越稳定、越确定，数值越高创意性越强、越随机。
Top P	1.00	核采样范围，控制候选词的概率累积阈值；取值越小输出越集中，取值 1.0 表示不限制。
Max Tokens	模型默认	最大输出 Token 长度，限制模型单次回复的最大生成长度。
Presence Penalty	0.0	话题新颖度惩罚，取值范围 - 2.0~2.0；正值会鼓励模型引入新话题，降低内容重复度。
Frequency Penalty	0.0	频率惩罚，取值范围 - 2.0~2.0；正值会减少模型的重复用词，降低内容重复率。

3.2 操作步骤

1. 选择「对话」标签页，配置有效的 API Key。
2. 根据需求调整对话请求参数，或保持默认值。
3. 切换到目标对比布局，为每个模型栏选择对应的路由与模型。
4. 在底部输入框中输入对话消息，按 Enter 发送，或点击「发送」按钮。
5. 各模型栏会同步返回回复结果，可横向对比回答质量、风格与响应速度。
6. 点击「清空」可清空当前对话内容，重新开始测试。

4. 图片生成体验

图片生成体验用于测试文生图模型的生成效果，支持自定义尺寸与随机种子，多模型同步出图对比。

4.1 请求参数配置

表格

参数	说明
图片尺寸	下拉选择生成图片的分辨率，支持：512×512、768×768、1024×1024、1024×1792、1792×1024。
Seed	随机种子，默认随机；填写固定数值后，相同提示词与 Seed 可复现一致的生成结果，便于效果复现与调试。

4.2 操作步骤

1. 选择「图片生成」标签页，配置有效的 API Key。
2. 设置图片尺寸、Seed 等参数。
3. 切换对比布局，为每个模型栏选择对应的文生图路由与模型。
4. 在底部输入框中输入图片生成提示词，按 Enter 或点击「生成」按钮。
5. 各模型栏同步返回生成的图片，可对比画面效果、风格还原度与生成速度。
6. 点击「清空」可清空历史生成记录。

5. 视觉 / OCR 体验

视觉 / OCR 体验用于测试多模态模型的图片理解、文字识别、图像描述等能力，支持「上传图片 + 提示词」的方式调用，多模型同步对比识别效果。

5.1 前置配置

• 选择图片：必填，点击「+」上传本地图片，所有对比模型共用同一张测试图片。
• 支持常见图片格式，可用于 OCR 文字识别、图片内容描述、视觉问答等场景。

5.2 操作步骤

1. 选择「视觉 / OCR」标签页，配置有效的 API Key。
2. 点击上传区域，选择本地测试图片。
3. 切换对比布局，为每个模型栏选择对应的视觉模型路由与模型。
4. 在底部输入框中输入指令提示词，例如 “识别图片中的所有文字”“描述这张图片的内容”。
5. 点击「识别」按钮，各模型同步返回识别 / 理解结果，对比效果差异。
6. 点击「清空」可重置图片与输入内容。

6. 语音体验

语音体验支持文本转语音（TTS）与语音转文本（ASR）两种模式，用于测试语音类模型的合成与识别效果。

6.1 文本转语音

将输入的文本合成为语音音频，支持多参数调整与效果试听。

参数配置

表格

参数	说明
音色	选择合成语音的音色风格，可选音色由所选模型决定。
格式	输出音频格式，默认 mp3。
合成语言	选择某一国家语言，如英语。
语速	调整合成语速，默认 1 为正常语速。

操作步骤

1. 选择「语音」标签页，点击「文本转语音」子模式。
2. 配置有效的 API Key，设置音色、格式、语言、语速等参数。
3. 选择对应的语音合成路由与模型。
4. 在底部输入框中输入需要合成的文本内容。
5. 点击「生成」按钮，生成完成后可在线试听语音效果。

6.2 语音转文本

将音频文件或实时录音识别为文字，支持多模型对比识别准确率。

音频输入方式

• 上传文件：上传本地音频文件进行识别。
• 麦克风录音：通过设备麦克风实时录制音频进行识别。

操作步骤

1. 选择「语音」标签页，点击「语音转文本」子模式。
2. 配置有效的 API Key，选择音频输入方式（上传文件 / 麦克风录音）。
3. 切换对比布局，为每个模型栏选择对应的语音识别路由与模型。
4. 上传音频文件或完成录音后，点击「识别」按钮。
5. 各模型同步返回文字识别结果，对比识别准确率与效果。

7. 注意事项

1. 权限校验：请确保使用的 API Key 拥有对应路由的访问权限，且套餐配额充足，否则会出现调用失败、限流等问题。
2. 参数一致性：同一场景下的请求参数会应用于所有对比模型，确保对比条件一致，结果具备参考性。
3. 响应时长：多模型同时调用时，响应速度取决于最慢的模型；大参数量模型、大图、长音频场景响应时间会相应延长。
4. 数据安全：API Key 仅在当前会话保存，请勿在公共设备使用；上传的测试图片、音频请确保合规，不包含敏感信息。
5. 模型匹配：请选择与场景匹配的模型，例如对话场景选语言模型、图片生成选文生图模型，选错模型会导致调用失败。
6. 结果对比：建议控制变量测试，固定参数、输入内容后对比模型输出，更易评估模型效果差异。