安装部署手册

一、高性能安装部署前置条件

1. 需求平台版本为621，平台621已经安装部署完成。

2. 基础云产品已经安装完成（cinder， nova， neutron， 监控等云产品）

3. 高性能节点已扩容部署完成，节点磁盘信息中有高性能缓存盘信息。

4. 平台license开启商业存储对接入口（高性能激活后需要使用对接包完成对接驱动加载）。

二、高性能安装部署前准备

需要准备的软件：

软件	架构	软件信息	获取方式
alcubierre-arm-6.2.1.es	arm	arm平台高性能621安装包	产品部发布信息，网盘获取。使用前进行md5校验
(公司名+许可时间).lic	arm	arm平台高性能621的license	云产品授权申请邮件 or 平台授权申请第二套高性能解决方案lic
alcubierre-x86-6.2.1.es	x86	x86平台高性能621安装包	产品部发布信息，网盘获取。使用前进行md5校验
(公司名+许可时间).lic	x86	x86平台高性能621的license	云产品授权申请邮件 or 平台授权申请第二套高性能解决方案lic

实施需要提供的软件：

软件	架构	软件信息	获取方式
node.data	arm	arm平台node.data信息	环境页面获取
node.data	x86	x86平台node.data信息	环境页面获取

需要准备的对接包：

对接包	说明	获取方式
高性能云存储服务端解决方案配置包	用于规划和配置存储端的网络角色使用划分	商业存储对接包制作工具 选择型号EasyStack-Alcubierre-Server-621
高性能云存储商业存储对接包	用于加载高性能cinder驱动、存储业务网配置及平台对接配置	商业存储对接包制作工具 选择型号EasyStack_Alcubierre_621
高性能云存储CSI对接包	用于加载高性能csi驱动、存储业务网配置及平台对接	商业存储对接包制作工具 选择型号EasyStack-Alcubierre-CSI-621

说明：

（1）如果高性能节点为通过第一套平台新建或扩容，获取node.data后，申请平台lic时，可同时通过云产品申请邮件流程，并行申请第一套平台的高性能云产品授权。

（2）如果高性能节点为第二套高性能存储平台，获取node.data后，通过平台lic申请邮件流程，申请第二套高性能存储方案的授权。

（3）邮件申请中，说明部署或扩容后的高性能总节点数和可用容量（裸容量/3），POC说明试用期（3/6个月）。

（4）无论是第一套平台通过云产品使用，还是通过第二套高性能云存储平台对接使用，都需要准备并使用高性能服务端解决方案配置包，对存储环境进行网络配置（第一套配置在第一套中，第二套配置在第二套中），也都需要高性能云存储对接包，对vm或容器侧进行存储对接（都在第一套的平台上通过商存对接入口对接），并手动创建存储类型。

三、高性能安装部署流程

1. 获取高性能云产品安装包

通过产品部发布的安装包获取途径，从网盘上下载高性能云存储621的包。

2. 上传高性能包到621平台内置ota server

2.1 上传云产品包到内置ota

内置ota url: 比如说 install.easystack.io 这个osinos环境, 内置ota地址为：install.easystack.io/ota

点击导入数据， 上传高性能的xxx.es文件

等待导入完成

导入成功

2.2 在环境上配置内置ota server 地址

• 在环境中， 产品与服务->配置中心->平台基础配置，在ota配置列， 点击配置按钮：

• 选择平台ota 服务验证后， 保存。

• 此时在产品与服务->云产品，即可看到高性能云储存。

3. 制作高性能云产品的license

把导出的日志和环境上的最新的node.data信息，发送给制作license的人员，等待license制作完成。

导出环境上的node.data, 在环境，产品与服务->自动化中心 导出node.data

4. 安装并激活高性能云产品

4.1 安装高性能云产品

• 在产品与服务->产品与服务管理->云产品，点击高性能云存储

• 点击获取，并在获取页面上，导入高性能的lic文件，点击获取。

• 获取成功后，点击安装，即可成功安装高性能云产品。

4.2 制作高性能服务端解决方案配置包

制作解决方案包, 对高性能存储节点的网络进行配置并设置高性能存储对外提供iSCSI/NVMe-oF服务的ip地址

• 连接北京实验室VPN, 使用LDAP登陆配置包制作平台对接包制作平台

• 选择型号EasyStack-Alcubierre-Server-621, 注意请勿选择到 EasyStack_Alcubierre_621

• 按照实际信息填写环境信息

• 其他配置

1. 是否开启副本故障动态迁移： 默认是开启 （如：从云产品 612 升级到 621 不需要重新对接）
   注： 由于备份和裸金属云产品不支持高性能 621 驱动，因此在对接时高性能商存对接包时，需要为以上云产品的环境配置对接包时选择计算驱动为 612 版本。如果对接了 621 高性能， 需要关闭动态迁移功能（开启副本故障动态迁移【启用】）。
2. 节点分区个数是指配置节点高性能缓存盘分区个数，无特殊改动，默认为 1。621 之前版本默认 nvme 4 个分区，如果是云产品从 612 升级到 621 需要通过删扩节点来改造（需要在开启副本故障迁移功能下支持），如果未开启副本迁移请配置成 4。

4.2.1 使用 iSCSI + TCP 协议

• 首先选择高性能存储网络协议为 TCP

• 添加高性能节点IPSAN配置

1. 节点编号: 高性能存储节点运行的节点
2. IPSAN 数据网段: 高性能对外提供服务的网段及掩码
3. 本组起始IP: 分配给运行在最小节点的容器 ip, 例如 target 节点编号是 node-[10-12], 这就填写运行在 node-10 的 target 容器的 ip

• 点击创建

• 勾选制作的配置包并下载配置包

4.2.2 使用 NVMe-oF + RoCE 存储协议

4.2.2.1 平台配置

• 先对接 RoCE 网络对接包 - 网络对接包(网络team提供的对接包： 参见：RoCE对接包使用 ，正式申请请联系网络产品线)

• 制作高性能对接包

1. 存储型号选择 Easystack-Alcubierre-Server-621
2. 高性能存储网络协议选择 RDMA
3. 高性能存储副本网络协议也选择 RDMA
4. 其他配置根据环境需求自行填写

4.2.2.2 存储网络配置

1. TCP 网络配置不配置。
2. 高性能节点 RDMA 网络默认为ipsan-0，ipsan-1。
3. 高性能存储副本 RDMA 网络配置，默认为 roce-storage，如果网络有改动需修改。

4.2.3 使用 NVMe-oF + TCP 存储协议

4.2.3.1 平台配置

• 制作高性能对接包

1. 存储型号选择 Easystack-Alcubierre-Server-621
2. 高性能存储网络协议选择 TCP
3. 高性能存储副本网络协议也选择 TCP
4. 其他配置根据环境需求自行填写

4.2.3.2 存储网络配置

1. 节点编号: 高性能存储节点运行的节点
2. IPSAN 数据网段: 高性能对外提供服务的网段及掩码
3. 本组起始IP: 分配给运行在最小节点的容器 ip, 例如 target 节点编号是 node-[10-12], 这就填写运行在 node-10 的target 容器的 ip

4.3 加载高性能服务端解决方案配置包

• 选择自动化中心->高级配置->解决方案中心

• 点击上传配置包, 选择配置包并上传

• 加载配置包

4.4 激活高性能

点击进入产品与服务->高性能云存储->高性能云存储配置页面

• 设置存储集群地址

• 选择集群地地址(默认选择本地存储集群地址)，点击网络连通性测试

• 测试成功后, 保存配置

• 点击应用

• 产品与服务->高性能云存储->高性能节点管理页面, 勾选需要激活的高性能节点(首次激活最少3节点), 点击激活节点

• 等待激活，节点激活状态变为激活成功，服务状态变为可用，缓存盘状态变为健康后，高性能的安装部署完成。

四、高性能安装部署后配置

1. 缓存回刷设置

为避免高性能回刷太快对底层ceph造成冲击，需要对高性能回刷进行限制。

回刷速度设置成高性能节点数*50MB/s。

2. 商业存储对接

2.1 网络配置：

对接包类型选择： EasyStack_Alcubierre-621

2.1.1 平台配置

1. 存储型号选择 Easystack-Alcubierre-621
2. 存储协议类型选择 NVMEOF，ISCSI
3. 高性能存储网络协议根据存储类型选择：NVMEOF(TCP or RDMA), ISCSI(TCP).
4. 其他配置根据环境信息填写

2.1.2 存储依赖配置

1. 单节点多路径条数默认填 iSCSI: 4, NVMe-oF + TCP: 1, NVMe-oF + RoCE: 2;
2. 云平台计算服务版本，需要根据平台 cinder/nova 版本来指定，如果 cinder/nova 版本是6.2.1, 就填6.2.1.
3. 是否安装 alcubierre-node, 默认开启
4. 其他配置根据环境信息填写

2.1.3 存储网络配置

TCP:

1. 节点编号: 计算节点
2. IPSAN 数据网段: 高性能对外提供服务的网段及掩码
3. 本组起始 IP: 分配给运行在最小节点的容器 ip, 例如 target 节点编号是node-[10-12], 这就填写运行在 node-10 的 target 容器的 ip

如果节点同时也是存储节点且之前配置过它的 ip，这里可以不配置 ip。如果要配置 ip，需要指定这个 ip 和之前配置的一样。

RDMA:

先对接 RoCE 网络对接包 - 网络对接包(网络team提供的对接包： 参见：RoCE对接包使用 ，正式申请请联系网络产品线)

1. LACP 根据环境需求自行选择，默认不开启
2. TCP网络不选择
3. 高性能节点RDMA网络配置，默认为ipsan-0，ipsan-1
4. 路由配置默认不填写，根据环境需求填写

2.2 存储池配置：

平台使用高性能云存储作为块后端存储，需要存储池页面(自动化中心-高级配置-存储池, 若无此页面则需要更新平台lic开启存储对接功能)，进行存储对接，存储池配置详细请参考商业存储对接指南。

注: 使用 NVMe-oF + RoCE 还需要重启物理节点使驱动生效。

部署方式	是否需要重启物理节点	说明
iSCSI + TCP	不需要	NA
NVMe-oF + TCP	不需要	NA
NVMe-oF + RoCE	需要	需要重启物理节点使驱动生效

3. 云硬盘类型创建

创建云盘类型，输入名称，volume_backend_name需对应制作工具的后端声明类型。

创建QoS规则，并添加配置参数write_iops_sec为5000，write_MiB_sec为100(100MiB/s)。

4. CSI对接（可选）

若平台需要使用高性能存储作为容器存储后端，需要进行CSI对接，详细请参考商业存储对接包制作指南和商业存储对接指南。

对接包类型选择EasyStack-Alcubierre-CSI-621

5. 性能测试

环境正式启用前需要进行性能基线测试，确保环境交付质量符合预期，性能测试步骤请参考性能测试指南。

性能测试完成后需将PDF测试报告上传到该环境的JIRA CSE中。

注：高性能存储性能测试所需虚拟机数为高性能节点数*4，云硬盘大小为100GB。

6. HostHA配置

高性能存储激活后可参考主机高可用配置文档配置HostHA高可用策略，故障处理措施选择重启策略，网络选择IPSAN存储。

五、其他

若需扩容高性能节点，需更新许可增加最大节点数和最大容量，同时需重新制作网络配置(参考本文档第三章 4.2-4.3小节)添加新节点的网络配置。