资源池裸金属实施管理手册
概述
文档包括 “上线实施” —— 含布线规则、BIOS设置、部署流程，三个阶段针对资源池各机型的不同实施方法；
“故障类型及处理办法” —— 含整个生命周期中会出现的 8 类问题、5 种异常状态，对应 28 种故障类型和处理办法
布线规则
千兆网线
1G-1 电口连接带外交换机，交换机端口配置裸金属 PXE Vlan（如 203）
万兆光纤
分为 3 种情况
-
两张 10G 卡 A & B
网卡顺序按照 slot 号从小到大，集成网卡排前
A 10G-1, 10G-2 –> TOR1
B 10G-3, 10G-4 –> TOR2
接线示例如下
10G-1 接 10GE/1/0/21 | 10G-2 接 10GE/1/0/32
10G-3 接 10GE/2/0/21 | 10G-4 接 10GE/2/0/32
-
一张 10G 卡 A
A 10G-1 –> TOR1
A 10G-2 –> TOR2
示例如下
10G-1 接 10GE/1/0/21
10G-2 接 10GE/2/0/21
-
一张集成卡
例如华为 RH2288v5 搭载的 X722 网卡，需要注意电口 1G-1 是第三个网口，前两个口为光口
布线类似 ‘情况 2’
BIOS 设置
BIOS 设置涉及启动模式、启动顺序、特殊机型设置
普适规则
启动模式： Legacy 模式
启动顺序： 1G-1 -> 10G-1 -> 10G-2 -> Hard Disk
特殊设置
不同型号服务器各有一些特殊设置
-
惠普 HP
惠普机型在资源池中包括 DL360 DL380 DL560 DL580
需关闭该功能，否则单张网卡反复轮询多次，导致部署环节超时报错
Network Boot Retry Support --- [Disabled]
具体配置文档见 [ 惠普DL系列BIOS设置（裸金属）.pdf ]
-
戴尔 DELL
戴尔机型在资源池中包括 R730 R930
在 IPMI 管理界面开启
iDRAC -> 网络 -> IPMI 设置 -> 启用 LAN 上的 IPMI [√]
-
华为 HUAWEI
华为机型在资源池中包括 RH2288Hv3 RH5288v3 RH5885v3 RH2288Hv5
需要在 RAID 配置中，指定系统 BOOT 设备
v3 与 v5 BIOS 版本不同，设置方式有差异
此外， v3 版本启动顺序为 PXE -> Hard Disk ，不能指定 PXE 内部顺序，v5 版本可以
-
浪潮 INSPUR
浪潮机型在资源池中包括 NF5280m5 NF5288m5
需要注意 x722 网卡的顺序配置
具体配置文档见 [ 浪潮 NF5288 BIOS 设置（裸金属）.pdf ]
-
曙光 SUGON
曙光机型在资源池中包括 W580 W720
网卡顺序需要在 ‘Network Drive BBS Priorities’ 处设置，’Boot Option #1’ 默认置为其中第一项（1G-1）
部署流程
整个过程共 7 个阶段，可参照 [ 裸金属部署工作流例表.xlsx ] 逐项递进
安全阶段
-
收集信息
包括 主机名，IPMI IP&Username&Password，机型，1G-1 MAC，共 6 项
-
Create nodes
注册节点阶段，将节点的主机名、IPMI 地址和账号录入数据库，指令为
# ironic node-create ...
-
Register port
将 1G-1 MAC 与新增节点相匹配，指令为
# ironic port-create ...
易错阶段
-
Inspect nodes
检查阶段，通过 1G-1 PXE 电口，传输镜像至目标节点，收集网卡，磁盘，内存等一系列主机信息
核心指令为
# ironic node-set-provision-state NodeName inspect
此阶段可能出现故障 1, 2
*注： 故障类型见下文
-
Set ports pxe
从 Inspect 阶段收集的所有网口中，筛选含有 LLDP 信息的连接端口
核心指令为 ‘ironic port-update PxePort replace pxe_enabled=true’
此阶段产生的结果若有问题，会在下一 ‘Create portgroups’ 阶段检查报错
-
Create portgroups
根据 10G 光口收集到的交换机端口信息，两两绑定后将信息写入 Neutron
例如，四个 10GE 光口
10GE/1/0/21 10GE/1/0/32 10GE/2/0/21 10GE/2/0/32
绑定规则
10GE/1/0/21 BOND 10GE/2/0/21 | 10GE/1/0/32 BOND 10GE/2/0/32
此阶段可能出现故障 3, 4, 5
-
Provide nodes
预部署阶段，通过 10G 光口，传输部署初始化用镜像，执行磁盘清理工作
核心指令为
# ironic node-set-provision-state NodeName provide
此阶段可能出现故障 6, 7, 8
故障类型及处理办法
共 8 种故障，及 5 种异常状态，具体分为 28 种故障原因
1 - IPMI 联通故障
状态：
enroll
-
故障原因 - 服务器 IPMI 管理线断连
处理办法： 检修管理电口
-
故障原因 - IPMI 上连带外交换机配置有误
处理办法： 检修带外交换机管理端口配置
2 - Inspect 超时
状态：
inspect failed
-
故障原因 - 1G-1 启动项在硬盘启动之后
处理办法： BIOS 中将网络启动调整至第一位
-
故障原因 - 带外交换机 PXE 口配置有误
处理办法： 检查带外交换机 PXE 端口 Vlan 设置
-
故障原因 - 1G 电口断连
处理办法： 检查接线、网卡状态，确保亮灯
-
故障原因 - 插错电口
处理办法： 检查网卡 port 编号标记，避免误插 2 号电口
-
故障原因 - 戴尔服务器 ‘LAN 上的 IPMI’ 未启用
处理办法： 在 IPMI 设置界面勾选
3 - 缺少网口
状态：
manageable
-
故障原因 - 光口松动、光模块故障、光纤故障、网卡故障、架顶交换机故障
处理办法： 检查接线、硬件维修，确保亮灯，重新 Inspect
-
故障原因 - 10G 光纤上连架顶交换机端口 LLDP 关闭
处理办法： 打开对应端口 LLDP 功能，重新 Inspect
-
故障原因 - inspect 收集信息不全
处理办法： 删除旧数据，重新 Inspect
4 - 网口数为 0
状态：
manageable
-
故障原因 - 环境变量有误
处理办法： 查看 Openrc 文件，确保 API 变量与当前版本一致
-
故障原因 - 新机型 x722 网卡
处理办法： 使用已补充 x722 网卡驱动的专用镜像
5 - 网口数过多且为偶数
状态：
manageable
-
故障原因 - 电口插线过多
处理办法： 拔除多余电口网线，保留一根 1G-1 即可
6 - Provide 超时
状态：
clean failed
-
故障原因 - 10G 光纤布线错误
处理办法： 参照布线规则重新整理
-
故障原因 - 架顶交换机 10GE/1 与 10GE/2 配反
处理办法： 重新配置架顶交换机端口顺序
-
故障原因 - BIOS 启动顺序 10G PXE 在 Hard Disk 之后
处理办法： 将 10G PXE 调整到 1G-1 之后，Hard Disk 之前
-
故障原因 - 单张网卡轮询
处理办法： 关闭网卡多次轮询选项，避免超时
-
故障原因 - 光口松动、光模块故障、光纤故障、网卡故障、架顶交换机故障
处理办法： 检查接线、硬件维修，确保亮灯，删除节点，重新添加
-
故障原因 - 3008 阵列卡对大硬盘不支持快速格式化
处理办法： 拔出数据盘，待业务部署完成后插回
-
故障原因 - 清理磁盘时间过长超时
处理办法： 重新 provide
-
故障原因 - 10G 光口频繁启停，触发架顶交换机关闭连接端口
处理办法： 检查 inspect 镜像，检修光口，开启架顶交换机端口
-
故障原因 - Provide 镜像不支持华为最新 3508 阵列卡
处理办法： 暂无法解决，等待 Ubuntu 驱动支持
7 - Kernel Panic
状态：
clean wait
-
故障原因 - 磁盘清理出错
处理办法： 重新 provide
-
故障原因 - 清理镜像运行中，硬盘故障
处理办法： 检修硬盘
8 - Provide 卡死
状态：
clean wait
-
故障原因 - PXE 载入镜像阶段卡死
处理办法： 检修服务器网卡
-
故障原因 - 磁盘清理镜像持续运行，未能自动关机
处理办法： 检查镜像是否匹配，检查硬盘健康状态
-
故障原因 - 浪潮 NF5280M5 机型使用 CPU 做系统盘软 RAID
处理办法： 无法解决
-
故障原因 - Conductor 端信息不同步
处理办法： 将该节点在数据库中状态改为 manageable，重新执行
