背景
因异常断电后opengauss 5.0.0版本,一主两备集群启动失败。
报错不是主机,由于当时没有截图,查看日志后发现报错是:
定位过程
Day1
1. 尝试用另外两台机器启动每台机器
发现都报错自己不是主机,像极了唐僧被妖怪抓走后互相帅锅的猴子哥仨。
2.手动启动
于是向openGauss交流群里的大佬求助,@半夏提供了一个手动启动的命令。
gs_ctl start -D /opt/huawei/install/data/dn -M primary
执行的时候提示已经有服务在,建议用restart,于是改为用restart执行。
gs_ctl restart -D /opt/huawei/install/data/dn -M primary
同时在两台备机上面执行手动启动,模式为standby。
gs_ctl restart -D /opt/huawei/install/data/dn -M standby
继续:
执行完后查看集群状态,仍然是不可用。
3.连接上了
尝试本地连接数据库,是可以连接上了。
4. 导出数据
于是第一时间用gs_dump命令把数据先导出来了一份,这样最差的情况也可以卸载重装来恢复。
5. 改成单机版
但是虽然本地能连上,却不能创建表,是个只读事务(read-only transaction),业务还是不可用,期间还想着把业务代码改成单机版的数据库连接先应付应用,因为只读作罢。
6. 业务代码及datastudio工具也都连接不上。
起初我还以为是配置文件的问题,检查和确认了postgres.conf及pg_hba.conf的配置。期间还执行过gs_install,以及gs_preinstall,但是install过程提示集群已安装(因未截图所以无法得到确切的提示,大意是已安装)。
Day2
周一和大佬@半夏连线
1. 检查磁盘空间
首先检查了磁盘空间,也检查了互信,互信正常,篇幅起见截图就只截一个服务器的。
2. 修改为自动切换失败
cm_ctl switchover -a
3. 强制升主
因为不可读,于是把123服务器的数据库又执行了一次强制升主。
cm_ctl set --cmsPromoteMode=PRIMARY_F -I 1
执行后确实改为了Primary,但仍然是不可读,远程也无法连接。
4. 断电后操作
后来求助cm的大佬恩哥,恩哥提供了如下断电后需要执行的操作
4.1 kill掉cm和om的相关进程:
gs_ssh -c "pkill -9 om_monitor -U omm; pkill -9 cm_agent -U omm; pkill -9 cm_server -U omm; touch $GAUSSHOME/bin/cluster_manual_start"
4.2. rm掉cmserver下的gstor, dcf_data和bin下面的配置文件
cd $GAUSSLOG
cd /opt/huawei/data/cmserver/cm_server
gs_ssh -c "rm /opt/huawei/data/cmserver/gstor /opt/huawei/data/cmserver/dcf_data $GAUSSHOME/bin/cluster_dynamic_config -rf"
4.3 rm掉bin下的集群手动启动
3. gs_ssh -c “rm $GAUSSHOME/bin/cluster_manual_start”
Day3
1. 执行切换启动模式为AUTO
cm_ctl set --cmsPromoteMode=AUTO -I 1
2. 于是直接拉恩哥上线
2.1 查看dcc日志:
cd $GAUSSLOG/cm/dcc
vim debug/dcc.dlog
命令截图:
日志截图:
2.2 看到这个日志后,我提出怀疑是防火墙导致的连接建立失败。
于是在三台服务器上都执行了关防火墙的操作(生产环境不建议这样操作,因是测试环境验证问题,所以关掉防火墙,生产环境开放端口白名单)。
systemctl stop firewalld
systemctl disable firewalld
2.查询防火墙状态
systemctl status firewalld
3. 再查询集群状态,状态即为正常:
cm_ctl query -Cvidp
四、成功解决!
紧张焦虑的两天半,问题终于在两位大佬的帮助下得到了解决,趁热打铁流水账先记录下过程,供各位专家同仁指导参考,再次感谢@半夏和恩哥(音)。
五、总 结
影响集群启动的主要因素:
1. 防火墙是否关闭(或者是否打开端口白名单);
2. 删除进程和文件的3步命令,至于手动启动,并不是必须的步骤;
3. 断电前预先stop集群。
附:一些Linux命令总结:
gs_ssh -c “ps x”
echo $GAUSSHOME
cm_ctl start
cm_ctl stop
cm_ctl query -Cvidp
cd $GAUSSLOG
source .bashrc –加载用户的bash配置文件
ps ux
欢迎小伙伴们交流~
本文作者:赵锋