系统运维巡检模板（业务巡检-系统巡检该怎么做）

这是学习笔记的第 1966 篇文章

系统巡检是对于服务巡检的第一站，所以在这里我们要做好第一班岗，如果系统巡检稀里糊涂，那么后续的数据库服务巡检效果也会大打折扣。

对于系统巡检整体上有如下的一些部分需要注意：

可能整体看起来没有太深入的理解，但是和实践结合起来就有很多的注意事项，我们就以硬件信息-ILO状态检查为例来提供一种巡检思路，iLO(Integrated Lights-Out)服务基于惠普的远程控制卡服务，在Dell服务中叫做iDRAC(Integrated Dell Remote Access Controller),为了方便理解，在此我们暂且统称为iLO服务。

对于iLO服务，我们需要做如下的巡检：

（1） 检查ILO可用性和使用情况

（2） ILO模块是否开启

（3） iLO密码检查

（4） iLO超过最大用户连接数限制检查

（5） iLO在不同的硬件产品版本和浏览器的兼容性

（6） iLO页面和客户端JAVA的版本关系

我们逐个展开来解读一下：

（1） 检查iLO可用性和使用情况

如果拥有对服务器资源的管理权限，对于ILO还是要验证一下，大体有几种情况。

（2） iLO模块是否开启

这个可以联系系统组的同学帮你开启，也可以参考下面的步骤。

#modprobe ipmi_watchdog

#modprobe ipmi_poweroff

# modprobe ipmi_devintf

#chkconfig ipmi on

（3） iLO密码检查

可以使用下面的命令来重置密码

/usr/bin/ipmitool user set password 2 xunjian

（4） iLO超过最大用户连接数限制检查

如果用户名，密码正确，如果上一次登录没有正常退出，可能会有下面的报错。

RAC0218:已达到用户会话的最大数

这个时候可以重启iLO来达到目标。

ipmitool mc reset cold，这个过程会持续几分钟。

（5） iLO在不同的硬件产品版本和浏览器的兼容性

ILO在不同的硬件产品版本中浏览器也有一些使用差异，有些版本使用IE低版本可以，有些可以使用chrome,firefox,有些则不适用。

（6） iLO页面和JAVA的版本关系

这两点比较微妙，但是在实际中碰到问题的时候更多，特别是对于Java,如果查看新版本的硬件，过高的版本是不推荐的，因为安全策略太高，导致初始化失败，得用JAVA7及以下的版本了。

在其他层面，我也做一些阐述。

在主机层面需要注意如下的两点：

（1） 操作系统版本

操作系统的版本也需要提前规划，如果有些服务的版本过旧，需要考虑升级到一个较新的稳定版本，比如RedHat 5是个相对较旧的版本，需要尽可能升级到6U8以上版本。

（2） 操作系统内核参数

操作系统内核参数可以作为一个重要的检查项，当然对于主库而言可能重启不现实，但是提前准备好，在下次重启的时候能够省事省力，对于备库而言，也可以提早准备。

在安全检查方面，有如下的几点补充：

（1） 系统文件权限

对于部分文件，需要考虑文件的权限，保证不会恶意篡改。比如设定这些关键文件和配置文件的只读权限，比如/etc/passwd,/etc/shadow,/etc/group等等

（2） 备份保留情况，是否有异机备份

这个需要结合目前的系统使用情况，如果数据库是非归档，测试环境，可以考虑异机备份。对于一些关键业务，在有灾备的情况下，也可以额外增加部分的逻辑备份。

（3） 检查操作系统防火墙情况

对于操作系统中的防火墙设定最好能够提供完整的备份，到时候可以在灾备切换的时候用到。

如果存在特殊的网络设置情况，需要提前标注，要不帮你处理问题的同事会踩到一大坑。

在系统配置方面，有以下的补充：

（1） swap使用情况

swap的监控还是比较重要，要不swap争用较高，如果剩余内存不足，很容易触发oom-killer

（2） 文件的分区和规划情况

对于文件的分区和使用情况也需要格外关注，对于一些过旧的历史文件可以压缩或者删除。是否还在使用很陈旧的文件系统。

在系统任务方面，有如下的几点补充：

（1） 查看crontab的执行情况

查看例行的执行任务是否正常，比较尴尬的是crontab运行了，但是什么都没有干，比如删除归档，发现一直在扫描一个空目录，而真正的归档目录已经快撑爆了。

（2） 时间同步设置NTP

使用根据公司统一配置的时间同步服务器进行时间的修正。

,