现场测试应急预案

昨天下午三点，现场机房空调跳闸。测试我们盯着大屏上飙升的应急预案温度曲线，谁都没说话。现场运维老张先冲了进去，测试五分钟后出来说：“别慌，应急预案预案第13条，现场先切备用冷源。测试”那一刻我意识到，应急预案预案这东西，现场平时觉得是测试纸，真出事就是应急预案命。 预案不是现场写给人看的，是测试写给“手”用的。我见过太多公司把应急预案做成100页的应急预案PPT，封面精美，目录详尽，但真到现场，没人知道第一步该摸哪个按钮。去年某电商大促前做测试，模拟数据库宕机，结果运维组翻了三分钟文档才找到重启脚本的位置——那三分钟，线上已损失几十万订单。后来他们把关键操作压缩成一张A4纸，贴在机柜门上，再测，恢复时间从11分钟压到4分半。 现场测试的核心，是制造“真实的混乱”。别用演练脚本，那玩意儿跟剧本杀似的，大家都按台词走。上个月我们做故障注入，故意把网络交换机的配置改了，结果监控告警没响，因为阈值设错了。这个bug藏了半年，要不是真动手，谁也发现不了。所以测试时得故意搞点“意外中的意外”——比如掐断备用电源的线，或者让负责通知的人临时接个电话。这些细节才是预案的试金石。 角色分工要细到“人”，不是“岗位”。有次测试，预案写着“由网络工程师负责断网隔离”，可真到现场，那位工程师恰好请假了，剩下的人面面相觑。后来我们改成“张三断核心交换机，李四发群公告，王五联系云服务商”，连谁带手机、谁带对讲机都写清楚。人盯人，才能不落空。 时间节点比步骤更重要。一般预案爱写“尽快”“及时”，这种词等于没说。我们现在的测试表上，每项都有硬指标：30秒内发现异常，2分钟内完成初步隔离，5分钟内通知到所有相关方。上周模拟勒索病毒加密文件，从发现到切断共享盘，用了1分48秒——比上次快了40秒，因为大家已经形成肌肉记忆了。最后说个反常识的：预案每次测试后，一定要改。不改的预案，就是废纸。我们每次测试后开15分钟复盘会，只问三个问题：哪里卡住了？哪里没按预想走？下次要改什么？上季度改过17处，其中一处是把“联系安全厂商”从电话改为企业微信置顶群，因为测试时发现电话占线，而群里响应更快。现场测试这事，说白了就是拿假戏当真做，拿真问题当假想敌。别怕出乱子，乱子出在测试里，总比出在真实事故里强。毕竟，预案的价值不在那本册子，而在每次手忙脚乱之后，大家能更稳一点。

现场测试应急预案

现场测试应急预案

推荐

热门