监控专线故障报告¶
一、事件起因¶
X月X日晚，运营商工程师在开展专线带宽测试作业时，未提前与我方沟通协调，擅自误拔监控专线。在完成接口复原后，未及时向我方同步该事件，致使我方无法对线路恢复状态进行复查核验，最终导致甲方长时间无法通过专线获取监控画面，甲方将问题反馈至我方。
二、故障情况¶
故障问题描述：XX办公室本地监控系统运行正常，甲方无法收到我方实时监控画面。
受影响范围：仅甲方通过专线的实时监控功能中断，XX本地监控系统运行未受波及，始终保持正常状态。
故障持续时间：X月X日XX:XX至X月X日XX:XX，累计时长X小时。
三、处置经过¶
在接到甲方问题反馈后，迅速紧急致电运营商政企业务客服说明故障情况，催促客服派加急单要求运营商工程师赶到我方现场处理故障，于xx:xx 分我方与运营商运营商取得联系，并开始进入机房开始准备故障排查，于 xx:xx 分监控专线恢复。
四、实施过程¶
（一）ping测试不通，联系运营商后台分析状态
运营商工程师来到机房ping测试不通，随即联系内部同事，排查结果为我方对接的运营商设备未收到光信号。
（二）我方通过ping、tracert验证监控专线是否恢复正常
1.我方登录核心交换机ping路由出口地址 x.xxx.xx.xxx 正常
2.甲方老师提供的IP地址 xxx.xxx.xxx.xx 可正常 ping 通
3.核心交换机 tracert 出口地址、甲方老师提供的地址，可得到有效的延迟、路径反馈信息。
4.监控录像机可正常 ping 通甲方提供地址
综上，通过核心交换机 ping 通出口及业务地址，tracert 追踪到有效路由路径，硬盘录像机可连通业务地址，监控专线已完全恢复。
五、事件结论¶
主因运营商工程师未提前与我方沟通协调，擅自误拔监控专线复原后未及时同步到我方，同时线路存在接触不良导致我方无法与甲方设备建立通信。
次因运营商告警信息推送不及时，导致我方光纤未传递运营商收光等关键断线信息被遗漏，加大了故障处理时间。
六、不足和改进¶
（一）不足
1.我方监督运营商存在管理缺陷，未能及时发现运营商工程师误拔监控专线。
2.我方缺乏有效的信息同步机制，机房操作流程规范落实不到位，未能做好运营商工程师施工前同步记录设备状态，导致对网络设备信息掌握不足。
3.我方未对网络出口设备做好业务用途标识，导致运营商工程师误拔业务专线。
4.我方未做好监控业务的有效巡查，仅查看了本地录像完整，未对出口、业务地址进行定期做连通检查。
5.现场 IT 人员专业知识储备不足，对出口地址、业务地址连通属性信息缺失，未能及时察觉背后的网络连接故障风险，反映出我们对网络故障排查知识掌握不够全面。
（二）改进
1.运营商管理：随时做好运营商每一步施工跟进，先拍照或录视频的形式保存原先的线路接入位置、设备运行状态。确保每一步施工环节都处于可控状态。
2.信息同步整改：在展开机房作业时，除了记录预先设备及线路状态，运营商每一步操作都需同步反馈至我司总部，以避免人为误操作延期导致负面影响扩散。
3.设备标识更新：除了线路方面的标识，也应做好运营商专线出口设备的标识，将未贴标识的专线设备，重新贴上标识避免无法判断相关业务设备的问题，导致人为设备配置、接入光纤、电缆等意外错误问题
4.监控专线巡查：除了保证本地录像完整，也应定期检查出口、业务地址是否正连通，以及施工后应立即对各个业务进行复核巡检验收，以确保业务连续性，杜绝因审查纰漏触发业务中断风险。
5.内部整改：计划组织 IT 全员参与网络专项培训，强化机房操作规范流程的学习与执行，完善操作审批和信息同步机制，提升团队应急处理能力
6.外部追责：已明确要求运营商运营商出具详细的故障分析报告，明确事故责任归属，确保类似问题不再发生。
七、下一步工作计划¶
根据现场检查中发现的问题，我们认真整改，举一反三，杜绝风险问题的发生，现下一步风险预防工作如下:
（一）监控连通性巡检管理
IT人员每日进行监控连通性巡检，增加巡检频次的同时，确保不出现异常情况。
（二）展开网络专项培训
IT 全员展开网络专项培训，强化机房操作规范流程的学习与执行，完善操作审批和信息同步机制，提升团队应急处理能力。
（三）确立信息同步机制
规定在机房操作过程中，操作人员必须在操作前、操作中和操作后及时将相关信息同步到内部信息共享平台。
（四）强化复核验收流程
制定各个业务的专线作业用例，内容包括但不限于设备配置参数、线缆连接状态、系统运行状态等。对照验收标准逐项核对操作结果，确保设备正常运行且无安全隐患。
（五）完善设备标识信息
除了自有网络设备的标识，也应做好运营商专线出口设备的标识，将未标识的专线设备重新贴上标识，避免无法判断相关业务设备，进而导致人为意外错误配置参数、线缆误接等问题。