network障害

午後取引先と会社近所のルノワールで打ち合わせをしていると同僚I氏より電話、障害とのこと。

慌ててnagiosを見てiDCのラックがほぼ全滅していることを確認、ただしFlets Group Access利用目的な別回線(BFlets)配下のhostのみ生存しているので、電源ではなくiDC側のnetwork障害と判断。

サポートに問い合せたところ、ちょうど今週依頼していたCatalyst(VLAN)導入作業のためSSG140の構成変更作業直後とのことで、これがトリガーと判明。
iDCのMSP担当者Y氏と電話でやりとりし、単純に設定を元に戻しても復旧しないとのことで、SSG140をhard bootしたところ復旧、この間約30分。
心臓に悪い。

事前の実験の際SSG140は止まらなかったとのことでメーカーに問合せ依頼、この手の作業は深夜にやれという教訓。