(株)インフォマート【2492】の掲示板 2023/08/30〜2023/11/17

サーバーダウンの件
真の原因と対策の案内です。

■事象詳細と原因
10月13日（金）時点では「ネットワーク機器の再起動による復旧」とご報告しておりましたが、その後のA社の調査により異なる要因であったことが確認されています。お詫び申し上げるとともに、訂正させていただきます。正しい事象詳細と原因は以下のとおりです。
障害発生の該当時間、A社にてA社バックボーンネットワーク網内で、ルーティングの最適化を行う経路情報のアップデート作業が実施されておりました。オンプレミス環境とパブリッククラウド環境のネットワーク回線は冗長化されておりますが、その際に、誤った設定を含むスクリプトが同時に該当機器に対して実行されてしまったため、必要である経路情報がすべて同時に失われ、その結果、オンプレミス環境とOCI環境との接続に問題が生じておりました。
また障害発生後、A社にてネットワーク機器の正常性を確認するため、ping（ネットワークの死活状況を判断するテストに使われるコマンド）による監視を確認しておりましたが、問題は検出されていなかったため、問題となる機器の特定に時間を要しておりました。対象機器に対して誤った設定が投入された後でも、A社監視システムからのpingへの応答があった理由は、該当ネットワーク機器の管理ポートは物理的にも論理的にも独立した構成となっているため、正常に応答が返ってくる状態にありました。
問題が発生している機器を特定後、該当機器へのリモートアクセスができなかったため、A社日本国内のフィールドエンジニアが派遣され現地到着後、該当機器の確認ならびにコンソール経由で情報の収集と再起動が実施されました。その直後、A社グローバルネットワークエンジニアにより、問題の根本原因となったルーティング設定の修正が行われ、それを以てネットワークの復旧に至っております。


■対策
A社より今後ネットワーク機器に対するいかなる設定変更も、必ず別々のタイミングで実施し作業後の確認を徹底する事で、単一障害点をなくし、安全な運用を実現するとの回答を得ております。
Ａ社からの回答のとおり必ず別々のタイミングでネットワーク機器の設定変更を実施、確認を徹底することで、オンプレミス環境とパブリッククラウド環境のネットワークは冗長化されておりますので今後、同様の障害が発生することはございません。

本件につきましては、貴社にはご迷惑をお掛け致しました事に対し、深くお詫び申し上げますと共に、今後とも変わらぬご愛顧を賜りますよう、何卒、宜しくお願い申し上げます。