Library

障害のとき、どこを見るかを先に決めておく

公開日:2026-11-14 更新日:2026-11-14

技術者向け

Article

本文

通知を受けて監視画面を開いたのに、次に見る場所が決まらない。ログを検索しているうちに別の通知が届き、参加した人も同じログを読み始める。障害対応の準備には復旧操作の手順とは別に、何をどの順で確かめるかが要ります。

見る順番は原因を当てる順番ではありません。利用者のどの操作が止まり、どこまでは動いているかを確かめる順番です。サービスごとに最初の確認先を決めておくと、調査を始めるたびに確認先を相談せずに済みます。

利用者の操作から確認先を選ぶ

最初の確認先は、利用者への影響が分かる画面にします。監視画面がいくつもあるなら、主要な操作の成功率と応答時間を見られるものを選んでおきます。通知のリンク先から、その操作の状態まで移動できるかも確かめてください。

たとえば、商品一覧は開けるが注文を確定できない状況を考えます。最初から全サーバのCPU使用率を順に見るより、注文の失敗がいつから増え、ほかの操作にも広がっているかを確かめます。対象を注文処理に絞れれば、次に検索するログの範囲も決まります。

全体の平均だけでは一部の操作の異常を見落とすことがあります。操作別に分けた表示がなければ、利用者から届いた時刻と画面名を調査の起点にします。「監視は正常」と「利用者が操作できる」は分けて扱ってください。

直前の変更を同じ時間帯で比べる

次に、異常が始まった時間帯と、直前のリリースや設定変更を比べます。平時に決めておくのは、変更履歴の置き場所と、監視画面の時刻をどうそろえるかです。担当者の記憶だけに頼ると、参加者が変わるたびに聞き直すことになります。

先ほどの注文処理なら、失敗が増え始めた時刻の前後に、アプリの更新、設定の変更、外部サービスの切り替えがなかったかを確認します。監視と変更履歴でタイムゾーンが違う場合は、同じ基準に直してから比較します。

時刻が近いだけでは原因と断定できません。変更があった箇所を候補として記録し、次の確認へ進みます。逆に、変更が見つからないことも、外部サービスや負荷の変化がない根拠にはなりません。変更履歴を探し続けて、利用者への影響の確認を止めないことです。

失敗した処理から依存先を確かめる

その次に、失敗した操作のログやトレースを見ます。調査用のメモにはサービス名、確認するログ、検索に使える識別子まで書いておくと使えます。「ログを見る」だけではどれを開くかから選び直すことになります。

注文の失敗なら、該当する時刻のリクエストを探し、アプリ内の例外なのか、データベースへの接続失敗なのか、外部APIの応答待ちなのかを分けます。リクエストIDで関連するログを追えるなら、その検索先も確認順に含めます。識別子がなければ、時刻と操作名で絞れる範囲を明記してください。

依存先を調べるのは、失敗した処理との関係を確かめてからです。無関係な警告まで追うと、最初に困っていた操作から調査が離れます。ただし、広範囲の接続失敗が同時に起きているなど、共通する異常が分かった場合は順番を変えます。確認順は得られた情報に応じて変えてかまいません。

確かめた範囲を共有する

確認先を決めるときは、結果をどこに残すかも合わせて決めておきます。対応中のスレッドなど一つの場所に、対象の時間帯、見た操作、分かったこと、まだ見ていないことを書きます。後から参加した人が同じ確認を始めないためです。

「DBは正常」だけでは確認範囲が分かりません。「注文が失敗した時間帯に接続エラーは見つからない。遅いクエリは未確認」なら、次の担当者が続きを調べられます。複数人で分担する場合も、調べる対象と時間帯を先に分けます。

平時の確認では当番ではない人に最初の通知から確認先をたどってもらいます。リンクが開かない、権限がない、検索条件が分からない箇所を直してください。詳しい手順が書いてあっても、最初の画面に入れなければ調査は始まりません。

原因別の手順を全部そろえない

最初から、考えられる原因を網羅した手順書を作る必要はありません。まず一つの主要な操作について、利用者への影響、直前の変更、失敗した処理の順に確認先をつなぎます。各段階で何が分かれば次へ進むかを短く添えれば、最初の確認順として使えます。

この順番でも判断できなければ、分からなかった対象と不足する情報を残し、その情報を確認できる担当へ引き継ぎます。監視が足りない場合は、障害対応が落ち着いてから追加を検討します。見る場所がないことを、異常がないことにしないためです。

なお、確認順を決めただけでは再起動や切り戻しを実行してよいとは判断できません。復旧操作には影響範囲と実行権限、元に戻す条件の確認が別に要ります。調査の順番と操作の承認を分けておけば、原因が分からないまま設定を変えることも避けられます。