通知の一覧を開くと、同じ警告が今日も並んでいる。担当者は内容を確かめずに閉じ、ときどき本当に対応が必要な通知も混ざる。減らしたいとは思っていても、「消したあとに障害を見逃したら」と考えると手が止まります。
アラートは条件を足せば増やせますが、減らすには、その通知が何の判断に使われているかを確かめる必要があります。誰も見ていないことと、必要ないことは別です。設定を消す前に、通知を受けた人の行動から整理します。
発報後の行動を調べる
まず、繰り返し届くアラートを1つ選び、発報した日時と対応記録を並べます。確認した人、実行した操作、対応を始めるまでの時間、放置したときの影響を調べてください。記録が無ければ、当番の担当者に直近の通知を見せて聞きます。
ここで知りたいのは発報の回数ではなく通知を受けて判断や行動が変わったかです。毎回同じグラフを開き、正常と判断して閉じているなら、何を見て正常としたのかまで残します。その条件を通知側で判定できるか、見直す材料になります。
誰も対応していなくても、不要とは決められません。担当が決まっていない、手順が無い、通知先が古いだけかもしれません。利用者への影響があり、対応も必要なら、消す対象ではなく受け取り方を直す対象です。
通知を止めた場合の影響を書く
次に、その通知が無い状態を具体的に考えます。何が起きたときに、誰が別の何で気づけるのか。気づくのが遅れると、どの業務や利用者に影響するのか。監視の設定と障害時の記録を照らし、サービスを担当する人と確認します。
削除を検討しやすいのは廃止済みの処理を監視している通知や、同じ異常を別の通知で必要な時間内に検知できるものです。重複を理由に消すなら、条件も対象も同じかを確かめます。似た名前でも、一方は処理の遅れ、もう一方は処理の停止を検知しているなら、置き換えられるとは限りません。
発報が少ないことは削除の理由になりません。逆に、頻繁に届くことだけで不要とも言えません。消す理由は「最近鳴っていない」ではなく「この異常は別の通知で検知でき、この通知だけを受けて行う対応が無い」のように書きます。別の検知方法が未確認なら、削除の判断は保留です。
即時通知と後日の確認を分ける
残す必要がある情報でも、当番をすぐ呼ぶ必要があるとは限りません。通知ごとに、対応を始める期限を決めます。夜間でも操作が必要なのか、翌営業日に調べればよいのかを、影響が出るまでの時間と照らしてください。
例えば、空き容量が減っているという通知なら、現在の割合だけでなく、増え方と次に確認できる時点までの余裕を調べます。その場で対応する必要が無ければ、即時通知から日中に確認する作業へ移す案があります。ただし、記録する場所と確認する担当を決めないまま通知先だけを変えると、確認されない状態は残ります。
一時的な変動が原因なら、継続時間や通知条件の調整を検討します。閾値を上げて件数だけを減らす前に、過去の障害で必要だった通知まで遅れないかを確かめてください。履歴が無ければ、その調整で何を見逃すかはまだ判断できません。
戻せる状態で通知を止める
判断が付いたら、対象と理由を記録し、元の設定へ戻せる形で変更します。可能なら、まず通知だけを止め、計測値や判定結果は残してください。何を止めたかが曖昧にならないよう、対象を絞って変更するほうが、見直すときに確かめやすくなります。
変更の記録には代わりに確認する指標、変更を確かめる人、見直す日、元へ戻す条件を含めます。観察する期間は日数だけで決めません。月末の処理が対象なら月末を含めるなど、その通知が必要になる場面を確かめられる期間にします。
変更後は、通知が減ったかに加えて、別の経路で異常を検知できたか、当番の判断が遅れていないかを確認します。ただし、障害が起きなかっただけでは削除の妥当性は証明できません。安全に試験できる環境や方法があれば、想定した異常で代わりの通知が届くかも確かめます。本番で障害を起こして試す必要はありません。
判断できないものは期限を付けて残す
目的が分からないアラートは分からないまま残した理由と、次に何を調べるかを書いておきます。担当者を決め、次の定期処理や運用の振り返りで確認する日を置きます。「念のため残す」だけでは、次の担当者も同じ判断で止まります。
最初から全アラートの閾値を設計し直したり、監視製品を入れ替えたりする必要はありません。対応記録を確かめられる通知から、削除するもの、通知方法を変えるもの、残すものを決めていけば十分です。根拠が足りないものについては、足りない記録を集めるところまでを今回の作業にします。