Documents

# 本番キャッシュ再起動手順（当番向け・暫定版）

## 1. 目的
監視でキャッシュ関連のエラーを検知した場合に、本番キャッシュを安全に再起動し、復旧を確認するための手順です。

> **重要：この手順は未確定項目を含む暫定版です。**
> 再起動コマンド、停止してよい条件、復旧確認方法、連絡先が確定するまで、本番環境で実行してはいけません。

## 2. 実施条件
監視でエラーを確認したら、まず以下を記録します。

- 発生日時（UTC／日本時間）
- 監視項目名とエラーメッセージ
- 影響しているサービス・環境
- エラーの継続状況と発生件数
- 直前のデプロイ、設定変更、障害対応の有無
- 実施した確認内容と結果

## 3. 再起動前の確認
次の条件をすべて満たすことを確認します。

- [ ] 対象が本番キャッシュであることを確認した
- [ ] エラーが一時的なものではなく、継続または再発している
- [ ] キャッシュ再起動が適切な対処であることを確認した
- [ ] 再起動によりキャッシュが空になった場合の影響を確認した
- [ ] アプリケーションやバックエンドへの負荷増大を確認した
- [ ] 停止してよい条件を満たしている
- [ ] 必要な承認・連絡を完了している

### 未確定項目（要決定）
- 再起動対象のサービス名、ホスト名、クラスタ名
- 再起動コマンドおよび実行ユーザー
- 再起動前に停止してよい条件
- 再起動してはいけない時間帯・状況
- 承認者および連絡先
- 作業開始・完了時の連絡先、連絡手段

## 4. 再起動手順
1. 作業開始を所定の連絡先へ通知する。連絡先は未確定のため、確定後に記載する。
2. 対象サービスと対象ホストを再確認する。
3. 再起動前の状態を記録する。
   - サービス状態
   - キャッシュの接続状態
   - エラー件数
   - CPU、メモリ、接続数、レイテンシなどの主要メトリクス
4. 以下の確定済みコマンドを実行する。

```text
【再起動コマンド：未確定】
```

5. コマンドの実行結果と実行時刻を記録する。
6. 再起動完了を待ち、サービス状態を確認する。

> コマンド、対象、実行ユーザー、タイムアウト、ロールバック方法が確定するまで、推測でコマンドを実行しないでください。

## 5. 復旧確認
以下の確認方法を確定後に実施します。

- [ ] キャッシュサービスが正常状態になっている
- [ ] アプリケーションからキャッシュへ接続できる
- [ ] キャッシュ関連のエラーが解消または減少している
- [ ] アプリケーションのエラー率、レイテンシ、スループットが正常範囲に戻っている
- [ ] バックエンドへの負荷が許容範囲内である
- [ ] 必要なヘルスチェックまたは動作確認が成功している
- [ ] 監視が正常に戻っている

### 未確定項目（要決定）
- サービス状態の確認コマンド
- 接続確認コマンドまたはヘルスチェックURL
- 正常値・異常値の基準
- 監視上、何分間正常なら復旧と判定するか
- 復旧しない場合の追加対応、切り戻し、エスカレーション条件

## 6. 復旧しない場合
再起動後も復旧しない場合は、追加の再起動を繰り返さず、次を記録してエスカレーションします。

- 再起動時刻と実行結果
- 再起動前後の監視値
- 発生しているエラー
- 影響範囲
- 実施済みの確認・操作

連絡先：**未確定**

## 7. 作業完了報告
復旧を確認したら、以下を含めて完了報告を行います。

- 障害発生時刻、復旧時刻
- 対象サービス・対象ホスト
- 監視で検知した事象
- 実施した操作
- 再起動コマンドまたは作業ID
- 復旧確認結果
- 残課題、再発防止の要否

## 8. 確定が必要な情報
この手順を本番運用に使用する前に、次の情報を運用責任者が確定してください。

1. 再起動対象と実行コマンド
2. 停止してよい条件および禁止条件
3. 再起動前後の確認コマンド・監視項目
4. 復旧判定基準と待機時間
5. 復旧しない場合の対応
6. 承認者、当番、エスカレーション先、連絡手段
7. 作業履歴の記録場所