トラブル情報

オブジェクトストレージ障害について

平素はマネージドクラウドサービス Nシリーズをご利用いただきまして、誠にありがとうございます。

2019年10月10日(木)から発生しておりました
マネージドクラウドサービス Nシリーズのオブジェクトストレージ(east-2リージョン)障害に関しまして、
ご迷惑をおかけしましたことを深くお詫び申し上げます。

12月4日(水)11:00に現時点での対処を完了し、正常にご利用いただける状態となっております。
更新のある部分に (*) を付けています。

■障害発生時間
・2019年10月10日(木) 13:22~13:35
・2019年10月17日(木) 04:01~06:10、16:32~17:51
・2019年10月23日(水) 08:25~09:58
・2019年10月29日(火) 06:40~09:34
・2019年10月29日(火) 22:58~2019年10月30日(水) 00:53
・2019年11月13日(水) 16:17~17:08
・2019年11月18日(月) 19:45~20:58
・2019年11月19日(火) 02:45~03:11
・2019年11月20日(水) 03:30~04:19
・2019年11月24日(日) 21:50~22:03
・2019年11月26日(火) 19:40~20:08

■影響範囲と発生事象
オブジェクトストレージ(east-2リージョン)※
 ・コントロールパネルおよびAPI (ニフクラAPI)において、無応答または500番のエラーレスポンスが発生する場合がありました。(*)

なお、本障害の影響により、以下の機能において利用しづらい状況が発生しておりました。(*)
 ・ESS(ニフクラ ESS)の配信ログのログダウンロード
 ・RDB(ニフクラRDB)の自動バックアップ ※サービス提供なし※  
※west-1リージョンのオブジェクトストレージは正常稼働中です。
※本障害に伴うオブジェクトストレージ内のデータロストは発生しておりません。

■障害原因(*)
east-2リージョンのオブジェクトストレージを構成する一部ハードウェアの故障を起因とし 、
データ保全性を高めるためのファイルが過剰に蓄積されたことが原因となって、ストレージの高負荷およびプロセスの停止を引き起こしておりました。

■対処状況(*)
・故障したハードウェアの交換
・冗長性回復処理に伴う負荷低減対策の実施
・ストレージベンダーを交えて更なる負荷低減策並びに根治対応の検証の実施

今回の対応の中で、ファイルが過剰に蓄積する前に、該当データの冗長性回復処理を優先的に高速処理する方式およびシステムを確立しました。
この方式およびシステムを用いることで、万一、ハードウェアの故障等が発生した場合でも、サービスに影響を与えることなく早期に復旧することが可能となりました。

★2019年11月1日 14:00 追記
本障害の根治対応を進めることを目的としまして、11月2日(土)00:00から11月5日(火)06:00にかけて、終日緊急メンテナンス作業を実施させていただきます。
本作業に伴いまして、コントロールパネルおよびAPI (ニフクラAPI)の応答遅延やエラー応答が断続的に発生する可能性がございます。
ご迷惑をお掛けしますが、完全復旧に向けて必要な対処のため何卒ご理解くださいますようお願いいたします。

★2019年11月15日 09:05 追記
本障害の根治対応を進めることを目的としまして、11月15日(金) 19:00~11月18日(月) 07:00にかけて、終日緊急メンテナンス作業を実施させていただきます。
本作業に伴いまして、コントロールパネルおよびAPI (ニフクラAPI)の応答遅延やエラー応答が断続的に発生する可能性がございます。
ご迷惑をお掛けしますが、完全復旧に向けて必要な対処のため何卒ご理解くださいますようお願いいたします。

★2019年12月04日 11:20 追記(*)
負荷低減対策を完了し、ファイルが過剰に蓄積する前に、該当データの冗長性回復処理を優先的に高速処理する方式およびシステムを確立しました。
この方式およびシステムを用いることで、万一、機器の故障等が発生した場合でも、サービスに影響を与えることなく早期に復旧することが可能となりました。