【訂正】さくらのクラウドで重大な障害か？

sakura

systemdown

僕もちょっと使い始めているさくらのクラウドの~~ストレージシステムに重大な障害が発生している模様。~~
~~依然として公式発表はされていません~~（公表されました。下記参照。）が、本当の原因はプログラムのバグだった模様。ということで、下記のストレージの障害とは直接関係はありませんでした。よってエントリの題名^*1を訂正します。(2012/01/06 追記)

例の件、先ほど報告書が届きました。対象は53件。不要データの削除処理プログラムのバグだそうです。#sacloud
— noopable (@noopable)January 6, 2012

さらにもうちょっと詳しいまとめ → 「年末年始のさくらクラウドさんの件 | 機械忍者 @cyborg__ninja」(2011/01/07追記)

Twitter の検索結果を見ていると、スナップショットも含めてデータが全損したという人もいるようです。
　・Twitter / Search - #sacloud
　・#sacloud – Topsy

† 今後への考え方 (2012/01/06 追記)

ユーザーとして安定稼働を望むのは変わりません。ただ、僕は性急にさくらのクラウド使うのやめるつもりはありません。クラウドだから、専用サーバだからということに関係なく、ハードは壊れるときには壊れるし、サービスが落ちるときは落ちるし、データは消えるときは消えます。そういうものだと思っています。サービスや構成の違いによってその確率がちょっと変わるだけです。そのちょっとが致命傷になると考えるのであれば、「最悪を想定したバックアップは最低限、別サイトに別媒体でとっておきましょう、ベアメタルからのリストアの訓練も定期的にしましょう」ということに尽きると思います。それだけでデータが失われる確率をグッと小さくすることができるわけですから。

† 2011/01/15 追記

さくらからデータの損失についての詳細が公表されました。

「さくらのクラウド」ストレージネットワーク障害に関するご報告（1月13日更新） | IaaS型パブリッククラウド「さくらのクラウド」

■作業中のプログラムバグによるお客様データ損傷について
今回の不具合に関連し、解約されたお客様のデータの一部が正常に削除されない事象が発生しておりました。
この不具合対処過程においてプログラムバグにより、お客様ご利用中ディスクデータの一部が削除される事象が発生いたしております。
対象となった53件のお客様には個別にご連絡をいたしておりますが、削除等の重大な影響を与える管理機能およびその操作については、バグによって影響が発生しないよう手順等の変更を行っております。
また、データをバックアップするシステムは用意されているものの、今回の高負荷の影響によってバックアップが行えない状況となっており、早期の問題解消を進め、定期的なバックアップ実施を行います。

† 下記は今回の障害とは直接関係ありません

障害情報等^*2にはまだ公式なアナウンスはありませんが、もともとさくらのクラウドは12月1日から12月25日までの利用料金が無料になるという、けっこう深刻な影響が発生していました。今日、改めて確認してみるとこの情報がアップデートされていて、12月中の利用料金が無料になっていますね。

~~「さくらのクラウド」ストレージネットワーク障害に関するご報告（1月5日更新） | IaaS型パブリッククラウド「さくらのクラウド」~~

■障害内容説明
12月9日以降、「さくらのクラウド」における複数回の障害発生につきまして、障害の原因と実施いたしました障害対策についてご報告をいたします。

この事象は、「さくらのクラウド」にて使用しておりますストレージシステムに関連するものであり、ご利用中のお客様におかれましては、ホストサーバがダウンし収容されたお客様のサーバにアクセスできなくなる現象や、ディスクに対する読み込み・書き込み処理が不定期に失敗し、ご利用中にサーバのエラーログおよびコンソール画面にその症状が出力される現象が発生いたしました。

原因としては、特定パターンの通信がストレージネットワーク用のインターフェースに影響し、通信障害が発生しておりました。

僕の使っているマシンでは幸いにも今のところデータ損失等は発生しておらず、特に負荷が高くなるという現象もみられません。もしやと思って /var/log/message を確認したところATAディスクへのタイムアウトが何度か発生したことは確認できました。本当はこのあたりは解決したことになっているのですが、まだ万全でないところはちょっと不安を覚えるところです。まだテスト用で特に重要なデータを入れているわけでもないので、吹っ飛んでも損害は皆無ですが、期待していただけにちょっとこれは残念な滑り出しですね。

少なくとも専用サーバから拙速に乗り換えなくて正解でした。