自動ニュース作成G
GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット
http://www.publickey1.jp/blog/17/gitlabcom56.html
2017-02-02 08:52:51
＞1月31日23時頃。（ここで決定的な操作ミスが発生するので、以下は報告を訳します）
＞そしてこの1～2秒が致命傷に。
＞GitLab.comは本番データベースを失い、緊急のデータベースメンテナンスへ突入。
・やっちゃった当人の心境を思うとクラクラするな… ひとまず戻せて良かった。復旧作業をyoutubeで公開するって面白くて良いね。以前からgitlab使ってるけど、少し好感度が上がった。
・他人事ではないよ。操作ミスはしたがレプリケーションの為にバックアップとったのは流石だな。俺ならやらない。
・スパム対応からの操作ミスアンドバックアップ不備の判明の流れが美しい
・バックアップが機能していなかったのは経験あるなあ（バックアップ用NASの故障） 今はバックアップが取られているか毎朝確認するようになった
・#1 自分は下がっちゃったなあ。遊びで使うサービスとかだったら楽しんで見られるけど、有償でソースを管理しているクラウドサービスがバックアップもまともに取ってない運用だったら辛い。同業他社も微妙な気持ちじゃないかな
・定常バックアップが機能してなかったって、ふだんの運用ログチェックの甘さが露呈してるな（身につまされる話だｗ
・運用監視システムが後回しになってるか、運用チェックできる人員が確保できてないか、運用マニュアルが整備されてないか・・・
・内部構造知られて大丈夫なのか？まぁ慣れた人ならクローズな状態でも中を漁れば大体すぐ判るだろうけど