どどんとふ公式鯖の派手な障害やらかし

どどんとふ公式鯖稼働系の物理サーバーのファイルシステムが溢れたことにより稼働系仮想マシンのファイルシステム破損が発生し待機系に切り替わったものの稼働系と待機系のデータ同期が一部不完全だったことから部屋データと画像データの不一致が発生しておりました。

状況を調査した結果、どどんとふ公式鯖の全部屋データを不整合がない状態の最新バックアップである2018/05/21 23:30時点に全データのロールバックを行いました。 避難所についても同様の状況であることから、救済措置として第壱~第四鯖の部屋削除日数を5→10日に延長しております。 (第五、第六鯖はもとから10日のため)

部屋データの消失およびロールバックが発生した原因というか経緯は以下の通りです

  • 5/21に発生した障害時にramdisk→hddへのコミット処理が多重起動防止のフラグを残したまま異常終了。
  • 多重起動防止フラグが残っているので同期処理が実行されなかった
  • ramdiskのデータが未コミットのため、待機系へのデータ同期、避難所へのコピー、日次バックアップについては、 ramdisk上の部屋データのみ全て5/21時点しかない
  • サーバー再起動時にはフラグファイル有無に関係なくコミット処理を行うため、5/21 23:00のリカバリー時に実行した再起動時の状態が唯一整合性のある状態
  • 5/26 14:50 稼働系の画像データがあるSSD領域のファイルシステムが溢れたことによってどどんとふ公式鯖の稼働系が停止し、待機系に切り替わった
    • ファイルシステム溢れの原因は5/19のメンテナンス後にバックアップを取得した際に実行したsnapshotが残存していたため、公式鯖の画像データの増減によりbtrfsのmetadataが削除されず蓄積され続けたため
  • 待機系は部屋データの同期が5/21時点で止まっていたため、部屋データは5/21なのに画像データは日次バックアップにより5/26が最新という不整合状態になっていた

また、全ての部屋データとキャラクターデータの整合性確認は現在の運用体制では不可能ですので、申し訳ございませんが、 上記以外の不整合や不備がありましても個別のリカバリー等には応じかねます。

で、以下のような再発防止策を実施しています。

  • 日次バックアップ処理の改良
    • ramdisk→hddへのコミット処理を多重起動防止のフラグ有無関係なしに実施
    • 多重起動防止のフラグをリセット(日次バックアップ時は定期コミットをそもそも動かしていないため多重起動しようがない)
  • 5/19の不安定化になった原因はKernel更新により対策済
  • ファイルシステム溢れの原因となったsnapshotを削除

人間ドック

先週、市立病院にいって人間ドック受診してきました。

ほぼ丸1日かけてのフルコースです。

  • 身長・体重・腹囲・体脂肪率
  • 血液検査
  • 検便(大腸がん)
  • 視力・聴力
  • 脳MRI
  • 心電図
  • レントゲン
  • 胃カメラ
  • 超音波検査
  • 問診
  • 栄養指導

ざっくり覚えているだけでもこれだけ。費用は10万ちょい。なかなかのお値段ですが、健康にはかえられない。

結果として重篤な病気は見つからなかったものの予想していなかった病気もちらほら判明。

腎臓に結石(左右両方)、脂肪肝、食道ヘルニア&逆流性食道炎。いずれも命に別状はないどころか、当面経過観察のみで治療も不要なレベルだったので安心。まだ全部の結果が出るのは2~3週間後らしいので、それまで安心はできない。

一番怖いのは腎臓の結石。尿管結石にならないようジェットコースター乗った方がいいかな?

水耕栽培装置届いた

会社から帰宅したら、何やら巨大な段ボールが届いていました。

欲しい物リストにあるとある品がなくなっているのを見て確信。水耕栽培装置でした。これです。

どどんとふ公式鯖管理人の欲しい物リストに入れていたので、どなたかが贈ってくださったのでしょう。マーケットプレイス業者からの直送なので、どなたからかはわかりませんでしたが、こんなに高額なものをありがとうございます。早速開封します。

ほぼパイプなわけですが、予想通り工作精度はめっちゃ悪いしなんか汚いです。まあ、屋外で使う物なので気にしません。

栽培用のカップですが、かなりの量がバッキバキだったのは予想外ですが、使えなくはない。

ポンプとタイマーは中華仕様なので、これはゴミ箱直行。リーベックスのプログラムタイマーと観賞魚用のポンプは既に持っていますので大丈夫です。

とりあえず、組み立ててみましたが組み立てがとにかく大変です。何せ工作精度が悪くてパイプの接合が堅いし歪んでいます。かといって、ハンマーとかで力尽くでやると割れそうなので、とりあえず気合いで押し込みました。風呂上がりなのに汗だく&変な力の入れ方をしたせいか節々が痛い。

で、あとは苗をスポンジに入れて水を流すのですが、まず苗を発芽させなければなりません。とりあえず手持ちのほうれん草とバジルの種を濡らしたキッチンペーパーの上で発芽させることにします。ちなみに、本体以外の付属品は、「バッキバキに割れたカップ」「200V仕様のポンプ」「中国規格の電圧不明なタイマー」「ピンセット」「説明書(中国語)」でした。うーん、ホームハイポニカとかに比べたら確かに安いし、国産品にはない立体的に72個の苗を一気に育てられるのと、塩ビ管を自分で加工する手間を考えると妥当な気がするが、2万あればかなりの量の野菜がスーパーで買えてしまうので、需要は極めて少ないと思う。

ご自宅のESXiを6.7に更新

作業は、こちらの手順を参考に実施したらめっちゃ簡単にバージョンアップできました。CD焼くどころかISOイメージのダウンロードも全自動。

https://www.vladan.fr/how-to-upgrade-esxi-6-0-to-6-5-via-cli-on-line/

で、あとは再起動するだけ。コツは、サードパーティー製のVIBが入っていると依存関係等の理由で失敗することがあるぐらい。

(vghettoVCBがエラーになったので、アンインストールしてから実施して、終わってから再導入したらOKになった)

mineo解約してIIJmioにMNP

3年ほど前に、IIJmioの回線が遅くて不満だったので、mineoに乗り換えていたのですがここ数ヶ月お昼の時間帯がとにかく遅かった。
「まあ格安MVNOだししゃーない」と思っていたのですが、つい最近通信の最適化という名の改ざんおよびSSLとVPN狙い撃ちの帯域制限かけていることを知り、モバイルルーターは即時解約して、音声通話は月の切り替わりタイミングでMNP手続き実施。
で、昨日からIIJmioになったのですが、以前の遅さが完全に解消されていてめっちゃ快適。もちろんデータ改ざんもVPNやSSLの帯域制限もない。

高木浩光氏も優良誤認表示の「通信の最適化」(間引きデータ通信)は著作権侵害&通信の秘密侵害、公正表示義務をのエントリーで記載してある通り、約款で書いていようが事前通知していようが通信事業者がインターネット接続サービスと銘打ってやって良い事じゃない。

あと、何が良くないってこういう優良誤認表示でコスト削減に成功して市場やライトユーザーから受け入れられちゃうと、まともな改ざんを行っていない通信業者が駆逐されてしまうので、こういうのは行政がしっかり規制なり指導して欲しいところです。

 

mariadbがめっちゃ重い原因判明+色々

WordPressのnewstatというアクセスカウンタのプラグインが異常に重いことが判明して、DBを最適化してもあまり改善しなかったので、プラグインを別のやつに入れ替えたらサクサクになった。

あと、ArchLinuxのパッケージを最新にしたら、GnomeShellが問答無用でSuspendしやがるようになったので無効化。原因がわかるまですんげー大変だった。なんせ20分以内に対処しなけりゃ、Suspend&復帰不可なので強制リブートの繰り返しだったから。

galeraにしたmariadbが重い

昨日の続きで、負荷分散のためにmaxscaleも導入。
それはさておき、galera clusterにししたmariadbがとにかく重い。1ページ開くだけでmysqldのuserが100%近くに張り付く。いくらなんでもよろしくないので、ちゃんとチューニングしなければ。

blog鯖移行しました

blogが稼働しているサーバーを単体の仮想マシンから、3台のCluster構成に変更しました。DBMSはMariaDB galera cluster、ファイルシステムはGlusterfsでnginxのリバースプロキシでロードバランシングというどこにでもある誤自宅の標準的な構成に変えました。
PHPとDBMS接続部分などはもうちょっと改善の余地があるけどとりあえず完成。

今期の水耕栽培

レタスのブクブク水耕栽培を始めるためにダイソーでプランターを購入。黒いのが200円で、鉢受け皿が100円。

鉢受け皿にホールソーで穴開け。互い違いに11個。

AliExpressで購入した水耕栽培のカップとスポンジにレタスの種を入れて発芽を待つ。

発芽したカップを先ほどの穴にはめて、水をたっぷり入れてそこにハイポニカをぶち込んで完了。エアポンプでブクブク。鉢の底には穴が空いてるので最初はアルミテープとダクトテープで塞いでたけどあっという間に漏水したので、ゴミ袋を入れるという方法で対応。無事美味しく食べられるように大きくなるかなぁ。。。これが成功すればもう何セットか作って、バジルも育てる予定。なんせ500円ちょっとで作れるしね。

自家製納豆

ヨーグルティアで今まで作ったことなかった納豆作りに初挑戦してみた。
材料はは、種菌用の納豆パックと大豆(業務スーパーで購入した北海道産乾燥大豆1Kgで確か458円)。

作り方は、ググればいっぱい出てくるレシピをそのまま試しただけなのでここでは書きません。で、完成したのがこちら。




臭いは普通に納豆です。味は市販の納豆パックとは全然違って、すんごい柔らかくて豆の香りが凄くてメチャクチャ美味しい。いつもは朝ご飯はパンだけど、3日ほど朝は納豆ご飯でした。シンプルなめんつゆ、醤油麹とわさび、ポン酢で食べたり、納豆カレーにしたり、納豆パスタにしてもどれもめっちゃ美味しい。

コスパについでは、普段食べているのは3連パック88円ぐらいのやつで、調べてみたらだいたい150gぐらいらしい。乾燥大豆を水煮にするとざっくり2倍に膨らむとして、計算するとこんな感じ。

実際には自家製納豆は水・光熱費・手間がかかるし、お惣菜や外食で材料原価が50%だと元をとるのはかなり厳しい数字だと思うので、ほぼ同じコスパだと思うけど、こんだけ美味しければあり。