カテゴリー別アーカイブ: Server

HD故障からのデータ復旧

12月から弊社は新会計年度です

今年度からは、IT系サービスに力を入れます
皆様、宜しくお願いします
第一弾、データ復旧サービスについて

元々、ストレージサーバーの運用や、バックアップのシステム構築はしてきたのですが
新たに、物理故障の対応が可能になりました。
コストが掛かるので、従来通りの方針は変わりませんが
・バックアップしてなかった
・どうしてもバックアップして欲しい
と言う要望に応えられそうです。

HDだけでなくフラッシュメディアも対応可能です
もし困った場合は、是非ご相談ください
見積もり後、全て成功報酬制です。

それよりも前に、もっと計画的なデータマネージメントの導入はお奨めします
そのデータに幾ら価値があるか?
いろんな運用の分岐点になります

 

 

弊社のデータマネージメントをご紹介します

20年ITに関わってくると、記憶媒体の故障というのには何度も遭遇します

古くは、フロッピーディスク(ぎりぎりテープではありませんでした)
から始まり、HD、CD、MO、DVDなど、数多くのメディアを扱ってきました

その上での結論は
記憶媒体に絶対は無く
データの運用(バックアップなどの組み合わせ)が必須であることです。

データは消えるかも知れない、消えたデータは、勝手に戻ることは絶対にないです。

バックアップする事は当たり前で
そのバックアップされたデータをどのようにマネージメントするか?
プロフェッショナルの仕事です。
ちなみに、弊社のデータマネージメントですが
自社に関しては、
・お客さまの領域
・自分の領域
セグメントを分けてマネージメントしています

メディアですが経験則上で言うと
・壊れるHDはすぐ壊れる(3ヶ月以内)
・そこを突破すると数年は持つ
・HDは稼働時の衝撃には弱い
・ソフトウェアRAIDは復旧が面倒
・RAIDは復旧時間まで検討する余地がある
・光メディアは、プレスでも数年持たない物がある
・光メディアは、紫外線で一発
大雑把にこんな感じです
・物は壊れる
・単体サーバーも、出来る限り最新モデルにリプレイスする
その前提での運用をしています。
自社の場合は割とシンプルで
単体サーバーは
・ハードウェアRAID1
・ホットスワップかつ、スペア1本差し
これと、外部記憶装置への保存で95%程度

・NAS(ローカル接続、SASのハードウェアRAID1)
に一時保存
そこから、重要なデータは、更に外付けHDで保存
1から2年ごとに、HDを交換しながら、古い世代を廃棄しています
お客さまに関しては、求められる条件で個別に保存
最低でも2種類以上の記憶装置で保存という形にしています

以前は、光ディスクも使って居たのですが
ここまで、データ容量が膨大になると、光メディアでは追いつかなくなりました。

今だと、AWSという選択もあるでしょうか?
ここ、最近依頼されることが、割と基本的な事に戻ってきました
HDなどが安くなった今だからこそ、バックアップを真剣に考えてみませんか?

word press にログイン出来ない

弊社のEC用のアプリケーションサーバーで発生
トラフィックはそうでもないのですが1日150万から200万PVあるサーバーです。

深夜、Word Pressにログインしようとすると出来無い。。。

突然、足し算でロボットでないか認証し始めました。。。

前後で、何かいじった覚え無し、朝まで正常稼働しているし、WEBも表示している。

パスワードが違う?と思い、何度か入れ替えてみるも、挙動は変わらず。

とりあえず、検索

Word Press Codex日本語版

↑ここを参考に、対応して見るも変わらず。

冷静になり、違った操作を・・・・・

全く違うパスワードを入れると→間違えたと出る

正解と思われるパスワードを入れると→同じ画面に戻るだけ

それと、同じサーバーに乗ってる他のWord Pressサイトは動いているし、ログイン出来ています。

とりあえず、DBいじるかと
久しぶりにPhpmyadminの操作を決意
httpd .confを書き換えてログインしようとすると

これもログイン出来ない。。。。。。

 

ここでようやく、問題は別だと感じました。

ディスクフル?

チェックしてみても、超巨大なストレージなので10%も使用していませんでした。

キャッシュ回りがエラーしているんだろうか?
と思い、全てバックアップを取ってから、再起動。

データベースが接続できませんのエラー。

 

再度真剣に原因追及してみると

/dev/mapper/vg_server200-lv_root   が100%になっていました。。。。

そういうことかと、判りました

そうなれば、/dev/mapper/vg_server200-lv_root   の領域を大きくするだけです。LVMだから便利です

/dev/mapper/vg_server200-lv_root   の領域を4倍にする

/dev/mapper/vg_server200-lv_home  を増やした分を減らす 今回は150G

wpid-wp-1472962060712.jpg

ざっとした手順

single モードで起動(Cent OS6)
1,起動時、キーを押す
2,E
3,kenrl で始まる行に移動し Eを押して single 加える
起動後
4,df -h
5, umount /home
6 ,fsck.ext4 -f /dev/mapper/vg_server200-lv_root
7, resize2fs 1550G
8, lvreduce -L 1550G /dev/mapper/vg_server200-lv_home
9, mount -t ext4 /dev/mapper/vg_server200-lv_home /home

一度確認
df -h

10, lvextend -L 200G /dev/mapper/vg_server200-lv_root
11,resize2fs /dev/mapper/vg_server200-lv_root

これで終了

再起動すると OKでした。

深夜で尚且つ、親不知抜いて、晴れ上がった左下歯茎で朦朧としていましたが何とか復旧

ディスクサイズに余裕を取っていたのと、ファイルサイズが増える様な運用をしないので、油断していましたが

/dev/mapper/vg_server200-lv_root ←この領域がフルになることは、負荷が高いサーバーは最初から余裕を持っていた方が良いかもです。

そして、2時間後。

一つのサイトだけ、記事が全部消えてるとスタッフから報告。

他のサイトは稼働しています。

まぁ、DBだろうと辺りは付いていますので

mysqlcheck -c DB名 -u root -p

でチェック。 テーブルが壊れてました。
mysqlcheck -r DB名  テーブル名 -u root -p
修正
mysqlcheck -c DB名 -u root -p
最終チェック

参考
http://d.hatena.ne.jp/jitsu102/20120106/1325799325

自社だから良い物の、お金が動いているサーバーなので、無事復旧できて良かったです。
弊社の場合、スタンドアローンでサーバーを使わせて頂ける場合が多いので、今回の件は初めてでした。もっと負荷が高くて、トラフィックも高いサーバーは数台有るのですが、17年のサーバー歴で初めての出来事でした。

SCSI世代のサーバーを撤去

image

 

今年必ずやりたかった、SCSI世代のサーバーの撤去
今月初めに、ネットワークのバックボーンを10倍の帯域にし、次にやりたいことは、サーバーを減らすことでした。

SCSIからSASに変わったぐらいからサーバーの性能が劇的に向上しました。

それと、自分の中でも運用するサーバーに求める仕様がほぼほぼ決まってきたのもあり今回大幅リストラです。

求めるサーバーのスペック

  • フロントのホットスワップHD(15000rpm)
  • ホットスワップ電源
  • CPU2機実装
  • メモリ64G以上
  • モニター端子が前面にある

自宅サーバーから始めて(と言っても、回線5本ぐらい引いてましたが。僕の中での自宅サーバーは、回線の品質のこと。帯域保証無しやSLA回線でない物は全て自宅という範疇)、全体で1日1000万PVを越すトラフィックを提供するようになった現在、いろいろな物が見えてきました。

最近不要かなと思っているのがUPS。
大規模障害が1度おこったことがあるのですが、その時もUPSの故障。
都会の商業地域に建物丸ごと借りてデーターセンターを構えるメリットは停電が起こらないことで、今のデータセンターを構えてから(12年?)、瞬停が数度起こった程度です。
瞬停と言っても、電圧の低下程度でした。

問題は、コンセントをNEMA30に統一しちゃってること(200V除く)。UPSつなげる前提でのコンセントにしちゃってます

 

話は戻りサーバーの廃棄
業としてデータセンターを運営していると、スペアサーバーやパーツのストックも抱えておかなければならず(保守サービス入っていても、30分で来てくれるわけではないので)、どうしても物が多くなります。
前回は約1トン。その時は、フルサイズのコンテナを借りていたので置く場所には困らなかったのですが、今は手狭です。

車輌はライトエースバン
ガラスが割れるのは避けたいので、ガラスぎりぎりの量で抑えました
果たして何キロなんでしょう

捨てるサーバーを選定し、整理に8時間。
積み込みに3時間を要しました。

今回は、羽曳野の大畑商事
サーバー屑やいろいろな廃棄物を取ってくれます

サーバーやパソコンの処理って金が要ると思っている人が多いですが
特に、サーバーは1台20キロ以上する物がほとんどですから、近くにあれば利用するのも手かも

今回は、純然たるサーバーだったのですが
メモリが付いてないという理由で、パソコンにされちゃいました
既に疲れていて、文句言う気力もなかったので、そこはスルー。

image

image

 

あの量で、740キロ。
良く1人で積み込んだ物ですw

image

 

ご褒美で天神旗の極老
ここの豚骨は脂を添加してない豚骨では関西最強と思います。

この太い麺が濃いスープを受け止めます!
いつもはニンニクも入れないのですが(最近からだが受け付けない)、かなり入れました・・・・

image

 

そこからのよかたん!
汗流しましたともw

ここで売っている卵が美味しいのです

image

 

抜いたパーツの数
結構メモリがあります。SCSIは使いようがないので(と言っても、まだ、100本近く残ってる)、大容量以外は全てつけっぱなしで。

かなりスペースが出来たので、データセンターの整理です。
この勢いで、色々整理したいです。

 

その前に病院行かないと・・・・・・

明日で一週間

 

3日でスタートしたサービス

とりあえず、仕様確定ではなく誤魔化しながらの運用ですが
サーバーは、快適に動いています。

 

server