カテゴリー別アーカイブ: Server

word press にログイン出来ない

弊社のEC用のアプリケーションサーバーで発生
トラフィックはそうでもないのですが1日150万から200万PVあるサーバーです。

深夜、Word Pressにログインしようとすると出来無い。。。

突然、足し算でロボットでないか認証し始めました。。。

前後で、何かいじった覚え無し、朝まで正常稼働しているし、WEBも表示している。

パスワードが違う?と思い、何度か入れ替えてみるも、挙動は変わらず。

とりあえず、検索

Word Press Codex日本語版

↑ここを参考に、対応して見るも変わらず。

冷静になり、違った操作を・・・・・

全く違うパスワードを入れると→間違えたと出る

正解と思われるパスワードを入れると→同じ画面に戻るだけ

それと、同じサーバーに乗ってる他のWord Pressサイトは動いているし、ログイン出来ています。

とりあえず、DBいじるかと
久しぶりにPhpmyadminの操作を決意
httpd .confを書き換えてログインしようとすると

これもログイン出来ない。。。。。。

 

ここでようやく、問題は別だと感じました。

ディスクフル?

チェックしてみても、超巨大なストレージなので10%も使用していませんでした。

キャッシュ回りがエラーしているんだろうか?
と思い、全てバックアップを取ってから、再起動。

データベースが接続できませんのエラー。

 

再度真剣に原因追及してみると

/dev/mapper/vg_server200-lv_root   が100%になっていました。。。。

そういうことかと、判りました

そうなれば、/dev/mapper/vg_server200-lv_root   の領域を大きくするだけです。LVMだから便利です

/dev/mapper/vg_server200-lv_root   の領域を4倍にする

/dev/mapper/vg_server200-lv_home  を増やした分を減らす 今回は150G

wpid-wp-1472962060712.jpg

ざっとした手順

single モードで起動(Cent OS6)
1,起動時、キーを押す
2,E
3,kenrl で始まる行に移動し Eを押して single 加える
起動後
4,df -h
5, umount /home
6 ,fsck.ext4 -f /dev/mapper/vg_server200-lv_root
7, resize2fs 1550G
8, lvreduce -L 1550G /dev/mapper/vg_server200-lv_home
9, mount -t ext4 /dev/mapper/vg_server200-lv_home /home

一度確認
df -h

10, lvextend -L 200G /dev/mapper/vg_server200-lv_root
11,resize2fs /dev/mapper/vg_server200-lv_root

これで終了

再起動すると OKでした。

深夜で尚且つ、親不知抜いて、晴れ上がった左下歯茎で朦朧としていましたが何とか復旧

ディスクサイズに余裕を取っていたのと、ファイルサイズが増える様な運用をしないので、油断していましたが

/dev/mapper/vg_server200-lv_root ←この領域がフルになることは、負荷が高いサーバーは最初から余裕を持っていた方が良いかもです。

そして、2時間後。

一つのサイトだけ、記事が全部消えてるとスタッフから報告。

他のサイトは稼働しています。

まぁ、DBだろうと辺りは付いていますので

mysqlcheck -c DB名 -u root -p

でチェック。 テーブルが壊れてました。
mysqlcheck -r DB名  テーブル名 -u root -p
修正
mysqlcheck -c DB名 -u root -p
最終チェック

参考
http://d.hatena.ne.jp/jitsu102/20120106/1325799325

自社だから良い物の、お金が動いているサーバーなので、無事復旧できて良かったです。
弊社の場合、スタンドアローンでサーバーを使わせて頂ける場合が多いので、今回の件は初めてでした。もっと負荷が高くて、トラフィックも高いサーバーは数台有るのですが、17年のサーバー歴で初めての出来事でした。

SCSI世代のサーバーを撤去

image

 

今年必ずやりたかった、SCSI世代のサーバーの撤去
今月初めに、ネットワークのバックボーンを10倍の帯域にし、次にやりたいことは、サーバーを減らすことでした。

SCSIからSASに変わったぐらいからサーバーの性能が劇的に向上しました。

それと、自分の中でも運用するサーバーに求める仕様がほぼほぼ決まってきたのもあり今回大幅リストラです。

求めるサーバーのスペック

  • フロントのホットスワップHD(15000rpm)
  • ホットスワップ電源
  • CPU2機実装
  • メモリ64G以上
  • モニター端子が前面にある

自宅サーバーから始めて(と言っても、回線5本ぐらい引いてましたが。僕の中での自宅サーバーは、回線の品質のこと。帯域保証無しやSLA回線でない物は全て自宅という範疇)、全体で1日1000万PVを越すトラフィックを提供するようになった現在、いろいろな物が見えてきました。

最近不要かなと思っているのがUPS。
大規模障害が1度おこったことがあるのですが、その時もUPSの故障。
都会の商業地域に建物丸ごと借りてデーターセンターを構えるメリットは停電が起こらないことで、今のデータセンターを構えてから(12年?)、瞬停が数度起こった程度です。
瞬停と言っても、電圧の低下程度でした。

問題は、コンセントをNEMA30に統一しちゃってること(200V除く)。UPSつなげる前提でのコンセントにしちゃってます

 

話は戻りサーバーの廃棄
業としてデータセンターを運営していると、スペアサーバーやパーツのストックも抱えておかなければならず(保守サービス入っていても、30分で来てくれるわけではないので)、どうしても物が多くなります。
前回は約1トン。その時は、フルサイズのコンテナを借りていたので置く場所には困らなかったのですが、今は手狭です。

車輌はライトエースバン
ガラスが割れるのは避けたいので、ガラスぎりぎりの量で抑えました
果たして何キロなんでしょう

捨てるサーバーを選定し、整理に8時間。
積み込みに3時間を要しました。

今回は、羽曳野の大畑商事
サーバー屑やいろいろな廃棄物を取ってくれます

サーバーやパソコンの処理って金が要ると思っている人が多いですが
特に、サーバーは1台20キロ以上する物がほとんどですから、近くにあれば利用するのも手かも

今回は、純然たるサーバーだったのですが
メモリが付いてないという理由で、パソコンにされちゃいました
既に疲れていて、文句言う気力もなかったので、そこはスルー。

image

image

 

あの量で、740キロ。
良く1人で積み込んだ物ですw

image

 

ご褒美で天神旗の極老
ここの豚骨は脂を添加してない豚骨では関西最強と思います。

この太い麺が濃いスープを受け止めます!
いつもはニンニクも入れないのですが(最近からだが受け付けない)、かなり入れました・・・・

image

 

そこからのよかたん!
汗流しましたともw

ここで売っている卵が美味しいのです

image

 

抜いたパーツの数
結構メモリがあります。SCSIは使いようがないので(と言っても、まだ、100本近く残ってる)、大容量以外は全てつけっぱなしで。

かなりスペースが出来たので、データセンターの整理です。
この勢いで、色々整理したいです。

 

その前に病院行かないと・・・・・・

明日で一週間

 

3日でスタートしたサービス

とりあえず、仕様確定ではなく誤魔化しながらの運用ですが
サーバーは、快適に動いています。

 

server

サーバートラブル

昨日、メールが届かないと、お客さまから連絡。

サーバーは、生きてる感じ・・・・・・

外出中だったので、事務所に戻って確認するも

やはりWEBは生きてる・・・・・・

リモートで接続しようとすると、NG

直接、つないで確認するも、、、動いてる。

そして、ネットワークを再起動すると・・・・・・・

帰ってこない。。。。

 

ここまで来ると、サーバーの再起動しかないのですが、運用者目線だと再起動ってかなり不安。何せ、10年近くほとんど止まってないサーバーなので・・・・・・。

とりあえず、無事帰ってきました

つながらなくなった原因はわかったけど、意図的な攻撃なのか、たまたまなのか。。。。。
初めての症状なので、しばらく様子見です。

運用していると、理想通りにはいってくれないです^^;