カテゴリー別アーカイブ: Server

続編 メールサーバー

昨日20時辺りから遅延が発生していたメールサーバー(受信側は問題なし)
遅延が発生する中で、11万通送っていたのにはビックリした。
確認出来た、スパムの総数は18時間で4000万通。
それが、宛先不明で、送信サーバーに居座っていたと言う流れでした。
まだ、ログを解析し切れてませんが
おおよその、送信元と、メールの内容は、この8ヶ月ぐらい全メールサーバーに送られているスパムと変わりません。
(基本的には、ボット化したサーバ、クライアントによる、from,toをドメイン向けにランダムに変更し、とにかくスパムを送りつける感じです。)
ここ最近、1送信で送れる容量と、ユーザー領域を増やしたのが、遅延した要因と思われます(10倍以上拡大した)
設定を一旦戻すことと
バウンスの確認

もう少し様子見です

メールサーバー

受信は出来るが、送信できない。

メールのトラブルの連絡が・・・・・・

 

とりあえず、サーバーのレスポンスチェック、負荷率チェック

何も無い。

なんとなくピンときたので、キューをチェック
詰まってました。

どういうことかというと

メールの送信は、送信サーバーに送られてきた順番に並んでいきます。そして、その順番を処理する数は決められていて、有る一定数を超えると遅延が発生します。

ちなみに、その時の数は数万単位。

大きいスパムを喰らったのかなと思いました。

そこから、貯まったキューを削除、回復させました。

10年、メールサーバーとして稼働し、特に問題無かったので、
そろそろ、リニューアルの時期ですね

久しぶりに障害対応の話でした

 

 

後日談

とりあえず、仮復旧して、一休みしているところに
電話が。。。

中国出張して、何かに感染したんだけど、ひょっとして、これが原因と尋ねられました・・・・

それだよそれ。。。
ボット化されて、色々な踏み台にされていたようです。。。。。。

知り合った時から、貿易されている会社でしたが
新人のスタッフだそうです。

原因もわかり良かったです。

HD故障からのデータ復旧

12月から弊社は新会計年度です

今年度からは、IT系サービスに力を入れます
皆様、宜しくお願いします
第一弾、データ復旧サービスについて

元々、ストレージサーバーの運用や、バックアップのシステム構築はしてきたのですが
新たに、物理故障の対応が可能になりました。
コストが掛かるので、従来通りの方針は変わりませんが
・バックアップしてなかった
・どうしてもバックアップして欲しい
と言う要望に応えられそうです。

HDだけでなくフラッシュメディアも対応可能です
もし困った場合は、是非ご相談ください
見積もり後、全て成功報酬制です。

それよりも前に、もっと計画的なデータマネージメントの導入はお奨めします
そのデータに幾ら価値があるか?
いろんな運用の分岐点になります

 

 

弊社のデータマネージメントをご紹介します

20年ITに関わってくると、記憶媒体の故障というのには何度も遭遇します

古くは、フロッピーディスク(ぎりぎりテープではありませんでした)
から始まり、HD、CD、MO、DVDなど、数多くのメディアを扱ってきました

その上での結論は
記憶媒体に絶対は無く
データの運用(バックアップなどの組み合わせ)が必須であることです。

データは消えるかも知れない、消えたデータは、勝手に戻ることは絶対にないです。

バックアップする事は当たり前で
そのバックアップされたデータをどのようにマネージメントするか?
プロフェッショナルの仕事です。
ちなみに、弊社のデータマネージメントですが
自社に関しては、
・お客さまの領域
・自分の領域
セグメントを分けてマネージメントしています

メディアですが経験則上で言うと
・壊れるHDはすぐ壊れる(3ヶ月以内)
・そこを突破すると数年は持つ
・HDは稼働時の衝撃には弱い
・ソフトウェアRAIDは復旧が面倒
・RAIDは復旧時間まで検討する余地がある
・光メディアは、プレスでも数年持たない物がある
・光メディアは、紫外線で一発
大雑把にこんな感じです
・物は壊れる
・単体サーバーも、出来る限り最新モデルにリプレイスする
その前提での運用をしています。
自社の場合は割とシンプルで
単体サーバーは
・ハードウェアRAID1
・ホットスワップかつ、スペア1本差し
これと、外部記憶装置への保存で95%程度

・NAS(ローカル接続、SASのハードウェアRAID1)
に一時保存
そこから、重要なデータは、更に外付けHDで保存
1から2年ごとに、HDを交換しながら、古い世代を廃棄しています
お客さまに関しては、求められる条件で個別に保存
最低でも2種類以上の記憶装置で保存という形にしています

以前は、光ディスクも使って居たのですが
ここまで、データ容量が膨大になると、光メディアでは追いつかなくなりました。

今だと、AWSという選択もあるでしょうか?
ここ、最近依頼されることが、割と基本的な事に戻ってきました
HDなどが安くなった今だからこそ、バックアップを真剣に考えてみませんか?

word press にログイン出来ない

弊社のEC用のアプリケーションサーバーで発生
トラフィックはそうでもないのですが1日150万から200万PVあるサーバーです。

深夜、Word Pressにログインしようとすると出来無い。。。

突然、足し算でロボットでないか認証し始めました。。。

前後で、何かいじった覚え無し、朝まで正常稼働しているし、WEBも表示している。

パスワードが違う?と思い、何度か入れ替えてみるも、挙動は変わらず。

とりあえず、検索

Word Press Codex日本語版

↑ここを参考に、対応して見るも変わらず。

冷静になり、違った操作を・・・・・

全く違うパスワードを入れると→間違えたと出る

正解と思われるパスワードを入れると→同じ画面に戻るだけ

それと、同じサーバーに乗ってる他のWord Pressサイトは動いているし、ログイン出来ています。

とりあえず、DBいじるかと
久しぶりにPhpmyadminの操作を決意
httpd .confを書き換えてログインしようとすると

これもログイン出来ない。。。。。。

 

ここでようやく、問題は別だと感じました。

ディスクフル?

チェックしてみても、超巨大なストレージなので10%も使用していませんでした。

キャッシュ回りがエラーしているんだろうか?
と思い、全てバックアップを取ってから、再起動。

データベースが接続できませんのエラー。

 

再度真剣に原因追及してみると

/dev/mapper/vg_server200-lv_root   が100%になっていました。。。。

そういうことかと、判りました

そうなれば、/dev/mapper/vg_server200-lv_root   の領域を大きくするだけです。LVMだから便利です

/dev/mapper/vg_server200-lv_root   の領域を4倍にする

/dev/mapper/vg_server200-lv_home  を増やした分を減らす 今回は150G

wpid-wp-1472962060712.jpg

ざっとした手順

single モードで起動(Cent OS6)
1,起動時、キーを押す
2,E
3,kenrl で始まる行に移動し Eを押して single 加える
起動後
4,df -h
5, umount /home
6 ,fsck.ext4 -f /dev/mapper/vg_server200-lv_root
7, resize2fs 1550G
8, lvreduce -L 1550G /dev/mapper/vg_server200-lv_home
9, mount -t ext4 /dev/mapper/vg_server200-lv_home /home

一度確認
df -h

10, lvextend -L 200G /dev/mapper/vg_server200-lv_root
11,resize2fs /dev/mapper/vg_server200-lv_root

これで終了

再起動すると OKでした。

深夜で尚且つ、親不知抜いて、晴れ上がった左下歯茎で朦朧としていましたが何とか復旧

ディスクサイズに余裕を取っていたのと、ファイルサイズが増える様な運用をしないので、油断していましたが

/dev/mapper/vg_server200-lv_root ←この領域がフルになることは、負荷が高いサーバーは最初から余裕を持っていた方が良いかもです。

そして、2時間後。

一つのサイトだけ、記事が全部消えてるとスタッフから報告。

他のサイトは稼働しています。

まぁ、DBだろうと辺りは付いていますので

mysqlcheck -c DB名 -u root -p

でチェック。 テーブルが壊れてました。
mysqlcheck -r DB名  テーブル名 -u root -p
修正
mysqlcheck -c DB名 -u root -p
最終チェック

参考
http://d.hatena.ne.jp/jitsu102/20120106/1325799325

自社だから良い物の、お金が動いているサーバーなので、無事復旧できて良かったです。
弊社の場合、スタンドアローンでサーバーを使わせて頂ける場合が多いので、今回の件は初めてでした。もっと負荷が高くて、トラフィックも高いサーバーは数台有るのですが、17年のサーバー歴で初めての出来事でした。