カテゴリー別アーカイブ: Server

自戒を込めて、サーバートラブル2回目

年内のローンチをお願いされたサーバー

要求仕様は

  • PHPのバージョン
  • a-blogを使う
  • SSL(暫定でLetsEncrypt→グローバルサインの証明書に変更)

程度だったのと、社内のサーバー仕様も年末年始で大幅に変えようと考えて居たので、難しく考えず
トラブっても良いように、スペアマシンが複数台有るマシンを使用した

CentOS6で放置だったので、レポジトリの設定を変えながら大幅にバージョンアップ

remi レポジトリを入れて、PHP7.1に(バージョンは気分で)

LetsEncryptの導入だが、ここで小ハマり。
レンタルサーバーで、コンパネから容易に設定できる場合は問題無いと思いますが、サーバーが最新バージョンでは無い場合、すんなり行きませんでした。

正直、クライアントの要望が無い限り、使わないので手間取ってしまいました。

この辺は、慣れてない方は、素直に商用証明書が良いかなと思います

この次は、a-blogcmsのインストール

これも、事前に情報を得てなかったので
少し手間取りました

著名なCMSツールは全て使いましたが
簡単ってのは無いなと言うのが実感(インストール)

 

とりあえず、一通りインストールしたので、仮運用で空回し。
数日回してイケるかなと思ったのですが、朝一、リブートでストップ。

ログを見て、特に何も残ってなかったので、本番に移行するという事に。
SSH接続で、時々レスポンスが悪い時が有ったのですが

ここで、もっと追い込めば良かったのですが
後悔先に立たず、進んでしまいました

 

急遽、打ち合わせが入ったので、打ち合わせに・・・・・・・

打ち合わせ直前に、
サーバーが停まっていることに気付きました。

スタッフに連絡、再起動を試みるもNG、これ以上はスタッフでは出来無いので、戻ってからの対応に

運が良いのか悪いのか
打ち合わせ相手の、サーバーだったので、状況を話をし、打ち合わせをすると言うことになりました(勿論、その間、落ち着かなかったのは言うまでもありません)

 

帰社後

見てみると、マザーボードは通電している、スイッチ反応せず
の状態

とりあえず、マザーボードの電池交換→起動せず

スイッチの故障も疑ったのですが、電源接続で、電源が入る設定になっているので、そもそも立ち上がらないと判断

筐体の切り替えに踏み切りました

同じ仕様のハードウェアに、HD交換→立ち上がりました

とりあえず、ほっとし、イケると判断。
残りは、ネットワークのMACアドレスの変更だけだなと安易に考えて居たのですが、ここで少しハマりました。

device eth0 does not seem to be present, delaying initialization

BIOSでみたMACアドレス貼り付けたんですが・・・・・・

https://qiita.com/colorrabbit/items/964182390a08b678d576

↑ここを参考にし

vi /etc/udev/rules.d/70-persistent-net.rules

修正して、無事起動

とりあえず、様子見ですが
こんなにシンプルに落ちたのは、初めてなので、しばらくは、ドキドキです。

続編 メールサーバー

昨日20時辺りから遅延が発生していたメールサーバー(受信側は問題なし)
遅延が発生する中で、11万通送っていたのにはビックリした。
確認出来た、スパムの総数は18時間で4000万通。
それが、宛先不明で、送信サーバーに居座っていたと言う流れでした。
まだ、ログを解析し切れてませんが
おおよその、送信元と、メールの内容は、この8ヶ月ぐらい全メールサーバーに送られているスパムと変わりません。
(基本的には、ボット化したサーバ、クライアントによる、from,toをドメイン向けにランダムに変更し、とにかくスパムを送りつける感じです。)
ここ最近、1送信で送れる容量と、ユーザー領域を増やしたのが、遅延した要因と思われます(10倍以上拡大した)
設定を一旦戻すことと
バウンスの確認

もう少し様子見です

メールサーバー

受信は出来るが、送信できない。

メールのトラブルの連絡が・・・・・・

 

とりあえず、サーバーのレスポンスチェック、負荷率チェック

何も無い。

なんとなくピンときたので、キューをチェック
詰まってました。

どういうことかというと

メールの送信は、送信サーバーに送られてきた順番に並んでいきます。そして、その順番を処理する数は決められていて、有る一定数を超えると遅延が発生します。

ちなみに、その時の数は数万単位。

大きいスパムを喰らったのかなと思いました。

そこから、貯まったキューを削除、回復させました。

10年、メールサーバーとして稼働し、特に問題無かったので、
そろそろ、リニューアルの時期ですね

久しぶりに障害対応の話でした

 

 

後日談

とりあえず、仮復旧して、一休みしているところに
電話が。。。

中国出張して、何かに感染したんだけど、ひょっとして、これが原因と尋ねられました・・・・

それだよそれ。。。
ボット化されて、色々な踏み台にされていたようです。。。。。。

知り合った時から、貿易されている会社でしたが
新人のスタッフだそうです。

原因もわかり良かったです。

HD故障からのデータ復旧

12月から弊社は新会計年度です

今年度からは、IT系サービスに力を入れます
皆様、宜しくお願いします
第一弾、データ復旧サービスについて

元々、ストレージサーバーの運用や、バックアップのシステム構築はしてきたのですが
新たに、物理故障の対応が可能になりました。
コストが掛かるので、従来通りの方針は変わりませんが
・バックアップしてなかった
・どうしてもバックアップして欲しい
と言う要望に応えられそうです。

HDだけでなくフラッシュメディアも対応可能です
もし困った場合は、是非ご相談ください
見積もり後、全て成功報酬制です。

それよりも前に、もっと計画的なデータマネージメントの導入はお奨めします
そのデータに幾ら価値があるか?
いろんな運用の分岐点になります

 

 

弊社のデータマネージメントをご紹介します

20年ITに関わってくると、記憶媒体の故障というのには何度も遭遇します

古くは、フロッピーディスク(ぎりぎりテープではありませんでした)
から始まり、HD、CD、MO、DVDなど、数多くのメディアを扱ってきました

その上での結論は
記憶媒体に絶対は無く
データの運用(バックアップなどの組み合わせ)が必須であることです。

データは消えるかも知れない、消えたデータは、勝手に戻ることは絶対にないです。

バックアップする事は当たり前で
そのバックアップされたデータをどのようにマネージメントするか?
プロフェッショナルの仕事です。
ちなみに、弊社のデータマネージメントですが
自社に関しては、
・お客さまの領域
・自分の領域
セグメントを分けてマネージメントしています

メディアですが経験則上で言うと
・壊れるHDはすぐ壊れる(3ヶ月以内)
・そこを突破すると数年は持つ
・HDは稼働時の衝撃には弱い
・ソフトウェアRAIDは復旧が面倒
・RAIDは復旧時間まで検討する余地がある
・光メディアは、プレスでも数年持たない物がある
・光メディアは、紫外線で一発
大雑把にこんな感じです
・物は壊れる
・単体サーバーも、出来る限り最新モデルにリプレイスする
その前提での運用をしています。
自社の場合は割とシンプルで
単体サーバーは
・ハードウェアRAID1
・ホットスワップかつ、スペア1本差し
これと、外部記憶装置への保存で95%程度

・NAS(ローカル接続、SASのハードウェアRAID1)
に一時保存
そこから、重要なデータは、更に外付けHDで保存
1から2年ごとに、HDを交換しながら、古い世代を廃棄しています
お客さまに関しては、求められる条件で個別に保存
最低でも2種類以上の記憶装置で保存という形にしています

以前は、光ディスクも使って居たのですが
ここまで、データ容量が膨大になると、光メディアでは追いつかなくなりました。

今だと、AWSという選択もあるでしょうか?
ここ、最近依頼されることが、割と基本的な事に戻ってきました
HDなどが安くなった今だからこそ、バックアップを真剣に考えてみませんか?