タグ別アーカイブ: CentOS

word press にログイン出来ない

弊社のEC用のアプリケーションサーバーで発生
トラフィックはそうでもないのですが1日150万から200万PVあるサーバーです。

深夜、Word Pressにログインしようとすると出来無い。。。

突然、足し算でロボットでないか認証し始めました。。。

前後で、何かいじった覚え無し、朝まで正常稼働しているし、WEBも表示している。

パスワードが違う?と思い、何度か入れ替えてみるも、挙動は変わらず。

とりあえず、検索

Word Press Codex日本語版

↑ここを参考に、対応して見るも変わらず。

冷静になり、違った操作を・・・・・

全く違うパスワードを入れると→間違えたと出る

正解と思われるパスワードを入れると→同じ画面に戻るだけ

それと、同じサーバーに乗ってる他のWord Pressサイトは動いているし、ログイン出来ています。

とりあえず、DBいじるかと
久しぶりにPhpmyadminの操作を決意
httpd .confを書き換えてログインしようとすると

これもログイン出来ない。。。。。。

 

ここでようやく、問題は別だと感じました。

ディスクフル?

チェックしてみても、超巨大なストレージなので10%も使用していませんでした。

キャッシュ回りがエラーしているんだろうか?
と思い、全てバックアップを取ってから、再起動。

データベースが接続できませんのエラー。

 

再度真剣に原因追及してみると

/dev/mapper/vg_server200-lv_root   が100%になっていました。。。。

そういうことかと、判りました

そうなれば、/dev/mapper/vg_server200-lv_root   の領域を大きくするだけです。LVMだから便利です

/dev/mapper/vg_server200-lv_root   の領域を4倍にする

/dev/mapper/vg_server200-lv_home  を増やした分を減らす 今回は150G

wpid-wp-1472962060712.jpg

ざっとした手順

single モードで起動(Cent OS6)
1,起動時、キーを押す
2,E
3,kenrl で始まる行に移動し Eを押して single 加える
起動後
4,df -h
5, umount /home
6 ,fsck.ext4 -f /dev/mapper/vg_server200-lv_root
7, resize2fs 1550G
8, lvreduce -L 1550G /dev/mapper/vg_server200-lv_home
9, mount -t ext4 /dev/mapper/vg_server200-lv_home /home

一度確認
df -h

10, lvextend -L 200G /dev/mapper/vg_server200-lv_root
11,resize2fs /dev/mapper/vg_server200-lv_root

これで終了

再起動すると OKでした。

深夜で尚且つ、親不知抜いて、晴れ上がった左下歯茎で朦朧としていましたが何とか復旧

ディスクサイズに余裕を取っていたのと、ファイルサイズが増える様な運用をしないので、油断していましたが

/dev/mapper/vg_server200-lv_root ←この領域がフルになることは、負荷が高いサーバーは最初から余裕を持っていた方が良いかもです。

そして、2時間後。

一つのサイトだけ、記事が全部消えてるとスタッフから報告。

他のサイトは稼働しています。

まぁ、DBだろうと辺りは付いていますので

mysqlcheck -c DB名 -u root -p

でチェック。 テーブルが壊れてました。
mysqlcheck -r DB名  テーブル名 -u root -p
修正
mysqlcheck -c DB名 -u root -p
最終チェック

参考
http://d.hatena.ne.jp/jitsu102/20120106/1325799325

自社だから良い物の、お金が動いているサーバーなので、無事復旧できて良かったです。
弊社の場合、スタンドアローンでサーバーを使わせて頂ける場合が多いので、今回の件は初めてでした。もっと負荷が高くて、トラフィックも高いサーバーは数台有るのですが、17年のサーバー歴で初めての出来事でした。

mysql エラー修復

自分用メモ

あるときを境に、MySQLのバックアップが取れなくなったので

調べて見るとこんなエラーが

DBD::mysql::db do failed: Unknown table engine ‘InnoDB’ at /usr/bin/mysqlhotcopy line 477.
DBD::mysql::db do failed: Unknown table engine ‘InnoDB’ at /usr/bin/mysqlhotcopy line 477.

 

ログを見るとこんな感じ

141028 04:15:06 mysqld_safe mysqld from pid file /var/run/mysqld/mysqld.pid ended
141028 04:15:07 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql
141028 4:15:08 InnoDB: Initializing buffer pool, size = 1.0G
141028 4:15:08 InnoDB: Completed initialization of buffer pool
InnoDB: Error: log file ./ib_logfile0 is of different size 0 5242880 bytes
InnoDB: than specified in the .cnf file 0 536870912 bytes!
141028 4:15:08 [ERROR] Plugin ‘InnoDB’ init function returned error.

InnoDBのメモリの定義がおかしいらしい。

何となく、クラッシュ時に引き起こしたエラーなんだろうと辺りは付いた
しかし、このサーバー、現在進行形の弊社の売上あげているサーバー

決済なども絡んでるのでおいそれと止められません。

下調べをし、2パターンの修正を探ります。

my.cnfの修正

innodb_buffer_pool_size=*G
innodb_additional_mem_pool_size=*G
innodb_log_file_size=*G

この辺りの修正だけで治ることを祈るが駄目でした。

次に、

ib_logfile0 is of different size

と言う事なので

ib_logfile0 を削除(移動してみます)

再起動すると

通りました・・・・

ホット安堵する一瞬でした。

 

bash の脆弱性 (CVE-2014-6271) Bash Code Injection Vulnerability CentOS4 の対応 その3

CentOS4 のbash 対策
新しいパッチが出ていたので、更新
サポート外のOS使うなって話ではあるのですが・・・・・

[まとめ]
Piyolog
bashの脆弱性(CVE-2014-6271) #ShellShock の関連リンクをまとめてみた
http://d.hatena.ne.jp/Kango/20140925/1411612246

FW内のサーバーでも危険という話(ファイアウォール内のサーバに対するShellshockを利用した攻撃 )
http://d.hatena.ne.jp/hasegawayosuke/20140926/p1

[解説]
https://access.redhat.com/articles/1200223

[拾い先] bash-3.0-27.el4.2

https://oss.oracle.com/

Oracle LinuxのSource RPM
https://oss.oracle.com/el4/SRPMS-updates/bash-3.0-27.0.2.el4.src.rpm
これを適用する
wget https://oss.oracle.com/el4/SRPMS-updates/bash-3.0-27.0.2.el4.src.rpm

rpmbuild –rebuild bash-3.0-27.0.2.el4.src.rpm
rpm -Uvh /usr/src/redhat/RPMS/i386/bash-3.0-27.0.2.i386.rpm

もう少し続きそうな雰囲気

 

bash の脆弱性 (CVE-2014-6271) Bash Code Injection Vulnerability CentOS4

弊社でも、年内リプレイス決定のCentOS4が2台も生き残っているので対応策
CentOS4 bash

解説
https://access.redhat.com/articles/1200223

https://rhn.redhat.com/errata/RHSA-2014-1294.html

https://oss.oracle.com/

Oracle LinuxのSource RPM

https://oss.oracle.com/el4/SRPMS-updates/bash-3.0-27.0.1.el4.src.rpm

これを適用する

wget https://oss.oracle.com/el4/SRPMS-updates/bash-3.0-27.0.1.el4.src.rpm

rpmbuild –rebuild bash-3.0-27.0.1.el4.src.rpm
rpm -Uvh /usr/src/redhat/RPMS/i386/bash-3.0-27.0.1.i386.rpm

bash