Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

HP Power Regulator: OS Control Mode
HP Power Profile: Custom

Advanced Power Management Options Minimum Processor Idle Power State: C6 States

Select a Disk to Installation or Upgrade

※インストール先にUSBメモリを選択。

※HDDを搭載したままの人はインストール先に注意。

Please select a keyboard layout

※Japaneseを選択。

IP Address [192.168.0.1]

Subnet Mask [255.255.255.0] 

Default Gateway [192.168.0.254]

サーバ： 10.255.255.100

フォルダ： /datapool/nfs01

データストア名： nfs01 

名前 ： linuxtest

データストア ： nfs01

ゲスト OS ： CentOS 4/5/6(64ビット)

CPU ： 2
メモリ ： 4096MB
NIC ： 1

NIC1ネットワーク： VM Network

NIC 1タイプ ： E1000

ディスクプロビジョニング： シン プロビジョニング

仮想ディスクサイズ： 30GB

[root@centos5~]# bonnie++ -d / -n 128  -u 0

～中略～

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-

                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--

Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP

centos5                4G 42153  71 96249  17 39526   8 53224  85 101409   7 14859  18

                    ------Sequential Create------ --------Random Create--------

                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--

              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP

                128 65598  70 +++++ +++ 126228 100 94847  99 +++++ +++ 120353  99

　OS：　OpenIndiana 151a (for servers)

※今回はZFSを使うのでOpenSolaris系OSの正統後継である「OpenIndiana」をインストールしたいと思います。最近ではFreeBSDやLinuxでもZFSを使えますが、やはり安定性を考えると実装元であるSolaris系OSで使うべきだと思います。

・構成図
今回は右側の「fsrv01」をセットアップします。

※余談ですが、2.5インチのSSDをこのスロットにきれいに収めるには2.5→3.5変換ケースのSilverStone「SST-SDP09」が大変おすすめです。余計なチップは搭載されておらず、延長コネクタのような構造のため相性問題など出ません。

　[Advanced Options]→[SATA Controller Options]→[Embedded SATA Configuration]

　　"Enable SATA AHCI Support"へ変更

　[Advanced Options]→[SATA Controller Options]→[Drive Write Cache]

　　"Enable"へ変更 (信頼性優先ならDisableで)

TO select the Keyboard layout, enter a number [default 47]: 23

※23番日本語キーボードを選択。

TO select the language you wish to use, enter a number [default is 7]: 7

※ここはそのまま7で。テキスト版なので日本語は出ません。

Disks

※内部に挿したUSBを選択。

Fdisk Partitions: ～

※「Use the whole disk」を選択。

Network

※[Computer Name:]に「fsrv01」を入力。

※カーソルを下段の「None」にあわせる。

あとは画面の指示に従ってインストールしてください。


インストール終了後、再起動後にやるべきことは、どんどんいきましょう。


1. rpool(システム領域)のatimeをoffにする
まずシステム領域のatime（access time）を無効化しましょう。

root@fsrv01:~# zfs set atime=off rpool

root@fsrv01:~# echo '192.168.0.254' > /etc/defaultrouter

root@fsrv01:~# ipadm create-addr -T static -a 192.168.0.100/24 e1000g0/v4
root@fsrv01:~# ipadm create-addr -T static -a 10.255.255.100/24 e1000g1/v4  

上から、デフォルトゲートウェイの設定、表ネットワークのip設定、 NFSネットワークのip設定、になります。
ここで設定反映のため一度再起動してください。


zpoolコマンドを使ってzfsストレージプールを作成していきます。
まず、formatコマンドを使ってHDDの認識状況を確認しましょう。

root@fsrv01:~# format

Searching for disks...done

AVAILABLE DISK SELECTIONS:

       0. c4t0d0

          /pci@0,0/pci103c,330d@1f,2/disk@0,0

       1. c4t1d0

          /pci@0,0/pci103c,330d@1f,2/disk@1,0

       2. c4t2d0

          /pci@0,0/pci103c,330d@1f,2/disk@2,0

       3. c4t3d0

          /pci@0,0/pci103c,330d@1f,2/disk@3,0

Specify disk (enter its number): ^D

しっかり認識されていますね。CTRL+Dで抜けて、続けて以下のコマンドを実行します。

root@fsrv01:~# zpool create datapool mirror c4t0d0 c4t1d0 mirror c4t2d0 c4t3d0

これで、「datapool」という名前のストレージプールが、raid10で作成されます。なんとお手軽なのでしょう。
zpool statusコマンドで確認してみましょう。

root@fsrv01:~# zpool status datapool

  pool: datapool

 state: ONLINE

  scan: none requested

config:

        NAME        STATE     READ WRITE CKSUM

        datapool   ONLINE       0     0     0

          mirror-0  ONLINE       0     0     0

            c4t0d0  ONLINE       0     0     0

            c4t1d0  ONLINE       0     0     0

          mirror-1  ONLINE       0     0     0

            c4t2d0  ONLINE       0     0     0

            c4t3d0  ONLINE       0     0     0

mirror-0とmirror-1がそれぞれRAID1、それをストライプしてdatapoolが構成されているのがわかります。
また作成時に自動的に/datapoolとしてマウントされていますので、今回はこのまま使います。 


続けてNFS用のデータセットの作成と、NFSエクスポートを一気にやってしまいます。

root@fsrv01:~# zfs create datapool/nfs01

root@fsrv01:~# zfs set sharenfs=rw,root=@10.255.255.0/24 datapool/nfs01

たった２行です。上がデータセットの作成、下がNFSのエクスポートの設定になります。
エクスポート設定について補足すると、"root="はLinuxでいうところの"no_root_squash"、"@10.255.255.0/24"はこのネットワークに対して許可を出すという意味合いです。


USBメモリにインストールしたので、swap領域もUSBメモリ上の「rpool/swap」にできてしまっています。
立派なストレージプール「datapool」ができましたのでこちらに移してしまいましょう。

root@fsrv01:~# zfs create -V 8G -b 4k datapool/swap
root@fsrv01:~# swap -a /dev/zvol/dsk/datapool/swap

root@fsrv01:~# swap -lh
swapfile             dev    swaplo   blocks     free
/dev/zvol/dsk/rpool/swap 179,2         8  2.0G  2.0G
/dev/zvol/dsk/datapool/swap 179,3         8  8.0G  8.0G　　　　←追加された方

rpoolのswap領域をswapから外して消します。

root@fsrv01:~# swap -d /dev/zvol/dsk/rpool/swap
root@fsrv01:~# zfs destroy rpool/swap

root@fsrv01:~# swap -lh
swapfile             dev    swaplo   blocks     free
/dev/zvol/dsk/datapool/swap 179,3         8  8.0G  8.0G

おまけ
せっかくなのでbonnie++でベンチ取ってみました。

root@fsrv01:~# bonnie++ -d /datapool/ -n 128  -u 0

～中略～

Version 1.03c       ------Sequential Output------ --Sequential Input- --Random-

                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--

Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP

fsrv01           8G 92723  98 197266  21 115933  20 100931  99 327860  20  1439   3

                    ------Sequential Create------ --------Random Create--------

                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--

              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP

                128 20072  93 182108  99 26543  96 22806  98 206876  84 24443  97

シーケンシャルでwrite 200MB/s, read 300MB/s程度出ているので、NFSで利用することを考えると十分な性能ですね。


どうでしょうか、非常に簡単にNFSサーバが構築できたかと思います。
NFS以外にもSMB共有の設定なども簡単にできますので、興味のある方はORACLE社のドキュメント「ZFSファイルシステム」を御覧ください。


さて、次回はESXiのストレージとしてNFSを登録、その上に仮想マシンをつくってみます。
「格安サーバで作る ESXi＋NFS(ZFS) の仮想マシン環境(3)」へ続きます。

・構成図 
このような構成で構築します。










しかしご安心を。ESXiではNFSやiSCSIを利用することで、ネットワーク越しの外部ストレージに仮想マシンイメージを置くことが可能になっていますので、今回はZFSベースのNFS外部ストレージを作り、最低限＋αくらいのデータの保全性を確保したいと思います。 

カスタムフィルタ、詳細

フィールド A -> 引用 A: リクエストURI, ^/p/r/pd_p/[0-9]+/

フィールド B -> 引用 B: -

出力先 -> 構成: リクエストURI, /p/r/pd_p/0000000/

出力フィールドを上書き: はい

この例では下記のようにURLが変化します。

名前: すべて

一致, ページ, 正規表現一致として、テキストボックスに . (ドット) 一文字を入力

弊社では上記3つの方法を組み合わせて50,000URLの制限とうまく付き合っています。

はじめまして！

本日、ラクーン技術戦略部によるブログを開設いたします。
tips、ノウハウ、新技術の紹介など、技術者ならではの情報発信をしていければと思います。



では僭越ながら記念すべきファーストエントリを書かせていただきます。

今回はphp用プロファイラ「xhprof」の導入、問題発生、及びstraceによる原因究明の顛末を書いてみようかと思います。

0, 前提

[開発用サーバ]
CentOS 5.x
PHP 5.2.x
Oracle Instant Client

1, xhprof導入

httpdの公開ディレクトリを/var/www/htmlとします。

まず、xhprofをビルドし、php.iniにxhprof.so読込設定を追加しました。
ビルド方法に関してはウェブ上にたくさん情報があるので割愛します。

次にxhprofのソース一式の中にある下記ディレクトリをhttpdの公開ディレクトリ配下にコピーしました。

/var/www/html/xhprof_lib
/var/www/html/xhprof_html

さらに下記ソースのファイルをxhprof.phpという名前で公開ディレクトリ直下に保存し、

<?php

define('XHPROF_ROOT',   '/var/www/html');
define('XHPROF_SOURCE', 'test-application'); // name of your application

require_once XHPROF_ROOT . '/xhprof_lib/utils/xhprof_lib.php';
require_once XHPROF_ROOT . '/xhprof_lib/utils/xhprof_runs.php';

function xhprof_finish() {
    $xhprof_data = xhprof_disable();

    $xhprof_runs = new XHProfRuns_Default();
    $run_id = $xhprof_runs->save_run($xhprof_data, XHPROF_SOURCE);

    printf(
        "<a href=\"http://%s/xhprof_html/index.php?run=%s&source=%s\">xhprof</a>\n",
        $_SERVER['HTTP_HOST'],
        $run_id,
        XHPROF_SOURCE
    );
}

xhprof_enable();
register_shutdown_function('xhprof_finish');

php.iniに対してプログラム実行前に上記ファイルを読み込む設定＋αを追記しました。

auto_prepend_file = "/var/www/html/xhprof.php"
xhprof.output_dir = "/tmp"

この設定により、httpd上のphpが自動でプロファイリング可能となります。
以上で準備は完了し、いざプロファイリングというところで…。

2, 問題発生！そして原因究明へ。

Oracleへ接続できなくなる事態が発生！
具体的にはoci_connect()がfalseを返しており、oci_error()でも有用な情報が得られません。
アプリケーション、httpd共に不審なログは出ていません。

こんなときこそstraceで原因究明！

httpdを一度終了させてから、strace経由で起動します。

# apachectl stop
# strace -o /tmp/strace.log -f apachectl start &

起動しました。
-oオプション指定で結果をファイルに出力、-fオプション指定で子プロセスまで追っかけます。
-oを指定すると画面に何も出力しなくなるので、バックグラウンドで起動します。
アプリケーションをブラウザから叩き、再度エラーを確認したのち、

# apachectl stop

上記コマンドでhttpdもろともstraceを終了させます。

さて、httpdが実行したシステムコールは全て/tmp/strace.logに記録されているので、確認してみると、

12463 execve("/usr/sbin/apachectl", ["apachectl", "start"], [/* 28 vars */]) = 0
12463 brk(0)                            = 0x10b92000
12463 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2ba4b5dd5000
12463 uname({sys="Linux", node="foo.bar.hoge", ...}) = 0
12463 access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory)

といった感じで、最初の数千行はhttpdの起動処理です。
ブラウザから叩いた瞬間より確認したいので、「GET /」で検索します。

12469 read(28, "GET /app HTTP/1.1\r\nHost:"..., 8000) = 493

と書かれた行が見つかりました。
28はhttpdがlistenしていたsocketのファイルハンドルですね。
この行以降に原因が潜んでいそうです。

Oracleの接続時に問題が発生していそうなので、「oracle」で検索してみます。
そうすると、

12469 open("/path/to/oracle/client/lib/libxxxx.so/libyyyy.so", O_RDONLY) = -1 ENOTDIR (Not a directory)
12469 open("/path/to/oracle/client/lib/libxxxx.so/libzzzz.so", O_RDONLY) = -1 ENOTDIR (Not a directory)
12469 lstat("/var", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0
12469 lstat("/var/www", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0
12469 lstat("/var/www/html", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0
12469 lstat("/var/www/html/lib", {st_mode=S_IFDIR|0775, st_size=4096, ...}) = 0
12469 lstat("/var/www/html/lib/DbException.php", {st_mode=S_IFREG|0764, st_size=1005, ...}) = 0
12469 open("/var/www/html/lib/DbException.php", O_RDONLY) = 33

上記のようなおかしな行を発見しました。
最初の2行で「ENOTDIR (Not a directory)」って言われてるし、libxxxx.soってファイル名じゃないの？という疑問が浮かびます。
さらに3行目以降は例外クラスのファイルを探しているので、

if (oci_connect(...) === false) {
    throw new DbException(...);
}

といった内容のプログラムが想像できます。

ここで推理。
この辺のsoファイルを呼び出したいのはphpエクステンション＝oci8なハズ。
そこでoci8.soがどのファイルとリンクしているかlddで確認。

# ldd /path/to/php/lib/oci8.so
libxxxx.so => /path/to/oracle/client/lib/libxxxx.so

おっと、前述のディレクトリ扱いされていたsoファイルにリンクしています。
ではこのsoファイルは前述のlibyyyy.so、libzzzz.soとリンクしているのか確認。

# ldd /path/to/oracle/client/lib/libxxxx.so

しかしリンクしておらず。

今度はxhprofを無効にした状態（＝Oracleへ正常に接続できる状態）でstraceしてみます。
※php.iniのauto_prepend_fileをコメントアウトしてhttpdをリスタート

するとstraceの結果から下記の行が見つかりました。

13951 open("/path/to/oracle/client/lib/libyyyy.so", O_RDONLY) = 33

正常に読込できています。

以上の結果を鑑みて、xhprofが原因でOracleのクライアントライブラリに不具合を及ぼしたと判断できます。
xhprofは内部であちこちフックしていそうなので、なんとなくイメージはつきますね。

3, 原因究明後

その後いろいろ調べた結果、Instant ClientではなくFull Clientを導入すると解決しそうなことが分かりました。

以上の通り、straceはトラブルシューティングツールとして素晴らしいものです。
しかし、アプローチがどうしてもローレベルなため、少し敷居が高いところが玉にキズですね。
ただ、使いこなせれば非常に強力なツールですので、使ったことがない方は是非お試しください！



最後になりましたが、TECH BLOG by raccoonを今後ともよろしくお願いいたします。