Raccoon Tech Blog [株式会社ラクーン 技術戦略部ブログ]

株式会社ラクーン 技術戦略部より、tipsやノウハウなど技術的な話題を発信いたします。

仮想化

Vagrantパッケージ作成勉強会

開発の下田です。
社内勉強会に参加しました。今回のテーマは仮想環境構築ツールの「Vagrant」です。
Vagrantはコマンド一発で仮想環境を構築したり、ある時点のスナップショットからパッケージにしたりといった、仮想環境の管理ができます。

20141226_150439

概要

仮想環境を作成できるパッケージを作成することがテーマです。
弊社のBtoB締め支払い決済「Paid」のWebサーバの仮想化イメージ(VMware vmdk)から、Vagrantのパッケージboxを作成します。

単にboxを作成するならvagrant packageコマンドを実行するだけですが、既にある環境からboxを作成するには、ノウハウが必要になります。
今回の勉強会では、ハンズオン形式で実際に構築しながら勉強しました。

手順

1.VirtualBox等の仮想環境マネージャーで仮想マシンを作成

2.vmdkイメージを仮想マシンに追加

3.仮想マシンを起動し、不要なサービスを停止

サービス一覧(chkconfig --list | grep :on)を目視確認し、postfixなどのメール、監視ツールなど、外部に影響があるサービスは確実に停止します。

4.NFSを使用している場合は、マウント解除

5.vagrantユーザの作成

vagrantではゲストOSにSSHで接続するコマンドが用意されています。このとき、ユーザ:vagrant、パスワード:vagrantで接続にいきます。
vagrantユーザを作成しておき、sudoersに追加しておくと便利です。

6.ネットワーク設定

7.Vagrantのパッケージ化


ポイント

1.ホストマシンのネットワークを切断する。

本番イメージを使用するときは、起動スクリプトやcronでメール配信など、外部へ影響が発生するおそれがあります。必ずネットワークから隔離した状態で構築しましょう。

2.元の環境のネットワークを再現する。

元の環境とできるだけ似たネットワーク構成を再現できると、環境の再現性が高くなります。うまくできるかどうかが、アプリケーションの動作などに影響するため重要なポイントです。
VirtualBoxを使用している場合はホストオンリーネットワークをセグメントごとに作成します。

まとめ

Vagrantのパッケージ化はコマンド一発で終わりなので、非常に簡単です。
不完全な状態でもVagrantのパッケージ化を行っておけば、Vagrantでパッケージ化した時点までロールバックできるので、トライアンドエラーが簡単にできました。
開発環境をパッケージ化してから、1日がかりだった環境構築が1時間程度(ほぼ待ち時間で実作業は一瞬)でできるようになりました。

格安サーバで作る ESXi+NFS(ZFS) の仮想マシン環境(3)

インフラエンジニアのETOです。  

弊社は間もなく本社を移転するため、準備に追われていて忙しい日々です。
なにかと人手不足なので、一緒に働いてくれる方を募集中です!


前回の「格安サーバで作る ESXi+NFS(ZFS) の仮想マシン環境(2)」に引き続き、今回はいよいよ「仮想マシンホストサーバ」を構築し、仮想マシンを作ってベンチマークをとりたいと思います。
3回目になりますこのお題も、今回で最後です。張り切っていきましょう!

・今回使うもの
 ・仮想マシンホストサーバ
  ハード: HP ML110G7 
      メモリ 16GB
      USBメモリ起動 8GB
      HDD ナシ ZEROスピンドル!
 
 OS: ESXi5.0 Update 1 
      "VMware-VMvisor-Installer-5.0.0.update01-623860.x86_64.iso"を焼いた起動メディア一枚。
       ※ESXi5.0用のライセンスキーもisoダウンロードの際に控えておいてください。


・構成図
今回は左側の「vmhost01」をセットアップします。
kousei




・前準備
ML110G7の内部USBポートに起動用のUSBメモリをさします。

前面スロットからHDDを抜きます。
抜いたHDDの転用先がないという方はそのままでも結構です。

ネットワークを結線します。
前回作ったNFSサーバも結線して起動しておいてください。 

BIOSの設定を調整します。
ML110G7とESXi5.0は標準設定のままだと、紫色(?)のエラー画面が出て起動しません。
これを回避するにはBIOSの以下の項目を調整する必要があります。
HP Power Regulator: OS Control Mode
HP Power Profile: Custom
Advanced Power Management Options Minimum Processor Idle Power State: C6 States
参考:vSphere 5.0 on HP ML110 G7 

↓このあたりです
ML110G7_BIOS_2

 
 

・セットアップ手順 
ESXi5.0 Update 1 をインストールします。
BIOSの設定が正しく行われていれば詰まるような箇所はないと思います。

注意が必要なところのみ抜粋します。
Select a Disk to Installation or Upgrade
※インストール先にUSBメモリを選択。
※HDDを搭載したままの人はインストール先に注意。

Please select a keyboard layout
※Japaneseを選択。
あとは画面の指示に従ってインストールしてください。


インストールが終了して、再起動後にやるべきことは、
  1. ESXiサーバの管理用ip設定
  2. VMware vShpere Clientのインストール
  3. ESXiサーバの構成設定(ライセンス、NTP、ネットワーク、ストレージ)
になります。


1. ESXiサーバの管理用ip設定
再起動して黄色いESXiの画面になったらF2を押してログインし、
[Configure Management Network]→[IP Configuration]
を選択。
構成図の通りにipを設定していきます。必要な方はご自分の環境に合わせて変更してください。
IP Address [192.168.0.1]
Subnet Mask [255.255.255.0] 
Default Gateway [192.168.0.254]
 0U1_01

SSHでESXiに直接ログインしたい方は
[Troubleshooting Options]→[Enable SSH]
もやっておきましょう。色々と便利です。


2. VMware vShpere Clientのインストール
設定したipにブラウザでアクセスするとクライアントをダウンロードできるページが表示されます。便利ですね!
ダウンロードしてインストールしてください。

ちなみに既に旧バージョンのクライアントがインストールしてある場合は、クライアントでアクセスするとバージョンアップファイルが自動的にダウンロードされます。
 

3. ESXiサーバの構成設定(ライセンス、NTP、ネットワーク、ストレージ)
クライアントでESXiサーバにアクセスして構成設定をしていきます。
 0U1_02

・ライセンス設定
isoダウンロードの際に控えておいたライセンスキーを入力してください。

・ NTP設定
適当なNTPサーバを設定してください。nictmfeedあたりでよいでしょう。
設定後に、起動ポリシーを[ホストに連動して開始および停止]にしてサービスコマンドから[開始]しておいてください。
仮想マシンは時計がずれやすいので、ホストサーバ側の時計を正確に保っておくのは意外と重要なことです。

・ネットワーク設定
管理用に登録したip側のネットワークは既に構成されていると思いますので、NFS用のネットワークを追加します。
ネットワークの追加画面から[接続タイプ]で[VMkernel]を選択してNFSネットワーク用のip(10.255.255.1)を設定します。必要な方はご自分の環境に合わせて変更してください。

↓成功すればこのような感じになります。
0U1_03
・ストレージ設定
ストレージの追加画面から[ネットワークファイルシステム]を選び、NFSサーバの情報を入れていきます。ご自分の環境に合わせた方は適宜読み替えてください。 
サーバ: 10.255.255.100
フォルダ: /datapool/nfs01
データストア名: nfs01 
ネットワークの設定と、前回作ったNFSサーバの設定がうまくいっていればここで詰まることはないはずです。



これで「仮想マシンホストサーバ」の作成は完了です!



仮想マシンでベンチマーク
早速Linux(CentOS5)の仮想マシンを1台作ってベンチマークを取ってみましょう。
[ファイル]→[新規]→[仮想マシン]から仮想マシン作成を行います。

各パラメータは以下のとおりです。
名前 linuxtest
データストア nfs01
ゲスト OS CentOS 4/5/6(64ビット)
CPU 2
メモリ 4096MB
NIC 1
NIC1ネットワーク: VM Network
NIC 1タイプ E1000
ディスクプロビジョニング: シン プロビジョニング
仮想ディスクサイズ: 30GB
 
 仮想マシンが追加されたら、
[インベントリ]→[仮想マシン]→[コンソールを開く]
で仮想マシンのコンソール画面を開き、今回はCentOS5.8をインストールします。

↓コンソール画面からインストール用のisoイメージを直接マウントすることができます。
0U1_04

 
CentOSのインストール部分は割愛させていただきます。 


さて、無事にインストールができたでしょうか。
次はbonnie++でベンチマークタイムです。ドキドキです。 
[root@centos5~]# bonnie++ -d / -n 128  -u 0
~中略~
Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
centos5                4G 42153  71 96249  17 39526   8 53224  85 101409   7 14859  18
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                128 65598  70 +++++ +++ 126228 100 94847  99 +++++ +++ 120353  99
NFS越しですが、シーケンシャルでread/write共に100MB/s近く出ています。
今回は1000BASE-Tでネットワークを組んでいますので、理論値の限界は125MB/s。
そう考えるとなかなかいい数字が出ているのがお分かりいただけると思います。



おわりに
今回はひとまず基本をおさえていただきたいということで、あえて安い機材構成を使いましたが、
UPSや冗長化電源、RAIDカード、LANカードを追加していただくことで、さらに可用性の高いシステムを
手軽に構築することが可能だと、実感いただけたかと思います。

全3回になりましたが、このお題も今回で終了です。長々とお付き合いいただきありがとうございました!

格安サーバで作る ESXi+NFS(ZFS) の仮想マシン環境(2)

インフラエンジニアのETOです。  

暑い日が続きますが皆様いかがお過ごしでしょうか。
最近、週に2回ほど熱いお風呂につかるようにしたのですが、寝付きがとても良くなりました。
肩こりも取れますので、オフィスの冷房で肩こりが酷い方にもお勧めです!


さて、早速ですが前回の「格安サーバで作る ESXi+NFS(ZFS) の仮想マシン環境(1)」の続きです。今回は実際の構築に入っていきましょう。
まずは「NFS外部ストレージサーバ」からセットアップしていきます。

・今回使うもの
  ・NFS外部ストレージサーバ
 ハード: HP ML110G7
     メモリ 8GB
     USBメモリ 8GB
     HDD 2TB*4
 
 OS: OpenIndiana 151a (for servers)
      "oi-dev-151a-text-x86.iso"を焼いた起動メディア一枚。
※今回はZFSを使うのでOpenSolaris系OSの正統後継である「OpenIndiana」をインストールしたいと思います。最近ではFreeBSDやLinuxでもZFSを使えますが、やはり安定性を考えると実装元であるSolaris系OSで使うべきだと思います。

・構成図
今回は右側の「fsrv01」をセットアップします。
kousei



・前準備
ML110G7の内部USBポートに起動用のUSBメモリをさします。
この機種では内部SDカードスロットも付いたので、そちらでチャレンジしてみても面白いかもしれません。

前面の4つのスロットにHDDを搭載します。
今回使うノンホットプラグモデルのML110G7に4つ並んだSATAスロットのうち、左側の2つは6.0Gbpsですが右側の2つは3.0Gbpsです。SSDを搭載する場合はボトルネックにならないよう左側に搭載しましょう。
※余談ですが、2.5インチのSSDをこのスロットにきれいに収めるには2.5→3.5変換ケースのSilverStone「SST-SDP09」が大変おすすめです。余計なチップは搭載されておらず、延長コネクタのような構造のため相性問題など出ません。

BIOSの設定を調整します。
起動時に、F9でBIOS設定画面へ。
 [Advanced Options]→[SATA Controller Options]→[Embedded SATA Configuration]
  "Enable SATA AHCI Support"へ変更
 [Advanced Options]→[SATA Controller Options]→[Drive Write Cache]
  "Enable"へ変更 (信頼性優先ならDisableで)
↓このあたりです
ML110G7_BIOS





・セットアップ手順
OpenIndiana 151a (for servers) をインストールしていきます。
サーバ用として配布されている「oi-dev-151a-text-x86.iso」でCDかDVDを作成して起動しましょう。

以降注意が必要なところのみ抜粋します。 
TO select the Keyboard layout, enter a number [default 47]: 23
※23番日本語キーボードを選択。

TO select the language you wish to use, enter a number [default is 7]: 7
※ここはそのまま7で。テキスト版なので日本語は出ません。

Disks
※内部に挿したUSBを選択。

Fdisk Partitions: ~
※「Use the whole disk」を選択。

Network
※[Computer Name:]に「fsrv01」を入力。
※カーソルを下段の「None」にあわせる。
あとは画面の指示に従ってインストールしてください。


インストール終了後、再起動後にやるべきことは、
  1. rpool(システム領域)のatimeをoffにする
  2. ipとネットワークの設定
  3. ストレージプールの作成とNFS設定
  4. swap領域をrpoolからdatapoolに移す 
になります。
どんどんいきましょう。


1. rpool(システム領域)のatimeをoffにする
まずシステム領域のatime(access time)を無効化しましょう。
atimeの無効化には賛否両論ありますが、利用目的がNFSオンリーであることとUSBメモリだと細かいディスクI/Oが気になるので、思い切ってoffにします。

root@fsrv01:~# zfs set atime=off rpool


2. ipとネットワークの設定
構成図の通りに設定していきます。必要な方はご自分の環境に合わせて変更してください。
今回は必要最低限の設定しかしませんので、詳しく勉強したい方はORACLE社のドキュメント「ネットワークスタックの概要」をご覧ください。
root@fsrv01:~# echo '192.168.0.254' > /etc/defaultrouter
root@fsrv01:~# ipadm create-addr -T static -a 192.168.0.100/24 e1000g0/v4
root@fsrv01:~# ipadm create-addr -T static -a 10.255.255.100/24 e1000g1/v4  
上から、デフォルトゲートウェイの設定、表ネットワークのip設定、 NFSネットワークのip設定、になります。
ここで設定反映のため一度再起動してください。


3. ストレージプールの作成とNFS設定
zpoolコマンドを使ってzfsストレージプールを作成していきます。
まず、formatコマンドを使ってHDDの認識状況を確認しましょう。
root@fsrv01:~# format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c4t0d0
          /pci@0,0/pci103c,330d@1f,2/disk@0,0
       1. c4t1d0
          /pci@0,0/pci103c,330d@1f,2/disk@1,0
       2. c4t2d0
          /pci@0,0/pci103c,330d@1f,2/disk@2,0
       3. c4t3d0
          /pci@0,0/pci103c,330d@1f,2/disk@3,0
Specify disk (enter its number): ^D

しっかり認識されていますね。CTRL+Dで抜けて、続けて以下のコマンドを実行します。

root@fsrv01:~# zpool create datapool mirror c4t0d0 c4t1d0 mirror c4t2d0 c4t3d0

これで、「datapool」という名前のストレージプールが、raid10で作成されます。なんとお手軽なのでしょう。
zpool statusコマンドで確認してみましょう。
root@fsrv01:~# zpool status datapool
  pool: datapool
 state: ONLINE
  scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        datapool   ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            c4t0d0  ONLINE       0     0     0
            c4t1d0  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            c4t2d0  ONLINE       0     0     0
            c4t3d0  ONLINE       0     0     0
mirror-0とmirror-1がそれぞれRAID1、それをストライプしてdatapoolが構成されているのがわかります。
また作成時に自動的に/datapoolとしてマウントされていますので、今回はこのまま使います。 


続けてNFS用のデータセットの作成と、NFSエクスポートを一気にやってしまいます。

root@fsrv01:~# zfs create datapool/nfs01
root@fsrv01:~# zfs set sharenfs=rw,root=@10.255.255.0/24 datapool/nfs01

たった2行です。上がデータセットの作成、下がNFSのエクスポートの設定になります。
エクスポート設定について補足すると、"root="はLinuxでいうところの"no_root_squash"、"@10.255.255.0/24"はこのネットワークに対して許可を出すという意味合いです。


4. swap領域をrpoolからdatapoolに移す
USBメモリにインストールしたので、swap領域もUSBメモリ上の「rpool/swap」にできてしまっています。
立派なストレージプール「datapool」ができましたのでこちらに移してしまいましょう。
root@fsrv01:~# zfs create -V 8G -b 4k datapool/swap
root@fsrv01:~# swap -a /dev/zvol/dsk/datapool/swap

root@fsrv01:~# swap -lh
swapfile             dev    swaplo   blocks     free
/dev/zvol/dsk/rpool/swap 179,2         8  2.0G  2.0G
/dev/zvol/dsk/datapool/swap 179,3         8  8.0G  8.0G    ←追加された方
rpoolのswap領域をswapから外して消します。
root@fsrv01:~# swap -d /dev/zvol/dsk/rpool/swap
root@fsrv01:~# zfs destroy rpool/swap

root@fsrv01:~# swap -lh
swapfile             dev    swaplo   blocks     free
/dev/zvol/dsk/datapool/swap 179,3         8  8.0G  8.0G


おまけ
せっかくなのでbonnie++でベンチ取ってみました。
root@fsrv01:~# bonnie++ -d /datapool/ -n 128  -u 0
~中略~
Version 1.03c       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
fsrv01           8G 92723  98 197266  21 115933  20 100931  99 327860  20  1439   3
                    ------Sequential Create------ --------Random Create--------
                    -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                128 20072  93 182108  99 26543  96 22806  98 206876  84 24443  97
シーケンシャルでwrite 200MB/s, read 300MB/s程度出ているので、NFSで利用することを考えると十分な性能ですね。


どうでしょうか、非常に簡単にNFSサーバが構築できたかと思います。
NFS以外にもSMB共有の設定なども簡単にできますので、興味のある方はORACLE社のドキュメント「ZFSファイルシステム」を御覧ください。


さて、次回はESXiのストレージとしてNFSを登録、その上に仮想マシンをつくってみます。
「格安サーバで作る ESXi+NFS(ZFS) の仮想マシン環境(3)」へ続きます。
言語を検出 » Japanese

格安サーバで作る ESXi+NFS(ZFS) の仮想マシン環境(1)

先日、早めの夏休みで青島(チンタオ)にビールを飲みに行って来ましたインフラエンジニアのETOです。
弊社は旅行好きの人が多いため、旅行休暇を取りやすいので助かっています。
旅行好きな方は是非弊社で一緒に働きましょう。ご検討ください。


さて、長期間休みを取る際にいつも気になるのは、自分がいない間のサーバ故障の発生です。
当然ながら冗長化ができている公開系に比べると、どうしても対策が後回しになりがちな開発系や、
ちょっとした社内サーバがこういう時に限って壊れたりするものです。
 
「あー壊れちゃいましたね」では済まないインフラエンジニアとしてはいつも余裕を持ったリソースを確保しておきたいものですが、なかなか(主にコスト絡みで)そうはいきません。
 
そこで同じような悩みを抱える諸兄におすすめしたいのが今回のお題、
「格安サーバで作る ESXi+NFS の仮想マシン環境」です。


・目指すところ
安く手軽に"実用的"な仮想サーバ環境を手に入れるのが目的です。
実サーバのバックアップや、故障時の緊急避難先などに大活躍!当然本運用も可能です。
ZFSベースのNFS外部ストレージも自作することでデータの保全性も同時に確保してしまいましょう。

・用意するもの
各サーバ機として、HP社のML110G7を2台使います。
格安サーバとして2万円以下で手に入るコストパフォーマンス抜群のサーバ機です。
これにメモリとHDDを追加します。余っているものがあればそれを流用しても構わないと思います。

今回の具体的なハード&ソフトウェア構成は以下になります。
 ・仮想マシンホストサーバ
  OS:ESXi5.0U1
  ハード: HP ML110G7 
      メモリ 16GB
      USBメモリ起動 8GB
      HDD ナシ ZEROスピンドル!

 ・NFS外部ストレージサーバ
  OS:openindiana 151a
  ハード: HP ML110G7
      メモリ 8GB
      USBメモリ起動 8GB
      HDD 2TB*4

詳細は伏せますが、全部あわせても10万円かからない金額で調達しました。
現在はもっと安いかもしれません。


・構成図 
このような構成で構築します。
kousei





突然ですがQ&A。

Q:なぜKVMではなくESXiなの?
A:無料で使えるGUIの管理ツールが揃っていて楽だからです!
 
これだけだと色々と反論を受けそうですので補足。
やはりVMware社の企業として統一されたポリシーで作られている以下のツール群の使い勝手が良いため、KVMなどと比べるとアドバンテージがあると思っています。
  • VMware vSphere Client(管理コンソール)
  • VMware vCenter Converter Standalone(P2Vツール)


Q:なぜローカルディスクにしないの?
A:ESXiで"実用になる"RAIDカードが高いからです。

ESXiではソフトウェアRAIDや廉価なオンボード系のRAIDが使えません。 また、RAIDカードは原則的にデータ保護のためにHDDのキャッシュを無効化するため、 キャッシュメモリ未搭載の安いRAIDカードを使うととても遅くて実用に耐えません。
※この点においてはLinuxで使えるRAID構成をそのままストレージとして使えるKVMにアドバンテージがあるのですがそれはまた別の話。

いくらお手軽環境 とはいえ「HDDが壊れたらデータが飛びました」ではお話にならないのは言うまでもありません。
しかしご安心を。ESXiではNFSやiSCSIを利用することで、ネットワーク越しの外部ストレージに仮想マシンイメージを置くことが可能になっていますので、今回はZFSベースのNFS外部ストレージを作り、最低限+αくらいのデータの保全性を確保したいと思います。 


Q:ZFSってなに?
A:主にSolarisやFreeBSDで使える次世代ファイルシステムです。

旧Sun社(Oracle社に買収されました)により開発された次世代ファイルシステムです。様々な仕組みで信頼性と性能を向上させているため、高価なストレージシステムを買わなくても耐障害性の高い高速なストレージ環境を手に入れることができます。
今回はZFSのソフトウェアRAIDでNFS外部ストレージを構築します。ZFSについて詳しく知りたい方はOracle社のドキュメントをご覧ください。 


Q:なぜiSCSIじゃなくてNFSなの?
A:取り回しが楽だからです。

「今時NFSはないだろう」とか「ESXiなら普通はiSCSIでしょう」とかいう声が聞こえてきますが、今回は性能を求めるわけではないので多少のオーバーヘッドは無視してNFSを選択します。
皆さんご存知の通り、NFSは取り回しが楽ちんで素敵です。偉い人にはそれがわからんのです。


諸々ご納得いただけたでしょうか。
さて、次回から実際の構築に入って行きたいと思います。
言語を検出 » Japanese

記事検索