この記事の見出し一覧
私的に構築前ずっと勘違いしてたのは、ZFSとRaid10の共存。Raid10で構成したい＋ZFSでも構築したいと考えたものの、2つのキーワードでググっても両立するようなノウハウは無く、、、結論として「ZFSの機能でミラー（仮想デバイスで設定）の組み合わせをストライピング（マネージメントで設定）すればよい」ということ。
ZFSを知ってる人から言えば( ﾟДﾟ)ﾊｧ?ってことだけれど。ZFSの奥は深く、多機能だと実感。HDD交換以外、5年以上ノートラブルという信頼性も絶大。そして、コマンドオプションも単純なので、比較的オペミス軽減なのも歓迎すべきポイント。
もちろんファイルシステムをZFSにしなければ、NAS4Free上でソフトウェアRaidとして、Raid10設定することもできるけれど、今は無きSunの遺産を使いたいってのも大きな理由（Oracleのモノではない）。
以下は、バージョン11.1.xで「GUI操作のみでZFS構築」を行った手順です。
注：ここで挙げているZFS設定はGUI優先の一例です（XigmaNAS対応）。
ディスク「マネージメント」
「ディスク」→「マネージメント」でOSから見えるディスクを追加登録します。ここでは4台のディスクが対象の例です。
設定すべきは、対象「ディスク」の選択が必須で、今回の場合はS.M.A.R.T.の有効化をしています。最後で少し触れますが、S.M.A.R.T.を有効にしたいためESXi上でRDM設定をしました。
上記を4回（4つのディスク）繰り返します。
上記のようになっていればOK。ここまででディスクマネージメントの完了です。
ZFS「仮想デバイス登録」
「ディスク」→「ZFS」→「仮想デバイス」をたどります。
4台のうち2台ずつを「MIRROR」設定で束ねます。ここでは、「vdev1」「vdev2」などと記載していますが任意の名称です。
ZFS「マネージメント」
「名前」項目を任意の名称にして「仮想デバイスリスト」に表示されている、ここでは「vdev1」「vdev2」を選択して各ミラーしたものをストライピングとして設定すれば完了です。名前の「nas」は任意の名称です。
ZFS「データセット」
最後に「データセット」で「プール」として設定します。名前（プール名）の「nas」は任意のものです。
ここまででZFS設定が完了です。「ボリューム」は使ってません。
CIFS/SMB設定
最後に、CIFSなどのサービス設定をすればWindowsネットワークで次のようにフォルダ表示されます。この記事はZFSのGUI設定がメインのため端折ってます。
あと、ZFSなのでメンテ設定として次のようにScrubをCron登録しておけば、予兆把握に安心です。
ScrubのCron登録
以下のコマンドラインは、「nas」の個所を各自のプール名に置き換えです。
以上の設定後、ZFS情報を確認すると次のようになっています。
アップデートしても影響がないように、ブートディスク外に次のようなスクリプトを置いておけば、Cron実行も安心です。
1 2 3 4 5 6 | nas4free: ~# cat /mnt/nas/datastore/bin/status.sh #!/bin/sh /sbin/zpool status -v /sbin/zpool iostat -v /usr/local/bin/zfs-stats -E nas4free: ~# |
ここで使用しているディスクは3GbpsのSATA接続のため、Scrubが9時間超と比較的遅め、などということも上画像から分かります。下画像のように、その最中はCPU負荷もかなり上がっており、本環境の場合消費電力もちょうど10W増えてます。
ちなみに、16TBのプールでガリガリディスク読み書きし続けると、メモリー16GBでも少なくスワップも発生する事態。いや、日常的に16GBでは足りないようで（下画像のように）。さすがリソース食いのZFSだけれど、本構成でも常に80MB/秒超のスループットで満足度は高いです。
munin-node、Zabbix Agentを自動インストール
アップデートするとまっさらになってしまうので、モニターアプリ（Munin/Zabbix）は起動時にインストール＆設定するようにスクリプトを用意した。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | nas4free: ~# cat /mnt/nas/datastore/bin/app_start.sh #!/bin/sh /usr/local/sbin/pkg install -y munin-node /usr/local/sbin/munin-node-configure --shell | sh -x echo "host_name nas" >> /usr/local/etc/munin/munin-node.conf echo "allow ^192\.168\.xx\.xx$" >> /usr/local/etc/munin/munin-node.conf /usr/local/etc/rc.d/munin-node onestart echo 'munin_node_enable="Yes"' >> /etc/rc.conf ln -s /mnt/nas/datastore/bin/plugin/zfs_cache_efficiency /usr/local/etc/munin/plugins/zfs_cache_efficiency ln -s /mnt/nas/datastore/bin/plugin/zfs-stats-for-freebsd-cache-hits-by-cache-list /usr/local/etc/munin/plugins/zfs-stats-for-freebsd-cache-hits-by-cache-list ln -s /mnt/nas/datastore/bin/plugin/zfs_stats_ /usr/local/etc/munin/plugins/zfs_stats_ ln -s /mnt/nas/datastore/bin/plugin/zfs-stats-for-freebsd-cache-hits-by-data-type /usr/local/etc/munin/plugins/zfs-stats-for-freebsd-cache-hits-by-data-type ln -s /mnt/nas/datastore/bin/plugin/zfs_usage_ /usr/local/etc/munin/plugins/zfs_usage_ ln -s /mnt/nas/datastore/bin/plugin/zfs-stats-for-freebsd-dmu-prefetch /usr/local/etc/munin/plugins/zfs-stats-for-freebsd-dmu-prefetch ln -s /mnt/nas/datastore/bin/plugin/zfs-filesystem-graph /usr/local/etc/munin/plugins/zfs-filesystem-graph ln -s /mnt/nas/datastore/bin/plugin/zfsarcstats-counters /usr/local/etc/munin/plugins/zfsarcstats-counters ln -s /mnt/nas/datastore/bin/plugin/zfs-stats-for-freebsd-arc-efficiency /usr/local/etc/munin/plugins/zfs-stats-for-freebsd-arc-efficiency ln -s /mnt/nas/datastore/bin/plugin/zlist /usr/local/etc/munin/plugins/zlist ln -s /mnt/nas/datastore/bin/plugin/zfs-stats-for-freebsd-arc-utilization /usr/local/etc/munin/plugins/zfs-stats-for-freebsd-arc-utilization ln -s /mnt/nas/datastore/bin/plugin/zpool_iostat /usr/local/etc/munin/plugins/zpool_iostat /usr/local/sbin/pkg install gawk /usr/local/etc/rc.d/munin-node restart /usr/local/sbin/pkg install -y zabbix4-agent /bin/cp /usr/local/etc/zabbix4/zabbix_agentd.conf.sample /usr/local/etc/zabbix4/zabbix_agentd.conf sed -i '' -e 's/Server=127.0.0.1/Server=192.168.xx.xx/' /usr/local/etc/zabbix4/zabbix_agentd.conf sed -i '' -e 's/ServerActive=127.0.0.1/ServerActive=192.168.xx.xx/' /usr/local/etc/zabbix4/zabbix_agentd.conf sed -i '' -e 's/Hostname=Zabbix\ server/Hostname=nas/' /usr/local/etc/zabbix4/zabbix_agentd.conf sed -i '' -e 's/\#\ EnableRemoteCommands=0/EnableRemoteCommands=1/' /usr/local/etc/zabbix4/zabbix_agentd.conf echo "UserParameter=zpool.health[*],zpool list -H -o health $1" >> /usr/local/etc/zabbix4/zabbix_agentd.conf echo "UserParametor = zpool.size[*], zpool list -H -p -o size $1 >> /usr/local/etc/zabbix4/zabbix_agentd.conf echo "UserParametor = zpool.capacity[*], zpool list -H -p -o capacity $1 >> /usr/local/etc/zabbix4/zabbix_agentd.conf /usr/local/etc/rc.d/zabbix_agentd onestart /usr/local/sbin/pkg install -y zfs-stats nas4free: ~# |
MuninでもZFS状況が分かるから助かる。たいした使ってない稼働状況も。。。
ディスクはS.M.A.R.T.監視のためESXi上でRDMに
S.M.A.R.T.監視したいため、ESXi上ではRDM（Raw Device Mapping）マウントさせています。一般的に、RDMはVMDKでなくRAWディスクとしてマウントさせたいという名目が多いですが、筆者の場合は「S.M.A.R.T.監視のため」だけです。
