「Chap」を含む日記

はてなキーワード:Chapとは

2021-12-30

■仮想化 時代のNAS 選び - やっぱりiSCSI は早い。

仮想システムを構築するにあたり、CIFSしか使えないNAS をバックアップ用に選定してきたSI 屋さんが居たので、CIFS とiSCSI のどちらが早いのか、試してみました。

テストに使うNAS は QNAP のTurbo NAS TS 110

http://www.tekwind.co.jp/products/entry_6719.php

です。もう６年以上愛用して、カビが生えてもおかしく無い程に古いし,Marvell 800Mhz という低スペックな QnapNASです。 100Mbps時代のモノです。

昨年、HDDがお亡くなりになったので、3Tb のHDD に交換しました。ファームウェアはこんなに古い機械でも、QNAPシリーズの最新バージョンが利用できます。

iSCSI とは

iSCSI は、今あまり見なくなりましたがSCSI ケーブル規格や、SAS ケーブル接続のハードディスクを、一般的なIP ネットワークで規格で仮想化したものです。

マウントするホストシステム側はiSCSI initiator,ディスクストレージの機能を提供する側をiSCSI Target と呼びます。

ホストから「マウントするしない」はイニシエータ側のソフトウェア的な操作で行います。これは便利な機能で、ディスクの故障などで、一時的に物理的に取り外さなければいけない場合でも、ホストからの操作だけで実際のケーブル結線の脱着を行う必要がないので、今時でのSAS の外付けディスクドライブの様に、ホストもシャットダウンして電源を切り、結線を外して修理、交換する、という必要がないので、ディスクデバイスの修理をホストの電源を止めないで実施できると言う、実に便利な事ができます。

という事で、仮想環境では実に使いやすいストレージデバイスなのです。

マウントするホスト側から見ると単純にSCSI/SAS のハードディスクに過ぎません。iSCSI のストレージをマウントしてからは、通常の増設ディスクの様にフォーマットして、ホスト側で使う一般的な XFS,ext4,NTFS などのフォーマットでフォーマットする必要があります。

Linux のiSCSI ターゲット側からは、内部にターゲットとして使う「巨大なファイル」が、どん！　とあるだけです。この巨大ファイルを、イニシエータ側に仮想ディスクイメージとして提供しています。当然シンプルな仮想イメージなので、ファイルそのものをバックアップコピーすれば、ストレージのイメージそのもののバックアップができます。

※ qnapNAS の場合、iSCSI イメージは、 /share/HDx_DATA/.@iscsi.img の下にドンと作られるようです。

[Solved]How to mountiSCSI file?

https://forum.qnap.com/viewtopic.php?f=180&t=25322

[/share/HDA_DATA/.@iscsi.img] #pwd

/share/HDA_DATA/.@iscsi.img

[/share/HDA_DATA/.@iscsi.img] #

[/share/HDA_DATA/.@iscsi.img] #ls -l

-rw------- 1 admin administ 6442450944 Nov12 20 17 iSCSI-2015ace1-5a078d66.000

-rw------- 1 admin administ 1073741824 Jun 24 09:52iSCSI-lun4-5d0de534.000

-rw------- 1 admin administ 107374182400 Nov 42015iSCSI-nss01-56399e1a.000

-rw------- 1 admin administ 5368709120 Nov11 20 17 iSCSI-nss2015-5a06cf6d.000

-rw------- 1 admin administ 21474836480Jun 2217:11 iSCSI-test-56b3ce90.000

-rw------- 1 admin administ 5368709120Jun 2217:11 iSCSI-test-56b3ce90.001

[/share/HDA_DATA/.@iscsi.img] #

※　とても重要

CIFS/NFS のファイル共有NAS と違い、iSCSI でマウントして一つのターゲットを制御できるのは、一つのホスト、一つのイニシエータだけです。複数のホストからイニシエータでマウントする（できちゃいます）と、ファイルの排他制御は行われないので、ファイルシステム自体の不整合が起こります。

つまりファイル共有という目的には向いていない、という事です。あくまでもiSCSI ターゲットはネットワーク上の仮想ディスクです。

もっとも、一つのホストからマウントしてファイルを保存して、いったんオフラインにして、ターゲットを別なホストからマウントする、という事はできます。また、ターゲットは一つの iSCSI デバイスで複数作れるので、１台のiSCSI 装置に複数のターゲットを実装して、複数のホストから別々のターゲットイメージをマウントする事は問題ありません。

極端な話、ホストのハイパーバイザーはUSB メモリやSAN ブートさせて、後はマウントしたiSCSI の仮想イメージ上で、仮想マシンを動かす、HDD レスなハイパーバイザー運用もできます。

物理的な転送速度は、ネットワークの速度とディスクデバイスの性能に依存します。当然 10Gbbase のネットワークカード、HUB、高規格なケーブルを使えば、論理的な性能は 10Gbps です。大抵はNAS の性能がそこまで出ないのですけどね。ヨドバシカメラあたりで売っている 4,000 円程度の 1GHUB でも、そこそこの性能が出てしまいます。

距離は、IPがつながればどこでもなので、ホストコンピュータとメインのストレージを自社のサーバールームに置き、イニシエータを動かし、バックアップ用のiSCSI ターゲットをデータセンターに置く、なんてこともできます。

【送料無料】QNAPTS－431P2（ホワイト）NAS 4ベイモデルクアッドコア CPU ／LAN 2ポート搭載（TS431P2）

価格:56,145円

(2019/7/2712:05時点)

感想(0件)

LUN -

iSCSI の耳慣れない言葉に LUN （論理ユニット番号 : Logical UnitNumber）というのがあります。

昔のSCSI は、SCSI バスアダプタに７番のIDを振り、残りの 0 ~ 6 のディスクやCD,Tape などにID を振り分ける物理的な３ビットのディップスイッチやジャンパ端子が付いていました。これがSCSI アドレスです。

つまり初期のSCSI 規格では８つ分。

これが実に難物でした。特に、複数のSCSI バスアダプタカードをデュプレクス設定する場合、割り込み番号も別々にするので、手が滑ってジャンパピンを飛ばして床を這いまわって探したり、難解なディップスイッチを前に数日悩んだものです。

つまり一つの SCSI バスには 0~７の合計８台（うち大抵７番はSCSI バスカード）の物理ユニットデバイスがつながって別々に見えたという仕組みだったわけです。

ところが　SCSI バスを使ったRaid コントローラが出てくると、ディスクの鈴なりが、一つの物理デバイスに見えてしまうわけです。これを「論理的な仮想番号」に分割して、システムからは、単一の鈴なりRaid ディスクを複数の論理番号に分割したわけですね。

これが LUN というヤツです。

iSCSI 機器のターゲットも、内部のソフトウェア的に複数の論理デバイスに分割して、複数のホストコンピュータから複数の物理デバイスのように見せかけるわけです。

別々な LUN は一つ、あるいは複数のiSCSI 機器によって、複数のホストに別々のディスクデバイスとして見せかけるンです。

まぁ、いい加減な説明なので、他所で調べてください。

https://en.wikipedia.org/wiki/Logical_unit_number

iSCSI ターゲットの設定 -

QnapNAS の場合、iSCSI ターゲットはウィザード形式で簡単に作成できます。EXT4 ファイルシステム上で、オンラインでも簡単にサイズの拡大ができるので、Windows の Storage Server のようにNTFS のVHD 形式ではないので、そこそこ性能が出ますが、いかんせん古さと遅さは否めません。

QnapNAS のiSCSI ターゲットの設定は、偉そうなLinux 系サイトに書いてある程、面倒なことはありません。ストレージマネージャから iSCSI タブにあるウィザードに従ってiSCSI ターゲット名に任意の名前を付けると IQN にその文字列が追加されるだけです。わざわざvi エディタに「正確に」綴りを間違えずに設定する必要もありません。ここではChap 認証は付けませんでした。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16405779.jpg

機械は古いのですが、逆に言うと、「古くて遅い」ため、サーバーとNASとの接続プロトコルの性能差が、如実に現れる事になります。

QNAPTVS-951X10GBASE-T/NBASE-Tポート内蔵

10GbE 接続対応 NAS

Windows10 のMicrosoft 製iSCSI イニシエータは「コントロールパネル」＞「システムとセキュリティ」＞「管理ツール」の中にあるので、ここで、設定済のiSCSI 「ターゲットを」「検索」して選んで「接続」します。Chap 認証を付けておいた場合はターゲットで設定したパスワードが必要でしょう。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16412132.jpg

新規に作成して、接続した後は、フォーマットされていないため、ディスクマネージャからフォーマットして使います。ちなみに、フォーマットして利用したiSCSI ターゲットの仮想ディスクは、他のマシンでマウントすることもできます。つまり HDDを取り外して、他のPCに繋げる事と同じことですね。

ＰＲ

ちなみに opeSUSE で使うにはこんな感じになりました。

open SUSE Leap 15.1 でiSCSI NASを使ってハマった

https://islandcnt.exblog.jp/239328437/

CIFS の性能を見てみる -

一番イラつくのは、巨大なファイルの転送でしょう。という事で3G 程あるSUSE Linux のインストール用DVDのISO ファイルを　CIFS でコピーしてみます。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16414334.jpg

３分１１秒かかりました。１Gビットネットワークで12～3% 程度の帯域を使って通信しています。明らかに古いNAS の性能が足を引っ張っているようです。

スループットは 150Mbps 程度で全体の最大１５％程度でしょうか。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16415832.jpg

次にiSCSI マウントしたディスクにコピーしてみます。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16422170.jpg

初速は出るのですが、その後は、ボロイ TS-110 の性能がモロに出ます。それでも20 MB/s から 25MB/s 程度は出ています。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16423835.jpg

２分２５秒でした。　大体２０％程度のスループットです。

数字に弱い私の脳みそですが、iSCSI は CIFS より　1.5倍くらい早い、という事が言えます。

Zabbix で QNAPTS-110 のI/O を見てみると、前半の CIFSアクセスより後半のiSCSI アクセスの山が高い事がよくわかります。

仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16425860.jpg

CIFS を使ったリモートディスクのマウントは、他のPC からもアクセスができる、というメリットがありますが、iSCSI は単一のホストからのアクセスしかできません。<--- これ重要.... --もっとも、ターゲットストレージを複数作って複数のサーバーから異なるデータ領域にアクセスはできますが --バックアップ用途や、サーバーの増設ストレージとして考えれば、良い選択であると言えます。

もっとも、iSCSI デバイスそのものは、ターゲット単位で別々なホストから接続できます。しかし同じターゲットで別々のホストからイニシエータから繋ぐと、とても笑いごとにならない事態になるので、普通やりません。

ハイパーバイザー同士で一つのターゲットを共有してライブマイグレーションはしたことはあります。

こうした性能のわずかな違いが、仮想化システムのハイエンドな領域で違いとなって出てきます。なお Qnap でもopen iSCSI でもWindows Storage Server でも取った領域そのままのサイズのでかいファイルが作成されるようです。

国産 NAS の「ハイエンド」と称する「LANxxxx」などのモデルではWindows Storage Server を使ってNTFS フォーマットしています。Windows Storage Server は見た目Windows サーバーそのものなのですが、ところどころちゃんとデチューンされているようで、SOHO向けが限度です。

こういった国産 NAS メーカーの製品カタログでは、「ハイエンド」はWindows Storage Server を搭載して、低価格のNASはUnix 系のシステムで「低価格」を謳っていますが、そもそも、上位モデルは、CPUやメモリの性能が高いものが使われています。性能が違うのは当たり前なのですが、あまり性能が出ないだろうと思います。