  |
はてなキーワード:ext4とは
15年ぐらい前に買ったIntelSSD 300GB(たぶん710シリーズ)がついに死んだ。合掌。
サーバとして使っていたんだけど、突然つながらなくなり、仕方ないので再起動。
それでも動作しないのでモニタつけて確認してみるとブートの途中でハングアップし、fsck.ext4を手動で実行しろと言われた。
fsck.ext4を実行すると大量のエラーがあって、とりあえずyキー連弾して自動修復したら何とかOSが起動した。
とりあえず大切なファイルだけはバックアップし、電源を落とした。
エラーが出たSSDは信用できないので、新しいM.2SSD 1TBに載せ替えようと思ってる。5年保証の青いのにした。
このSSDは、昔はメインPCのストレージとして、そして最近は、株価データの記録と分析用のサーバストレージに使っていたので、かなりハードな運用になっていたと思う。
15年よくもったものだ。
仮想システムを構築するにあたり、CIFSしか使えないNAS をバックアップ用に選定してきたSI 屋さんが居たので、CIFS とiSCSI のどちらが早いのか、試してみました。
テストに使うNAS は QNAP のTurboNASTS110
http://www.tekwind.co.jp/products/entry_6719.php
です。もう６年以上愛用して、カビが生えてもおかしく無い程に古いし,Marvell 800Mhz という低スペックな QnapNASです。 100Mbps時代のモノです。
昨年、HDDがお亡くなりになったので、3Tb のHDD に交換しました。ファームウェアはこんなに古い機械でも、QNAPシリーズの最新バージョンが利用できます。
iSCSI は、今あまり見なくなりましたがSCSIケーブル規格や、SASケーブル接続のハードディスクを、一般的なIPネットワークで規格で仮想化したものです。
マウントするホストシステム側はiSCSI initiator,ディスクストレージの機能を提供する側をiSCSI Target と呼びます。
ホストから「マウントするしない」はイニシエータ側のソフトウェア的な操作で行います。これは便利な機能で、ディスクの故障などで、一時的に物理的に取り外さなければいけない場合でも、ホストからの操作だけで実際のケーブル結線の脱着を行う必要がないので、今時でのSAS の外付けディスクドライブの様に、ホストもシャットダウンして電源を切り、結線を外して修理、交換する、という必要がないので、ディスクデバイスの修理をホストの電源を止めないで実施できると言う、実に便利な事ができます。
という事で、仮想環境では実に使いやすいストレージデバイスなのです。
マウントするホスト側から見ると単純にSCSI/SAS のハードディスクに過ぎません。iSCSI のストレージをマウントしてからは、通常の増設ディスクの様にフォーマットして、ホスト側で使う一般的な XFS,ext4,NTFS などのフォーマットでフォーマットする必要があります。
Linux のiSCSIターゲット側からは、内部にターゲットとして使う「巨大なファイル」が、どん！ とあるだけです。この巨大ファイルを、イニシエータ側に仮想ディスクイメージとして提供しています。当然シンプルな仮想イメージなので、ファイルそのものをバックアップコピーすれば、ストレージのイメージそのもののバックアップができます。
※ qnapNAS の場合、iSCSIイメージは、 /share/HDx_DATA/.@iscsi.img の下にドンと作られるようです。
[Solved]How to mountiSCSI file?
https://forum.qnap.com/viewtopic.php?f=180&t=25322
[/share/HDA_DATA/.@iscsi.img] #pwd
[/share/HDA_DATA/.@iscsi.img] #
[/share/HDA_DATA/.@iscsi.img] #ls -l
-rw------- 1 admin administ 6442450944 Nov122017iSCSI-2015ace1-5a078d66.000
-rw------- 1 admin administ 1073741824Jun24 09:52iSCSI-lun4-5d0de534.000
-rw------- 1 admin administ 107374182400 Nov 42015iSCSI-nss01-56399e1a.000
-rw------- 1 admin administ 5368709120 Nov112017iSCSI-nss2015-5a06cf6d.000
-rw------- 1 admin administ 21474836480Jun 2217:11iSCSI-test-56b3ce90.000
-rw------- 1 admin administ 5368709120Jun 2217:11iSCSI-test-56b3ce90.001
[/share/HDA_DATA/.@iscsi.img] #
※ とても重要
CIFS/NFS のファイル共有NAS と違い、iSCSI でマウントして一つのターゲットを制御できるのは、一つのホスト、一つのイニシエータだけです。複数のホストからイニシエータでマウントする（できちゃいます）と、ファイルの排他制御は行われないので、ファイルシステム自体の不整合が起こります。
つまりファイル共有という目的には向いていない、という事です。あくまでもiSCSIターゲットはネットワーク上の仮想ディスクです。
もっとも、一つのホストからマウントしてファイルを保存して、いったんオフラインにして、ターゲットを別なホストからマウントする、という事はできます。また、ターゲットは一つのiSCSIデバイスで複数作れるので、１台のiSCSI装置に複数のターゲットを実装して、複数のホストから別々のターゲットイメージをマウントする事は問題ありません。
極端な話、ホストのハイパーバイザーはUSBメモリやSANブートさせて、後はマウントしたiSCSI の仮想イメージ上で、仮想マシンを動かす、HDDレスなハイパーバイザー運用もできます。
物理的な転送速度は、ネットワークの速度とディスクデバイスの性能に依存します。当然 10Gbbase のネットワークカード、HUB、高規格なケーブルを使えば、論理的な性能は 10Gbps です。大抵はNAS の性能がそこまで出ないのですけどね。ヨドバシカメラあたりで売っている 4,000 円程度の 1GHUB でも、そこそこの性能が出てしまいます。
距離は、IPがつながればどこでもなので、ホストコンピュータとメインのストレージを自社のサーバールームに置き、イニシエータを動かし、バックアップ用のiSCSIターゲットをデータセンターに置く、なんてこともできます。
【送料無料】QNAPTS－431P2（ホワイト）NAS 4ベイモデルクアッドコアCPU ／LAN 2ポート搭載 （TS431P2）
価格:56,145円
感想(0件)
iSCSI の耳慣れない言葉に LUN （論理ユニット番号 : Logical UnitNumber）というのがあります。
昔のSCSI は、SCSIバスアダプタに７番のIDを振り、残りの 0 ~ 6 のディスクやCD,Tape などにID を振り分ける物理的な３ビットのディップスイッチやジャンパ端子が付いていました。これがSCSIアドレスです。
これが実に難物でした。特に、複数のSCSIバスアダプタカードをデュプレクス設定する場合、割り込み番号も別々にするので、手が滑ってジャンパピンを飛ばして床を這いまわって探したり、難解なディップスイッチを前に数日悩んだものです。
つまり一つのSCSIバスには 0~７の合計８台（うち大抵７番はSCSIバスカード）の物理ユニットデバイスがつながって別々に見えたという仕組みだったわけです。
ところが SCSIバスを使ったRaidコントローラが出てくると、ディスクの鈴なりが、一つの物理デバイスに見えてしまうわけです。これを「論理的な仮想番号」に分割して、システムからは、単一の鈴なりRaidディスクを複数の論理番号に分割したわけですね。
これが LUN というヤツです。
iSCSI機器のターゲットも、内部のソフトウェア的に複数の論理デバイスに分割して、複数のホストコンピュータから複数の物理デバイスのように見せかけるわけです。
別々な LUN は一つ、あるいは複数のiSCSI機器によって、複数のホストに別々のディスクデバイスとして見せかけるンです。
https://en.wikipedia.org/wiki/Logical_unit_number
QnapNAS の場合、iSCSIターゲットはウィザード形式で簡単に作成できます。EXT4ファイルシステム上で、オンラインでも簡単にサイズの拡大ができるので、Windows の Storage Server のようにNTFS のVHD形式ではないので、そこそこ性能が出ますが、いかんせん古さと遅さは否めません。
QnapNAS のiSCSIターゲットの設定は、偉そうなLinux 系サイトに書いてある程、面倒なことはありません。ストレージマネージャからiSCSI タブにあるウィザードに従ってiSCSIターゲット名に任意の名前を付けると IQN にその文字列が追加されるだけです。わざわざviエディタに「正確に」綴りを間違えずに設定する必要もありません。ここではChap認証は付けませんでした。
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16405779.jpg
機械は古いのですが、逆に言うと、「古くて遅い」ため、サーバーとNASとの接続プロトコルの性能差が、如実に現れる事になります。
QNAPTVS-951X10GBASE-T/NBASE-Tポート内蔵
Windows10 のMicrosoft 製iSCSI イニシエータは「コントロールパネル」＞「システムとセキュリティ」＞「管理ツール」の中にあるので、ここで、設定済のiSCSI 「ターゲットを」 「検索」して選んで「接続」します。Chap認証を付けておいた場合はターゲットで設定したパスワードが必要でしょう。
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16412132.jpg
新規に作成して、接続した後は、フォーマットされていないため、ディスクマネージャからフォーマットして使います。ちなみに、フォーマットして利用したiSCSIターゲットの仮想ディスクは、他のマシンでマウントすることもできます。つまりHDDを取り外して、他のPCに繋げる事と同じことですね。
ＰＲ
ちなみに opeSUSE で使うにはこんな感じになりました。
openSUSELeap 15.1 でiSCSINASを使ってハマった
https://islandcnt.exblog.jp/239328437/
一番イラつくのは、巨大なファイルの転送でしょう。という事で3G 程あるSUSELinux のインストール用DVDのISOファイルを CIFS でコピーしてみます。
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16414334.jpg
３分１１秒かかりました。１Gビットネットワークで12～3% 程度の帯域を使って通信しています。明らかに古いNAS の性能が足を引っ張っているようです。
スループットは 150Mbps 程度で全体の最大１５％程度でしょうか。
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16415832.jpg
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16422170.jpg
初速は出るのですが、その後は、ボロイTS-110 の性能がモロに出ます。それでも20MB/sから 25MB/s 程度は出ています。
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16423835.jpg
２分２５秒でした。 大体２０％程度のスループットです。
--
数字に弱い私の脳みそですが、iSCSI は CIFS より 1.5倍くらい早い、という事が言えます。
Zabbix で QNAPTS-110 のI/O を見てみると、前半の CIFSアクセスより後半のiSCSIアクセスの山が高い事がよくわかります。
仮想化時代のNAS 選び - やっぱりiSCSI は早い。_a0056607_16425860.jpg
CIFS を使ったリモートディスクのマウントは、他のPCからもアクセスができる、というメリットがありますが、iSCSI は単一のホストからのアクセスしかできません。<--- これ重要.... --もっとも、ターゲットストレージを複数作って複数のサーバーから異なるデータ領域にアクセスはできますが --バックアップ用途や、サーバーの増設ストレージとして考えれば、良い選択であると言えます。
もっとも、iSCSIデバイスそのものは、ターゲット単位で別々なホストから接続できます。しかし同じターゲットで別々のホストからイニシエータから繋ぐと、とても笑いごとにならない事態になるので、普通やりません。
ハイパーバイザー同士で一つのターゲットを共有してライブマイグレーションはしたことはあります。
こうした性能のわずかな違いが、仮想化システムのハイエンドな領域で違いとなって出てきます。なお Qnap でもopeniSCSI でもWindows Storage Server でも取った領域そのままのサイズのでかいファイルが作成されるようです。
国産NAS の「ハイエンド」と称する「LANxxxx」などのモデルではWindows Storage Server を使ってNTFSフォーマットしています。Windows Storage Server は見た目Windowsサーバーそのものなのですが、ところどころちゃんとデチューンされているようで、SOHO向けが限度です。
こういった国産NASメーカーの製品カタログでは、「ハイエンド」はWindows Storage Server を搭載して、低価格のNASはUnix 系のシステムで「低価格」を謳っていますが、そもそも、上位モデルは、CPUやメモリの性能が高いものが使われています。性能が違うのは当たり前なのですが、あまり性能が出ないだろうと思います。
Windows Storage Server じゃなくて、ちゃんとしたWindows Server と CAL 買えよな、という事なのですね。
このあたりは独自OSをNAS としてチューニングした Qnap や Synology, asuster などのiSCSI機能付きのNAS を中規模ネットワークのミドルレンジのNAS として利用したほうが良いと思います。
仮想環境でのネットワークアタッチストレージ(NAS)は、本回線（構内LAN）とは切り離し、ストレージ専用のネットワークとして独立して運用させるのが基本です。サーバーとNAS間で凄まじい通信が発生します。サーバーNICが２ポート以上のものが推奨されます。
iSCSI はあくまでもネットワーク上のストレージのみの機能を提供するものであり、ファイル共有の手段ではない、という事です。
NAS をCIFSで使うとNAS が持つ独自のアクセス権限を設定しなければなりません。セキュリティも当然NAS独自の機能で設定します。
iSCSI はあくまでも「外付けSCSIデバイス」のネットワーク版なので、マウントする側のOSそのもののファイルシステム、セキュリティ機能、アクセス制限がホスト側の機能をそのまま利用できます。セキュリティ的には、マウントする際のパスワード制限しかないので、独自のストレージネットワーク内に配置すべきで、ユーザが使う構内ネットワークに配置すべきではありません。
Peopleはタランティーノ監督が歌手のダニエラ・ピックさんと結婚式を行ったという記事に3ブクマ。
Natureは福島県の原発事故が影響する地域にいた野生のニホンザルの血液調査に4ブクマ
IEEESpectrumはMetal-Air Transistorの記事に2ブクマ。日本語ではGIGAZINEで紹介されているみたいだ。
Quantamagazineは2016年に書かれたファインマン・ダイアグラムの凄さを解説した記事に4ブクマ。
The VergeはTumblrがアダルトコンテンツをブロックする予定だという記事に4ブクマ。
TechCrunchはFlutterUIツールキットがバージョン1.0をリリースしたという記事に9ブクマ。
PhoronixはLinuxカーネル4.19で原因不明のEXT4ファイルシステム破損が起きるという記事に2ブクマ。ファイルシステムのコードではなくBLK-MQまわりが怪しのではないかと見られはじめたみたい。
この時間なら誰もいないはず。
https://getfedora.org/ja/workstation/downloadから
1.4GBと大きいので数十分はかかると思う。
1分ぐらいで終わると思う。
パソコンを再起動しBIOSを開き、USB bootして一番上の選択肢を選ぶ。
あとは待つだけ。7分ぐらいで終わる。
終わったら再起動。
次にWi-Fiの設定を尋ねられるのでいつものWi-Fiに繋ぐ。
次にFirefoxを起動してSyncにかける(すぐ終わる)
ここまでで1分ぐらい。
itamaeを使う。
レシピを自前のプライベートリポジトリからgit cloneし、
パスワードを入力したら勝手にflashとかVimとか入って、
gsettingsでの各種設定、vimrcの配置などをやってくれるので放置。
だいたい15分くらいで終わる。
また僕だ。
世間ではSuperFishが騒がれているね。
ﾌﾌﾌ、そういうことだ。
(前回の記事)
http://anond.hatelabo.jp/20150219004340
我々ハッカーの仲間入りをするためには裏のOSを手に入れなければならない。
Windowsなんていう表OSではできることは限られているからね。
だが、この裏OSリナーックスはヤマダ電機に行っても売っていない。
「はて？なんのことでしょう？？」と言われるのが落ちだ。
白を切っているか本当に知らないかのどちらかだ。
この裏OSを手に入れる主な方法は、Torrentという裏ソフトをつかう。
このtorrentはWinnyとかと同じように裏ソフトのやり取りに使われる裏プロトコルを使っている闇ソフトなのだ。
うっかりTwitterなどでTorrentの名前を言おうものならばネット自警団に見つかり大炎上だ。
銀行業界の裏、政府機関の裏、我々裏の世界ではなくてはならないOSだ。
裏のエンジニア、闇のプログラマたちはLinuxをよく使うが、
たまに表世界の営業が「案件取ってきました！！Windowsサーバーですから簡単ですよね！！」みたいなことをいうと
我々闇のブラックエンジニアたちは「知らねーよ！使ったことねーよ！！」となるわけだ。
DVD入れて、インストーラを起動してーみたいな生ぬるいインストールはしない…
どのようにするか。
そのインストールの様は神のOSと言われるだけあって、それは天地創造の再現と言われている。
目を閉じて神と対話すれば（あるいは公式ドキュメントを見れば）自ずから分かるものだのだ。
どうだろう
ハッカーの卵たちよ。
武器を手に入れたく成っただろう？
じゃあな
続き書いたよ
