2015年度の自宅NAS環境

Hiroaki Mizuguchi

More Related Content

1.2015年度の自宅NAS環境ROOT ON DM-CACHE ON LVM ON DM-CRYPTON MD(RAID1)をNATIVE UEFI 環境でセットアップしてみたHiroaki MizuguchiTwitter: @m_akihiro
2.AGENDA初めにUEFIネイティブなブート環境について• Debian jessieを選んだ理由• UEFI環境でのdm-cache/LVM/dm-crypt/RAID1なdebian installbootloaderの冗長化について• Gummibootと冗長化Initramfs 回りについて• Cryptsetup(DM-Crypt)のrootディスク暗号化• /に対するdm-cacheの有効化これから
3.初めに自宅NASの構成変更をしたい。• dm-cryptを使ってディスク全体を暗号化したい• 生半可な破壊だとコロンビア号のHDDが復元された事例もあるし、ディスク暗号化が正解。復号キーは「忘れる」 by @dankogai• https://twitter.com/dankogai/status/545830557804802048• 鍵の管理はどうするのか、起動時に手入力はつらい• 復旧しやすく冗長性を確保したディスク構成にしたい• Bootloaderも冗長化しよう• Grub2でdm-cryptとmdを併用するとパーティション数が辛い• UEFIならもう少し楽出来るはず• Kernelのアップデートごとに手動で設定するのは辛い
4.初めに- 構築したシステム概略図UEFI Systemsda:HDD sdb:HDD sdc:HDD Sdd:HDDsdeSSDsdfUSBsda1UEFIsda2RAIDsdb1UEFIsdb2RAIDsdc1UEFIsdc2RAIDsdd1UEFIsdd2RAIDmd0: RAID1 md1: RAID1md0_crypt: dm-crypt md1_crypt: dm-cryptsde1cryptsdf1keycryptLVM:vg0rootdm-cacheswapssdarchive
5.初めに- 構築したシステム概略図UEFI Systemsda:HDD sdb:HDD sdc:HDD Sdd:HDDsdeSSDsdfUSBsda1UEFIsda2RAIDsdb1UEFIsdb2RAIDsdc1UEFIsdc2RAIDsdd1UEFIsdd2RAIDmd0: RAID1 md1: RAID1md0_crypt: dm-crypt md1_crypt: dm-cryptsde1cryptsdf1keycryptLVM:vg0rootdm-cacheswapssdarchiveUEFI bootの冗長化Gummibootを利用し、/bootパーティションを用意しない
6.初めに- 構築したシステム概略図UEFI Systemsda:HDD sdb:HDD sdc:HDD Sdd:HDDsdeSSDsdfUSBsda1UEFIsda2RAIDsdb1UEFIsdb2RAIDsdc1UEFIsdc2RAIDsdd1UEFIsdd2RAIDmd0: RAID1 md1: RAID1md0_crypt: dm-crypt md1_crypt: dm-cryptsde1cryptsdf1keycryptLVM:vg0rootdm-cacheswapssdarchiveInitramfs段階でのUSBメモリからの鍵情報取得パスフレーズなしの起動を実装
7.初めに- 構築したシステム概略図UEFI Systemsda:HDD sdb:HDD sdc:HDD Sdd:HDDsdeSSDsdfUSBsda1UEFIsda2RAIDsdb1UEFIsdb2RAIDsdc1UEFIsdc2RAIDsdd1UEFIsdd2RAIDmd0: RAID1 md1: RAID1md0_crypt: dm-crypt md1_crypt: dm-cryptsde1cryptsdf1keycryptLVM:vg0rootdm-cacheswapssdarchivedm-cacheが有効なルート領域
8.DEBIAN JESSIEを選んだ理由元々LVM on dm-crypt on MDが出来るインストーラーを持ってるUEFIブートのGummibootがDebian jessieからパッケージ入り• Ｇrub2でbootloader冗長化は難しいLinux Kernel version• Jessieだとlinux 3.16が使用できる。• 今後backportsで3.18以上も使えるようになるかも• OverlayFSやearth-pt3ドライバなどが使いたい• Wheezy: Linux 3.2、CentOS7: linux-3.10mdadm version• bad block management対応してほしい• mdadm-3.3以上が必要• wheezy: mdadm-3.2、CentOS7: mdadm-3.3
9.INSTALL DEBIAN JESSIEテスト環境• Virtualbox 4.3.20 on windows7 64bits• Debian iso: debian-jessie-DI-rc1-amd64-netinst• Disk構成• HDD: sd[abcd] 8GB• SSD: sde• USBメモリ: sdf 256MBインストーラーに従い手動でディスク構成を指定する• パーティションを切り• MDを組み• 暗号化ディスクを作り• LVMを組む
10.HDD4本SSDUSBMD 2組LVMLUKS
11.Grub2をどこにインストールすればいいのか分からないエラー
12.DEBIAN INSTALL BATTLEの始まり• 金庫（暗号化されたLVM上のLV）の中に• 鍵（vmlinuzとinitrdがいる/boot）が入っている状況• インストーラーの範囲外• 手動インストールしかないDebian Install Battleの始まり• インストーラーを再起動させ、resucure modeに入る• MDも自動的に組ませることが出来る• Mdとdm-cryptの組み合わせは非対応なので手動対応
13.DEBIAN INSTALL BATTLE手動でGUMMIBOOTをインストールするInstallerのrescure modeからシェルを握る暗号化ディスクをOpenする• cryptsetup luksOpen /dev/md0 md0_crypt• cryptsetup luksOpen /dev/md1 md1_crupt• cryptsetup luksOpen /dev/sde1 sde1_cruptLVMのVGを有効化する• vgchange -ayシステム環境に入り、Gummibootをセットアップ• apt-get install gummiboot # install gummiboot• gummiboot [--path=/boot/efi] install # install bootloaer to esp• update-gummiboot [$(uname –r)] # ブートの設定
14.GUMMIBOOTによるUEFIブートgummiboot [--path=/boot/efi] install/status/remove/update• gummibootx64.efi やディレクトリを追加する
15.GUMMIBOOTUEFI BOOT PARTITIONの構造Gummiboot• Only EFIStub kernel• UEFIパーティションで完結• ファイルコピーのみで実現構造• /$(cat /etc/machine-id)/$(uname –r)/• vmlinuz, initrdの格納場所• /EFI/• Bootloader 本体• UEFIアプリケーション• /loader• loader.conf : config file• entries : boot設定Bootloader本体Kernel一式設定ファイル一式Arch wiki Gummiboot https://wiki.archlinux.org/index.php/GummibootDebian wiki EFIStub https://wiki.debian.org/EFIStub
16.GUMMIBOOTBOOTLOADERの冗長化vmlinuzやinitramfsのインストールについて• /usr/sbin/update-gummibootがhookされている• /etc/kernel/post{inst,rm}.dや/etc/initramfs/post-update.dから• /bootからvmlinuzやinitramfsをコピー&boot entry file 生成• 設定ファイル: /etc/defaut/gummiboot• GUMIBOOT_EFI=“/boot/efi”• EFI Boot Partionのマウントポイント• 複数指定できない• GUMIBOOT_ROOT=“”• Kernel parameterのROOTオプションに渡される• GUMIBOOT_OPTIONS=“ro quiet”• Kernel parameterとしてそのまま渡される
17.GUMMIBOOTBOOTLOADERの冗長化update-gummibootの複数パーティション対応• Patch書きました。• 同様の提案はDebian Bug Reportに上がってたがrejectされたcd /usr/sbinwget -O - https://gist.github.com/akihiro/cb7af7ec6865da577a68/raw/ | patch –p0• /etc/default/gummibootのGUMMIBOOT_EFIを拡張• ”:”区切りによる複数のパスを指定可能にGUMMIBOOT_EFI=“/boot/efi-sda1:/boot/efi-sdb1:/boot-sdc1:/boot/efi-sdd1”update-gummiboot-multiesp.patch https://gist.github.com/akihiro/cb7af7ec6865da577a68Debian Bug report logs - #755978 https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=755978
18.CRYPTSETUP- PASSPHRASEレスなBOOT• Cryptsetupは/etc/crypttabによりboot時にマウント可能• ただしrootのマウントに対してはハックを必要とする。• keyfileを単に設定だけでは機能しない• 必要な事• cryptsetup luksAddKey /dev/md0 md0.key• USBメモリをマウントする為のモジュール組み込み(initramfs)• /etc/initramfs-tools/moduleへの必要モジュールの追記• /etc/crypttabへのkeyscriptオプション追加• Keyscriptのinitramfsへの組み込み• update-initramfs -uEncrypted root filesystem on Debian Wheezy https://gist.github.com/martijnvermaat/2726386
19.DM-CACHEROOTへのDM-CACHE適用Debian jessieではLVMからdm-cacheを扱える• man 7 lvmcache 参照• Cache用にSSDからLVを用意し、cachepoolを作成• lvcreate --L 1G --n cache0meta vg /dev/mapper/sde1_crypt• lvcreate --L 6G --n cache0 vg /dev/mapper/sde1_crypt• lvconvert --type cachepool --poolmetadata vg/cache0metavg/cache0• Root用LVにcacheを有効化する• lvconvert --type cache --cachepool vg/cache0 vg/root• オンラインでcache化、非cache化が可能• 戻す場合はlvremove vg/cache0で可能ただしこのまま再起動するとrootを認識できず死ぬ
20.DM-CACHEINITRAMFS再構成initramfsにdm-cacheマウントに必要なファイル一式を入れる• apt-get install thin-provisioning-tools• cd /etc/initramfs-tools/hooks• wget –O lvmcachehttps://gist.github.com/akihiro/2b5ae2c55b7569f3935e/raw/• chmod +x lvmcache• update-initramfs –uオリジナルからの変更点• PREREQ変数の変更• 前：PREREQ=“lvm2”• 後：PREREQ=“mdadm cryptroot lvm2”Debian User Forums: Booting Debian Jessie from an lvmcachehttp://forums.debian.net/viewtopic.php?f=5&t=119644
21.FUTURE WORKUEFI ネイティブな環境下での検証が出来たが実機でうまくいくのだろうか？• UEFIのファームウェアの出来に左右される• $esp/EFI/boot/bootx64.efiからブートしてくれるなら問題ない• UEFIのbootentryの登録が上手くいくなら問題ない