Movatterモバイル変換

blogs:
cles::blog
NP_cles()

»ArchiveList (Tag for "40GbE"

)

«Prev ||1 ·| Next»

2023/03/16

新ファイルサーバができた

omnios

zfs

40GbE

100GbE

Broadcom 9400-16e interface cards/adapter SAS,SATA Internal

Mellanox ConnectX-5 EN - Network adapter - PCIe 3.0 x16 - 100 Gigabit QSFP28 x 2

10 年くらい増強しながら使い続けてきた仕事場のファイルサーバがさすがにやばくなってきたので、新しい構成に入れ替えました。
筐体は年初くらいに届いていたのですが、結局忙しくて 2 ヶ月くらい放置モードでした。

今回のサーバ構成はこんな感じ。

Dell PowerEdge R7515 (8C, 64GB)
OmniOS CE
HDD 10TB × 18（本体 3.5″ 14 Bay + エンクロージャー 3.5″12 Bay）
Mellanox® ConnectX®-5 100GbE Dual^*1（ただし、接続は 40GbE）
Broadcom HBA 9400-16e^*2

OS や構成的には安定したものを選んでいるのと、移行は zfs のsend/recv を使ったので特に苦戦しませんでした。
シーケンシャルなスループットは現状で 4～5Gbps (SSD 未搭載なので)くらいなので、普通にファイルサーバとして使うには十分な性能です。

とりあえず動くようになったので、今後は SSD を搭載したりメモリ増やしたりする予定です。

† HBA からはカーネルの warning が出るけど・・・

起動するたびにポートが 21 個あるとか言ってますが、何なんでしょうね？

Mar 15 01:12:55 host scsi: [ID 107833 kern.warning] WARNING: /pci@b6,0/pci1022,1483@1,1/pci1000,3020@0 (mpt_sas1):#012#011Number of phys reported by HBA SAS IO Unit Page 0 (21) is greater than that reported by the manufacturing information (16). Driver phy count limited to 16. Please contact the firmware vendor about this.

Broadcom HBA 9400-16e のポートは miniSAS HD × 4 で、MiniSAS HD 1 ポートあたり SAS 4 ポートなので物理的にも 16 ポートしか存在しないはずなので、mpt_sas1 のバグでしょうか。
ひとまず実害はないようなので無視することにします。

^*1:NVIDIA Mellanox ConnectX-5 アダプター - NVIDIA

^*2:Broadcom 9400 Series Tri-Mode Storage HBAs

at 21:15 |

2021/11/12

ConnectX-3 を ESXi 7.0 で使う

networking

40GbE

esxi

mellanox

今日はHP Infiniband 649281-B21（Mellanox ConnectX-3 VPI MCX354A-QCBT^*1 の OEMHP Mellanox Reference Guide）を ESXi 7.0 のマシンに取り付けて、ついでにファームウェアも最新版にアップデートしてみました。

ちなみに ESXi 7.0.3 で ConnectX-3 VPI はそのままでもちゃんと NIC として認識はされます。

† ユーティリティのインストール

Mellanox の NIC の設定を変更したり、ファームウェアの更新を行うためにはMellanox Firmware Tools (MFT) という専用のユーティリティをインストールする必要があります。

Mellanox Firmware Tools (MFT)

サイトから zip をダウンロードして ESXi の/tmp に配置し、以下の要領でインストールします。

esxcli software vib install -d /tmp/Mellanox-NATIVE-NMST_4.17.0.106-1OEM.700.1.0.15843807_18549811.zipesxcli software vib install -d /tmp/Mellanox-MFT-Tools_4.17.0.106-1OEM.700.1.0.15843807_18672675.zip

インストール後に再起動が必要なので、ESXi ホストを再起動します。

† ファームウェアのアップデート

以下のコマンドでデバイスや NIC の情報が帰ってくることを確認します。
このときPSID の内容を確認し、OEM 製品と純正製品の対応に間違いがないかを再度確認しておきます。

/opt/mellanox/bin/mst status/opt/mellanox/bin/mlxfwmanager --query

今回はMCX354A-QCBT のファームウェアを以下から取得して、ESXi ホストの/tmp に配置しておきます。

Firmware for ConnectX®-3 IB/VPI

以下の手順でファームウェアをアップグレードし、ESXi ホストを再起動します。

# 649281-B21 -> MCX354A-FCBT/opt/mellanox/bin/flint -d mt4099_pci_cr0 -i /tmp/fw-ConnectX3-rel-2_42_5000-MCX354A-FCB_A2-A5-FlexBoot-3.4.752.bin -allow_psid_change burn

† 設定の変更

再起動が完了したら以下のコマンドでポートを Ethernet に、SR-IOV を有効^*2に設定しておきます。

/opt/mellanox/bin/mlxconfig -d mt4099_pciconf0 s SRIOV_EN=1 LINK_TYPE_P1=2 LINK_TYPE_P2=2

最後に設定をもう一度して完了です。

[root@esxi:~] /opt/mellanox/bin/mst statusMST devices:------------mt4099_pciconf0mt4099_pci_cr0[root@esxi:~] /opt/mellanox/bin/mlxfwmanager --queryQuerying Mellanox devices firmware ...Device #1:---------- Device Type: ConnectX3 Part Number: MCX354A-FCB_A2-A5 Description: ConnectX-3 VPI adapter card; dual-port QSFP; FDR IB (56Gb/s) and 40GigE; PCIe3.0 x8 8GT/s; RoHS R6 PSID: MT_1090120019 PCI Device Name: mt4099_pci_cr0 Port1 MAC: ************ Port2 MAC: ************ Versions: Current Available FW 2.42.5000 N/A PXE 3.4.0752 N/A Status: No matching image found[root@esxi:~] /opt/mellanox/bin/mlxconfig -d mt4099_pciconf0 qDevice #1:----------Device type: ConnectX3Device: mt4099_pciconf0Configurations: Next Boot SRIOV_EN True(1) NUM_OF_VFS 8 LINK_TYPE_P1 ETH(2) LINK_TYPE_P2 ETH(2) LOG_BAR_SIZE 3 BOOT_PKEY_P1 0 BOOT_PKEY_P2 0 BOOT_OPTION_ROM_EN_P1 True(1) BOOT_VLAN_EN_P1 False(0) BOOT_RETRY_CNT_P1 0 LEGACY_BOOT_PROTOCOL_P1 PXE(1) BOOT_VLAN_P1 1 BOOT_OPTION_ROM_EN_P2 True(1) BOOT_VLAN_EN_P2 False(0) BOOT_RETRY_CNT_P2 0 LEGACY_BOOT_PROTOCOL_P2 PXE(1) BOOT_VLAN_P2 1 IP_VER_P1 IPv4(0) IP_VER_P2 IPv4(0) CQ_TIMESTAMP True(1)

^*1:ConnectX®-3 VPI

^*2: ESXi 7 では ConnectX-3 は SR-IOV に対応していませんが。

at 18:46 |

2021/01/02

40GbE 接続をやってみた

networking

40GbE

esxi

mellanox

今期の冬休みの自由研究は Mellanox のちょっと古めの 40GbE NIC を手に入れたので ESXi で 40GbE 接続してみること。

とは言っても、マシンに刺して起動させただけであっさり認識されてしまったのでちょっと拍子抜け。カードは10年近く前の製品なのでかなり安価に手に入りますが、InfiniBand でなくて Ethernet 使いたいとなるとスイッチはまだ簡単に手に入りそうにはないですね。どこかに SX1012 とか落ちてたりすると嬉しいんですが。

at 22:48 |

2020/08/04

Mellanox ConnectX-3 Pro

40GbE

mellanox

ちょっと型落ちですが、MellanoxConnectX-3 Pro という NIC を買ってみました。
初めての 40GbE ですが、試すのがちょっと楽しみです。

at 18:55 |

2016/11/29

良い NIC の日なので（Intel XL710）

networking

PCパーツ

40GbE

良い NIC の日らしいので、今年はIntel Ethernet Converged Network Adapters XL710 を載せておきます。

Intel 唯一の 40GbE （ QSFP+ ）カードです。カードは買えてもスイッチが高いですから、ちょっとまだ手が出ないかなぁという感じです。加えて、 QSFP+ は SFP+ のように上り下りの2芯ではなく、12芯という多芯ファイバーを使う MPO コネクタ接続なので、既存のケーブルがほとんど使えないというのもなかなかにネックです。

at 11:55 |

«Prev ||1 ·| Next»

»ArchiveList (Tag for "40GbE"

)

サイト内検索

検索ワードランキング