Movatterモバイル変換

blogs:
cles::blog
NP_cles()

»ArchiveList (Tag for "100GbE"

)

«Prev ||1 ·| Next»

2024/02/26

Celestica Seastone DX010 という 100GbE スイッチを手にいれた

100GbE

sonic

networking

Celestica Seastone DX010 - Celestica Seastone DX010 という 100GbE スイッチを手にいれた

年度の予算使いきりのシーズンになったのでCelestica Seastone DX010 という 100GbE スイッチを手にいれてみました。ちょっと古めの機種ですが、送料込みで US$500 未満だったので思っていたよりもだいぶ安く調達できました。

導入にあたっては以下の記事が非常に参考になりました。

† 初めてのホワイトボックススイッチ

このスイッチの面白い点は、ONIE によって Debian ベースのSONiC^*1という Network OS がインストールできるということです。

これまで Cisco や HP, Juniper, Mellanox(nvidia) などのスイッチは触ったことがありますが、こういう OSS がインスト-ルできるネットワーク機器というのはDD-WRT をいじくり回していた時以来です。しかも今回は家庭用の機器ではなく業務用の機器です。

うるさいという話は聞いていましたが、Mellanox SX6012 よりは静かで助かりました。

† L2 として使う

まずシリアルは速度が 115,200bps であることに注意が必要です。
また、初期ID, PW はadmin,YourPaSsWoRd になっています。

今回は BGP とかは使わずにいく予定なので、ログイン後に以下のような感じでプレーンな L2 状態にしてみました。

# L2 に設定を変更sudo sonic-cfggen --preset l2 -p -H -k Seastone-DX010 > config_db.jsonsudo mv config_db.json /etc/sonic/config_db.jsonsudo config reload -y# hostname 設定sudo config hostname dx010-1# mgmt ポートのIPとgwを設定sudo config interface ip add eth0 192.168.18.68/24 192.168.18.253# タイムゾーンを設定sudo timedatectl set-timezone Asia/Tokyo# 設定を保存sudo config save

これからいろいろと遊んでいきたいと思います。

^*1:SONiC/sourcecode.md at master·sonic-net/SONiC·GitHub

at 19:40 |

2023/03/16

新ファイルサーバができた

omnios

zfs

40GbE

100GbE

Broadcom 9400-16e interface cards/adapter SAS,SATA Internal

Mellanox ConnectX-5 EN - Network adapter - PCIe 3.0 x16 - 100 Gigabit QSFP28 x 2

10 年くらい増強しながら使い続けてきた仕事場のファイルサーバがさすがにやばくなってきたので、新しい構成に入れ替えました。
筐体は年初くらいに届いていたのですが、結局忙しくて 2 ヶ月くらい放置モードでした。

今回のサーバ構成はこんな感じ。

Dell PowerEdge R7515 (8C, 64GB)
OmniOS CE
HDD 10TB × 18（本体 3.5″ 14 Bay + エンクロージャー 3.5″12 Bay）
Mellanox® ConnectX®-5 100GbE Dual^*1（ただし、接続は 40GbE）
Broadcom HBA 9400-16e^*2

OS や構成的には安定したものを選んでいるのと、移行は zfs のsend/recv を使ったので特に苦戦しませんでした。
シーケンシャルなスループットは現状で 4～5Gbps (SSD 未搭載なので)くらいなので、普通にファイルサーバとして使うには十分な性能です。

とりあえず動くようになったので、今後は SSD を搭載したりメモリ増やしたりする予定です。

† HBA からはカーネルの warning が出るけど・・・

起動するたびにポートが 21 個あるとか言ってますが、何なんでしょうね？

Mar 15 01:12:55 host scsi: [ID 107833 kern.warning] WARNING: /pci@b6,0/pci1022,1483@1,1/pci1000,3020@0 (mpt_sas1):#012#011Number of phys reported by HBA SAS IO Unit Page 0 (21) is greater than that reported by the manufacturing information (16). Driver phy count limited to 16. Please contact the firmware vendor about this.

Broadcom HBA 9400-16e のポートは miniSAS HD × 4 で、MiniSAS HD 1 ポートあたり SAS 4 ポートなので物理的にも 16 ポートしか存在しないはずなので、mpt_sas1 のバグでしょうか。
ひとまず実害はないようなので無視することにします。