powerscaleバックエンドスイッチをLeaf-spine構成にした時のスイッチポートに関して

uchiyさん

確認事項１
　ポート17～32がUplink用に予約されているのは、
　S5232をleafスイッチとして使用する場合でかつ100GbE(25GbE)ポートで
　PowerScaleノードのバックエンドを接続する場合という認識で正しいでしょうか？

→該当の説明文はGeneral leaf-spine switch design considerationsセクションに記載されているのでleaf-spineで利用する際の条件です。ToRとして利用する際にはUplink用に予約はされません。
ノードのバックエンド接続は100Gbポートを利用しますが、100G、40G、25G、10Gの中から選択可能です。

参考：Dell PowerScale: Leaf-Spine Network Best Practices　(H17682、April 2022)

Page9
General leaf-spine switch design considerations
For a S5232 switch: Port 32 does not support connection with a breakout cable. Ports 17-32 are reserved for uplinks.

 

 
確認事項２
　S5232をleafスイッチとして使用する場合でかつ45GbE(10GbE)ポートでPowerScaleノードのバックエンドを接続する場合にuplink用に予約されているポートは、ポート23～32になるのでしょうか？

 

→ポート17～32です。

確認事項３
　S5232をspineスイッチとして使用する場合、全てのポートは、
　leafスイッチを接続するためのdownlinkであるという認識でよいでしょうか？

→Spineスイッチの定義としてUplinkを使ってLeaf swichへの接続とあるのでUplinKになります。

参考：Dell PowerScale: Leaf-Spine Network Best Practices　(H17682、April 2022)

Page 6　
スパインスイッチの定義＝Uplinkを使いLeafスイッチと接続（Uplink＝Leaf switchとSpine Switch間のリンク）

リーフスイッチはDownLinkを使いノードへ接続　（Downlink＝Leaf SwitchとNode間のリンク）

 
参考：OneFS Hardware Network Considerations  ( このサイトお勧めです）

 
確認事項４
　leafスイッチの場合、実際に、uplink(spineスイッチ接続)とdownlink(PowerScale接続)用の
　ポートはポート番号が固定されているのでしょうか？
　それとも、任意のポートにノードやspine水っとを接続しても動作するということはないでしょうか？

→固定されている17～32Port以外であれば使用可能です。

ayasさん

返答ありがとうございます

●確認事項１に関して

9ページの　S5232 and Z9100 switch considerations　の説明には以下の2つの説明が在ります。

・As a design convention, ports 1-10 are reserved for uplinks when 10/40 GbE nodes
　are connected. Ports 1-16 are reserved for uplinks when 25/100 GbE nodes are
　connected.

・For a S5232 switch: Port 32 does not support connection with a breakout cable.
　Ports 17-32 are reserved for uplinks.

1つ目の説明は、Z9100とS5232の両方の説明と思っています。
S5232はさらに、条件が追加されて、2つ目の説明が在ると考えています。

1つ目の説明では、40/10GbEで接続する場合ポート1-10の10個のポートが予約され、
100/25GbEで接続する場合ポート1-16の16個のポートが予約されると書かれています。
Z9100は、32ポートのスイッチなので、
40/10GbEでuplinkが10個だと、downlink(ノードへの接続ポート)が22個、
100/25GbEでuplinkが16個だと、downlink(ノードへの接続ポート)が16個、
となり、Table 3の表とも合致します。

2つ目のS5232の説明では、転送速度の記載はなく、単に、uplinkとしてポート17-32の16個が
予約されると書かれていますが、
S5232は32ポートのスイッチなので、
uplinkが16個だとdownlink(ノードへの接続ポート)が16個
となり、これが全てのポートの速度に適用されるとすると、
Table 3の表の40GbEのノード22台が接続可能という表現と矛盾が
生じることになります。
この点に関しては、どう考えればよいのでしょうか？
Table 3の表が、S5232に関しては間違っていると考えればよいのでしょうか？

Table 3の表が、S5232にも対応するのであれば、
40GbEの場合、S5232でdownlinkが22個必要となり、その場合、uplinkの予約を10個にする必要
あります。この時の、予約ポートの番号を知りたいです。

ayasさん

返答ありがとうございます。

S5232のuplinkは、17-32ポートまで予約されているが、必要に応じて17-32ポートはdownlinkとして使用してもよいということでしょうか？

uchiyさん

ご返信をありがとうございます。

For a S5232 switch: Port 32 does not support connection with a breakout cable.Ports 17-32 are reserved for uplinks.

→こちらはポート32ではBreakout Cableは使えないですが他の残っているポートにてBreakout Cableを使うことは可能なのでTable 3の最大数に誤りはないかと思います。また予約されているのは17－32までだけです。

参考：Dell PowerScale: Ethernet Back-end Network Overview April 2022　
Page8 The S5232-ON is a fixed 1U Ethernet switch is a 32 port 100 GbE multi-rate spine/leaf switch. It supports multiple interface types (32 ports of 100 GbE or 40 GbE in QSFP28, or 124 ports of 25 GbE or 10 GbE with breakout) for maximum flexibility. Port 32 does not support breakout cables.

Uchiyさん

ご返信をありがとうございます。

Leaf/Spineの場合は17-32ポートはアップリンクとして予約されているので使用できません。

ayasさん

17-32ポートがdownlinkとして使用できないということは、S5232のleafスイッチには16ノードしか接続できないという認識で正しいですか？

それであれば、Table3でS5232で40GbEで22ノード接続可能というのは、誤記ということでよいですか？

uchiyさん

ご返信をありがとうございます。

説明が足りずごめんなさい。

S5232のleafスイッチでは10/40 GbEであればS5232のポート1から10までがアップリンクとして予約され、その接続数は最大22ノードまでとなります。

ブレークアウトケーブルが使えないポート32を除いて他のところで（この場合1～10まで）ブレークアウトケーブルを使えば22Nodeまでの接続は可能だと思います。

Dell PowerScale: Leaf-Spine Network Best Practices April 2022

Page9 

As a design convention, ports 1-10 are reserved for uplinks when 10/40 GbE nodes are connected. Ports 1-16 are reserved for uplinks when 25/100 GbE nodes are connected.

ayasさん

S5232のleafスイッチで10/40 GbEの場合、S5232のポート1から10までがアップリンクとして予約されるとすると10GbEの場合、32ポート目がブレイクアウトケーブルが使用できないため、85ノードしか接続できないことになりますが、これに関してはどの様に考えればよいのでしょうか？

Table3の10GbEの88ノード接続可能という部分がS5232に対応しておらず、誤記という認識になるのでしょうか？

uchiyさん

返信が遅くなってごめんなさい。

おっしゃる通り、88ノードではなく85になるはずですよね。

（Port11 ～31まで21ポートX 4 ＝84Node, そしてPort32で1Node ＝＞85Node ）
もしかしたら表記にある Z9100の数字と混ざっているのかもしれません。

ドキュメント作成をしたチームにその点について問い合わせさせてもらいました。

ayasさん

私の説明が悪くご理解いただけるまで、時間がかかりましたが、

確認したいことをご理解いただけたようで何よりです。

引き続き、S5232のuplink、downlinkのポート番号に関して確認していただけると幸いです。

ayasさん

確認して頂けているということでよかったでしょうか？

何か分かれば、また回答をお願いします。

uchiyさん

お知らせをありがとうございます。

こちらの文書を作成しているチームから回答をもらいました。

たしかにPort 32でのブレークアウトケーブル使用は不可ですが

その他の記述に関しては誤解を招く表現があるため次回から

その記述の変更を加えるとのことでした。

ayasさん

ドキュメントを修正して頂けるということで理解しました。

ありがとうございます。

ただ、当方では、来年1月には、S5232のみで、leaf-spine構成をくみ上げる案件がありますので、

ネットワークケーブルの接続図を作成する必要があります。

このため、至急、S5232のuplink、downlinkのポート番号を知りたいと考えています。

確認をお願いいただけないでしょうか？もしくは、正しい情報が書かれたドキュメントがあれば、

ご案内いただけると幸いです。

ayasさん

SRで確認するしかないということですかね。

確認してみます。

uchiyさん

ご返信をありがとうございます。
残念ながら私が確認できるのは先にお知らせした資料くらいしかないです・・・
お急ぎであれば、PowerScaleとS5232のuplink、downlinkのポート番号に関する詳しい設定に関しては個別にお近くのDell Technologiesへの個別相談をいただくのが一番確実だと思います。