SDC único PowerFlex com problemas de desempenho com NICs Mellanox de 25 Gbit

Cenário
Cada nó estava executando fio com 128 K 50r/50w, oito threads e ioprofundidade de 16 (256 threads). O SDC problemático atingiria no máximo 4 GB, enquanto os outros quatro nós atingiriam ~6 GB cada. Ao analisar o monitor de desempenho do vCenter, ele mostra que o vmnic1 é menos utilizado do que o vmnic3, em que os outros hosts com o mesmo trabalho fio mostram que a utilização é quase 100% igual.

Sintomas
A utilização de várias NICs em um único vSwitch dentro do ESXi é exibida como desequilibrada. Ao analisar o arquivo "nicinfo.sh.txt" do vmsupport extraído do host do ESXi que está tendo os problemas, podemos ver que há erros físicos sendo exibidos, sendo o vmnic1 o maior culpado. 

A saída de exemplo é do ESXi 6.7, e as versões mais antigas podem não conter todos os mesmos dados ou podem ter uma aparência diferente. 

$ grep -i -e err -e vmnic -e discard -e crc -e drop -e retr -e wake nicinfo.sh.txt | grep -v ": 0"

NIC:  vmnic0

   Name: vmnic0

   Supports Wakeon: true

   Wakeon: MagicPacket(tm)

NIC statistics for vmnic0:

   Total receive errors: 9

   Receive length errors: 9

txSwQueueWake: 7

rxDiscardsPhy: 289

TX1_wake: 2

TX2_wake: 4

TX3_wake: 1

NIC:  vmnic1

   Name: vmnic1

   Supports Wakeon: true

   Wakeon: MagicPacket(tm)

NIC statistics for vmnic1:

txSwQueueWake: 3027034

rxDiscardsPhy: 16773308

TX0_wake: 3027034

NIC:  vmnic2

   Name: vmnic2

   Supports Wakeon: false

   Wakeon: None

NIC statistics for vmnic2:

   Total receive errors: 16

   Receive length errors: 16

NIC:  vmnic3

   Name: vmnic3

   Supports Wakeon: false

   Wakeon: None

NIC statistics for vmnic3:

txSwQueueWake: 153

rxDiscardsPhy: 804

TX0_wake: 150

TX2_wake: 1

TX3_wake: 2

Impacto

Throughput e desempenho geral reduzidos de um único SDC

Esse problema tinha algo a ver com a camada física, poderia ser uma falha de porta SFP, NIC e, possivelmente, o próprio cabo. Neste caso a conexão era Twinax, descobriu-se que havia um cabo ruim causando as quedas de pacote e desempenho reduzido. Também havia a possibilidade de ter sido uma porta com excesso de assinaturas, possivelmente no lado do switch também. 

Substitua o componente físico com defeito.