Dell PowerEdge T30

Question

Mi pregunta es ¿Cuánta energía combinada se puede extraer de los buses PCIE sin problemas?

Les comento, tengo un server T30, en las ranuras PCIE tengo montado un NVME Samsung 960 PRO, una placa NIC TEAM INTEL (de 4 NICs), y una controladora SATA2 RAID.

Con dicha configuración todo bien, los 3 puertos PCIE andan bien y funciona todo bien.

Pero compré un Intel P3600 para reemplazar al raid SATA2 que por estar conectado a 4 HDD en RAID 0 es como un cuello de botella.

En fin, la unidad P3600 la puse en otro lado, la llene con toda la info.

Y la conecto en el server en el lugar donde estaba la SATA2 RAID, desconectando de la energía los 4HDDs y removiendo la controladora raid.

Pongo la P3600 en el PCIE más cercano al CPU (la de arriba), el P3600 enciende, se muestra entre los discos, pero anda inestable, se cuelga, de hecho. Si le das mucha escritura como, moviendo un backup ROBOCOPY tira cuelgue de la controladora, en concreto el error "sector no encontrado" (sector not found), por lo tanto es como que pierde acceso a la controladora Intel P3600, si le querés pasar un CHECK colgás todo el S.O. (win server 2012 R2 full update).

Ahora, remuevo el P3600 en PCIE superior, y lo pongo en el del medio o en el de abajo, y... NI SIQUIERA ENCIENDE, es decir, no enciende el LED amarillo ni el verde, indicativos de que la unidad nvme está alimentada, pero si allí pongo otra cosa, sí que anda.

Viendo las SPECS, dice , que consume 4W en IDLE, pero hasta 25W con carga.

Entonces, solo anda *a medias* en el slot PCIE superior, no encuende ni en el del medio , ni en el de abajo.

Mi conclusión es que hay un límite de consumo de energía extraíble de esos buses PCIE, ¿Por que sino? por qué ni siquiera encendería en los PCIE inferiores?.

Es más en un testeo removí el nic team, y pasa lo mismo, solo con el Intel P3600 + El samsung 970 PRO ya no enciende el P3600.

Aclaro que también tiene 64GB de RAM 2400mhz (no los 8 originales), y tiene 2x SSD SATA 2 EVO 850, y el HDD original.

Es un límite de energía, o se me escapa algo más?

DiegoLopez · Answer

Hola @flyguille,

¡Bienvenido a la Comunidad Dell!

Me temo que está usando una configuración no soportada por Dell. El NVME Samsung 960 PRO no estaría soportado ni los SSD SATA 2 EVO 850. Son componentes que no están validados para un PowerEdge T30 y cuyo comportamiento, por tanto, es impredecible.

Por mi parte, puedo decirle que en el manual de usuario del PowerEdge T30 se especifica la cantidad de 25W para el consumo de energía de las PCIe. Le sugiero también que revise la configuración de la BIOS y el firmware de los componentes.

Creo que necesita una respuesta de la Comunidad, quizás alguien haya probado una configuración similar y pueda ayudarle. Dejaremos la conversación abierta por si algún otro miembro de la Comunidad puede aportarle información.

Un saludo.

flyguille · Answer

Muchas gracias por contestar, te puedo certificar que los SSD SATA EVO 850 funcionan perfectamente conectados en los puertos SATA onboard, los tengo en raid 0, y andan perfectamente.

El Samsung NVME EVO 970 (verificado modelo exacto en Samsung Magician) funciona perfectamente conectado en el PCIE que está mas abajo (lejos del cpu) con un adaptador común y corriente, inclusive en combinaciones como NIC TEAM INTEL de 4 puertos NIC en el PCIE del medio, y una controladora SATA2 común y corriente en el PCIE superior, eso anda.

Ahora ¿hay alguna forma de ver el tema de la versión del bios? sin bajar el server de su jaula? es decir, corriendo algún comando por escritorio remoto que nos permita ver el tema del bios, para que no sea necesario bajarlo del servicio?, es el T30 que vino de china, y no recuerdo nunca haberle tocado el bios.

.

DiegoLopez · Answer

Hola de nuevo

Aquí tiene todas las versiones de firmware para el PowerEdge T30:

https://dell.to/2JMC6sZ

Efectivamente, está desactualizado. Para la BIOS hay varias versiones por delante 1.4.1

Un saludo.

flyguille · Answer

Ok, he investigado, con msinfo, la versión del bios es 1.0.6.

[code]

OS Name Microsoft Windows Server 2012 R2 Datacenter
Version 6.3.9600 Build 9600
Other OS Description Not Available
OS Manufacturer Microsoft Corporation
System Name FLULPYCREA
System Manufacturer Dell Inc.
System Model PowerEdge T30
System Type x64-based PC
System SKU 07C5
Processor Intel(R) Xeon(R) CPU E3-1225 v5 @ 3.30GHz, 3301 Mhz, 4 Core(s), 4 Logical Processor(s)
BIOS Version/Date Dell Inc. 1.0.6, 10/05/2017
SMBIOS Version 2.8
Embedded Controller Version 255.255
BIOS Mode Legacy
BaseBoard Manufacturer Dell Inc.
BaseBoard Model Not Available
BaseBoard Name Base Board
Platform Role Enterprise Server
Secure Boot State Unsupported
PCR7 Configuration Not Available
Windows Directory C:\Windows
System Directory C:\Windows\system32
Boot Device \Device\HarddiskVolume2
Locale Argentina
Hardware Abstraction Layer Version = "6.3.9600.17196"
User Name Not Available
Time Zone Argentina Standard Time
Installed Physical Memory (RAM) 64,0 GB
Total Physical Memory 63,9 GB
Available Physical Memory 38,8 GB
Total Virtual Memory 63,9 GB
Available Virtual Memory 38,8 GB
Page File Space 0 bytes
Hyper-V - VM Monitor Mode Extensions Yes
Hyper-V - Second Level Address Translation Extensions Yes
Hyper-V - Virtualization Enabled in Firmware Yes
Hyper-V - Data Execution Protection Yes

[/code]

and this is the disk drivers, as it works perfectly.

[code]

Description Disk drive
Manufacturer (Standard disk drives)
Model Samsung SSD 850 EVO 250GB
Bytes/Sector 512
Media Loaded Yes
Media Type Fixed hard disk
Partitions 1
SCSI Bus 2
SCSI Logical Unit 0
SCSI Port 1
SCSI Target ID 0
Sectors/Track 63
Size 232,88 GB (250.056.737.280 bytes)
Total Cylinders 30.401
Total Sectors 488.392.065
Total Tracks 7.752.255
Tracks/Cylinder 255
Partition Disk #3, Partition #0
Partition Size 232,88 GB (250.058.269.184 bytes)
Partition Starting Offset 32.256 bytes

Description Disk drive
Manufacturer (Standard disk drives)
Model TOSHIBA DT01ACA100
Bytes/Sector 512
Media Loaded Yes
Media Type Fixed hard disk
Partitions 4
SCSI Bus 0
SCSI Logical Unit 0
SCSI Port 1
SCSI Target ID 0
Sectors/Track 63
Size 931,51 GB (1.000.202.273.280 bytes)
Total Cylinders 121.601
Total Sectors 1.953.520.065
Total Tracks 31.008.255
Tracks/Cylinder 255
Partition Disk #1, Partition #0
Partition Size 101,94 MB (106.896.384 bytes)
Partition Starting Offset 32.256 bytes
Partition Disk #1, Partition #1
Partition Size 350,00 MB (367.001.600 bytes)
Partition Starting Offset 106.954.752 bytes
Partition Disk #1, Partition #2
Partition Size 127,66 GB (137.071.951.872 bytes)
Partition Starting Offset 473.956.352 bytes
Partition Disk #1, Partition #3
Partition Size 803,41 GB (862.657.183.744 bytes)
Partition Starting Offset 137.545.908.224 bytes

Description Disk drive
Manufacturer (Standard disk drives)
Model NVMe Samsung SSD 970
Bytes/Sector 512
Media Loaded Yes
Media Type Fixed hard disk
Partitions 1
SCSI Bus 0
SCSI Logical Unit 0
SCSI Port 0
SCSI Target ID 0
Sectors/Track 63
Size 465,76 GB (500.105.249.280 bytes)
Total Cylinders 60.801
Total Sectors 976.768.065
Total Tracks 15.504.255
Tracks/Cylinder 255
Partition Disk #0, Partition #0
Partition Size 465,63 GB (499.971.522.560 bytes)
Partition Starting Offset 135.266.304 bytes

Description Disk drive
Manufacturer (Standard disk drives)
Model MARVELL Raid VD
Bytes/Sector 512
Media Loaded Yes
Media Type Fixed hard disk
Partitions 1
SCSI Bus 0
SCSI Logical Unit 0
SCSI Port 3
SCSI Target ID 0
Sectors/Track 63
Size 2,73 TB (3.000.286.033.920 bytes)
Total Cylinders 364.764
Total Sectors 5.859.933.660
Total Tracks 93.014.820
Tracks/Cylinder 255
Partition Disk #4, Partition #0
Partition Size 2,73 TB (3.000.154.193.920 bytes)
Partition Starting Offset 135.266.304 bytes

Description Disk drive
Manufacturer (Standard disk drives)
Model Samsung SSD 850 EVO 250GB
Bytes/Sector 512
Media Loaded Yes
Media Type Fixed hard disk
Partitions 1
SCSI Bus 1
SCSI Logical Unit 0
SCSI Port 1
SCSI Target ID 0
Sectors/Track 63
Size 232,88 GB (250.056.737.280 bytes)
Total Cylinders 30.401
Total Sectors 488.392.065
Total Tracks 7.752.255
Tracks/Cylinder 255
Partition Disk #2, Partition #0
Partition Size 232,88 GB (250.058.269.184 bytes)
Partition Starting Offset 32.256 bytes

[/code]

Now, switching the SATA2 raid card, by the Intel P3600 1.6TB, it turns unusable.

¿Is there a newer bios version or something I can do, maybe a way to lower bandwidth to make it more stable?

flyguille · Answer

Hola, tengo miedo de hacer ese update, estuve buscando un changelog a lo largo de todas las versiones de bios q hay pero no lo encontré por ningún lado al changelog. Para el colmo, he leído acerca del T30 que inclusive han desactivado la funcionalidad m.2 nvme según la versión del BIOS, espero eso no afecte a NVMEs montados sobre los PCIE.

En todo caso como tengo dudas sobre *el beneficio* de actualizar el bios, estuve buscando por todos lados como salvar el BIOS actual, y en caso de que no me guste el bios o se me impida trabajar normalmente, volver con el backup al bios original.

¿Cómo se hace el backup del bios original y tenerlo preparado para un down-grade en caso de emergencia?.

flyguille · Answer

Bueno, actualicé el bios a riesgo de perder la funcionalidad que tenía hasta ahora.

Todo fue bien, nada se perdió, ya estoy con el último bios.

Coloco el Intel P3600 1.6T en reemplazo de la controladora RAID.

El volumen aparece, se leen los directorios etc.

Pero si copias archivos, funciona a 30KBps, tanto leyendo y escribiendo en sí mismo. Como leyendo del P3600 y escribiendo en otro NVME (el 970 PRO), y a veces tira ERROR de lectura desde el P3600.

Entonces, para confirmar si es un problema de energía, pensé, desconecto todo lo demás de los PCIE, y dejo el P3600 solito y hago la misma prueba, si mejora, es un problema de consumo GLOBAL de los 3 PCIE.

Resultado: No, se comporta exactamente igual, no hay pista alguna de que haya mejorado.

Por supuesto si le pasas un Properties -> Tools -> Scan, it work, it says it is OK, it scan slowly but good.

So, what is it ¿Two, chances:

1) it is a COM noice in the PCIE lanes? bad track drawing in the motherboard, so noicy?, but that will affect all cards plugged.

2) it is software related, DRIVERS.

So, is there a way to tell to Win 2012, -hey, this card, talk only in PCIE v2.0 not v3.0?

DiegoLopez · Answer

Hola @flyguille,

Me temo que tendrá que seguir investigando. Como le comentaba al principio, al utilizar una configuración no soportada, no puedo replicar en la laboratorio la misma configuración de hardware para poder ayudarle.

Espero que algún otro compañero de la Comunidad haya probado esta configuración y pueda ayudarle.

Un saludo.

flyguille · Answer

Tengo 2 caminos.

1) bajar por software la velocidad de esos PCIE lanes que van a esa placa (los 16 del micro), no se como se hace, pero creo q existen configs en el regedit para eso. Lo muy extraño, es que según revisé en el manual del T30 ese puerto PCIE, el que está más cerca del CPU, recibe los 16 lanes del cpu directo, mientras que los otros 2 puertos son a través del PCH, lo cual eso explica perfectamente por qué ni siquiera *enciende* usandolo a través del PCH. Misterio resuelto.

Si fuera un problema de RUIDO en los lanes, con solo bajar de versión a usar de protocolo, (baja el bandwidth), por software, si fuera ruido, eso resolvería todo el asunto.

2) es un problema de power hungry, a pesar de que no lo pude probar, en este caso tendré que verificarlo con el osciloscopio si hay fluctuaciones de voltaje por fuera de las specs, y así modificar la mother para arreglar los bugs, que es lo último que quisiera hacer.

flyguille · Answer

Ok, una última cosa q miré antes de tocar uno de esos dos caminos, es ejecutar la herramienta de Intel de upgrade de firmware del P3600, y confirmé que el SSD tiene el último firmware existente, que figura como 8DV1FF05 "Up to date" para el DC P3600 1.6T model number

Y esto tiró el informe de la APP INTEL (corriendo el SSD en un cpu común y corriente donde sí anda bien).

[QUOTE]

ID,Description,Raw,Normalized,Threshold,Action
AB,Program Fail Count,0,100,,Ready for use.
AC,Erase Fail Count,0,100,,Ready for use.
AD,Wear Leveling Count,6279338526127,88,,Ready for use.
,Minimum erase cycles,1455,,,
,Maximum erase cycles,1470,,,
,Average erase cycles,1462,,,
B8,End-to-End Error Detection Count,0,100,,Ready for use.
C7,CRC Error Count,0,100,,Ready for use.
E2,Timed Workload - Media Wear,65535,100,,Ready for use.
E3,Timed Workload - Host Read/Write Ratio,65535,100,,Ready for use.
E4,Timed Workload Timer,65535,100,,Ready for use.
EA,Thermal Throttle Status,0,100,,Ready for use.
,Throttling Event Count,0,,,
,Throttle Status,0 %,,,
F0,Retry Buffer Overflow Count,0,100,,Ready for use.
F3,PLI Lock Loss Count,0,100,,Ready for use.
F4,NAND Bytes Written,3087725372637184,100,,Ready for use.
F5,Host Bytes Written,1968717747453952,100,,Ready for use.
F6,System Area Life Remaining,1,100,,Ready for use.
100,Temperature,36 degree C,,,Ready for use.
102,Available Spare Normalized percentage of the remaining spare capacity available,100,,10,Ready for use.
104,Percentage Used,12,,,Ready for use.
11F,Data Units Read,7234168308,,,Ready for use.
12F,Data Units Written,3845151878,,,Ready for use.
13F,Host Read Commands,68975952735,,,Ready for use.
14F,Host Write Commands,15046150311,,,Ready for use.
15F,Controller Busy Time,0,,,Ready for use.
16F,Power Cycles,97,,,Ready for use.
17F,Power On Hours,24921,,,Ready for use.
18F,Unsafe Shutdowns,0,,,Ready for use.
19F,Media Errors,0,,,Ready for use.
1AF,Number of Error Info Log Entries,0,,,Ready for use.
FF,Critical Warnings,0,,,Ready for use.
300,Available Spare Space has fallen below the threshold,0,,,Ready for use.
301,Temperature has exceeded a critical threshold,0,,,Ready for use.
302,Device reliability has degraded,0,,,Ready for use.
303,Media is in a read-only mode,0,,,Ready for use.
304,Volatile memory backup device has failed,0,,,Ready for use.

Word,Bit,Description,Value
0-1,,PCI Vendor ID (VID),0x8086
2-3,,PCI Subsystem Vendor ID (SSVID),0x8086
4-23,,Serial Number,PHMD641600F61P6DGN
24-63,,Model Number,INTEL SSDPEDME016T4F
64-71,,Firmware Revision,8DV1FF05
72,,Recommended Arbitration Burst (RAB),0x00
73-75,,IEEE Organization Unique Identifier,0xE4D25C000500
76,,Multi-Interface Capabilities,0x0
77,,Maximum Data Transfer Size,0x5
78-255,,Reserved,
256-257,,Optional Admin Command Support,0x6
,Bit 2,Support Firmware Activate Download,1
,Bit 1,Support Format NVM,1
,Bit 0,Support Security Send Receive,0
258,,Abort Command Limit,0x3
259,,Asynchronous Event Request Limit,0x3
260,,Firmware Updates,0x2
,Bit 3:1,Number FW Slots Support,0x1
,Bit 0,Is FW Slot Read Only,0x0
261,,Log Page Attributes,0x2
,Bit 0,Support SMART Per Namespace,0
262,,Error Log Page Entries,0x3F
263,,Number of Power States Support,0x0
264,,Admin Vendor Specific Cmd Configuration,0x0
,Bit 0,Admin Vendor Specific CMD Format,0
265-511,,Reserved,
512,,Submission Queue Entry Size,0x66
,Bit 7:4,Maximum Entry Size,0x6
,Bit 3:0,Minimum Entry Size,0x6
513,,Completion Queue Entry Size,0x44
,Bit 7:4,Maximum Entry Size,0x4
,Bit 3:0,Minimum Entry Size,0x4
514-515,,Reserved,
516-519,,Number of Namespaces,0x1
520-521,,Optional NVM Command Support,0x6
,Bit 2,Dataset Management Command Support,0x1
,Bit 1,Write Uncorrectable Command Support,0x1
,Bit 0,Compare Command Support,0x0
522-523,,Fused Operation Support,0x0
,Bit 0,Compare and Write Fused Operation Support,0x0
524,,Format NVM Attributes,0x7
,Bit 2,cryptographic Erase Support,0x1
,Bit 1,secure Erase All Namespaces Support,0x1
,Bit 0,format All Namespaces Support,0x1
525,,Volatile Write Cache,0x0
,Bit 0,NVM Vendor Specific CMD Format,0x0
526-527,,Atomic Write Unit Normal,0x0
528-529,,Atomic Write Unit Power Fail,0x0
530,,NVM Vendor Specific Command Configuration,0x0
,Bit 0,NVM Vendor Specific CMD Format,0x0
531-2047,,Reserved,
2048-2079,,Power State 0 Descriptor,
,Bit 124:120,Relative Write Latency,0x0
,Bit 116:112,Relative Write Throughput,0x0
,Bit 108:104,Relative Read Latency,0x0
,Bit 100:96,Relative Read Throughput,0x0
,Bit 95:64,Exit Latency,0x0
,Bit 63:32,Entry Latency,0x0
,Bit 15:0,Maximum Power,0x9C4
3075,,Stripe Size,5 (128 KiB of user data)
3096,,Current PCIe Link Speed,2
3097,,Negotiated PCIe Link Width,4
3098,,Security Capabilities,0
3099,,Security Status,9
3100-3107,,Bootloader Revision,8B1B0133
0-7,,Namespace Size,390703446
8-15,,Namespace Capacity,390703446
16-23,,Namespace Utilization,390703446
24,,Namespace Features,0
,Bit 0,Thin Provisioning Support,0
25,,Number of LBA Formats,6
26,,Formatted LBA Size,3
,Bit 7:5,Reserved,0
,Bit 4,Metadata transfer bit,0
,Bit 0:3,LBA Format Support,3
27,,Metadata Capabilities,1
,Bit 7:2,Reserved,0
,Bit 1,Metadata transfered as part of a separate buffer support,0
,Bit 0,Metadata transfered part of extended data LBA Support,1
28,,End-to-end Data Protection Capabilities,11
,Bit 7:5,Reserved,0
,Bit 4,Protection Info transfered as last 8 bytes of metadata Support,1
,Bit 3,Protection Info transfered as first 8 bytes of metadata Support,0
,Bit 2,Protection Type 3 Support,0
,Bit 1,Protection Type 2 Support,0
,Bit 0,Protection Type 1 Support,1
29,,End-to-end Data Protection Type Settings,0
,Bit 7:4,Reserved,0
,Bit 3,Protection Information Transfer,0 (Transferred as the last eight bytes of metadata.)
,Bit 2:0,Protection Type Information,0 (Protection Information is not enabled)
131,,LBA Format 0 Support,2090000
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x2 (Good performance)
,Bit 23:16,LBA Data Size,09
,Bit 15:0,Metadata Size,0000
135,,LBA Format 1 Support,2090008
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x2 (Good performance)
,Bit 23:16,LBA Data Size,09
,Bit 15:0,Metadata Size,0008
139,,LBA Format 2 Support,2090010
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x2 (Good performance)
,Bit 23:16,LBA Data Size,09
,Bit 15:0,Metadata Size,0010
143,,LBA Format 3 Support,C0000
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,0C
,Bit 15:0,Metadata Size,0000
147,,LBA Format 4 Support,C0008
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,0C
,Bit 15:0,Metadata Size,0008
151,,LBA Format 5 Support,C0040
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,0C
,Bit 15:0,Metadata Size,0040
155,,LBA Format 6 Support,C0080
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,0C
,Bit 15:0,Metadata Size,0080
159,,LBA Format 7 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
163,,LBA Format 8 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
167,,LBA Format 9 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
171,,LBA Format 10 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
175,,LBA Format 11 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
179,,LBA Format 12 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
183,,LBA Format 13 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
187,,LBA Format 14 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000
191,,LBA Format 15 Support,0
,Bit 31:26,Reserved,
,Bit 25:24,Relative Performance,0x0 (Best performance)
,Bit 23:16,LBA Data Size,00
,Bit 15:0,Metadata Size,0000

[/QUOTE]

Incluso le corrí el SCAN y tira todo bien.

Entonces, si tanto el firmware del SSD como el BIOS del T30 están al día No debería ser tema de software..

Servidores

Dell PowerEdge T30

¿Fue útil esta publicación?