Hola, espera mas respuestas que lo puedan confirmar porque la documentación de las caracteristicas no especifica el máximo, pero entiendo que son 16GB en dos slot (8+8, 12+4, 8+4, 4+4, etc. DDR4 a 2133:

https://downloads.dell.com/manuals/all-products/esuprt_laptop/esuprt_alienware_laptops/alienware-17-r3_reference%20guide_es-mx.pdf