Respuesta corta: No, no puedes. Respuesta más larga: el ancho de banda y, lo que es más importante, la latencia entre la GPU y la RAM a través del bus PCIe es un orden de magnitud peor que entre la GPU y la VRAM, por lo que si va a hacer eso, también podría estar procesando números en el CPU.
