Risposta breve: No, non puoi. Risposta più lunga: la larghezza di banda e, soprattutto, la latenza tra la GPU e la RAM sul bus PCIe è un ordine di grandezza peggiore rispetto a quella tra GPU e VRAM, quindi se hai intenzione di farlo potresti anche scricchiolare i numeri sul CPU.