Resposta curta: Não, você não pode. Resposta mais longa: A largura de banda e, mais importante, a latência entre a GPU e a RAM no barramento PCIe é uma ordem de magnitude pior do que entre a GPU e a VRAM, portanto, se você fizer isso, poderá estar processando os números no CPU.
