Zu NVEnc kann ich dir nicht viel sagen, sieht für mich aber danach aus, als würdest du da ggf. noch einen alten Grafiktreiber benutzen. Probier's mit einem aktuellen direkt von Nvidia.
Falls ein Update da nicht hilft: Hast du die gleiche Batch wie De-M-oN benutzt? Oder da was angepasst?