Ich hatte heute wieder weitere erhellende Erkenntnisse:
OBS scheint die maxrate und bufsize immer auf 120.000.000 zu setzen. Also die maximale Bitrate. Das sind ca. 14, Megabyte pro Sekunde. Das ist für einen VBR Modus welcher Art auch immer verheerend.
Ich dachte immer der NVENC "CRF" Modus ist viel platzsparender als der CQP Modus, ist er aber nicht, ich bin nur vor dieses Limit gelaufen.
Wenn ich die maxrate und bufsize mal auf ihren maximalen Wert setze, das sind 960.000.000, werden die Dateien auch wieder größer und der Level wird auf einmal auf 6.2 gesetzt und nicht nur auf 6. (Wenn man maxrate und bufsize auf 0 setzt bleiben die auf 120.000.000...)
Generell scheint es egal zu sein, welchen Level man explizit setzt, der scheint immer automatisch Anhand von Auflösung und max Bitrate gesetzt zu werden. Wenn ich den nämlich manuell auf 6.2 setze, aber die Standard maxrate lasse, wird 6 draus. Generell ist dämlich, dass er die maxrate nicht an den Level anpasst, sondern umgekehrt.
Mein Fazit ist auf jeden Fall, dass die Levelangabe in OBS egal ist, wenn man einen "CRF" Modus über VBR will (egal ob per cq Parameter oder qmin, qmax Kombi, der Encoder scheint sich strikt an das maxrate Limit zu halten), muss man die maxrate auf den maximalen Wert setzen um dem Encoder maximalen Spielraum zu geben.
Den Level Parameter habe ich weggelassen, den kann man maximal auf 5.1 setzen mit NVENC h.264 und 5.1 heißt maximal 4Kx30fps. Wenn ich den höher als 5.1 setze bekomm ich auch ne Fehlermeldung. Wenn er nicht als Paramter gesetzt wird, wird er aber automatisch auf 6 gesetzt... 
Das stimmt btw nicht so ganz, ich habe ihn nur im falschen Format gesetzt. Man muss 62 statt 6.2 schreiben. Aber wird ja eh wie gesagt wieder automatisch korrigiert.
Für den CQP Modus sind die maxrate Limits anscheinend egal, da geht er strikt nach eingestelltem QP Wert, zumindest sprengen die Dateigrößen bei niedrigem QP Wert die maxrate von 120.000.000 deutlich.
Wahrscheinlich auch interessant für De-M-oN Dream Xaymar
