Ich kann dir mit Bandicam nicht wirklich helfen - dazu möchte ich nur anmerken, dass es im Forum einen eher bescheidenen Ruf genießt, weil es bei der Farbtreue abkackt und technisch unsauber arbeitet. Zumindest so mein letzter Stand.
Zur Codec-Wahl: MagicYUV ist unter den verlustfreien Codecs wohl der ausgewogenste, aber auch der produziert dir halt große Dateien und er steht dir in OBS nicht zur Verfügung. Zu den Einstellungen bei OBS gibt es im Forum einen relativ brauchbaren Thread, an den ich mich hier auch grob richten werde. Ich denke, dass ein passender H.264 - Encoder deine Anforderungen gut abdeckt.
OBS Studio - Verlustfreie Aufnahme & Sammelthread
Wenn du mit x.264 aufnehmen willst, dann musst du bei den dort empfohlenen Einstellungen lediglich am CRF drehen, um kleinere Dateien zu bekommen und verlustbehaftet(er) aufzunehmen. Größerer CRF = kleinere Dateien. Es verlangt aber der CPU einiges ab.
Falls dir NVEnc oder die AMD - Alternative mehr zusagen, weil sie die Grafikkarte benutzen und weniger auf die CPU gehen: Dort kann ich dir leider nur begrenzt helfen, weil ich keinen GPU - Encoder in OBS verwenden kann.
Bisher habe ich meistens mit einem verlustfreien Codec aufgenommen, allerdings werden die Aufnahmen
ja später sowieso wieder so stark komprimiert, dass ich mir an der Stelle streckenweise viel Speicherplatz
und Performance sparen könnte, oder?
Speicherplatz ja, Performance ... eher nein - wüsste auch nicht, wo du da gerade Performance-Vorteile siehst. Und verlustbehaftete Aufnahme geht auch nicht ganz ohne Kompromisse. Einerseits summiert sich der Verlust quasi auf, anderseits kann es auch sein, dass du im Workflow und / oder im Spiel Performance verlierst - je nachdem, was du jetzt genau wählst. H.264 ist beispielsweise oft zeitaufwändiger zu dekodieren, was ggf. Renderzeiten in die Höhe treiben kann.