1.) Qualität mit "relativ" kleinen Daten sollte nicht wie Fraps an die 80GB marke kommen WENN möglich wenn JA ist es auch nicht schlimm aber wenn man es vermeiden kann wieso nicht
Da haste dir grad die richtigen Punkte ausgesucht. Weil für sowas brauchst du ordentliche Hardware und man sollte keine Nachbearbeitung machen.
Im Prinzip ist der Ansatz das du Verlustkomprimiert aufnehmen willst um A) Qualität und B) kleine Dateien zu erzielen. Beides sind Gegensätze an sich. Aber man kann auch ein Mittelweg nehmen.
Da du mit OBS eh Streamst, ist es so das du bei diesen Streams die du ja direkt hochladen tust eine entsprechende Bitrate benutzt. Die Bitrate ist der Kernpunkt was Qualität angeht. Je mehr Bitrate, desto besser die Qualität, desto größer aber auch die Datei.
2.) Für Youtube. Streaming mach ich ebenfalls aber nicht das was auf Youtube geladen wird wie unsere Lets Plays etc.
Für Youtube ist das was du auf Frage 1 geantwortet hast ein Wiederspruch. Anders als beim Live Streaming wie mit OBS auf Twitch und Co., ist Youtube ein Videoportal.
Youtube encodiert deine hochgeladenen Videos noch einmal um sie in verschiedenen Auflösungen anzubieten. Dabei gibt Youtube einen Grenzen bezogen auf Bitrate. Das bedeutet das deine Verlustaufnahmen noch weiter Verlustbehaftet encodiert werden und am Ende hast du mehr oder weniger eigentlich nur noch Matsch. Ist dann halt nicht gerade berauschend.
Für Let's Plays auf ein Videoportal wie YT, kann man sich aber vorbereiten. Anders wie halt beim Live Streaming hat man da mehr Zeit. Um halt sehr gute Qualität zu erzielen ist eine verlustfreie Aufnahme sehr angebracht. Bedeutet die Rohaufnahmen werden erst einmal ziemlich groß werden. Jedoch dienen sie als Basis für ordentliche Qualität und Encodierer wie x264 haben mehr Zeit solche Dateien extrem klein werden zu lassen bei so gut wie gleicher Quali die man dann hochladen kann.
Ich würde dir an dieser Stelle zu 2 Aufnahmevarianten bzw. 2 Aufnahmeprofilen empfehlen. Einmal fürs Live Streaming und einmal für Youtube.
Kannst dir aber auch die Pampe auf Youtube antuhen mit deinen Verlustaufnahmen aus OBS ;D
Encoder die die Grafikkarte nutzen sollte man ohnehin nicht nutzen, damit haut man sich meist selbst in die Pfanne. Weil was der Laie halt nicht weiß bzw. immer falsch aufschnappt: Grafikkarten Encoder sind einem CPU Encoder sehr weit unterlegen, da Encodierungen nicht sonderlich parallelisiert werden können.
Sprich es können 50 Leute einen Kuchen backen, wobei 1 den Teig anrühren kann, während die anderen 49 warten müssen, und dann nur einer den Kuchen glasieren kann, bis schlussendlich nur 1 Mann das Teil in den Backofen stellen kann. Es stehen sozusagen immer 49 Leute irgendwo rum und machen nix.
Ein CPU Encoder ist einem GPU Encoder deutlich überlegen. Denn die sind einfach schneller. 
Daher sind Encoder wie NVENC nicht zu empfehlen. Nutze stattdessen einen vernünftigen CPU Encoder wie x264 für deine Live Streams. Wäre schon mal ein Schritt in richtiger Richtung.
3.) Meine Hardware ist relativ gut bis auf die Festplatte und die Grafikkarte ( GTX 760 ) kommt aber bald ne neue die 970.
Deswegen sollst du auch CPU Encoder nutzen. Was nützt dir denn ein GPU Encoder, wenn du schon selbst sagst das die Grafikkarte schlecht ist? 
Und Festplatten kosten heutzutage eigentlich auch nicht mehr die Welt. Wenn du gute Ergebnisse auf YT erzielen möchtest, kann ich dir nur raten ordentliche externe Festplatten mal zu holen die du dann über USB3.0 nutzen solltest. Eine 2TB kostet so ca. 60 - 80 €. Also mal auf das nächste GROSSE neue Game verzichten und stattdessen mal einfach eine neue Festplatte zulegen.
PS: Eine große Festplatte ist so ziemlich das Herzstück eines alltäglichen Let's Players ;D
Arbeit reinstecken ist egal ich hab im mom viel Zeit und kann also viel Aufwand investieren. Wenn ich ein Projekt angehe dann auch vernümpftig und nicht nicht mit halben Sachen.
Wie schon mal erwähnt, es widerspricht sich mit dem was du willst. Zum einen willst du Qualität haben, zum anderen aber in kleine Dateien aufnehmen. Daher kommt nur Verlustaufnahmen in Frage. Jetzt sagst du aber das du Zeit hast und ein wenig Aufwand investieren willst, damit alles vernünftig wird. Überlege mal was ich als dritten Punkt genannt hatte bei Frage 1 ;D
Du könntest wesentlich schneller deine Videos bearbeiten bzw. Encodieren lassen mit ordentlicher Qualität, wenn du bereit wärst mehr Speicherplatz für die Rohaufnahmen zu investieren.
Denn rein von den Rohaufnahmen kannst du ja dann wieder auf eine sehr kleine Datei runter encodieren lassen die A) eine 1a Qualität hat und B) sehr klein ist. 
Mal drüber nachdenken.
Ich dachte nur weil ich es öfter gelesen habe das Leute OBS nutzen für Youtube und die Quali sehr gut war dachte ich das ich es kombinieren kann. Wenn es aber noch was besseres gibt wie Dxtory z.b. wieso sollte ich es dann nicht auch nutzen wenn mir jemand etwas helfen kann.
Statt das Stinknormale OBS zu verwenden würde ich dir mal zu OBS Multiplatform raten. Das kann weitaus mehr was Aufnahme angeht. Und eventuell ist das für deine Sache, sofern wir dir da ein Crashkurs geben was die Settings angeht, ideal fürs Streaming und für YT Aufnahmen.
Und wie gesagt, wenn du das was du auf Frage 1 geantwortet hast, wirklich so haben willst, können wir dir entsprechend ein Setting verpassen. Aber ich weiß jetzt schon das du damit eher nicht zufrieden sein wirst, da du momentan mit dem Standard OBS nicht viel machen kannst. Du steckst quasi was Youtube angeht mit OBS in einem Dilemma. Und genau das musst du ändern.
Oder du sagst dir halt das das was du auf YT hochlädst schön aussieht wie es ist. Weiß ja nicht wie deine Ansprüche sind 