Okay ... bitte verzeih, dass ich mich gerade etwas kurz halten muss, aber bei mir brennt's grad terminlich etwas.
Zuerst zum Thema YV12:
YV12 ist der YUV-Farbraum mit einem Subsampling von 4:2:0 - im Klartext heißt das: Die Helligkeitsinformationen sind alle vorhanden, bei den Farbinformationen wurde etwas reduziert. RGB ist ein umfangreicherer Farbraum und in Bezug auf den Informationsgehalt ungefähr gleichzusetzen mit YUV 4:4:4 - es behält alle Helligkeits- und Farbinformationen. Die Konvertierung von YV12 zu RGB - also einen niedrigeren in einen ... höheren Farbraum - kann deshalb verlustfrei ablaufen. Verlust entsteht erst bei der Konvertierung von einen höheren in einen niedrigeren Farbraum, oder wenn man bei der Konvertierung was ... nun, verbockt.
Zum Aufnehmen und Bearbeiten wäre deshalb RGB die bessere Wahl, auch die Spiele, dein ganzes System und dein Monitor basiert auf RGB. Man spart sich da also insgesamt vieles von der Konvertiererei und hätte zudem eine bessere Ausgangsbasis für Filter, allerdings speichert RGB auch mehr Informationen, braucht also u.A. deutlich mehr Platz. Würde es eher nicht machen, wenn nicht unbedingt erforderlich.
Nun zum Thema: Was läuft bei dir falsch?
Wie bereits gesagt: TV / PC - Range - Problematik. Üblicherweise hat RGB einen Wertebereich von 0 - 255, was man den Vollbereich / PC-Range nennt. Schwarz wäre bei 0, Weiß bei 255. Die TV-Range ist beschränkter und hat einen Wertebereich von 16 - 235. 16 ist pures Schwarz, 235 ist weiß. Üblicherweise nimmt man bei YUV den beschränkten Bereich an und konvertiert ihn so, dass er auf 0 - 255 "gestreckt" wird. Vegas streckt da in deinem Fall nichts, es übernimmt den begrenzten Wertebereich (TV-Range) und nennt das "Studio RGB". Die interne Vorschau kann damit umgehen und streckt das wieder auf den erwähnten Ausgabebereich.
Wenn du das jetzt über den Frameserver weiterleitest, liest AVISynth das als RGB ein. Wenn du von RGB kommst und in AVISynth in YUV konvertierst, nimmt AVISynth bei der Matrix Rec.709 an, dass du im PC-Bereich bist und ebenfalls in den TV-Bereich willst. Es wird deshalb die Werte umrechnen - 0 als pures Schwarz liegt dann beispielsweise nach der Konvertierung bei 16. Im TV-Bereich, also auch im "Studio-RGB", gibt es aber die 0 in der Form nicht - schwarz würde bei 16 liegen. Das wird dann weiter verschoben. Dass dann der Wert nicht passt, versteht sich von selbst, und dabei kommt dann eine Art Grauschleier raus.
Soweit so schlecht, deshalb würde ich da eingreifen und korrigieren. Mit der Konvertierung zu YUV (YV12) durch AVISynth und der Matrix PC.709 sagst du ihm: Wandle in den YUV-Farbraum um, stauche das Video aber nicht in den TV-Bereich. Der schwarze Wert lag vorher bei 16 und ist auch nach der Konvertierung bei 16.
Ich hoffe, ich konnte dich hier etwas mehr verwirren
Falls nötig, gehe ich später noch genauer darauf ein. Ich habe jetzt streckenweise etwas sehr vereinfacht ... aber wie gesagt: Wenn dich die Hintergründe interessieren, dann schau in das verlinkte Tutorial.
(PS: Ich bin mir nebenbei nicht sicher, ob Vegas immer nach Studio RGB konvertiert oder manchmal auch Computer RGB verwendet. Hängt wohl von der Eingabedatei ab, was es da macht. Gab es irgendwo mal eine Tabelle, glaub ich.)