Kopf ausschneiden ohne Greenscreen mit Sony vegas masking?

Nein, Vegas bietet kein Rotoscoping (das ist nämlich der Prozess, den du brauchst). Und selbst hochprofessionelle Software wie Combustion ist nicht so zuverlässig, um auch nur ansatzweise so ein sauberes Ergebnis wie mit einem gut gemachten Greenscreen hinzukriegen.