Du hast gleichzeitig [lexicon]FRAPS[/lexicon] offen? Kann also nicht gehen, weil sich [lexicon]FRAPS[/lexicon] vorher schon in die Engine hooked.
Einstellungen sind so i.O. Ich würde noch von Viewport auf Framebuffer umstellen und je nach Spiele (siehe mein Post über dir) das App detection level ändern.