Es ist halt genauso ein Skalierungsprozess. Ob nun hoch oder runter.
Beim [lexicon]Hochskalieren[/lexicon] müssen die neuen Pixel berechnet werden, beim Runterskalieren müssen Pixel entfernt werden. Und das muss nunmal auch berechnet werden und sieht mit Lanczos4 besser aus, als wenn einfach benachbarte Pixel entfernt werden.
Am verlustfreiesten bleibt ein Resize im Übrigen, wenn man die doppelte Auflösungsbreite und Höhe benutzt (oder eben die Hälfte beim Downscale).