Die Handlung des zweiten Teils knüpft nicht an die des Vorgängers an. Somit ist Mafia II eigentlich keine direkte Fortsetzung von Mafia, jedoch gibt es eine Handlungsüberschneidung, da Vito mit seinem besten Freund Joe, Thomas Angelo, den Protagonisten aus Mafia, eliminieren muss.
Das Spiel, angesiedelt in den 1940er und 1950er Jahren, beginnt kurz vor dem Ende des Zweiten Weltkrieges in der fiktiven Stadt Empire Bay. Der junge Vito tritt in die US Army ein, um nach einem Juwelenraub nicht ins Gefängnis zu müssen. Bei einem Einsatz in Sizilien bekommt er das erste Mal mit der Cosa Nostra, der sizilianischen Mafia zu tun: Der ortsansässige Mafiaboss bringt die Faschisten dazu, sich den Amerikanern zu ergeben. Als er aufgrund einer Verletzung in Deutschland Heimaturlaub bekommt, hilft ihm sein alter Freund Joe, der Kontakte zur Unterwelt unterhält, von seinem Dienst in der US-Army freigestellt zu werden. Vito erfährt, dass sein toter Vater hohe Geldschulden hinterlassen hat. Um seine Schwester vor Kredithaien zu schützen, beginnt er zusammen mit Joe kleine Aufträge auszuführen, um an Geld zu kommen.
Die beiden geraten an die Clemente Mafia-Familie und werden in die Auseinandersetzung mit den Familien Vinci und Falcone hineingezogen. Vito verkauft gestohlene Wertmarken an mehrere Tankstellen. Nach einem Verrat kommt Vito dafür ins Gefängnis, lernt dort Leone Galante kennen, der ihn nach verkürzter Zeit herausholen kann und ihn in die Falcone-Familie einführt. Dort arbeiten sich Vito und Joe hoch, bis sie als vollwertige Mitglieder in die Familie aufgenommen werden. Das neue schöne Leben von Vito endet abrupt, als ein Mitglied einer irischen Gang sein Haus anzündet, weil er im Gefängnis deren Boss Brian O'Neil getötet hat.
Ohne Geld und Wohnung beschließen Vito und Joe zusammen mit ihrem Bekannten Henry Tomasino auf eigene Faust Geld zu verdienen. Sie leihen sich eine hohe Geldsumme bei Bruno Levine, womit sie Drogen bei den chinesischen Triaden erwerben, um sie weiter zu verkaufen. Henry wird jedoch von Mitgliedern der Triaden umgebracht. Bei ihren Racheaktionen finden Vito und Joe heraus, dass Henry als Undercover-Agent für das FBI gearbeitet haben soll. Es beginnt ein Krieg der Triaden gegen die Mafia und die Behörden greifen auch ein. Um sich zu retten, schließt Vito mit Leone Galante und einem Anführer der Triaden den Deal ab, den Mafiaboss Falcone umzubringen, welcher sich zusammen mit Joe in einem Observatorium aufhält. Falcone verlangt von Joe, Vito zu töten. Der schätzt jedoch die Freundschaft höher ein, und unterstützt Vito bei seinem Auftrag. Nach dem harten Kampf freuen sich beide, die Situation bereinigt zu haben. Joe und Vito werden vor dem Observatorium von Leo Galantes Männern in zwei unterschiedliche Fahrzeuge gebeten. Das Spiel endet damit, dass das Auto mit Joe abbiegt, während das Auto mit Vito und Leo weiter geradeaus fährt. Joe soll offenbar getötet werden. Leo weist Vito darauf hin, dass Joe nicht Bestandteil des Deals war.
