Choć obracał się w kręgach arystokratycznych, nie cieszył się w tym środowisku dobrą opinią, z powodu długów. W tym okresie był przejściowo zatrudniony w Towarzystwie Żeglugi Parowej.
Rola w powstaniu styczniowym W przededniu powstania styczniowego zaangażował się po stronie stronnictwa białych. Był to obóz polityczny reprezentujący ziemiaństwo, burżuazję i inteligencję miejską. Głosili hasło niepodległości Polski, ale chcieli ją osiągnąć nie poprzez zbrojną walkę, ale dzięki pracy organicznej i negocjacjom z zaborcą, w przeciwieństwie do stronnictwa czerwonych, które dążyło do szybkiego wybuchu powstania.
Grabowski, jeszcze przed jego wybuchem, zapewne z ramienia białych podejmował działania mające na celu penetrację organizacji powstańczej kierowanej przez czerwonych – jesienią 1862 przekazał pewną sumę pieniędzy na rzecz tajnej drukarni grupy Janczewskiego, opozycyjnej wobec Komitetu Centralnego Narodowego.