Taka postawa nie uszła uwadze naczelników żandarmerii, którzy w swoich raportach oskarżali Daragana o liberalizm i polonofilstwo. Nie przeszkodziło to gubernatorowi w otrzymaniu tytułu koniuszego dworu cesarskiego (1897). Ostatecznie, 10 grudnia 1902 Daragan został odwołany z Kalisza, a jego miejsce zajął Nikołaj Nowosilcow, potomek osławionego Nikołaja Nikołajewicza Nowosilcowa, utrwalonego w Mickiewiczowskich Dziadach.
Dalsze losy W 1902 Daragan został członkiem Senatu Rządzącego, a 1 stycznia 1910 otrzymał kolejny awans w carskiej tabeli rang zostając rzeczywistym tajnym radcą dworu. Senator Daragan mieszkał w Petersburgu, był właścicielem dziedzicznych majątków w guberniach połtawskiej i samarskiej, a także nabytych ziem w guberni witebskiej. W 1903 odwiedził Kalisz, którego mieszkańcy zwrócili się do ówczesnego gubernatora o nadanie Daraganowi tytułu honorowego obywatela miasta. Zmarł po 1 stycznia 1917.