Będąc zwolennikiem agresywnych działań zdobył zaufanie Jurija Andropowa i uzyskał w 1974 roku nominację do stopnia generała, wówczas najmłodszego w strukturach KGB. W 1980 roku, z powodu osobistego konfliktu z szefem PZG KGB Władimirem Kriuczkowem, został przesunięty do Leningradu na stanowisko zastępcy szefa obwodowego urzędu KGB. Być może podczas pobytu w USA podjęto próbę oceny jego lojalności, o czym nie zameldował. Według części źródeł mogło to być prawdziwym powodem jego przeniesienia do UKGB Leningradu.
Po rozpoczęciu pieriestrojki rozpoczął otwartą krytykę kierownictwa resortu. Gdy trzy lata później zwrócił się publicznie do Gorbaczowa z apelem o generalną reformę władz bezpieczeństwa, został na jego polecenie pozbawiony stopnia, orderów i prawa do emerytury.
Sprawa ta przyniosła Kaługinowi rozgłos i zyskała poparcie środowisk demokratycznych, co pomogło mu zostać wybranym do Dumy. Podczas puczu sierpniowego, w 1991 roku, działał w najbliższym otoczeniu prezydenta Jelcyna, współuczestnicząc w obronie Białego Domu (siedziby Rady Najwyższej). Po stłumieniu puczu odzyskał rangę i przywileje i został doradcą nowego szefa KGB Władimira Bakatina.