Studiował również na wydziale dziennikarstwa Uniwersytetu Columbia w Nowym Jorku, w ramach programu wymiany studenckiej.
Ponownie znalazł się w USA w 1960 roku, jako stażysta pod przykrywką korespondenta radia Moskiewskiego. Zaprzyjaźnił się wówczas z Aleksandrem Jakowlewem, w latach pieriestrojki jednym z głównych doradców Michaiła Gorbaczowa.
W marcu 1964 roku został przedwcześnie odwołany do ZSRR z powodu zdrady w Genewie oficera Drugiego Zarządu Głównego (WGUII) KGB, kapitana Jurija Nosenki. Po powrocie uczył na kursach w szkole nr 101.
W 1965 roku, pod przykrywką funkcji drugiego, następnie pierwszego sekretarza ambasady radzieckiej w Waszyngtonie, objął stanowisko zastępcy rezydenta Pierwszego Zarządu Głównego Komitetu Bezpieczeństwa Państwowego.
Po powrocie do Moskwy w 1970 roku, został zastępcą szefa, a w 1973 roku szefem Służby Nr 2 Kontrwywiadu Zagranicznego. Służba nr 2 powstała w styczniu 1963 roku i na jej podstawie, na mocy rozkazu KGB nr 0016 z 1974 roku utworzono Zarząd „K” kontrwywiadu zagranicznego PZG KGB, czyli Pierwszy Zarząd Główny Komitetu Bezpieczeństwa Państwowego, którym Kaługin kierował do połowy listopada 1979 roku.