W 1937 r. Bystrolotow został wysłany do Berlina, żeby nawiązać kontakt z radzieckim agentem w sztabie generalnym Wehrmachtu. Po latach opowiadał, że przed wyjazdem przyjął go sam Nikołaj Jeżow i uściskał ze słowami: „Czuj się dumny. Powierzamy ci jedno z naszych najlepszych źródeł. Towarzysz Stalin i ojczyzna nigdy o tobie nie zapomną.”
Na początku 1938 r. został jednak zawieszony w obowiązkach i przeniesiony do Moskiewskiej Izby Handlowej, gdzie pracował do czasu aresztowania we wrześniu. Nie mogąc znieść tortur i przekonany, że zostanie zakatowany na śmierć, podpisał podyktowane obciążające zeznania. W 1939 r. został skazany na 20 lat więzienia.
Obóz pracy i zwolnienie Następne 15 lat (1939–1954) Bystrolotow spędził w syberyjskim łagrze, jak tysiące innych radzieckich oficerów Armii Czerwonej i wywiadu, za przestępstwa, których nie popełnił. Został zwolniony w 1954 roku, jednak zanim go zwolniono, żona, która została zesłana do łagru za sam fakt, że miała męża uznanego za wroga ludu, popełniła samobójstwo, podrzynając sobie gardło kuchennym nożem, zaś jego matka otruła się.
Po wyjściu na wolność Bystrolotow pisał wspomnienia o swoich doświadczeniach w pracy w wywiadzie radzieckim w latach dwudziestych i trzydziestych.