Siddhartha ujrzał wędrownego pobożnego żebraka, mędrca, ubranego w prostą szatę. Mędrzec ten, w przeciwieństwie do ludzi chorych, starych i umierających, sprawiał wrażenie szczęśliwego. Jego widok sprawił, że Siddhartha zrozumiał swe przeznaczenie i postanowił uciec z pałacu, by szukać drogi wyzwolenia z cierpienia.
Sam Budda tak komentuje swoje decyzje:
Opuszczenie pałacu i poszukiwanie prawdy Pewnej nocy kazał osiodłać swojego konia i odjechał w towarzystwie sługi. Tradycja buddyjska określa ów moment mianem Wielkiego Odejścia. Jego wygląd jako dostojnego, zadbanego młodzieńca musiał bardzo kontrastować z przywdzianymi żebraczymi szatami do tego stopnia, że wieści o niezwykłym wędrowcu dotarły do króla Bimbisary – władcy sąsiedniego królestwa, który osobiście zapytał go o to. Wtedy Siddharta zdradził swe pochodzenie i oznajmił, że wiedzie takie życie z wyboru. Wkrótce wieści o tym dotarły do pałacu ojca i był to dla niego dodatkowy cios, że jego syn wiedzie życie żebracze.