W 1731 pisarz Jan Stanisław Jabłonowski w dziele Ezop nowy polski używa sformułowania „Aż do Smorgonii walą się niedźwiedzie”, co dowodzi rosnącej popularności Akademii. Rozkwit sławy Akademii smorgońskiej przypadł na czasy Karola Radziwiłła Panie Kochanku, który znacznie ją rozbudował, zadanie reorganizacji powierzając sprowadzonej w tym celu grupie Cyganów pod przywództwem Jana Marcinkiewicza. Cenne źródło historyczne na temat Akademii stanowi relacja oficera wojsk polskich Henryka Brandta, który w 1812 przebywał w Smorgonii i opisał urządzenie ośrodka oraz metody tresury:
Podobne, choć różniące się w szczegółach, relacje spisali Karol Surowiecki w 1821 oraz Eustachy Tyszkiewicz kilka dekad później.
250px|mały|Współczesny herb miejscowości Smarhoń (dawne Smorgonie) na Białorusi W czasach świetności Akademii na terenie ośrodka szkolono jednocześnie kilkadziesiąt niedźwiedzi oraz małp. Tresowano wyłącznie samce, które łapano najpewniej w Puszczy Żuprańskiej i innych lasach należących do Radziwiłłów. Każdy z niedźwiedników co rok powracał do Smorgonii na okres zimowy, rozliczając się z zarobionych w trasie pieniędzy z „królem”, cygańskim zarządcą Akademii. Taki model funkcjonowania ośrodka gwarantował jego samowystarczalność finansową.