W 1853 do zabudowań dworca przeniesiono z kamienic przy Nowym Rynku urzędników Dyrekcji Kolei Wschodniej.
W miarę rozwoju połączeń kolejowych i wzrostu przewozów pojawiła się konieczność rozbudowy dworca kolejowego. Jedną z istotnych przyczyn rozbudowy była konieczność zapewnienia odpowiedniej bazy lokalowej dla rozrastającej się Dyrekcji Kolei Wschodniej w Bydgoszczy, która zarządzała budową, eksploatacją i prowadzeniem ruchu kolejowego we wschodnich prowincjach Prus (na wschód od Berlina).
Pierwsza rozbudowa w 1861 Pierwszą rozbudowę dworca zrealizowano w 1861, podczas budowy pruskiego odcinka Kolei Warszawsko-Bydgoskiej. Do istniejącego gmachu dobudowano wówczas masywne skrzydła zamkowe. Powstał trójkondygnacyjny budynek, z czterokondygnacyjnymi, wieżowymi ryzalitami bocznymi oraz wysuniętą częścią środkową z arkadowym portykiem. Całość elewacji była zwieńczona gzymsem konsolowym, a partie ryzalitów ozdobione tralkową attyką z akroterionamiJastrzębska-Puzowska Iwona, Winter Piotr: Budynek dawnej Dyrekcji Kolei Wschodniej w Bydgoszczy. [w.] Materiały do dziejów kultury i sztuki Bydgoszczy i regionu. Zeszyt 1. Bydgoszcz 1996. W 1861 między budynkiem a ul. Zygmunta Augusta (wówczas Friedrich-Wilhelm-Straβe) założono tzw. skwer dworcowy o powierzchni 0,4 ha.