W 1612 roku o istnieniu zamku w Drohiczynie wzmiankował wizytator klasztoru franciszkanów, który napisał „miasto drewniane bez murów obronnych, prócz zamku”. Prawdopodobnie na zamku mieścił się sąd grodzki i była to siedziba królewskiego starosty grodowego. Dwór ten został zniszczony podczas potopu szwedzkiego. W 1660 roku franciszkanin o. Karol Żerko zanotował, że zamek "przez Moskwę doszczętnie ogniem zniesiony, że wszystkimi budynkami. Same tylko mury gołe porujnowane zostały". Na skutek braku opieki oraz osuwania się góry do rzeki pozostałości zamku uległy całkowitej zagładzie. Jedynie w pamięci mieszkańców Drohiczyna zachowało się wspomnienie o stojącym tu niewielkiej kwadratowej budowli, która mieściła tzw. górną wieżę i dolną wieżę, czyli areszt cywilny i więzienie kryminalne dla szlachty. W 1788 r. wieża ta została rozebrana. Pozostałościami rozebranej konstrukcji są obrabiane ciosy kamienne znajdowane na dnie dawnej fosy.
Pozostałość przejścia podziemnego tak opisywał Zygmunt Gloger:
Obecnie masyw Góry Zamkowej stanowi tylko małą część góry mieszczącej kiedyś zabudowania zamkowe. Na szczycie Góry Zamkowej znajduje się obelisk, wzniesiony w 1928 roku w 10. rocznicę odzyskania niepodległości.
Jedyną pozostałością po zamku jest nazwa ul.