BMJ zostało utworzone 20 września 1949 roku w rządzie Konrada Adenauera, z Thomasem Dehlerem jako pierwszym ministrem. W 1999 roku przeniesiono jego siedzibę z Bonn do Berlina. Obecna siedziba znajduje się w dzielnicy Mitte, w zabytkowych budynkach pomiędzy Mohrenstraße, Jerusalemer Straße i Kronenstraße. Obiekty te, w tym barokowe kolumnady projektu Carla Gottharda Langhansa, zostały zmodernizowane i uzupełnione o nowe segmenty zaprojektowane przez biuro architektoniczne Eller und Eller.
Na terenie obecnego ministerstwa w dniu 9 listopada 1989 roku miało miejsce ogłoszenie zniesienia ograniczeń w podróżowaniu dla obywateli NRD – wydarzenie, które uznaje się za zapowiedź upadku muru berlińskiego. Z tą chwilą związana jest instalacja artystyczna Ulricha Schrödera znajdująca się w hallu głównym budynku.
Zadania i struktura Ministerstwo odpowiada za przygotowywanie projektów ustaw w obszarach prawa cywilnego (regulującego stosunki prawne pomiędzy obywatelami), handlowego i gospodarczego (określającego zasady funkcjonowania podmiotów gospodarczych i ochrony własności intelektualnej), karnego (określającego katalog przestępstw i kar) oraz procesowego (regulującego postępowanie przed sądami).