Zwieńczenie kamienicy ozdobiono postaciami rycerzy trzymającymi tarcze z herbami Dirka Lygle oraz jego żony Elżbiety z Rosenbergów. Całość ponad tympanonem zwieńczyła figura anioła od którego budynek nazywano początkowo Domem Anielskim. Elewację pierwotnie zdobiły jeszcze sgraffita.

Pierwszy właściciel, Dirk Lylge, zbankrutował w 1586 roku, a jego dom zajęli wierzyciele. W XVII wieku (w latach 1640–1690) część budynku, a zwłaszcza wielką sień wykorzystywali, na wzór założonego wcześniej „Domu Angielskiego” w Hamburgu, na cele targowe, zebrania i nabożeństwa przebywający w Gdańsku kupcy angielscy i szkoccy, i stąd ma pochodzić używana obecnie nazwa budynku. Źródła mówią, że stosownego obiektu już w 1622 poszukiwała w Gdańsku delegacja firmy Baltic Company of London.

Pomimo wielu zachowanych przekazów, że był to rzeczywiście „Dom Angielski”, sceptycy jednakże sądzą, że nazwa powstała przez zniekształcenie pierwotnej nazwy „Dom Anielski”.

W „Domu Angielskim” m.in. kupiec Karl Gottfried Grischow prowadził skład pełnego asortymentu zagranicznych, zwłaszcza angielskich towarów, mebli i obrazów.