Meczet wzniesiono przy użyciu granitu i kamienia wapiennego połączonego zaprawą wapienną, a także marmuru. Początkowo meczet był ulokowany dokładnie w samym centrum miasta i tak dokładnie zaplanowany, że z każdej z czterech stron meczetu można było dostrzec granice ówczesnego Hajdarabadu. Dzięki temu miejsce, w którym przecinały się obie drogi, a które wypadało dokładnie pod meczetem, było jednym z najbardziej ruchliwych w tamtych czasach. Istnieje także legenda, według której istnieje podziemny korytarz łączący pałac w Golkondzie z Charminarem, które miało potencjalnie służyć jako droga ucieczki w razie niebezpieczeństwa grożącego władcom z dynastii Qutub Shahi podczas oblężenia miasta. Niestety lokalizacja tunelu nie jest znana.
Architektura Charminar stanowi jeden z najbardziej efektownych przykładów architektury islamu. Każdy z boków tej budowli mierzy 20 m i w rogu każdego z nich znajduje się wysoki minaret. Każda z tych czterech wież wznosi się na wysokość 53 m, dzięki czemu panuje nad otaczającym ją krajobrazem. Każdy z minaretów ma cztery piętra, odznaczające się dzięki okręgom okien widocznych na zewnątrz. W przeciwieństwie do świątyni Tadź Mahal, cztery wieże Charminaru stanowią część zasadniczej konstrukcji meczetu.