Podstawowym elementem strukturyzującym program w COBOL-u jest dywizja. W każdym programie wyróżnia się 4 dywizje: identification, environment, data oraz procedure. Dywizja identification określna nazwę oraz element źródłowy. W dywizji tej wyspecyfikowane są również klasy i interfejsy. Dywizja environment określa wszystkie elementy programu, które zależą od systemu, na którym działają, takie jak pliki i zestawy znaków. Dywizja data służy do deklaracji zmiennych i parametrów. Dywizja procedure zawiera polecenia. Każda dywizja jest podzielona na sekcje, które składają się z paragrafów.
Krytyka i obrona Krytycy COBOLa zarzucają mu brak struktury. Zarzut ten odnosi się przede wszystkim do tak zwanego kodu spaghetti, przyczyną powstania którego jest z kolei wykorzystywanie komendy GO TO (komenda ta używana jest do przechodzenia po programie w przód i wstecz, w sposób który sprawia, że logika programu staje się trudna do zrozumienia). Aktualnie GO TO w dużej mierze zastępowane jest komendą PERFORM oraz procedurami, których zastosowanie znacząco niweluje ten zarzut.