Program stworzenia takiego języka został w 1959 roku zorganizowany i zasponsorowany przez Departament Obrony Stanów Zjednoczonych.
Pierwsza definicja COBOL-a stworzona została w 1960 roku przez komitet CODASYL (ang. Conference on Data Systems Languages). Za rozwój kolejnych standardów odpowiedzialny był American National Standards Institute (ANSI), który to wyprodukował kolejno trzy standardy: ANS 68, ANS 74 oraz ANS 85. Odpowiedzialność za rozwój następnych standardów spoczęła na ISO. ISO 2002 – pierwszy standard wyprodukowany przez to ciało – zdefiniował pierwszą zorientowaną obiektowo wersję COBOL-a.
Poszczególne standardy wprowadziły następujące udoskonalenia do języka COBOL ANS 68 – rozwiązał problem niekompatybilności pomiędzy różnymi wersjami COBOL-a COBOL ANS 74 – wprowadził komendę CALL oraz możliwość użycia zewnętrznych podprogramów COBOL ANS 85 – wprowadził programowanie strukturalne oraz wewnętrzne podprogramy COBOL ISO 2002 – wprowadził programowanie zorientowane obiektowo COBOL 2014