Ojciec Horacego był wyzwoleńcem. Urodził się jako człowiek wolny, ale wzięto go do niewoli podczas wojny Rzymu ze sprzymierzeńcami. Pracował w Wenuzji jako niewolnik publiczny (servus publicus). Po wyzwoleniu przybrał nazwisko od Tribus Horatia. Kwintus urodził się już jako obywatel rzymski, chociaż o jeszcze niepełnych prawach. Niektórzy uczeni próbowali wykazać, że Horacy był pochodzenia greckiego lub żydowskiego. Twierdzenia takie są współcześnie odrzucane przez niemal wszystkich badaczy. Powszechnie uważa się, że ojciec poety był ambitnym i przedsiębiorczym Apulijczykiem, który zdołał nie tylko wykupić się z niewoli, ale także nabyć niewielką posiadłość ziemską z zabudowaniami, położoną nieco na zachód od Wenuzji, u stóp wulkanicznej góry Wultur.
thumb|Góra, pod którą ojciec poety nabył posiadłość ziemską Pierwsze lata życia spędził Horacy pod opieką piastunki Pulii. Matka, zapewne również wyzwolenica, zmarła bardzo wcześnie, tak że Horacy nie zachował o niej żadnego wspomnienia. Naukę rozpoczął w prowincjonalnej szkole prowadzonej przez niejakiego Flawiusza w Wenuzji. Tam wykazał się znacznymi zdolnościami, więc ojciec postanowił zapewnić mu wykształcenie, które otworzyłoby synowi drogę do kariery. Wydzierżawił gospodarstwo i gdy Kwintus miał około dziesięciu lat przeniósł się do Rzymu.