Życiorys James Peale był synem Charlesa Peale’a (1709–1750),nauczyciela w Kent County School w Chestertown i Margaret Triggs Peale (1709–1791). Charles Peale zmarł, gdy James był małym dzieckiem. Po śmierci ojca rodzina przeniosła się do Annapolis, gdzie James pod okiem starszego brata Charlesa uczył się, najpierw na rymarza, a następnie na malarza. Sam Charles ukończył naukę zawodu rymarza w roku 1762. James nie podjął jednak działalności w tym zawodzie. W 1765 roku uczył się stolarstwa, a około 1769 roku, ponownie malarstwa u brata, gdy ten powrócił do Annapolis po dwuletnich studiach w Londynie, odbywanych pod kierunkiem Benjamina Westa. James wykorzystywał swoje umiejętności stolarskie wykonując ramy do obrazów brata, który w zamian udzielał mu lekcji rysunku i malarstwa. James pracował w Annapolis aż do 14 stycznia 1776 roku, kiedy wstąpił do Armii Kontynentalnej. Wkrótce dorobił się stopnia kapitana. W ciągu kolejnych 3 lat walczył w kilku bitwach: na Long Island, pod White Plains i pod Princeton. Mimo że otrzymał osobisty list od George’a Washingtona z prośbą o pozostanie w służbie, w czerwcu 1779 roku zwolnił się i przeniósł się do Filadelfii dołączając do brata, który również przeprowadził się tam z żoną i rodziną. James wznowił pracę w studio brata. W Filadelfii pracował aż do śmierci.