Rodzice mieszkali we wschodniej części Manhattanu, gdzie pracowali w dzielnicy przemysłu odzieżowego. Gdy Martin skończył osiem lat, przeprowadzili się do dzielnicy zwanej Corona, na przedmieściach Queens. Wkrótce jednak ojciec Martina popadł w kłopoty finansowe i rodzina musiała przenieść się z powrotem do kamienicy czynszowej, w której się urodził.
Martin jako dziecko chciał być malarzem, równocześnie interesował się filmem. Wolny czas spędzał często w kinie, do którego zabierali go rodzice. Po powrocie do domu rysował to, co wcześniej zobaczył. Wymyślał własne historyjki, pomysły biorąc z komiksów czy książek. Do dziesiątego roku życia jego ulubionym gatunkiem filmowym był western. Jego rodzina była jedną z pierwszych w bloku, która w 1948 roku kupiła telewizor. Dzięki telewizji miał możliwość poznania najważniejszych filmów kina hollywoodzkiego, europejskiego i japońskiego, które miały ogromny wpływ na jego późniejszą twórczość.