W 2001 roku wspólnie Auerbachem założyli zespół The Black Keys. Został perkusistą, a jego przyjaciel Auerbach wokalistą i gitarzystą. Niecały rok później wydali oni swój debiutancki album The Big Come Up, w 2003 roku ukazał się Thickfreakness, a rok później Rubber Factory. Czwarty album zespołu, Magic Potion, premierę miał w 2006 roku, a Attack & Release, ich chwalony przez krytyków piąty album, wydany został w 2008 roku. Zadebiutował na 14. miejscu listy przebojów magazynu Billboard.
W 2009 roku, podczas gdy Auerbach był w solowej trasie koncertowej, Carney założył wspólnie z Jamie’em Stillmanem, Jonem Finleyem oraz Stephenem Clementsem nowy zespół muzyczny o nazwie , w którym grał na gitarze basowej. Każdy z członków zespołu grał wcześniej na perkusji w innym zespole. W tym samym roku wydali debiutancki i zarazem jedyny album . Carney nagrał też partie perkusyjne na albumie zespołu z 2014 roku pn. .
W 2010 roku ukazał się kolejny album The Black Keys zatytułowany Brothers, który przyniósł mu trzy nagrody Grammy, a rok później El Camino w nowo ukończonym studiu Auerbacha w Nashville – w Easy Eye Sound Studio. Następnie, do 2026 roku wydali następujące płyty: Turn Blue (2014) (2019), (2021) i (2022).