Opierając się na tych sondażach, zespół konstrukcyjny IMI Ltd. przyjął założenia konstrukcyjne nowego karabinu. Do prac włączono też specjalistów z firmy Formtech, którzy mieli się zająć zewnętrzną formą nowego karabinu (celem było uzyskanie maksymalnie ergonomicznej konstrukcji). Na tym etapie prac podjęto decyzję, że nowa broń będzie zbudowana w układzie bullpup. Prace nad prototypem rozpoczęto w 1991 roku, ale były one utrzymywane w tajemnicy. Pomiędzy 1991 a 1993 rokiem wyprodukowano partię prototypową karabinów (95 sztuk). Zostały one przekazane do jednostek wojskowych w celu przetestowania. 10 sierpnia 1993 roku karabinek został po raz pierwszy zaprezentowany. Produkcję karabinka rozpoczęto ok. 2000 roku.
Od 2001 roku Tavor jest wprowadzany na uzbrojenie kolejnych jednostek Cahalu. W 2006 roku stał się podstawowym uzbrojeniem brygady Golani, w 2007 Giwati. Tavor był także eksportowany do kilkunastu krajów. Tajlandia zamówiła do 2009 roku ok. 45 000 karabinków TAR-21 (15 000 w 2007, 15037 we wrześniu 2008 i 13868 we wrześniu 2009). Armia Kolumbii zakupiła 30 000 tych karabinków. W mniejszych ilościach karabinki te używane są przez Indie (ok.