Nie ma w pełni wiarygodnych przekazów odnośnie do tego kiedy i w jaki sposób powstał shinai taki, z jakim mamy do czynienia we współczesnym kendo. Niektórzy uważają, że niejaki Kamiizumi Musahionkami Nobutsuna, założyciel Shinkage-ryū był pierwszą osobą, która używała shinai do ćwiczeń szermierczych. Popularyzację shinai jako broni ćwiczebnej przypisuje się jednak innemu mistrzowi szermierki, Chuta Nakanishi, założycielowi Nakanishi-Ittō-ryū, który ponadto wprowadził protektor, stworzył zalążki przepisów walki sportowej oraz był ponoć twórcą samej nazwy kendo.
Oryginalną formę shinai stanowił rozszczepiony bambus, cały w pochewce z tkaniny lub skóry. Shinai taki był nazywany fukuro-shinai. Obecnie skórzana pochewka (tsukagawa) przykrywa zaledwie ok. ¼ długości shinai (jego rękojeść - tsuka). W konstrukcji współczesnego shinai występują również inne drobne elementy skórzane: nasadka sakigawa zamocowana na sztychu miecza oraz nakayui, czyli wąska taśma skórzana, opasująca listewki na ¼ ich długości licząc od sztychu (kissaki).