Istnieje duża trudność w tłumaczeniu za pomocą SJM związków frazeologicznych (np. pójść na rękę, rozwinąć skrzydła, o co chodzi?). Błędem wielu użytkowników SJM jest rozbijanie polskich frazeologizmów na składniki i miganie każdego z nich oddzielnie (np. pójść na rękę miga się jako serię znaków IŚĆ NA RĘKA-Ę, rozwinąć skrzydła – ROZWIJAĆ SKRZYDŁO-A). Takie zastosowanie SJM czyni zbudowaną w nim wypowiedź całkowicie niezrozumiałą, a nawet bezsensowną dla użytkowników polskiego języka migowego. Błędnym zastosowaniem SJM jest rozbijanie derywatów słowotwórczych (np. przedłożyć jako PRZED POŁOŻYĆ). Błąd ten jest tak często popełniany, iż znalazł się nawet w słownikach i podręcznikach SJM (np. napisać przekazywane jako NA i PISAĆ).
Błędne zastosowania SJM przyczyniły się do powstania na jego temat całego szeregu mitów. Jeden z nich głosi, iż w SJM słowa, które w polszczyźnie pisanej są homonimami (homografami), w SJM ujednolica się – to znaczy kilka znaczeń przekazuje się za pomocą tego samego znaku wizualnego (np. podanie w piłce nożnej i podanie dokument, koło jako rzeczownik i jako przyimek). Takie zastosowania SJM są wynikiem słabej znajomości jego zasad i przyczyniają się do niechęci, jaką część naturalnych użytkowników PJM żywi wobec systemu językowo-migowego.