Błąd klasyfikacji Zadaniem twórcy systemu rozpoznawania obrazu jest skonstruowanie takiego algorytmu, który będzie minimalizował błąd klasyfikacji obiektu prezentowanego na obrazie, bądź całego obrazu. Zadanie to nie należy do trywialnych, dlatego zakłada się minimalizację błędu klasyfikacji, a nie całkowite jego wyeliminowanie. W prawdziwym świecie, świecie nie cyfrowym, brakuje odpowiedniej wiedzy o rozkładzie prawdopodobieństwa cech i klas, i jedynie cząstkowe informacje są dostępne, w związku z tym nie sposób jest całkowicie uniknąć błędu, np. człowiek widząc rąbek ubrania jest w stanie rozpoznać co to za ubranie natomiast urządzenie cyfrowe miałoby z tym kłopot.
Ograniczenia narzucane systemowi Często aby usprawnić oraz uprościć działanie systemu rozpoznawania obrazów wprowadza się pewne ograniczenia: pytania zadawane systemowi sprowadzają się do zapytań jaki obiekt najprawdopodobniej występuje na obrazie (co najprawdopodobniej przedstawia obraz/scena), a odpowiedzią jest nazwa klasy, która w drodze ewaluacji dostała najwyższą notę prawdopodobieństwa; dane opisujące obiekt przeznaczony do rozpoznania ograniczone są do skończonego zbioru cech.