Decyzja o tym, czy dany rodzaj informacji występującej w obrazie jest istotny czy nieistotny, powinna być podejmowana z uwzględnieniem potrzeb wynikających z dalszego wykorzystania wyników segmentacji. Uproszczony w wyniku przeprowadzenia segmentacji obraz jest znacznie łatwiejszy do dalszego przetwarzania lub analizy, dlatego też segmentacja zwykle poprzedza zastosowanie wielu algorytmów rozpoznawania i analizy obrazów. Należy zwrócić uwagę na fakt, że wybór określonej metody segmentacji powinien być uzależniony od celu, w jakim jest ona prowadzona. Niewłaściwe przeprowadzona segmentacja praktycznie uniemożliwia prawidłowe przeprowadzenie dalszych etapów analizy obrazów, a tym samym może prowadzić do podejmowania błędnych decyzji na podstawie analizowanych obrazów.
Przykład Niech celem stosowania analizy obrazów będzie policzenie liczby jabłek widocznych na obrazie. Prawidłowo przeprowadzona na potrzeby tego zadania analizy segmentacja obrazów powinna doprowadzić do tego, że obraz po segmentacji zawierać będzie tylko obszary prezentujące poszczególne jabłka oraz tło, nie powinny zostać wyróżnione obszary reprezentujące odblaski światła na jabłkach oraz cienie rzucane przez poszczególne owoce.