Następne lata to okres spadków do klasy B oraz ponownych awansów do A klasy. W latach 60. ówczesny trener Edmund Świtka rozpoczyna zajęcia również z młodszymi rocznikami. W sezonie 1975/76 nowym trenerem zostaje Witold Dudzik, który wyprowadził drużynę seniorów na 4 miejsce w klasie okręgowej, natomiast juniorzy zajęli 1. miejsce w swojej klasie rozgrywkowej.
W roku 1976 nastąpiło połączenie Włodawianki z lokalnym rywalem TKKF „Garbovia”, w wyniku czego liczba drużyn biorących udział w rozgrywkach wzrosła do pięciu. Jednocześnie powstała szkółka piłkarska skupiająca ponad 60 chłopców.
W 1978 roku Włodawianka stanęła przed szansą awansu do III ligi, niestety dwumecz z Tomasovią zakończył się zwycięstwem drużyny z Tomaszowa Lubelskiego. Drużynę w tym czasie prowadzili Jerzy Stanke i Andrzej Łągwa. Na początku lat 80. drużyna z Włodawy przeżywa krótki regres zakończony w 1984 roku pierwszym zwycięstwem w Pucharze Polski na szczeblu okręgowym. W tym okresie prace szkoleniowe w klubie prowadzili: Witold Dudzik, Andrzej Wysokiński, Zdzisław Nowoświatłowski i Edmund Świtka.