Umarł w klasztorze w Lubiniu dnia 6 lipca 1834, w siedemdziesiątym roku życia, “z sercem skrwawionym na widok opustoszenia miejsca świętego”, skazanego przez zaborcę na wymarcie. Zostawił po sobie opinię człowieka, który był “zawsze szczery w przyjacielskiem oświadczeniu, przykładny w obyczajnej ludzkości, wierny i pilny w swych obowiązkach [i] udzielał się ubóstwu”Życie i Myśl. Miesięcznik, t. 35, Poznań 1986 r. s. 142. Został pochowany w Lubiniu w grobie zakonnym. Był ostatnim opatem lubińskim.Poświęcone sprawom religijnym „Archiwum Teologiczne" zamieściło następujące wspomnienie pośmiertne o Bedzie Ostaszewskim: Roku 1834. dnia 8. m. Lipca dokonał biegu życia w Lubiniu w dekanacie Szremskim, X. Beda Ostaszewski, Opat ostatni benedyktyńskiego klasztoru i Proboszcz kościoła parafialnego tamże. Mąż ten urodzony r. 1763 w województwie płockim, i w szkołach w Pułtusku w naukach pierwiastkowych wykształcony, oddał pierwszy w Pułtusku swe śluby Bogu r. 1783, dokąd Benedyktyni z Płocka, pierwiastkowej swej siedziby, przeniesieni i w kollegium tamecznem pojezuickiem osadzeni, szkoły publiczne poczęli utrzymywać.