Barwałd znajdował się na pograniczu Królestwa Polskiego. W XV wieku w tych okolicach dość rozpowszechniona była działalność rycerzy-rozbójników, zwanych też raubritterami. Rozbój stał się jednym z głównych źródeł dochodu również dla Skrzyńskich. Wykorzystując położenie swoich własności, wraz z podległymi sobie rycerzami, Skrzyńscy napadali na kupców przejeżdżających przez Barwałd i dolinę Soły, organizowali napady na bardziej odległe od Barwałdu wsie, rabowali również kościoły. Katarzyna Skrzyńska zajmowała się rozbojem początkowo wspólnie z mężem, a po jego śmierci (ok. 1455) samodzielnie dowodziła oddziałem rozbójników. W 1451 r. król Kazimierz Jagiellończyk wysłał przeciwko Skrzyńskim podkomorzego krakowskiego Piotra Szafrańca (syna Piotra Szafrańca Młodszego, również rozbójnika), który bez skutku oblegał zamek w Barwałdzie.