Według Jana Długosza Włostowic miał być też fundatorem kościoła parafialnego w Kazimierzu Biskupim – miejscowości będącej ważnym miejscem kultu Pięciu Braci Męczenników. Według innej hipotezy fundatorem świątyni miał być Piotr Wszeborowic StaryPraca zbiorowa pod redakcją Zbigniewa Chodyły, Dzieje Kazimierza Biskupiego, wyd. 2, Konin: Wydawnictwo „Aspeks”, 2001, .
Po śmierci Krzywoustego Po śmierci Krzywoustego w 1138 księciem zwierzchnim – seniorem został książę Władysław II Wygnaniec, najstarszy syn z pierwszego małżeństwa, Piotr Włostowic natomiast – powiernikiem i wykonawcą ostatniej woli Bolesława. Kraj miał być podzielony na dzielnice, oddane w dożywotni zarząd synom Krzywoustego. Ponownie został także palatynem na dworze książęcym. Znaczenie palatyna wzmacniało także dodatkowo prawo mianowania urzędników terytorialnych w całej Polsce, również w dzielnicach juniorów, co czyniło go osobą, od której decyzji zależą losy państwa.
Żona Władysława wymuszała na swoim mężu, aby zmienił wolę swojego ojca i przejął cały kraj pod swoją bezpośrednią władzę. Piotr wiedział, że taki manewr może zakończyć się wojną domową, dlatego też odradzał księciu takie posunięcie. Przy nieporozumieniu i zawiści żony Władysława – Agnieszki – Piotr miał popaść w książęcą niełaskę.