Trzykrotnie próbowano ograniczyć kompetencje pełnomocnika. Po raz pierwszy odwołania minister Jarugi-Nowackiej domagało się Forum Kobiet Polskich (pod listem w jej obronie podpisało się około stu organizacji pozarządowych). Po raz drugi gdy z inicjatywą likwidacji stanowiska wystąpili posłowie Ligi Polskich Rodzin (17 kwietnia 2003) proponując powołanie na to miejsce Pełnomocnika Rządu do spraw Rodziny; Sejm odrzucił wniosek. Po raz trzeci z inicjatywą ograniczenia kompetencji pełnomocnika wystąpił 14 grudnia 2004 premier Marek Belka po wypowiedzi Magdaleny Środy dotyczącej związków katolicyzmu z przemocą domową; ustąpienia Środy domagało się m.in. Forum Kobiet Katolickich. Pełnomocnik miał zostać podsekretarzem stanu w Ministerstwie Polityki Społecznej. Minister Środa oceniła ten pomysł jako „cios w urząd i prawa kobiet” i zagroziła dymisją; premier ustąpił.
17 czerwca 2005 Sejm odrzucił senacki projekt ustawy o równym statusie kobiet i mężczyzn zakazujący wszelkiej dyskryminacji ze względu na płeć, rasę, pochodzenie etniczne, religię, przekonania, wiek, a także orientację seksualną.