Inicjatorami powstania stowarzyszenia byli pracownicy Wydziału Społeczno-Administracyjnego Prezydium Miejskiej Rady Narodowej, którzy przy wsparciu innych organów zainteresowali się losem rodzin romskich z Wałbrzycha i terenów przyległych. Ludzie ci opracowali również statut organizacji. Do współpracy pozyskano grupę Romów z Sanocka Roma i Bergitka Roma, której przewodziła rodzina Siwaków z Andrzejem Siwakiem na czele. Był on założycielem oraz pierwszym przewodniczącym stowarzyszenia.
Celem działania Komitetu było wychowywanie ludności romskiej w Wałbrzychu w duchu socjalistycznym oraz dbanie, aby nie działa im się krzywda. Pierwsze pozytywne skutki działalności dostrzeżono po pół roku funkcjonowania organizacji. Objawiało się to m.in. zainteresowaniem Romów życiem społecznym miasta, np. wstępowaniem do Związku Młodzieży Polskiej czy Ligi Kobiet, jak również do PZPR. Osiedlono też kilkanaście rodzin w Wałbrzychu, Świebodzicach, Ząbkowicach Śląskich oraz Nowej Hucie. Organizowano pomoc socjalną i zabawy (zysk skierowano na cele administracyjne). Promowano również edukację. Dzieci romskie od września 1951 zaczęły uczęszczać do szkoły. 1 kwietnia 1952, decyzją PWRN we Wrocławiu Komitet rozwiązano i powołano Wojewódzki Zarząd Stowarzyszenia Cyganów Osiadłych w Wałbrzychu. Jego statut zatwierdzono w Warszawie.