Początki wsi datuje się na przełom XIII i XIV w. W XV w. osiadło tu kilka rodzin z Moraw. Samodzielną parafię utworzono w roku 1472. W pierwszej połowie XVI w. zbudowany został w Rychwałdzie drewniany kościół, który obecnie stoi w niedalekich Gilowicach. Obiekt ten ufundowany został przez Krzysztofa Komorowskiego, właściciela państwa żywieckiego, konsekrowany zaś przez biskupa krakowskiego Erazma Ciołka.
W czasach, gdy w Rychwałdzie stała owa drewniana budowla, w 1644 r. Katarzyna z Komorowskich Grudzińska, ówczesna właścicielka tych ziem, podarowała parafii obraz Matki Bożej pochodzący ze Środy Wielkopolskiej. Obraz zyskał wkrótce sławę cudownego, a kult maryjny szerzył się bardzo szybko. Piotr Samuel Grudziński, maż Katarzyny, wdzięczny Matce Bożej za uzdrowienie, ufundował w 1659 r. w kościele ołtarz pod cudowny wizerunek. Już wtedy obraz Matki Bożej Rychwałdzkiej oficjalnie uznany został przez władze kościelne za słynący łaskami. Rzesze przybywających do Rychwałdu pielgrzymów sprawiły, że w połowie XVIII w. wybudowano nową świątynię. Kamień węgielny poświęcono już w roku 1732, jednak prace ruszyły dopiero 10 lat później (z powodu śmierci dziedzica państwa ślemieńskiego, Franciszka Wielopolskiego, inicjatora budowy). W dużym stopniu finansowane były przez Hieronima Wielkopolskiego, ówczesnego właściciela tych ziem. Konsekrowany w 1756 r. barokowy kościół pw. św. Mikołaja pomieścił w sobie okazały ołtarz główny, w którym ulokowano obraz Matki Bożej Rychwałdzkiej. Rok później starą, drewnianą świątynię przeniesiono do Gilowic.
Kościół św. Mikołaja w Rychwałdzie, zwracający uwagę swoimi masywnymi wieżami, stanowi trzynawową budowlę z półkoliście zakończonym prezbiterium. W pełnym przepychu wnętrzu wzrok przykuwa przede wszystkim ołtarz główny w stylu rejencji, stanowiącym formę przejściową między barokowym a rokokowym. Ołtarz jest dziełem Szymona Gogolczyka z Frydka. Sam obraz Matki Bożej namalowany został na lipowej desce. Dzieło to, pochodzące najprawdopodobniej z XV wieku, wykonane zostało według reguł końcowego okresu sztuki bizantyjskiej. Pełna majestatu Najświętsza Maria Panna, trzymająca w lewym ręku Dzieciątko, zwrócona jest do widza twarzą o łagodnym i pełnym miłosierdzia spojrzeniu. Obraz był dwukrotnie koronowany, w tym koronami papieskimi przez prymasa Stefana Wyszyńskiego w 1965 r. oraz przez biskupa krakowskiego Karola Wojtyłę. Obecnie opiekę nad sanktuarium sprawują franciszkanie.
W pobliżu kościoła stoi drewniana kaplica Serca Pana Jezusa
