Pierwsi ludzie pojawili się na terenie Kotliny Żywieckiej już w czasach prehistorycznych. Trwałe osadnictwo to czasy średniowiecza, kiedy ta część Beskidów należała do piastowskich książąt - wpierw cieszyńskich, a później oświęcimskich.
Niestety, nie zachował się akt lokacyjny Żywca. Dlatego istnieje wiele domysłów, związanych szczególnie z datą powstania miasta. Pierwotnie osada o nazwie Żywiec leżała 2 km na północ od zbiegu Soły i Koszarawy, a jej początki datuje się na drugą połowę XIII wieku. Być może już wówczas otrzymała prawa miejskie z rąk księcia cieszyńskiego Mieszka. Źródła historyczne wspominają o miasteczku na początku XIV wieku. Był to tzw. Stary Żywiec, z biegiem wieków przekształcony w wioskę, która została zalana wodami Jeziora Żywieckiego w latach 60. ubiegłego stulecia.
Na nowe miejsce, przy ujściu Koszarawy do Soły, żywieccy mieszczanie przenieśli się w pierwszych dziesięcioleciach XV wieku. Miasto ukształtowano według średniowiecznych prawideł: w centrum znalazł się kwadratowy rynek, z którego rogów wychodzą ulice tworzące regularną szachownicę. Miejsce na farę wygospodarowano na południe od rynku. Nieopodal, na wschód od miasta, wyrósł też zamek właścicieli całej Żywiecczyzny - Komorowskich.
Do połowy XIX wieku wokół żywieckiego Rynku dominowała zabudowa drewniana. Została ona - kamienice i ratusz - strawiona przez katastrofalny pożar w 1857 roku. Śródmieście odbudowano już murowane. Dla ochrony przed pożarem, na środku Rynku ustawiono figurę św. Floriana. W 1868 roku na wschodniej pierzei wybudowano efektowny urząd miasta w stylu nawiązującym do budownictwa synagogalnego. Na płycie Rynku warto też odszukać tablicę poświęconą mieszkańcom żywiecczyzny, którzy zdecydowali się wstąpić do Legionów Piłsudskiego.
Niedaleko Rynku odnajdziemy najpiękniejszy zabytek Żywca – konkatedrę Narodzenia Najświętszej Marii Panny, z piękną wieżą ozdobioną renesansową loggią. Przy kościele stoi kamienna dzwonnica z lat 20. XVIII wieku, przed którą postawiono pomnik Jana Pawła II.
Przy ul. Kościuszki warto zobaczyć prawdopodobnie najstarszą żywiecką kamienicę, tzw. Siejbę, która powstała z połączenia trzech domów z XVIII wieku.
