V čase výstavby Oravského a Bytčianskeho zámku pravdepodobne Juraj Abaffy (syn Jána) využil túto situáciu a dal si postaviť na dolnom konci obce renesančný kaštieľ, ktorý bol na svoju dobu moderným a krásnym sídlom. Predpokladá sa, že kaštieľ bol dokončený na začiatku 90-tych rokov 16. storočia.
Postavenie Juraja Abaffyho bolo veľmi silné nielen hospodársky ale aj ideologicky. Nad obcou, pravdepodobne na kultovom návrší, vybudoval kostolík, ktorý slúžil skôr ako súkromná kaplnka pre príslušníkov zemianskeho rodu Abaffyovcov. Pôvodne stavbu obkolesovali kamenné hradby, z ktorých zostala iba vstupná murovaná brána. Pôvodne to bol evanjelický kostol. Po opravách v roku 1688 bol už kostolík katolícky a zasvätený najsv. Trojici.
Druhý kaštieľ bol postavený na dnešnom hornom konci v druhej polovici 18. storočia. Neskôr bol síce prestavaný, ale niektoré detaily pripomínajú jednoduchú barokovú architektúru. V 19. storočí pristavili ku kaštieľu klasicistickú hospodársku budovu.