Po ucieczce do Francji ostatniego właściciela zamku Jana Michała Packa, zamek zaczął popadać w ruinę. Architektura niszczała z czasem z powodu warunków atmosferycznych, braku zamieszkania. Wiatr hulał we wnętrzach, ponieważ w środku stały opustoszałe jeszcze od szwedzkiego potopu, kiedy to rozgrabiony został doszczętnie. Kolejne wojny mu nie pomogły. Po dłuższym czasie, kiedy stał samotny i opuszczony, mimo, że dalej stanowił atrakcję- turyści odwiedzali go czasem, a nawet sam król August Poniatowski przejeżdżając postanowił zboczyć z drogi i obejrzeć potężny niegdyś pałac. Kolejna osoba, która nabył krakowski biskup Kajetan Sołtyk, który oddał go w spadku swojej rodzinie Stanisławowi Sołtykowi. Później przechodził z rąk do rąk, to jako prezent, to jako wiano. Aż w końcu trafił do bardzo zamożnej rodziny, która jednak niestety, nie chciała go remontować a traktowała go raczej jako możliwość pochwalenia się posiadanymi romantycznymi ruinami. W okresie ich władania tymi ziemiami było to bardzo modne.
