Z
amek powstał z inicjatywy Kazimierza Wielkiego w latach 40-tych XIV wieku. Był on jednym z elementów pasa warowni, które miały okalać państwo polskie i strzec je przed najazdami. Wybudowany został w stylu ogrodzieńca. Wysoki mur zewnętrzny otaczał dziedziniec na którym w razie zagrożenia miejscowa ludność mogła szukać schronienia. Na dziedzińcu znajdowała się studnia, o głębokości, według legendy, 300 łokci. Jak chce podanie z zamku kazimierskiego prowadził tajemny tunel, którym nocami król Kazimierz wędrował do pobliskiego zameczku w Bochotnicy, gdzie miała mieszkać piękna Żydówka Esterka. W XV wieku zamek należał do rodu Ostrowskich, którzy dzierżawili wójtowstwo kazimierskie, następnie przeszedł w ręce rodu Samborzeckich. W wieku XVI dostał się we władanie wojewody lubelskiego Mikoaja Kurozwęckiego, by wreszcie dostać się w posiadanie moznego rodu Firlejów. Od połowy XVII wieku do końca XVIII wieku panami zamku byli kolejno Radziwiłłowie, Lubomirscy i Sanguszkowie. Pod koniec XVI wieku zamek zyskał renesansowe zdobienia, autorstwa prawdopodobnie mistrza włoskiego pochodzenia Santi Gucciego, który pracował w tym czasie w sąsiednim Janowcu. Niestety, od czasu potopu szwedzkiego zamek popada w postępującą ruinę. Przebywali na nim Karol Gustaw w 1655 roku, zaś w czasie wojny północnej Piotr I oraz Karol XII. Po pierwszym rozbiorze na zamku pojawili sie konfederaci barscy. Proces niszczenia przyśpieszyli Austriacy, w których zaborze znalazł się Kazimierz. Wysadzili oni najbardziej zniszczone części zamku. W czasie powtania listopadowego w ruinach zamku broniła się grupa powstańców osłaniająca przeprawę grupy gen. J. Sierawskiego.