Zabrakło benedyktynów na Świętym Krzyżu, relikwie usunięto do Słupi Nowej, lud jednak nadal pielgrzymował do klasztoru łysogórskiego. Biskup san¬domierski w 1821 roku skorzystał z dymisji ministra Potockiego, głównego spraw¬cy kasaty i wyjednał u władz świeckich pozwolenie na przeniesienie relikwii Krzyża Świętego do klasztoru na Łysej Górze, a także na zamieszkanie trzech benedyktynów w budynkach dawnego opactwa, aby nieśli posługę duchową piel¬grzymom. Dziekan opatowski, ks. Molętowski, 4 maja 1821 roku wprowadził na Święty Krzyż benedyktynów: Hilarego Kasperowicza, Eligiusza Słabowskiego, Hieronima Wilczyńskiego. Zakonnicy zmieniali się. W lipcu 1822 roku na miejscu Kasperowicza spotykamy już ks. Dudzińskiego. Ks. Burzyński biskup sandomierski ułożył im regulamin, wg którego mieli żyć oraz mianował ks. Słabowskiego przełożonym. Podstawę utrzymania stanowiła pensja wypłacana zakonnikom przez władze świeckie. Trzydzieści pięć lat opiekowali się kościołem ci benedyk¬tyni świętokrzyscy, bo nie wolno było przyjmować nowych kandydatów na zakonników.

F. Sobieszczański zwiedzając Święty Krzyż w 1851 r. spotkał się z ostatnim zakonnikiem opactwa, ks. Tomaszem Dudzińskim. Zajmował on dawne mieszka¬nie opata. Cela była przyozdobiona kilkoma portretami tutejszych opatów. Cały budynek remontowano, przygotowując go na przyjście nowych mieszkańców - księży demerytów.

Po wymarciu zakonników świętokrzyskich opiekę nad kościołem sprawowali przez 17 lat benedyktyni sieciechowscy. Ostatni z nich O. Antoni Adam Staszewski zmarł śmiercią tragiczną w czasie odpustu 3 maja 1871 r. Grzał się przy kominku w swoim pokoju. Habit porwany silnym prądem powietrza w głąb pieca zapalił się na nim. Tegoż dnia umarł w ciężkich cierpieniach znoszonych z wielkim męstwem. Na własne życzenie pochowano go na cmentarzu parafialnym. Nie chciał, aby go po śmierci niepokoili i oglądali. Od 1871 roku opiekowali się Świętym Krzyżem księża diecezjalni. Nierestaurowane budynki coraz bardziej niszczały.