Il palazzo sorge nella più antica piazza della città. Esso, isolato sul lato est, presenta un piano nobile e l'avancorpo centrale (due colonne a sostenere il balcone e lo stemma della famiglia) ed è in posizione tale da non potersi confondere con le propaggini edilizie della borghesia sei-settecentesca, che si affacciano a sud e ad ovest sulla piazza. La piazza, che sembra servire il palazzo del Marchese Palmieri, appartiene storicamente all'antica chiesa romanica di S. Pietro (sec. IV).

Nel 1585 alcuni fedeli acquistarono alcune case nel vecchio abitato e trasformarono il tutto in una istituzione denominata "Conservatorio della Casa Santa" e fu imposta sotto il vescovado di Antonio Porzio, nel secolo XVII, una completa clausura con concessione dell'uso dell'abito regolare della Beata Vergine della Presentazione a tutte le povere fanciulle orfane che avessero manifestato la volontà di farsi religiose.