Sede dei feudatari di Galatone già dal XVI secolo il palazzo è stato oggetto di continui cambiamenti nel corso dei secoli. L'adiacente torre quadrata di epoca più remota ha assolto al compito di difesa e di repressione. Il 1743 a causa del terremoto la parte nord del palazzo è crollata. Del suo splendore resta il portale e le eleganti finestre decorate con motivi floreali e mascheroni che guardano verso la piazza SS. Crocifisso e su via castello. La lesena angolare della facciata superstite ospita i blasoni delle famiglie feudatarie che si sono succedute: Squarciafico, Pinelli, Pignatelli, Grillo.