Iniziato nei primi anni del XIV secolo, fu la grande dimora di Manfredi Chiaramonte, conte dell'immenso e potente feudo di Modica (detto ´ Regnum in Regno´ per i suoi privilegi), alla cui committenza si deve il soffitto della Sala Magna. Dagli inizi del XV secolo al 1517 fu residenza dei Viceré spagnoli, poi sede della Regia Dogana e, dal 1600 al 1782, ospitó il tribunale dell'Inquisizione. Restaurato negli anni cinquanta dall'architetto Carlo Scarpa e da altri architetti palermitani, é oggi sede del Rettorato dell'Universitá di Palermo. Il restauro novecentesco fu assai contestato. Il primo responsabile dei lavori, l'architetto Giuseppe Spatrisano, lasció l'incarico in polemica con altri professionisti palermitani, per la loro decisione di eliminare alcuni tra i segni fondamentali della storia del Palazzo, come la Scala dei Baroni, l'antico orologio, la piattaforma dei condannati, le gabbie interne, e tutto ció che in qualche potesse ricordare i suoi orribili trascorsi, legati all'Inquisizione. Di pianta quadrata e massiccia volumetria, il palazzo segna il passaggio fra il castello medievale e il palazzo patrizio. La rigorosa cortina muraria esterna é impreziosita da bifore e trifore con tarsie in pietra lavica. Studiosi, durante gli attuali restauri, hanno individuato anche un passaggio segreto che dalle celle conduceva direttamente alla Stanza dell'Inquisitore. Un'altra scoperta significativa riguarda l'esistenza di un edificio monumentale sotterraneo di sette metri di lunghezza con una imponente copertura con volte a crociera, marcate da massicce costolature. L'edificazione di questa struttura si pone nel primo quarto del XIV secolo e all'interno sono stati recuperati reperti e graffiti addirittura precedenti di tre secoli. Durante il restauro della facciata inoltre sono venuti alla luce i solchi lasciati dalle pesanti gabbie appese dove vennero esposte le teste dei baroni che si ribellarono a re Carlo V.