Façades et élévations extérieures du Palazzo Baronale (palais baronnial), édifié aux XIVe et XVe siècles par la famille Caetani et achevé dans sa forme actuelle au cours du XVIIe siècle, lorsque le bourg fut repeuplé après une période de déclin. Le bâtiment, qui abrite aujourd'hui la mairie de San Felice Circeo, se dresse à côté de la Torre dei Templari, sur la centrale Piazza Vittorio Veneto (autrefois Piazza Lanzuisi). Malgré les remaniements successifs, il conserve des traces de ses origines médiévales, dont l'ancienne porte en arc destinée au passage des charrettes, ouverte au début du XVIIIe siècle à l'initiative du pape Clément XI.
Le Palazzo Baronale s'élève dans la partie nord-ouest de l'ancienne cité fortifiée de San Felice Circeo. L'imposant édifice, dont le noyau d'origine remonte au XVIe siècle, s'ouvre sur une vaste cour, accessible par trois entrées surmontées d'arcs en plein cintre. Si l'entrée est aujourd'hui toujours ouverte aux visiteurs, elle était autrefois strictement réglementée.
Au centre de la cour se dresse un caroubier, qui a remplacé un vieux palmier victime du « charançon rouge » (un coléoptère très agressif) ; sur les côtés poussent en outre deux grandes touffes de palmiers nains.
En choisissant d'entrer par l'arc qui donne sur la place principale du village, on pénètre dans la cour du palais baronnial. Après avoir dépassé la caserne locale des Carabinieri, on se retrouve face au grand portail d'entrée, flanqué de la loge du gardien municipal. Sur la façade du palais, on peut admirer un cadran solaire récemment restauré, qui servait jadis à régler avec précision l'horloge communale. Au-dessus de la porte principale figurent les armoiries de la commune : un livre ouvert, traversé en diagonale par une baguette et entouré de feuilles de laurier et de chêne, couvert de caractères grecs incompréhensibles et surmonté d'une couronne évoquant un château fortifié.
En continuant vers la gauche, on trouve l'ancienne entrée carrossable, créée au XVIe siècle lors des transformations apportées à l'édifice par Monseigneur Collicola, à l'époque où la famille Ruspoli régnait sur les lieux. Sur l'un des murs, on distingue nettement les vestiges d'un linteau muré : il s'agit de l'encadrement en moellons calcaires, dernier reste visible d'une ancienne église construite au milieu du XVIIe siècle par la famille Caetani pour accueillir une petite communauté de frères « Bernardoni ». L'inscription apparente « 1647: Divo Felici Dicatum » présente un intérêt tout particulier : c'est la première trace de la dédicace d'un édifice à saint Félix, aujourd'hui patron du village. On peut également admirer, dans une section ménagée dans le dallage actuel, l'ancien plancher, conservé au fil du temps.
Juste à côté se trouve une autre entrée, à laquelle on accède par un escalier raide ; elle était autrefois très fréquentée par les femmes de San Felice, car le lavoir public s'y trouvait. Sur le côté ouest, près de l'imposante tour des Templiers, un portail en arc brisé abrite la « Porta del Parco » ainsi qu'un escalier menant à une charmante terrasse qui surplombe les toits du centre historique, avec une vue qui s'étend jusqu'à la mer. Cette aile du bâtiment est la plus récente : elle fut en effet aménagée après les modifications apportées, à la demande du prince Poniatowski, aux anciens bastions qui fortifiaient la place. D'abord utilisée comme écurie, elle fut ensuite transformée en théâtre municipal et accueille aujourd'hui le cinéma « Anna Magnani ».
La configuration actuelle du palais est le fruit des modifications et des restaurations qui se sont succédé au fil des siècles.
Le dernier étage du palais aurait été conçu par l'architecte Valadier, comme en témoigne la correspondance du prince Poniatowsky.