Elegante esempio di ingegneria militare basso-medievale costituito da due porte consecutive affiancate da una torre.
La porta si apre ad occidente, nella parte alta del castello.
Il primo arco, ornato con una ghiera in cotto, immette su un piccolo ambiente sbarrato dalla seconda porta di sapore gotico e più antica della prima, affiancata da una feritoia.
La torre è una struttura slanciata di pianta pentagonale, punto nevralgico della difesa cittadina, cinta di beccatelli ornati da un modesto fregio in cotto nella parte superiore. La base ha una leggera scarpatura nella quale si aprono le bombardiere. Tutte le merlature originali sono state demolite.
Il punto di forza della fortificazione era l'estremo dislivello della rampa d'accesso e la brusca svolta a sinistra che gira attorno alla torre rendendo difficile l'utilizzo delle macchine d'assedio e smorzando la furia delle cariche degli assedianti.
Prende il nome, secondo alcuni storici del passato, dal castello di Monte Patrizio, uno dei castelli che si fusero insieme per dare origine all'abitato di Montalto.
A destra della struttura antica, negli anni venti del XX secolo, è stato addossato il Collegio Sisto V, che ha alterato l'aspetto antico delle mura orientali.