Due fasi sono ben distinte e leggibili nel tessuto urbano di Monte Rinaldo: la prima è relativa alla cinta muraria del primitivo castello duecentesco, che aveva forma quadrangolare e comprendeva la parte ovest dell'abitato, dalla muraglia nei pressi di Porta Romana fino a piazza Umberto I, dove ora sorge la torre civica. Durante il XIV secolo, martoriato da continue guerre, le popolazioni dei castelli circostanti decisero di rifugiarsi nel capoluogo, eretto in una delle posizioni più elevate e meglio difendibili del territorio, insediandosi ai piedi delle mura castellane. In particolare, in seguito alla distruzione di Bucchiano, nel 1378, Monte Rinaldo accolse gli sfollati del castello scomparso. Per proteggere i nuovi cittadini si rese così necessaria un'espansione delle mura verso oriente, fino a quasi ad arrivare all'antica chiesa di San Flaviano, oggi Santissimo Crocifisso, unico edificio sacro del castello; venne realizzata anche una nuova porta, l'odierna Porta Vittorio Emanuele II. Verso la fine del XVI secolo le fortificazioni monterinaldesi erano ridotte ad uno stato pessimo ed il torrione minacciava di crollare sulle abitazioni; fu così che si decise di abbatterlo e di riutilizzare i materiali per il restauro della precaria cinta muraria che ormai andava perdendo ogni funzione difensiva, inglobata tra le abitazioni del borgo. Dei resti del tracciato murario spuntano con irregolarità tra una casa e l'altra, anche se il perimetro difensivo risulta ancora leggibile dalla mappa, di forma vagamente triangolare. Porta Romana si apre su un lungo tratto rettilineo delle mura, difeso probabilmente da due torri poste agli angoli; oltrepassato l'edificio ottocentesco all'angolo sud-ovest, le mura proseguivano fino alla parrocchiale dei Santi Leonardo e Flaviano e all'adiacente Porta Vittorio Emanuele II. Riscendendo fino al palazzo comunale si possono notare tracce delle difese, soprattutto in prossimità della mole di Palazzo Giustiniani, che alla base conserva ancora la scarpatura delle mura; anche nell'angolo est probabilmente esisteva una torre angolare che è andata perduta nel corso dei secoli. La cortina murata a nord invece si presenta piuttosto malmessa, incominciando con la via di accesso al paese, costeggiata da abitazioni di recente fattura; il resto del circuito è nascosto nei giardini che si elevano tra la strada e le case del centro storico.