Il castello di Montegiberto possedeva una sua cinta muraria che la forniva di ottima difesa.
Quella che oggi si vede circondare il centro storico è l'ultima edizione delle difese si sono avvicendate che nel corso della storia del paese. Eretta con le forme attuali, molto probabilmente per volontà del comitato fermano a partire dal XIV secolo, con vistosi aggiornamenti anche nel secolo successivo. Infatti viene danneggiata nel 1407, durante la signoria di Ludovico Migliorati, viene assediata dalle truppe pontificie guidate dal Vescovo di Montefeltro con i da Varano, Braccio da Montone e Chiavello Chiavelli. Viene menzionata le 1450 la presenza della Porta da Bora, nei pressi dell'attuale salita al castello, demolita nel XIX secolo, se ne conserveranno le imposte fino al secondo dopoguerra.
Nel corso del cinquecento inizia a perdere le sue funzioni difensive, nel 1590 si richiede a Fermo di non ricostruire due torrioni crollati, sostituendoli con delle semplici muraglioni, risparmiando così le magre risorse castellane. Tra XVII e XVIII secolo le difese erano ormai state riutilizzate per erigere nuove abitazioni, le nuove esigenze sopravvenute verso la fine del XIX secolo daranno inizio alla distruzione di ciò che rimaneva delle mura. Si ricorda ancora nel 1936, in un elenco di edifici monumentali, la presenza dei resti delle porte e di un totale di quattro torrioni, nel 1946 dell'esistenza delle ante in legno che si chiudevano su Porta da Sole.
Nel 1953 la piovosità eccezionale da il via ad una serie di frane causeranno dei crolli lungo il perimetro a Nord Est dell'incasato, causando danni anche alla parrocchiale di San Nicolò, l'ultimo dei restauri è avvenuto sul finire del secolo, interessando la torretta pentagonale a Nord.
Attualmente solo pochi tratti originali rimangono ancora in piedi, si può quindi iniziare a visitarli partendo dalla scomparsa Porta da Bora, dove ancora si trova la stretta rampa per entrare nel centro, col nome del paese dipinto sulla casa all'ingresso. Qui si può notare la già menzionata torretta pentagonale trasformata in abitazione, mantiene ancora alcuni aspetti militari come il basamento angolato ed i beccatelli, disposti lungo la parte sommitale. Diverse finestre sono state aperte al posto delle feritoie e la piattaforma superiore, un tempo protetta dalle merlature, oggi risulta eliminata e trasformata in tetto. Anche le porzioni di mura addossate alla torre mostrano ancora le tracce del basamento scarpato, proseguendo verso ovest oltre la rampa, si perdono le tracce delle muraglie, sostituite da abitazioni fino al punto di ingresso in paese della strada asfaltata. Si scorge ancora il perimetro murario nel settore meridionale nonostante le manomissioni, probabilmente i giardini ai piedi della fila compatta di case sono ciò che resta dei basamenti, proseguendo si arriva fino all'altra porta scomparsa, detta "Da Sole". Anche qui rimangono solo le memorie di un arco a sesto acuto che si apriva sulla cima della rampa, protetta dall'altra torretta superstite.
Protetta anch'essa da un'alta scarpatura alla base, si differenzia dall'altra per essere a pianta quadrata e per avere ancora la piattaforma superiore, ma frutto di un recente e discutibile restauro, con piccoli merli alla ghibellina sorretti da un'accenno di beccatelli. Si continua dopo la torretta, arrivando fino alla zona orientale del paese, dominata dalla chiesa di San Nicolò col Palazzo Comunale e dal sottostante parco; fino alla chiesa sono ancora visibili i basamenti delle mura sotto alle abitazioni. Nei pressi della parrocchiale e per buona parte del settore a Nord-Est invece non sono più leggibili, dato che la zona è stata ripristinata a seguito di frane e smottamenti, se ne vede qualche traccia nei pressi della passerella che sale dal parco fino alle terrazza panoramica ed alla piazza principale.
Dopo la terrazza comincia un lungo muro rettilineo leggermente scarpato, che torna ad inserirsi sulla torretta pentagonale concludendo il giro.