Il castello di Grottazzolina, fondato sopra una sporgenza rocciosa di piccole dimensioni, non ha mai potuto godere di spazio per espandere il suo abitato. La struttura fortificata manterrà molto probabilmente le stesse dimensioni durante l'arco dei secoli ma nonostante ciò sarà sempre un importante centro strategico per la città di Fermo.
L'erezione delle difese è da ricondurre all'epoca dei monaci farfensi che daranno vita al primo insediamento grottese, sicuramente saranno state ristrutturate a partire dal XII secolo, quando passeranno in mano al capitolo dei Canonici della Cattedrale mentre nel XIII secolo, il castello sarà feudo degli Estensi, divenuti signori della Marca, per poi tornare stabilmente nei castelli fermani. Le mura saranno messe alla prova durante la signoria di Ludovico Migliorati che porterà la guerra in questi territori, il castello infatti viene preso e distrutto nel 1407 dai soldati del Vescovo Benedetto da Montefeltro, inviato dal papa a scacciare il tiranno. Ripreso dal Migliorati, lo fa ricostruire nel 1409 ma i cantieri saranno fermati nel 1413 dall'invasione delle truppe del Malatesta, le fortificazioni saranno terminate solo nel 1417 e vengono aggiornate anche nel 1502 con Oliverotto Euffreducci che farà di Grottazzolina una delle sue piazzeforti militari, dotandola anche di una fonderia di cannoni.
Nel secolo successivo le mura saranno dismesse e inglobate negli edifici che vi venivano costruiti sopra, tra questi la seicentesca chiesa di Santa Monica. Si manterranno in buono stato fino al settecento quando uno scritto dell'epoca parla di tre torrioni e della nuova porta eretta ad Ovest mentre quella medievale si trovava sulla rampa castellana ad Est ed era munita di ponte levatoio. Nel 1782 alcune infiltrazioni fanno crollare una parte della cinta a Nord, danneggiando anche le abitazioni che vi erano state edificate, col XIX secolo si quindi si assistono ad alcune ristrutturazioni come quella del 1890 e gli interventi continueranno anche nel XX secolo.
Il circuito delle mura è ancora parzialmente visibile, poggia ancora su un'alta scarpa ed assume un percorso ellissoidale, con la rocca trasformata oggi nei palazzi Azzolino e Alici, a chiudere tutto il lato che da verso occidente, vi era un unico ingresso del quale oggi rimane solo la stretta rampa che lo raggiungeva. La breve salita arranca sull'angolo Sud-Est della cinta ed era difesa da una torre che ne guardava l'imbocco della quale oggi sono visibili alcuni resti inglobati in un'abitazione, da qui girando intorno alle mura ci si trova in piazza Umberto I dove si trova la chiesa di San Giovanni Battista. Qui le difese sono state modellate a forma di sperone e sopravvive la base di una torretta, l'area opposta all'ingresso purtroppo è crollata ed è stata sostituita da edifici di epoca successiva. Le muraglie riprendono a nord con la loro alta scarpata dove diversi ambienti sono stati ricavati dalle grotte scavate alla sua base, nei pressi della chiesetta di Santa Monica iniziavano i bastioni a difesa della rocca scomparsa, ad Est è interessante è il basamento scarpato trasformato in terrazza, dove spunta una torretta circolare di più recente costruzione. Il lato meridionale è meno leggibile ma rimane un'edificio forse costruito sui resti di un torrione angolare, un'ampio slargo rende visibile una ricostruzione recente delle muraglie che riprendono ad essere antiche in prossimità della porta con il bastione di difesa dell'ingresso,