Il piccolo castello fu teatro di aspre lotte in passato e quindi la cinta muraria, di piccole dimensioni e di forma quadrangolare, fu spesso restaurata.
La forma attuale dovrebbe risalire alla fine del '400 quando, a causa di grandi flussi migratori dai territori montani dello stato di Ascoli, si dovette espandere il perimetro difensivo.
Tra il XV e il XVI secolo il castello venne assediato e gravemente danneggiato diverse volte, prima durante le lotte interne tra guelfi e ghibellini, e poi col riaccendersi delle antiche rivalità tra Ascoli e Fermo.
Si dovrà attendere parecchio per il restauro delle difese a causa della non florida situazione economica del comune di Castorano. Fu solo nel 1536 che si stabilì la ricostruzione delle opere di difesa, consistenti nelle mura ed in tre torrioni di cui oggi rimane soltanto quello principale.
Di originale è rimasto solo qualche breve tratto nel settore nord, oltretutto utilizzato nelle abitazioni che mano a mano prendevano il posto delle difese.
Del piccolo tratto nei pressi della porta non resta quasi nulla e il resto delle opere murarie sono state ricostruite nel XX secolo durante lavori di consolidamento. Negli spazi ricavati abbattendo le case del lato ovest, sono state ricavate due piazze dalle quali è possibile godere del panorama sull'alta Valle del Tronto e sui Sibillini.