Le fortificazioni di Castel Folignano vennero devastate più volte nel corso dei secoli: data la posizione al confine si è trovata spesso a fare i conti con assedi e transito di eserciti, i quali non di rado lasciavano i segni del loro violento passaggio. Si ricordano le distruzioni causate da Manfredi nel XIII secolo e quella del 1361 delle truppe del feudatario Cola di Macchia, che aveva dato alle fiamme i castelli di Folignano e Lisciano.
Nel 1363 è restaurato dal nobile ascolano Giovanni di Massio Tibaldeschi, il quale fu incaricato di rafforzare i castelli posti a difesa della frontiera sud-est dello stato ascolano, al confine con Teramo, e durante l'Assedio delle truppe napoletane del Duca d'Alba, nel corso della Guerra del Tronto, nel 1557, fu severamente danneggiato.
Secondo lo storico ascolano Colucci il castello di Folignano era cinto da mura fortificate e vari torrioni e baluardi; vi si aprivano due porte, di cui una era munita di un ponte che oltrepassava il profondo letto del torrente Sasso. Ciò che è arrivato fino a noi è il lato sud-ovest del perimetro difensivo: rimangono le basi inclinate delle muraglie, costruite con vari materiali, tra i quali mattoni, pietre di fiume ed arenaria. Nei pressi della rampa di accesso al castello, il cemento sostituisce i materiali nobili ma subito dopo sporgono dalle mura i resti di una torretta rompitratta, che oggi ospitano un'edicola con un'immagine sacra. Il resto del circuito non mostra ulteriori particolarità, le restanti sezioni sono franate o non sono visibili, ma nonostante ciò, le strutture castellane evocano ancora una discreta suggestione.