La leggenda vuole che il castello fosse stato fondato nel X secolo dal potente Vescovo Conte Adamo, come suo personale rifugio, oppure, come altri sostengono, per la poca simpatia che gli dimostravano i suoi parrocchiani.
Vari elementi storici hanno smontato questa popolarissima credenza dato che il castello non viene menzionato nei vari titoli dei vescovi-conti ascolani e le fonti storiche tendono per un'origine feudale del borgo.
Nel XIV secolo viene offerto in dote alla famiglia Odoardi e nel 1356 risulta già municipio ascolano. Nel 1377 viene donato dalla città al capitano Bartolomeo Smeducci come ricompensa per l'aiuto offerto per la liberazione dalla tirannia del governatore pontificio Gomez Albornoz, nipote del famoso cardinale che con le armi preparò il ritorno del Pontefice da Avignone a Roma. Quattro anni più tardi viene riacquistato dal capoluogo e nel XV secolo avrà i suoi statuti e successivamente verrà insignito di numerosi titoli, come la podesteria e il sindacato dal quale dipendeva l'amministrazione di diverse ville limitrofe. Ritorna sede comunale con la restaurazione fino all'unità d'Italia, quando sarà annessa definitivamente al comune di Ascoli. Nel 2016 rimane lesionato durante le numerose scosse di terremoto.
Edificato in posizione squisitamente strategica, dunque ben visibile, è caratterizzato da una forma compatta, arroccata e dal suo inconfondibile torrione, costruito a difesa dell'unica porta.
La struttura castellana tipica è riproposta all'interno: due sole vie formano un percorso a sacco che segue l'andamento della cinta muraria, sostituita nei secoli dalle abitazioni.
Alcune maioliche murate, di recente fattura, ricordano il patrono del castello: San Michele e l'antico stemma del comune di Montadamo.
La chiesa si trova poco fuori il borgo e nei pressi del torrione c'è anche un piccolo parco con una balconata che offre belle vedute di Ascoli e delle sue frazioni.