Preziosi sono i resti della piccola cinta muraria che cingeva il castello dei signori di Smerillo. In paese rimane ben visibile la divisione tra l'antico castello feudale ed il borgo che era mano mano cresciuto ai suoi piedi, quando nel 1298 le antiche pertinenze dei castellani passano a Fermo e l'area dell'antico insediamento diventa una fortezza adibita all'avvistamento e alla difesa dei confini ad ovest del comitato fermano. Nei documenti del passaggio di proprietà si legge come era strutturato il castello e che le sue mura possedevano due torri agli angoli delle cortine, si può leggere altresì dove erano dislocati gli alloggi dei membri della nobile famiglia che saranno sfrattati all'arrivo dei fermani. Con la costruzione della nuova cinta muraria che comprendeva sia il borgo che il castello smerillese, la rocca fu riutilizzata ad uso esclusivo del nuovo fortilizio fermano.
Delle poche tracce superstiti ricordiamo i resti di muraglie che si raccordano alla porta della rocca e seguono il crinale risalendo fin sotto il centro della fortezza, poco sotto la porta invece restano le mura scarpate che dividevano la rocca dal borgo, un tempo coadiuvate nelle difese da un fossato, successivamente ricoperto, e, più alte di adesso, erano coronate verosimilmente da una merlatura: proprio in questo tratto è molto probabile che sorgessero le due torri angolari di cui si parla in precedenza.
In prossimità della strada le mura deviavano verso sud continuando per un piccolo tratto fino a perdersi nel terreno della rupe sotto la rocca dove rimane ancora una piccola casa che è l'unica sopravvissuta di tutto il castello.