Il primitivo castello di Monsampolo viene citato in un documento del 1299, che attesta la distruzione del vecchio castello di San Paolo e contestualmente la costruzione di un nuovo insediamento. Il nucleo originale degli inizi del XIV secolo prese il nome di "Terravecchia", per distinguerlo dalla successiva espansione, avvenuta nel corso della seconda metà dello stesso secolo, "Terranova".
Dai catasti ascolani del XIV secolo si sa che le strutture del castello, come il palazzo del castellano e la strada comune, erano all'interno della cinta, dove si aprivano le due porte; il circuito murario aveva una forma vagamente ellissoidale ed era attraversato da una strada.
Probabilmente la Torre di massimo avvistamento è l'unico edificio rimasto delle fortificazioni di Terravecchia, insieme alle tracce della cinta, inglobate negli edifici che nei secoli ne hanno preso il posto.