Simbolo indiscusso del castello, la si vede svettare all'inizio del paese con la sua singolare forma eptagonale che, come la chiglia di una nave, fende il crinale verso l'entroterra.
Secondo una fantasiosa teoria si potrebbe attribuire al paese il nome "Moresco" perchè nella terrazza sommitale della torre era presente una struttura sormontata da una cuspide che avrebbe richiamato l'architettura araba, ma fu demolita nel 1918 durante il restauro che fornì la merlatura ghibellina alla torre.
L'altezza della torre è di 25 metri ed è stata edificata dai fermani sul finire del XIV secolo e riaggiornata in quello successivo su una precedente torre quadrata, risalente al XIII secolo, della quale rimangono delle tracce nelle fondamenta dell'edificio.
Come già detto la sua particolare pianta la rende piuttosto originale e poiché non presenta le tipiche scarpature antibombarda, necessarie alla sopravvivenza ad un cannoneggiamento, si suppone che con l'arrivo massiccio delle armi da fuoco da assedio abbia perso di importanza difensiva.
Si accede da un ingresso posto ad una certa altezza da terra, oggi dotato di una passerella in metallo ma un tempo corredato da una passerella di legno che poteva essere ritirata in caso di assedio, dall'interno i difensori potevano operare il tiro dalle varie feritoie e dalle caditoie e dai parapetti della terrazza superiore.
L'ultimo discutibile restauro ne ha modificato l'aspetto dei solai interni ricavando una grande apertura centrale illuminata da un lucernario all'ultimo piano e snaturandone così l'originario allestimento, oggi è sede di esposizioni e mostre.
Dalla terrazza sommitale si può godere di un impareggiabile panorama sulla costiera adriatica, qui si trova anche una grande campana del XVI secolo, sorretta da una struttura in metallo ed ancora utilizzata che rintocca alle 12 e alle 18.