Fiore all'occhiello della frazione, la porta castellana si erge nella parte più bassa del paese, a lato delle muraglie. Realizzata in mattoni come il resto del castello, è chiamata anche "La Dogana" e risale al XIV secolo con i dovuti aggiornamenti nelle epoche successive. Del probabile fossato non è rimasta traccia mentre una rotonda bombardiere si apre ancora minacciosa sul fianco sinistro. Il collegamento tra la porta e le mura è scomparso come la sezione delle fortificazioni a monte dell'accesso, qualche rudere di strutture in muratura si intravede ancora fra la vegetazione. L'ingresso è realizzato con un semplice arco gotico, senza grosse pretese estetiche, sormontato da un incasso a forma di scudo che molto probabilmente issava l'effige del comune di Fermo. Manca la parte superiore della muratura che col tempo è stata demolita e sostituita da un comune tetto, quindi si ipotizza che, come era solito, ci fossero delle caditoie e un'eventuale merlatura. L'ambiente interno della dogana era un grande androne con una volta a crociera di cui nel XVIII secolo fu murata la parte sinistra per ricavarne un'altra stanza; nella parete di fronte invece si trova una porta tamponata con un grazioso lunotto anch'esso di sapore gotico che immetteva in altri ambienti ora scomparsi.
Si esce da una arcata come quella di ingresso e da qui inizia la breve salita che conduce per il cuore del borgo.