Oggi appare come un fazzoletto di prato circondato in parte dalle mura medievali, con una terrazza che si affaccia su un bel panorama che spazia tra la campagna ed il mare.
Ma un tempo questo era il luogo dove sorgeva il primitivo insediamento campofilonese, edificato sui resti di strutture romane e fin dalle origini, legato all'abbazia benedettina di San Bartolomeo, eretta da famiglie nobili nel XI secolo e passata poi tra i territori sottoposti ai monaci cassinesi. Nei secoli successivi le varie espansioni dell'abitato per motivi di spazio, si concentreranno sul versante orientale trasformando l'area abbaziale in in una cittadella fortificata della quale l'Orto era parte integrante. Aggiornato nel XIV secolo quando viene aggiunto dai fermani il torrione a sperone che chiude la cinta ad Ovest, nel secolo successivo vedranno l'assedio delle truppe aragonesi di Giovanni di Ventimiglia nel 1445, durante la guerra contro la signoria fermana di Francesco Sforza che si concluderà l'anno successivo. Un ulteriore restauro si riscontra da un carteggio di fine cinquecento, quando ormai l'epoca dei piccoli centri murati andava tramontando, l'area quindi sarà spesso rimaneggiata nei secoli successivi.
L'orto si trova dietro la chiesa di San Bartolomeo ed è raggiungibile passando alla sinistra del complesso, costeggiando così la terrazza panoramica che ricalca in parte il circuito della cinta muraria, vi si arriva oltrepassando un edificio novecentesco e la torre dell'acquedotto. Lo spazio è protetto a nord da un tratto di mura dove si leggono i vari tessuti storici, a partire dalle più antiche costruite in arenaria e materiali di recupero fino ad arrivare alle trecentesche muraglie in mattoni ed alle merlature, alcune probabilmente frutto di restauro.
Il tratto murato si distacca dall'abbazia fin a terminare con lo scenografico torrione angolare caratteristico del panorama occidentale del paese, la prima sezione, quella dalla chiesa fino alla torretta quadrata a metà struttura, conserva ancora un interessante piattaforma sporgente in mattoni, dove si installavano i camminamenti in legno.
La torre quadrata mostra due feritoie da moschetto a guardia dei lati ed una grande finestra centrale aperta sui resti di una bocca da fuoco, manca la parte superiore ma si intravvedono altre bocche da fuoco a livello dei camminamenti superiori. Le merlature a coda di rodine caratterizzano alcune sezioni dell'opera ed in qualche caso, mostrano delle feritoie aperte nello spessore delle mura.
Si prosegue fino al torrione che aperto sul retro, lascia vedere la sua bella voltatura ogivale, all'interno si vedono ancora i buchi dove venivano piantate le travi che reggevano i solai, tre bombardiere rotonde si trovano a livello del terreno dove le artiglierie di piccolo calibro facevano fuoco, altre due feritoie si aprono più in alto, l'accesso al piano superiore avveniva attraverso un'apertura nella volta. La terrazza dell'Orto, realizzata durante una ristrutturazione recente, ha chiuso uno dei lati del torrione ed ha modificato strutture originali permettendo però di godere di uno splendido panorama. L'area è spesso utilizzata come scenario per alcuni degli eventi che animano la comunità.