Della grande struttura francescana oggi rimane solo il convento, privo della chiesa che lo affiancava.
Si trova nella parte alta del paese, davanti all'incrocio tra via Farfense e via XX Settembre, due strade che collegano con il corso cittadino, costruito più in basso. Davanti vi si trova un parco, sempre dedicato al santo francescano, mentre a poca distanza si scorge la mole del santuario di Santa Vittoria e gli alberi del parco della Rimembranza.
Nel 1215 si vuole che il santo d'Assisi sia passato da Santa Vittoria, ospitato dai monaci farfensi, che avevano donato il convento di Luogo di Sasso, contrada tra Montefalcone e Smerillo. Qui vennero gettati i semi della primigenia comunità dei poverelli, che andando sempre più crescendo, fonderà altre sedi. Nel 1245 si spostano anche nella cittadina, nella chiesa di San Giovanni in Floriano, altro dono dell'abate benedettino. Viene conferita un'indulgenza per i visitatori della chiesa nel 1315, sempre per volontà dell'abbazia farfense.
Altre informazioni si hanno nel 1319 quando venne eretto un ospedale a poca distanza dal convento, per volere del Vescovo Bongiovanni; nel 1368 viene riconsacrata la chiesa da Ludovico da Fermo vescovo di Costoria, cittadina dell'Albania, intitolandola a San Francesco. Nel 1389 si legge della presenza dell'altare dei Santi Pietro e Paolo; inoltre troverà sede nella chiesa la Confraternita di Santa Croce, nata nel 1526.
Il convento viene chiuso nel 1809, a seguito delle soppressioni napoleoniche, torna a funzionare durante la restaurazione dopo il 1816. Resisterà fino all'Unità d'Italia, quando nel 1861 non verrà più utilizzato e sarà ceduto al municipio. Da qui seguirà la diaspora delle opere d'arte qui contenute, già provate dall'espoliazione napoleonica. Nello stesso anno della chiusura, il quadro di "San Francesco che riceve le stimmate" dipinto da Giuseppe Bastiani nel 1594, viene spostato nella Cappella del Sacro Cuore all'interno del santuario di Santa Vittoria. Nel 1862 il complesso viene scambiato dal comune con l'Ospedale degli Infermi, in seguito la chiesa già pericolante, viene abbattuta. Dalla distruzione si salva anche un affresco di Vincenzo Pagani: la "Natività", conservato nel palazzo comunale.
Oggi rimane solo parte del convento, rimaneggiato e restaurato nel corso degli ultimi decenni per asservire a nuove funzioni, attualmente è in parte utilizzato come scuola. Nell'area dove era la chiesa, oggi sorge il giardino recintato del plesso scolastico, al di là si nota un muro in parte intonacato ed un grande arco murato, dove un tempo l'edificio sacro si congiungeva al monastero. Quest'ultimo è una fusione di stili ed epoche, si parte da alcune piccole monofore medievali tamponate, visibili nella parte orientale del complesso, fino ai più recenti ristrutturazioni del secondo dopoguerra.
La facciata principale si allunga davanti al parco omonimo al convento, realizzata in parte con pietra arenaria, a differenza del resto dell'opera quasi tutto in mattoni. Dalle forme dovrebbe corrispondere all'ultima ristrutturazione nel XIX secolo; il semplice portale con un'essenziale rosta in ferro, una sobria fascia in mattoni rossastri che corre al di sotto delle finestre, dello stesso materiale è anche l'essenziale cornice delle finestre. Sotto il tetto invece, preceduto da una fascia intonacata, vi è un cornicione con mattoni disposti a dente di lupo. All'interno è ancora presente l'ambiente del chiostro.