Come tutti gli altri edifici religiosi di Torre di Palme, anche Sant'Agostino contribuisce a rendere prezioso il piccolo borgo del fermano, infatti anche questa chiesa, benché piccola e dalle semplici forme, si distingue per la ricercatezza dei particolari architettonici e la presenza di opere d'arte di una certa importanza. Le vicende di questo tempietto risultano indissolubilmente legate all'ordine monastico al quale era deputato, esso è infatti collegato, sul lato nord, al convento degli Eremitani di Sant'Agostino. L'edificio risulta quindi sicuramente posteriore al 1244, anno di fondazione dell'ordine, e comunque, per caratteristiche architettoniche ed estetiche, la sua datazione incerta rimane limitata tra il XIII e XIV secolo. Ci troviamo di fronte ad un bellissimo esempio di romanico-gotico delle basse Marche, dove assoluto protagonista è il mattone in cotto, usato non solo nelle sobrie opere di muratura, ma anche nella realizzazione delle decorazioni. Questa cura e abilità nella lavorazione del mattone la notiamo già nella facciata principale, ad ovest, dove spiccano il portale d'ingresso e l'oculo. Il primo, inserito in una porzione di muratura cuspidata lievemente sporgente, si lascia ammirare per le bellissime decorazioni del suo arco a tutto sesto, disposte in fasce sovrapposte e digradanti. La prima, partendo dall'interno, è composta da una serie di listarelle verticali. Segue poi una grande sensazione di movimento provocata dalla complicata alternanza di pieni e vuoti della ghiera della seconda fascia. L'ultima zona, al di sopra di una dentellatura, è caratterizzata da una sequenza di singoli mattoni scolpiti, ognuno con un motivo decorativo. Anche l'oculo è finemente decorato da una serie di tre ghiere ad onda sovrapposte. Sulla sommità, il tetto a spioventi è sottolineato da una decorazione a loggette cieche, sormontata da un cordolo. Il motivo delle loggette continua anche sulla parete sud, la quale si affaccia sulla strada principale di Torre di Palme, ma qui il cordolo si complica con una sequenza di scanalature verticali. Questo lato risulta scandito da una serie di contrafforti e si distingue per la presenza di un altro portale e due finestre lunghe e strette. Di nuovo compreso in una zona cuspidata sporgente, anche l'arco del portale sud è caratterizzato da tre fasce sovrapposte. Sempre partendo dall'interno abbiamo una dentellatura, segue la fascia principale decorata a nicchie riempite da triangolini scolpiti e infine un doppio cordolo con stelline a rilievo. Le due finestre richiamano i motivi principali dei portali: quella di sinistra ha la stessa ghiera del portale ovest; mentre quella di destra, leggermente lobata, è decorata con delle nicchie di cui quella centrale reca una piccola immagine a rilievo di San Giovanni Battista.
L'interno, molto semplice, è costituito da un unico ambiente in cui la zona presbiteriale è separata dal resto della chiesa da un arcone a tutto sesto. A sinistra si trova la pala con la Madonna in trono con Bambino e Santi Rocco, Sebastiano Cristoforo e Nicola di Bari, realizzata da Vincenzo Pagani. Sopra l'altare si trova invece il bellissimo polittico attribuito a Vittore Crivelli: racchiuso da una raffinata cornice goticheggiante è composto da tredici riquadri disposti un due fasce sovrapposte, con una zona aggettante nella parte superiore e una predella con altri nove riquadri.