Ottimamente conservato e caratterizzato dalla sagoma dei campanili gemelli della chiesa di San Michele che lo rende inconfondibile nel panorama delle terre fermane.
La tradizione vuole che abbia origine da uno dei figli del normanno Malugero Melo, come per Monsampietro e Monterinaldo, che, in fuga dalla Puglia, si rifugiò in queste terre e sposò la fermana Morica, fondando tre castelli ognuno dei quali prese il nome dei suoi figli Rinaldo, Elpidio e Pietro. Si ritiene invece che il castello facesse parte dello stato farfense che dominava questi territori nell'alto medioevo, nel 1192 si legge di tale Rainaldus Rapiezonis e dei suoi figli Rainaldi e Morici, affittuari dei monaci: secondo alcuni quest'ultimi avrebbero dato origine alla toponomastica locale al posto del normanno Malugero. Altra prova dell'origine farfense è data dalla presenza nei registri dell'abbazia nel 1295, della chiesa di Sant'Emidio che, con la sua antica fonte, non è troppo distante dal paese. Poichè nel medioevo era anche chiamato San Lopiduccio si pensava che tale toponimo fosse un nomignolo in volgare dato dagli abitanti a Sant'Elpidio invece secondo alcuni documenti esistevano due insediamenti distinti in seguito fusi tra di loro e San Lopiduccio corrispondeva propriamente all'attuale centro. Scomparsa invece sarebbe l'antica Sant'Elpidio che si ritiene sorgesse in contrada Portella ed avesse una forma triangolare che, come per la vicina Monsampietro, avrebbe preso l'attributo "morico" che definiva un qualcosa di forma appuntita. Come prove a sostegno ci sarebbero alcuni documenti che citano San Lopiduccio con la chiesa di San Pietro mentre Sant'Elpidio con la chiesa omonima.
Nel 1316 si sottomette al comitato fermano che a quel tempo andava ingrandendo i suoi territori e da questo momento il castello finirà nel turbine della politica cittadina a cominciare con la salita al potere nel 1331 di Mercenario da Monteverde, primo di una lunga serie di tiranni, a cui segue Gentile da Mogliano nel 1352, destituito tre anni più tardi dal Cardinale Albornoz che, grazie ai pieni poteri conferiti dal papato trasferitosi in Francia, rimette ordine nella marca costringendo anche Sant'Elpidio a rinnovare i suoi patti di fedeltà con Fermo. La pace nel comitato sarà rotta dall'ascesa al governo di un altro Monteverde, Rinaldo, al potere dal 1375 fino al 1378 quando sarà cacciato dalla città e si rifugerà a Montegiorgio e per due anni conquisterà e deprederà i castelli vicini insieme ad Azzo degli Ubaldini. Prese anche Sant'Elpidio Morico che per qualche mese fu la base delle sue scorrerie finché, respinto dai fermani a Montefalcone Appennino dopo una lunga riconquista dei territori perduti, sarà catturato e decapitato dopo essere stato condotto in città. La fine del trecento vede la breve parentesi della signoria degli Aceti mentre nel secolo successivo si assiste all'arrivo di Ludovico Migliorati, divenuto signore del fermano grazie allo zio Papa Innocenzo VII. Nel 1406 muore il potente famigliare e nel 1407 il suo successore manda l'esercito a sloggiare il Migliorati che si asserraglia nei suoi castelli; in questo frangente anche Sant'Elpidio viene assediato dalle truppe pontificie. Ma la guerra contro Ludovico non si ferma e stavolta viene inviato Carlo Malatesta che prende e occupa per un anno il castello nel 1415 che presto liberato viene l'anno seguente rioccupato di nuovo ma poco tempo dopo sarà siglata la pace col papato. Migliorati morì a Fermo nel 1428, nel 1433 Francesco Sforza si presenterà nel fermano e l'anno successivo entra già trionfante nella città dopo averne conquistato il territorio: il suo governo perdurò fino al 1446 quando sarà espulso a forza dalla cittadinanza. In quegli anni imperversava anche la peste e Sant'Elpidio fu tra i paesi più colpiti dal morbo, a tal punto che i podestà eletti da Fermo rifiutavano l'incarico per paura del contagio. Si ricorda in quel secolo anche la forte rivalità con la vicina Monteleone.
Il cinquecento segue la linea dei secoli precedenti con la breve signoria di Oliverotto Euffreducci nel 1502 a cui fa seguito quella del nipote Ludovico Euffreducci, che governa Fermo tra il 1514 ed il 1520. Dieci anni più tardi viene risolta la controversia di confine con Monteleone che aveva da tempo immemore generato conflitti tra le due comunità; tra il 1537 ed il 1547 c'è la signoria dei Farnese, famiglia di Papa Paolo III.
Ritornerà la pace che sarà rotta solo alla fine del XVIII secolo quando arriveranno i soldati francesi e gli stravolgimenti porteranno la fine del feudalesimo e il passaggio del castello nel Dipartimento del Tronto sotto il cantone di Santa Vittoria. Col successivo regno napoleonico verrà annesso a Monteleone. Tornato indipendente durante la restaurazione rimarrà tale fino al periodo postunitario quando nel 1868 viene aggregato a Monsampietro e poi nel 1870 nuovamente a Monteleone fino al 1893 quando tornerà frazione di Monsampietro.
Il secolo successivo vide il progessivo spopolamento del paese e delle sue campagne: oggi sono rimaste poche decine di abitanti. Nel 2004 entra a far parte della nuova provincia di Fermo.
Si è accolti in paese dalla maestosa facciata della chiesa di San Michele e dalla grande piazza che si apre sul sagrato, da qui partono le due vie che portano al cuore dell'incasato di cui la prima, in leggera salita, presenta un piccolo parchetto dove riposarsi nella pace del luogo.
Il centro storico sembra congelato nel tempo, ancora cinto da mura dove svettano i resti delle torri sopravvissute: si consiglia di percorrere le vie del minuto paese a partire da quella più a meridione che costeggiando le mura si affaccia sulla campagna prima di entrare in un interessante passaggio coperto. Da qui si entra nella piazzetta dell'antica chiesa di Sant'Elpidio dove si trova anche la bella porta castellana ed il palazzo dell'Ex Ospedale Civile, non troppo distante dal dismesso municipio.
Recenti sistemazioni hanno permesso di rendere agevole il percorso intorno alle mura, un piccolo gioiello che nonostante la scarsa popolazione, risulta ottimamente ben tenuto.