Probabilmente fu edificata per contenere l'edicola di stile gotico presente tuttora al suo interno, ma che inizialmente sorgeva davanti ad un trivio che nei secoli passati costituiva un punto nevralgico della viabilità locale. Da qui era possibile accedere al vicino castello di Moresco, proseguire poi per Monterubbiano e raggiungere il fondovalle e quindi procedere verso la costa o recarsi fino alle sponde del fiume Aso. In prossimità della chiesa si ergeva un maestoso esemplare di olmo che diede il nome al sito. L'edificio fu ampliato nel 1521. L'esterno è animato da lesene e contrafforti, costruiti a ridosso delle fiancate, e da un avancorpo sostenuto da pilastri in laterizio, posto a protezione dell'ingresso. La facciata, tripartita da quattro lesene, è dotata di un'apertura circolare e di due finestre visibili ai lati del portale. Entrando si nota subito l'antico pavimento in cotto ed anche la particolare edicola votiva affrescata intorno al 1540 da Vincenzo Pagani, che raffigura il Cristo Crocifisso con ai piedi la Vergine Maria e i santi Maddalena, Giovanni e Pietro. Alle spalle della scena si estende una riproduzione del paesaggio costiero dall'alto contenuto storico. Sulla cuspide è rappresentata l'Incoronazione della Vergine.