In piazza Castello si ergeva un tempo la chiesa di Santa Maria in Castro, uno dei primi luoghi di culto eretti all'interno della cinta muraria e risalente al XIII secolo.
Da fonti antiche alcuni ritengono che l'edificio fosse costituito da due navate, delle quali si è conservata solo quella di sinistra, in passato destinata alle donne e attualmente adibita a porticato. La presenza di pilastri ottagonali, però, ci spinge a credere che la struttura sia stata rinnovata nel corso del XVI secolo. Agli inizi del 1800 la pieve fu giudicata antigienica e insalubre tanto che nel 1866 fu iniziata la sua demolizione. Con i materiali di recupero iniziarono i lavori della chiesa dei santi Lorenzo e Nicolò. Le arcate della navata superstite furono invece tamponate, in modo da ottenere una cappella intitolata alla Madonna della Pace.
Il nome del piccolo oratorio fu ispirato dal pregevole affresco a ridosso della parete di fondo: realizzato da Vincenzo Pagani nei primi decenni del '500, l'opera raffigura una Madonna in Trono col Bambino, con ai lati due angeli recanti dei fiori. La Madonna è collocata al centro di un'ampia scena in cui figurano l'Annunciazione, il Presepio, la Disputa coi Dottori, la Flagellazione, la Resurrezione e un altro soggetto.
Sulla parete sud vi sono altri affrescati un San Francesco e la Madonna della Misericordia. In seguito alla rimozione della muratura sul lato nord, avvenuta nel 1916, sono riemersi i pilastri ottagonali e gli archi a tutto sesto che formano l'elegante porticato che oggi ammiriamo.