Posto su una collina nell'entroterra compreso tra il fiume Aso e il torrente Menocchia, il territorio di Carassai conserva tracce di civiltà che risalgono fino al Neolitico. In seguito, con la romanizzazione del Piceno, i villaggi si trasformarono in veri e propri agglomerati urbani. Durante il Medioevo nella zona carassanese sorgevano vari luoghi di culto e castelli, tra i quali i più importanti erano la Rocca di Montevarmine, Camporo e il sito che negli anni cambiò il nome in Castrum Guardiae, Castrum Medi, Carrascale e Carnassale. Dell'antico borgo di Carassai sono ben distinguibili due nuclei urbanistici. Quello feudale, risalente al IX secolo, corrisponde alla zona della cittadina denominata Castello Vecchio, di cui restano ancora la Porta della Montagna (o della Neviera) ed un anello di mura. In questa parte dell'abitato troviamo la chiesa di San Lorenzo, del XV secolo, e l'antico portale del palazzo Concetti-Carnevali. Molto caratteristiche sono le piccole case separate da stretti vicoli. L'altro nucleo, risalente al XIII secolo, è detto Castello Nuovo: qui sono presenti fortificazioni del XIV e XV secolo e l'urbanizzazione è scandita da tre strade parallele. Vi si accede attraverso la Porta Marina e contiene il Palazzo Comunale dove si possono vedere ancora tracce delle Fovee, depositi di grano risalenti al XVI secolo.
La chiesa più importante della cittadina è la Collegiata di Santa Maria del Buon Gesù: fondata probabilmente nel XV secolo, ha subito diversi ampliamenti nel 1563 e nel 1601. Proprio durante questa fase di ristrutturazioni venne posta sull'altare maggiore la tela con la Crocifissione di Andrea Boscoli, pittore di cui si possono ammirare gli affreschi sempre nella stessa chiesa. Nella Collegiata alloggiano, inoltre, una tavola di Vincenzo Pagani (XVI secolo) e una tela della scuola del Pomarancio (XVII secolo).