Ben distinguibili sono le due identità abitative che compongono il centro storico di Carassai.
Il primo nucleo, chiamato Castello Vecchio, svetta nella parte più alta ad ovest dell'incasato, mentre quello più recente, il Castello Nuovo, sorto ai piedi di quello più antico, si allunga verso oriente. Il primo nasce probabilmente come castello affiliato al vicino centro scomparso di Camporo, una delle sedi della famiglia feudale dei Da Massa. Dinastia presente nella zona a partire dal XII secolo, probabilmente costruisce qui le prime difese intorno al loro palazzo. Questo era situato verosimilmente nel punto più alto del piccolo colle, dove oggi si trovano i locali del dismesso ospedale, da qui si estendeva una piccola cinta muraria a difesa delle poche strutture presenti. Nel 1220 si dichiara libero comune ma poi lo ritroviamo in mano agli Acquaviva ed ai signori Da Montepassillo nel 1252. Ricompaiono i Da Massa nel 1321, quando Lino da Carnassale e Teobalduccio da Camporo sottomettono i rispettivi castelli al comitato Fermano. Di chiara fede ghibellina, i due diventano nemici del papato al quale si ribellano, rioccupando i loro feudi che, nel 1325, le truppe pontificie radono al suolo per punizione. Carassai, a differenza di Camporo, ottiene il permesso di essere ricostruito e quindi accoglie anche le popolazioni sfollate di quest'ultimo. Si espande così fino ad occupare gran parte della collina.
Rimane stabilmente sotto il dominio fermano subendone le alterne vicende, soprattutto durante la signoria di Ludovico Migliorati caratterizzata dalla guerra con Ascoli. Nel 1348 viene assaltato dalle truppe di Galeotto Malatesta, capo degli eserciti ascolani, lo assaltano ancora l'anno seguente, occupandolo per qualche tempo. Tornato libero comune, viene conquistato da Petrocco da Massa nel 1364, durante un tentativo di recuperare i feudi della famiglia ormai, decaduta. Le mura ormai devastate dagli eventi richiedevano una ricostruzione, nel 1372 si inizia a lavorare per ottenere i vari permessi, che arrivano solo nel 1375. La pace nel castello viene ancora rotta nel 1381 da Boffo da Massa, similmente al suo parente Petrocco, cercava di costituire una sua signoria personale, occupando così i territori carassanesi insieme a quelli di Cossignano e Castignano. Nel frattempo il castello si era andato ancora espandendo, protetto da una nuova opera difensiva, la cinta muraria del Castello Nuovo. Nel 1520 subiscono l'assalto di Ludovico Euffreducci e del suo luogotente Alessandro Simeoni, quest'ultimo originario di Carassai. Vi è notizia della presenza di una grande cisterna per l'accumulo delle acque, utilizzabili anche in caso i assedio; è scavata nei pressi della chiesa di San Lorenzo e venduta a privati nel 1560. Nel XVII secolo le mura perdono col tempo il loro valore primario, vengono pian piano inglobate nelle nuove abitazioni. Sono comunque utilizzate fino al XIX secolo, quasi sempre per difendersi dalle incursioni di malviventi e briganti. Dopo le varie demolizioni, rimangono comunque diverse tracce ben visibili.
Il tracciato ha una forma quasi triangolare, contorna la sagoma dell'altura dove sorge ed è individuabile dalla pianta dell'abitato. Soprattutto nella zona della piazza e sulla rampa di accesso al castello, sono ancora visibili le scarpate delle mura ed una fila di beccatelli. Sono gli ultimi rimasugli delle strutture della porta meridionale, non sopravvissuta. Probabilmente qui doveva trovarsi l'area della rocca, dove oggi c'è il dismesso ospedale, affiancato dal nuovo palazzo comunale. Le mura continuano verso il versante meridionale e sono visibili dalla circonvallazione, seguono un'andamento lineare interrotto solo dall'angolo occupato da Porta della neviera, un tempo incorporata in una torre. La cortina procede verso sud, a tratti coperta da un muro di recente costruzione, dove in alto si scorge la balconata del belvedere Cesare Macchiati. Nel tratto occidentale il nuovo muraglione si abbassa, in corrispondenza di un'abitazione solitaria si vedono tracce delle mura. Continuando si fiancheggia un'altra balconata ricavata dalla fila di case del castello, oggi demolite, qui però i resti delle opere difensive diventano molto scarsi. Riprendono in prossimità della strada che ritorna verso la piazza, dove è si ammirano i resti di una mensola in mattoni. Infine si ritorna sulla rampa del castello vecchio. Svetta sopra all'abitato il campanile della chiesa di San Lorenzo che, secondo alcune versioni, riutilizza come basamento un torrione preesistente.