Unica porta originale del castello di Sant'Elpidio a Mare, la Porta Canale venne eretta nel XIV secolo. L'abitato conserva una cinta muraria di circa tre chilometri risalente al periodo tra il XIII secolo e il successivo.
Sulle mura vi è stato incastonato, nel 1527, un bassorilievo in pietra con la figura di Sant'Elpidio a cavallo, apparso in una battaglia contro i Saraceni.