Fin dall'alba della sua storia Fermo ha avuto un proprio porto, sorto nei pressi delle foci dell'Ete Vivo. Citato da Strabone nel I secolo a.C. e nel I secolo da Plinio il Vecchio, appare anche nelle mappe come l'Itinerario Antonino nella Tavola Peutingeriana ma, a seguito delle invasioni barbariche, il sito viene abbandonato. Col nome di "Porto di Fermo" e in seguito di "Porto San Giorgio" viene ricostruito nell'alto medioevo, stavolta alla foce del fosso di Santa Petronilla, sfruttando l'altura del Monte Cacciù e dirimpetto si ergeva la Rocca Tiepolo, in modo da assicurare una maggiore difesa rispetto all'insediamento antico, chiamato "Castellum Firmanorum".
Le prime documentazioni di Porto San Giorgio raccontano che nel 1164 viene concesso ai canonici del capitolo della Cattedrale di Fermo dall'imperatore svevo Federico Barbarossa, nel 1214 però viene confermato da Aldovrandino d'Este al comune fermano. Rimane comunque tra le proprietà dei Canonici della Cattedrale che solo nel 1260 cederanno definitivamente i loro beni al comune di Fermo.
La necessità della città di munirsi di un proprio porto fece sì che fin da subito fu ritenuto strategico lo sviluppo delle attività portuali, permettendo che nel XIII secolo diventasse insieme a Grottammare uno degli scali di maggior rilievo del fermano, famoso in tutto l'Adriatico. La volontà di stabilire contatti con i Veneziani, ricambiata dai veneti a causa della rivalità marittima con la vicina Ancona, garantiranno un investimento costante all'insediamento portuale che sarà snodo primario della politica medievale fermana. Nella seconda metà del XIII secolo l'amicizia con la Serenissima si farà sempre più forte e nel 1253 viene eletto il veneziano Ranieri Zeno podestà di Fermo fino al 1268 quando viene sostituito da Lorenzo Tiepolo, entrambi diverranno Dogi ed il secondo nel 1275 sarà proprio prelevato a Porto San Giorgio da una flotta e portato in trionfo nella città lagunare. Durante il governo del primo verrà stipulato un trattato commerciale con la città di Termoli mentre Il Tiepolo, durante la sua podesteria, sarà il fautore della costruzione della Rocca nel 1267, ancora oggi ricordata con il suo nome. Da qui in poi Porto San Giorgio seguirà strettamente la politica fermana nell'avvicendarsi delle scalate al potere dei vari personaggi che si susseguiranno alla signoria della città, a partire da quella nel 1331 di Mercenario da Monteverde il cui dominio si conclude con la morte nove anni più tardi. Segue la signoria di Gentile da Mogliano che, iniziata nel 1345, si concluderà con l'arrivo del Cardinale Albornoz che scaccia il dinasta e ripristina il Governo Pontificio, nella Descriptio Marchiae Anconitanae del 1356 Porto San Giorgio figura sempre come assoggettata a Fermo. Sotto la signoria di Giovanni Visconti da Oleggio viene dotata nel 1362 di una nuova cinta muraria, che corrisponde a quella oggi ancora in parte visibile, allo scopo di proteggere l'ingrandito insediamento dalla nuova minaccia dei turchi nell'Adriatico. Rinaldo da Monteverde prende il potere nel 1371 fino al 1380 seguito da Antonio Aceti la cui signoria conclude il secolo, riaperto con l'arrivo di Ludovico Migliorati, nipote di Papa Innocenzo VII che nel 1406 viene elevato a marchese dall'illustre parente e che muore nel 1428 ma già nel 1434 diventa padrone di gran parte delle Marche Francesco Sforza che decide di portare la sua residenza a Fermo fino alla sua cacciata nel 1446. Mano a mano che crescevano il potere e le ricchezze del porto di pari passo aumentava la rivalità reciproca con la città, la rottura dell'apparente equilibrio avvenne durante il Palio dell'Assunta del 1490 quando il castello di Porto San Giorgio, data la sua importanza, aveva l'onore di aprire il corteo dei castelli fermani. Mentre i sangiorgesi erano intenti nei festeggiamenti alcui fermani capitanati da Antonio Trovarelli assaltano il palazzo del Vicario bruciando e disperdendo l'archivio.
Diventa signore di Fermo nel 1502 Oliverotto Euffreducci che, ricordato dal Machiavelli, tiene le sorti dello stato per pochi mesi, più avveduto sarà il nipote Ludovico che tra il 1514 ed il 1520 ne diventa signore, nel 1537 Pier Luigi Farnese figlio del pontefice Paolo III si insedia al governo per dieci anni, approfittando del governo farnesiano riesplodono le tensioni tra fermani e sangiorgesi. Nonostante le forti pressioni e le rivolte che si ripresentano nel 1620 e nel 1711 non riuscirà mai a garantirsi l'indipendenza da Fermo che terrà sempre strettamente legata a sè la Rocca ed il Porto, come era stato anche sancito dagli statuti del 1504 e che accompagneranno la cittadina portuale fino alla rivoluzione francese.
Nel 1729 riesplodono forti le proteste che saranno chiamate "Guerra per l'imbarco dei Grani" e, per calmare gli animi, nel 1741 la Congregazione Fermana distacca di fatto il porto dal dominio fermano donandogli l'indipenza col nome di Porto San Giorgio. Il Governo Pontificio nel 1782 stabilisce invece i confini del comune cedendogli i territori tra l'Ete Vivo a sud ed il Tenna. Arrivano i moti rivoluzionari che danno vita nel 1799 alla Repubblica Romana e così viene nuovamente sottomesso da Fermo divenuto capoluogo di Cantone nel Dipartimento del Tronto e che non si era mai rassegnato alla perdita suo porto. Nel 1802 la popolazione protesta e Pietro Orlandi redige un documento firmato da parecchi cittadini dove se ne ribadisce l'autonomia dalla città, autonomia che si riconquista all'arrivo delle truppe napoleoniche che oltre all'indipendenza annettono a Porto San Giorgio anche il vicino territorio di Torre di Palme nel 1810.
La caduta di Napoleone ed il vuoto di potere fino alla Restaurazione rendono possibile l'assalto dei pirati delle dirimpettaie sponde adriatiche che nel 1815 fanno preda di numerosi abitanti in seguito venduti come schiavi. La Restaurazione riconferma l'autonomia da Fermo e tiene sotto controllo la minaccia pirata ed in questo periodo inizia un grande sviluppo della marineria e delle attività commerciali, anche il turismo muove i primi passi. Tra i primi a notare la bellezza del luogo troviamo Girolamo Bonaparte, fratello di Napoleone che, a partire dal 1825, inizia a interessarsi alla località acquistando anche diversi terreni, l'anno seguente procede con la costruzione di una villa che abiterà tra il 1829 ed il 1831 quando, a seguito dei moti di Fermo, è costretto a lasciarla per ordine della Camera Apostolica. Ormai si avvicinava l'Unità italiana che si sarebbe compiuta nel 1861 e con questa perde i vicini territori di Torre di Palme che vennero incorporati nel comune di Fermo nella nuova provincia di Ascoli Piceno. Comunque nel 1878 vengono rettificati i confini tra i due comuni, nel 1863 intanto era arrivata la ferrovia che con la sua stazione crea ulteriore sviluppo per la cittdina, nei primi anni del Novecento viene anche costruita la linea a scartamento ridotto "Porto San Giorgio-Fermo-Amandola".
Con lo scoppio della Prima Guerra Mondiale la stazione ferroviaria diventa sede di un treno armato che si occupava di difendere la costa dai cannoneggiamenti della flotta austriaca come era avvenuto a Grottammare e a Cupra Marittima, non sarà risparmiata nemmeno dal secondo conflitto quando furono bombardati le linee ed i ponti ferroviari.
Nel secondo dopoguerra continuerà l'espansione urbana che già aveva preso il via nella prima parte del secolo, quando era diventato uno dei maggiori centri di villeggiatura del fermano, oggi il castello è quasi interamente circondato da quartieri moderni che non ne hanno comunque scalfito il gradevole aspetto medievale. Circondato ancora dalla sua cinta muraria, preserva ancora alcune delle sue porte, la più caratteristica è quella a sud, che immette direttamente nel corso cittadino. Dove un tempo si trovava il porto oggi scorre la Statale Adriatica da cui è possibile ammirare l'Arco Fiori, uno dei resti delle fortificazioni del porto, inglobato nella mole di Palazzo Trevisani c'è anche l'accesso fortificato alle banchine, poco più in là si apre la piazza con la chiesa di San Giorgio. Nel trafficato incrocio per Fermo, compreso nella grande piazza, si affacciano anche i resti della Chiesa dei Morti e il bel teatro comunale piuttosto attivo, al centro si trova invece la bella Fontana della Democrazia, da qui si possono scorgere la Torre Civica, il campanile della chiesa del Santissimo Rosario e più in alto la Rocca Tiepolo. A lato del Teatro inizia l'elegante corso che raggiunge la porta medievale eretta a sud della cinta muraria, qui si affacciano le maggiori residenze del paese, Verso la metà del tracciato si trova Via Bonaparte che inizia a salire fino a lambire il complesso della Villa omonima, fino a proseguire uscendo dall'Arco del Diavolo, da qui si sale verso la Turrimagna, dove si può godere di uno splendido panorama.
Tra le più belle città della costiera marchigiana, già famosa per il turismo balneare, si farà ricordare anche per il suo significativo castello che completa con gli originali scorci ogni giornata di villeggiatura.